JP3708744B2 - Adaptive probability estimation method, adaptive encoding method, adaptive decoding method, adaptive probability estimation device, adaptive encoding device, and adaptive decoding device - Google Patents

Description

【０００６】
を含む。このように、シンボルは所望の多値または２値で与えられる。
従って、エンコーダ１０１は、この例では、算術エンコーダ・ユニット１０４、文脈抽出器１０５、適応確率推定器１０６、およびライン・インタフェース１０７を含んでいる。シンボルｓ（ｋ）と確率推定ｐ（ｋ）は、算術エンコーダ・ユニット１０４へ供給され、エンコードされたデータストリームａ（ｉ）を作るための周知の方法がそこで用いられる。
【０００７】
そのような算術エンコーダ・ユニットは当技術分野では周知である。「算術コーディングをもつ黒白画像の圧縮」(Compression of Black-White Image with Arithmetic Coding)と題する１９８１年６月発行のＩＥＥＥ Transaction on Communications VOL.cos-29.P858-867の文献、また、２値要素をもつシンボルをエンコード／デコードするための算術エンコーダ／デコーダに関する１９８６年１２月３０日発行の米国特許（ＵＳＰ４，６３３，４９０号）、更に多値の要素を持つシンボルをエンコード／デコードするための算術エンコーダ／デコーダに関する１９８７年６月発行のCommunications of the ACM 第３０巻、第６号、P.520-540の「データ圧縮のための算術コーディング」(Arithmetic Coding for Data Compression)と題する文献などで明らかである。
【０００８】
ライン・インタフェース１０７は、エンコードされたデータストリームａ（ｉ）をインタフェースして、伝送媒体１０２に送り、この伝送媒体１０２は順番に遠隔のデコーダ１０３に供給する。このためライン・インタフェース１０７は、伝送媒体１０２で用いられている信号フォーマットにデータストリームをフォーマッティングするための適切な装置を含んでいる、可能な伝送媒体１０２の良く知られた例としては、Ｔ−搬送トランク、ＩＳＤＮ基礎加入者回線、ローカル・エリア・ネットワークなどがある。その様なライン・インタフェースは、この技術分野では周知である。
文脈抽出器１０５は、受信シンボルｓ（ｋ）の文脈、ここでは
【０００９】
【数２】

【００１０】
を得る。即ち、文脈抽出器１０５は、前に供給されたシンボルを基礎にしたシンボルｓ（ｋ）のための独特の文脈（即ち、状態）を生成する。例えば画像圧縮システムを例にすれば、シンボルｓ（ｋ）はエンコードされるべき現在の画素の色を表し、文脈ｃ（ｋ）は上記のごとく前の画素の色によって決められる。例えば、同じラインの現在の画素に隣接し、かつ直前の画素（Ｐ）の色と、現在の画素の直前のライン上の前の画素（Ａ）の色は、２値適用のシンボルｓ（ｋ）のための文脈ｃ（ｋ）を作るために用いられる。このようにして、画素Ｐと画素Ａの双方が白ならばｃ（ｋ）は０であり、画素Ｐが白で画素Ａが黒ならばｃ（ｋ）は１であり、画素Ｐが黒で画素Ａが白ならばｃ（ｋ）は２であり、画素Ｐと画素Ａの双方が黒ならばｃ（ｋ）は３である。米国特許（ＵＳＰ４，６３３，４９０号）には、２進法を用いた別の文脈抽出器（状態作成器）が示されている。この技術の当業者にとっては、いかにしてその様な２進法文脈抽出器が、多値を適用した文脈を得るために拡張されたかは明らかであろう。抽出されて表現された文脈ｃ（ｋ）は適応確率推定器１０６へ供給される。
適応確率推定器１０６は、入力信号
【００１１】
【数３】

【００１２】
と関連文脈
【００１３】
【数４】

【００１４】
のための確率推定値
【００１５】
【数５】

【００１６】
を作るために用いられる。
【００１７】
適応確率推定器１０６は、シンボルカウント型と状態遷移型に大別することが出来る。以下にそれぞれの適応確率推定器について説明する。
【００１８】
（１）シンボルカウント型適応確率推定器
シンボルカウント型適応確率推定器は、シンボルｓ(ｋ)の過去の出現回数から出現確率を算出する方法であり、例えば米国特許（ＵＳＰ５，０２５，２５８号）にその考えが示されている。
【００１９】
シンボルカウント型の適応確率推定器１０６は、次元ＳとＣを持つアレイ（ｎ_s,c ）を最後まで保持する。ここでアレイの各要素ｎ_s,c は、文脈ｃの中でのシンボルｓの発生の累積、即ち“カウント”であり、ｓとｃはアレイ中のｎ_s,c の場所を識別するダミー・インデックスである。適応確率推定器１０６は、コンピュータまたはディジタル信号プロセッサを適切にプログラミングすることによって容易に実現できる。しかし実装のより優れたモードでは、半導体チップの高集積（ＶＬＳＩ）回路の形態にあると想像される。
【００２０】
図１８のフローチャートは、シンボルカウンタ型の適応確率推定器１０６の動作を示している。適応確率推定器１０６の動作は、スタート・ステップ２０１から始まる。次に動作ブロック２０２は、ｋ＝０と、
【００２１】
【数６】

【００２２】
とすべきすべての
【００２３】
【数７】

【００２４】
と
【００２５】
【数８】

【００２６】
に対するｎ_s,c のカウントを初期化する。ここでＮ_s,c はある所定値である。操作ブロック２０３は、新しい文脈ｃ（ｋ）を得る。新しい文脈は前に得た文脈と同じであることが注目される。次に動作ブロック２０４は、すべての
【００２７】
【数９】

【００２８】
に対して得られた文脈ｃ（ｋ）のためのカウントの合計Ｚを得る。即ち、
【００２９】
【数１０】

【００３０】
動作ブロック２０５は、適応確率推定器１０６（図１７）に、算術エンコーダ・ユニット１０４（図１７）へ順番に供給される確率推定値を出力させる。この確率推定値は最初の実行なので、初期条件と得られた文脈ｃ（ｋ）のみを基礎にしている。次の実行では、確率推定は文脈ｃ（ｋ）のためのシンボルｓ（ｋ）の発生カウントの合計、即ち累積を基礎にする。このようにしてステップ２０５は、確率推定値を出力させる。即ち、
【００３１】
【数１１】

【００３２】
【数１２】

【００３３】
動作ブロック２０６は、エンコードされるシンボルｓ（ｋ）を得る。動作ブロック２０７は、得られたシンボルｓ（ｋ）と文脈ｃ（ｋ）のためのカウントを１だけ増加させる。即ち、
【００３４】
【数１３】

【００３５】
は１だけ増加される。
動作ブロック２０８は、パラメータの規定されたセットの少なくとも第１特性と少なくとも第２特性を得る。この例では、パラメータの規定されたセットの各要素は、エンコードされる受信シンボルの文脈に応じる累積、即ちカウントの関数である。即ち、パラメータの所定のセットは、文脈ｃ（ｋ）に対するシンボルｓ（ｋ）の発生を“累積した”出現回数、即ち、ｎ_0,c(k)，…，ｎ_s-1,c(k)である。この例では、少なくとも第１特性は、文脈ｃ（ｋ）に対する累積された出現回数の最小値である。即ち、
【００３６】
【数１４】

【００３７】
この例では、少なくとも第２特性は、文脈ｃ（ｋ）に対する累積された出現回数の最大値である。即ち、
【００３８】
【数１５】

【００３９】
条件分岐点２０９は、少なくとも第１特性が、少なくとも第１しきい値に等しいかまたは大きいか、即ち、
【００４０】
【数１６】

【００４１】
または少なくとも第２特性が、少なくとも第２しきい値に等しいかまたは大きいか、即ち、
【００４２】
【数１７】

【００４３】
を決めるために試験する。
少なくとも第１特性（ＭＩＮ）の使用は、適応確率推定器１０６（図１７）の適応の程度の最適化を可能にするということが重要である。この例では前述したＭＩＮである少なくとも第１の特性と、８である小さいしきい値Ｔ₁ を使うことにより解決する。このようにして従来では、文脈ｃ（ｋ）に対する各可能な信号発生、即ち（０，…，Ｓ−１）は、
【００４４】
【数１８】

【００４５】
の条件を満たすには少なくとも８回発生しなければならない。その結果、少なくとも第１特性ＭＩＮと少なくとも第１のしきい値Ｔ₁ ＝８の使用は、評価されている実際の確率値に理想的に適合する適応速度を作る。この例での範囲を制限すると解釈されないために、２進法の適用と１／２に評価されている確率を例にとれば、累積された発生は文脈ｃ（ｋ）をほぼ
【００４６】
【数１９】

【００４７】
回参照された後に調整される。１／４に評価されている確率に対しては、文脈ｃ（ｋ）をほぼ
【００４８】
【数２０】

【００４９】
回参照された後に、累積された発生は調整され、１／８に評価されている確率に対しては、文脈ｃ（ｋ）をほぼ
【００５０】
【数２１】

【００５１】
回参照された後に、累積された発生は調整される。このようにして適応速度は、評価されているより大きい（小さくない）確率値に対しては速くなり、評価されているより小さい確率値に対しては必然的に遅くなる。適応速度の調整はステップ２０９と２１０から明らかである。
【００５２】
この例のＭＡＸである少なくとも第２の特性は、少なくとも第２のしきい値Ｔ₂ と関連して、文脈ｃ（ｋ）の中のシンボルｓ（ｋ）の発生の累積中でのオーバーフローを防ぐために用いられる。評価されている確率が異常に小さい値でさえなければ、ＭＡＸはパラメータ調整を要する特性とはならない。一例をあげれば、Ｔ₂ の値は２０４８である。それはパラメータのセットの別の特性が用いられることを意味する。例えばステップ２０４で得られた合計ＺがＭＡＸの代わりに用いられる。
このようにして、条件式
【００５３】
【数２２】

【００５４】
または式
【００５５】
【数２３】

【００５６】
のどちらかが満たされると、ステップ２０９に戻って、動作ブロック２１０は文脈ｃ（ｋ）中に累積されたシンボル要素の調整を行う。適応速度の調整は、調整の原因となるステップ２０９と関連してステップ２１０によって実現され、例えば、すべての
【００５７】
【数２４】

【００５８】
に対する文脈ｃ（ｋ）のための累積された発生の次式でセットされたいわゆる半減化により、表示された累積、即ちカウントを決める。
【００５９】
【数２５】

【００６０】
従来では、式ＭＩＮＴ₁ または式ＭＡＸＴ₂ のどちらかの条件を満たすときに、カウントは同じ方法で調整されるが、ある種の適用に対しては、カウントを上記条件のそれぞれに対して別々に調整したほうが便利であろう。一旦、カウントが調整されると、それが累積された発生の表示となることに注意する必要がある。この累積された発生の調整は、確率推定を文脈ｃ（ｋ）中のより新しい発生にもつと従属される。上述のごとく、ＭＩＮＴ₁ に従って発生する累積された発生の調整を行うことにより、適応の程度は評価されている実際の確率に理想的に合致する。即ちＭＡＸＴ₂ に応答して発生する文脈ｃ（ｋ）中のシンボルｓ（ｋ）の累積された発生の調整は、非常に小さい確率値が推定されている稀な状況で、可能な算術オーバーフロー条件を保護することである。
【００６１】
その後、条件分岐点２１１は、シンボルｓ（ｋ）がエンコード／デコードする最後のシンボルかどうかを決めるために試験する。エンコードされるべきシンボルの数は通常既知である。もし既知でなければシンボルの数の表示が適応確率推定器１０６へ供給される。もしステップ２１１の試験結果がＹＥＳなら、適応確率推定器１０６の要素の動作は、ＥＮＤ・ステップ２１２を経て終了する。もしステップ２１１の試験結果がＮＯなら、ステップ２１３で１を加えた増分インデックスｋが作られ、制御はステップ２０３に戻され、ステップ２１１がＹＥＳになるまで、ステップ２０３から２１１への適切な動作が繰り返される。
【００６２】
（２）状態遷移型適応確率推定器
状態遷移型適応確率推定とは、予めそれぞれに対応する確率を持った複数の状態を設定しておき、ある規則に基づき状態間を遷移することにより、現在、滞在する状態の確率を推定確率とする確率推定方式である。例えば、日本国特許 特公平８−３４４３３号公報にその考え方が述べられている。シンボルカウント型確率推定では、文脈ｃ(ｋ)毎にシンボルｓ(ｋ)の累積出現頻度を記憶するメモリや確率を計算するための割り算が必要なのに対し、状態遷移型は、各状態に対する推定確率を示す表を参照することで確率が推定できるため、一般に簡易で、高速な処理が可能という特長がある。
【００６３】
ここでの例では、入力データは２値データ、つまり
【数２６】

【００６４】
とし、出現確率が他方のシンボルより高いと推定されるシンボル(優勢シンボル)の出現確率P_MPSと出現確率が低いと推定されるシンボル(劣勢シンボル)の出現確率Ｐ_LPSを推定するものとする。この例では、状態は１７状態とし、図２０の表のように、各状態に対する推定劣勢シンボル出現確率Ｑ（Ｉ）、遷移優勢シンボル出現頻度Ｇ（Ｉ）を予め設定しておく。また、確率推定器は、文脈ｃ毎に、その時点での状態の状態インデックスＩc(０≦Ｉc≦１６)、優勢シンボルの値ＭＰＳc(０または１)、現在の状態で発生した優勢シンボルの頻度m_MPS cを記憶しておく必要がある。
【００６５】
図１９のフローチャートは、状態遷移型の適応確率推定器１０６の動作を示している。スタートステップ３０１から始まり、ステップ3０２では、入力データのインデックスｋをｋ＝０とすると共に、各文脈毎の変数、つまり状態インデックスIc、優勢シンボル値ＭＰＳc、優勢シンボルの出現頻度m_MPS cをそれぞれ０に初期化する。次に、ステップ３０３で新しい文脈ｃ（ｋ）を得た後、ステップ３０４で、ｃ（ｋ）に応じた各シンボルの推定出現確率を算出する。状態遷移型確率推定では、各文脈ｃ（ｋ）に対応する状態の状態インデックスＩcが記憶されているので、その状態インデックスに対応する劣勢シンボルの推定確率P_LPS（ｋ）＝Ｑ（Ｉc）が、図２０の表を参照することにより得られる。このように、表を参照することで推定確率が得られるので、除算が必要なシンボルカウンタ型確率推定に比べて、確率推定の処理は一般に簡易となる。また、この例では２値情報源を対象としているので、優勢シンボルの推定出現確率P_MPS(k)＝1- P_LPS(k)も容易に算出でき、これらの確率は算術エンコーダユニット１０４に出力される。
【００６６】
確率推定用の変数の更新は以下のように行う。ステップ３０５で得られた新シンボルｓ（ｋ）と、文脈ｃ（ｋ）に対応する優勢シンボルの値ＭＰＳcを条件分岐点３０６で比較し、新シンボルが優勢シンボルか劣勢シンボルかを判断する。
【００６７】
新シンボルが優勢シンボルの場合は、ステップ３１１において、優勢シンボルの出現頻度ｍ_MPS cに１を加える。ここで、条件分岐点３１２において、優勢シンボルの出現頻度ｍ_MPS cが各状態毎に定められた遷移ＭＰＳ出現頻度G（Ｉ）に達したと判断されたならば、まず、操作ブロック３１３において、優勢シンボルの出現頻度ｍ_MPS cを０にリセットする。そして、その時点での状態インデックスＩcが最大値Ｉ_MAX(この例では、１６)でなければ、その文脈の状態インデックスを１段階上げる。また、条件分岐点３１２において、優勢シンボルの出現頻度ｍ_MPS cが各状態毎に定められた規定頻度G（Ｉ）に達していないと判断された場合には、上記処理(３１３〜３１５)は行われない。
【００６８】
新シンボルが劣勢シンボルの場合は、ステップ３０７において、優勢シンボルの出現頻度ｍ_MPS cを０にリセットする。ここで、状態インデックスが最小値(＝０)でなければ、ステップ３０９において、状態インデックスを一段階下げる。状態インデックスが最小値の場合には、優勢シンボルの値ＭＰＳcを反転、つまりＭＰＳc=1-ＭＰＳcとする。以上の更新アルゴリズムによる状態遷移により、出現したシンボルに応じて、推定確率が更新されることになる。
【００６９】
その後、条件分岐点３１６は、シンボルｓ（ｋ）がエンコード／デコードする最後のシンボルかどうかを決めるために試験する。エンコードされるべきシンボルの数は通常既知である。もし既知でなければシンボルの数の表示が適応確率推定器１０６へ供給される。もしステップ３１６の試験結果がＹＥＳなら、適応確率推定器１０６の要素の動作は、ＥＮＤ・ステップ３１７を経て終了する。もしステップ３１６の試験結果がＮＯなら、ステップ３１８で１を加えた増分インデックスｋが作られ、制御はステップ３０３に戻され、ステップ３１６がＹＥＳになるまで、ステップ３０３から３１５までの適切な動作が繰り返される。
【００７０】
以上が、シンボルカウント型適応確率推定器あるいは状態遷移型適応確率推定器と算術エンコーダユニット１０６動作の概要である。
【００７１】
デコーダ１０３は、ライン・インタフェース１０８、算術デコーダ・ユニット１０９、文脈抽出器１１０、および適応確率推定器１１１を含んでいる。ライン・インタフェース１０８はライン・インタフェース１０７の逆の機能を行い、データストリームｓ（ｉ）を得るために、既知の方法で入力信号をデフォーマットする。算術デコーダ・ユニット１０９は、算術エンコーダ・ユニット１０４の逆の機能を行う。このため、受信したデータストリームａ（ｉ）と適応確率推定器１１１からの確率推定は算術デコーダ・ユニット１０９へ供給され、シンボルｓ（ｋ）を得るために既知の方法でそこで使われる。
【００７２】
そのような算術デコーダユニットはこの技術分野では周知である。これは、前に引用した“算術コーディングの圧縮黒白画像”(Compression of Black-White Image with Arithmetic Coding)と題する文献および２値適用の米国特許（ＵＳＰ４，６３３，４９０号）、および多値適用の“データ圧縮用算術コーディング”(Arithmetic Coding for Data Compression)と題する文献に述べられている。文献抽出器１１０は構造も動作も１０５と同一なので説明を省く。同様に１１１も１０６と同一なので説明を省く。
【００７３】
従来例２．
従来例２では、２値シンボルの符号化／復号方法として、米国特許（４１９１９７４号）に示される符号化／復号方法をとりあげる。
【００７４】
この符号化／復号方法では、図２１に示すように、１つ又は複数の２値シンボル列に対して１つの符号語を割り当てる。つまり、符号化は、ある一定数（以下、この一定数を符号次数という）の連続した優勢シンボルが出現した場合、或いは、劣勢シンボルが出現した場合に符号語が確定し、その符号語を出力する。この際、連続する優勢シンボルの数は、符号器内部（又は外部）の優勢シンボルカウンタによって計数され、優勢シンボルの値は、優勢シンボルメモリに記憶され、状態番号（後述）は、状態番号メモリ（図示せず）に記憶される。
【００７５】
符号次数は、任意の自然数を取ることが可能であるが、この例では、２ⁿ （２のｎ乗）に限定して説明する。優勢シンボルの連続出現数（優勢シンボルカウンタの値）が、符号次数と等しくなった場合には、符号次数と等しい数の連続した優勢シンボルに対して１ビットの符号語“０”を割り当てる。また、優勢シンボルの連続出現数が符号次数と等しくなる以前に劣勢シンボルが出現した場合には、直前に符号語を出力してからその劣勢シンボルが出現するまでの優勢シンボルの連続出現数を、ｎビットの２進数で表し、そのｎビットの２進の先頭に優勢シンボルのみの符号語“０”と区別するための１ビットの“１”を加えた（ｎ＋１）ビットの符号語を、いくつかの優勢シンボルとひとつの劣勢シンボルからなるシンボル列に対して割り当てる。符号語が割り当てられる２値シンボル列の単位を、以下メッセージという。符号語が確定し、符号語が出力されると同時に、優勢シンボルカウンタがリセットされる。このように、出力された各符号語を、一連の系列として出力したものが符号となる。一方、符号を復号する場合は、入力される符号を符号語に分解し、復号器毎に２値シンボル列を復元し、画素を再現することによって行われる。
【００７６】
上述した符号化／復号方法では、符号次数を過去の２値シンボル系列から推定される０／１の出現確率に応じて適切な値に切り換えることによって、更に優れた符号化効率を実現することができる。
【００７７】
この次数決定に状態遷移型確率推定を使った第一の例を次に示す。
符号器／復号器が２値シンボル系列を符号化／復号する場合、図２２に示す３２状態のいずれかの状態にあり、その状態に応じて符号次数が定まる。符号器／復号器における状態番号の初期値は、０とする。また、符号化／復号処理開始時において、各符号器／復号器の優勢シンボルカウンタはリセットされる。符号器／復号器は、符号化／復号処理中に符号語が確定するとき状態遷移を実行する。優勢シンボルの連続出現数が符号次数と等しくなった場合には、状態番号を１つ上げる。優勢シンボルの連続出現数が符号次数と等しくなる以前に劣勢シンボルが出現した場合には、状態番号を１つ下げる。ただし、状態番号３１で優勢シンボルの連続出現数が符号次数と等しくなった場合、或いは、状態番号０で劣勢シンボルが出現した場合、符号器／復号器は、状態を遷移させずにそのままとする。
【００７８】
次に符号次数を決定する第二の例として、シンボルカウンタ型確率推定を使った方式、つまり、２値シンボル系列に出現した０、１の個数ｎ₀，ｎ₁を送受信側で同一範囲（例えば、１ライン）で計数し、その計数結果に基づいて、符号次数を計算する方式を示す。この符号次数を決定する方式は、例えば、米国特許（ＵＳＰ４１９１９７４号：対応日本国特許 特公昭５９−２７５０１号公報）に示されている。その計算方式は、２ⁿ⁺¹ｎ₁＞ｎ₀≧２ⁿｎ₁による。ただし、状態遷移先となる符号次数２ⁿ は、既定最高値以下で既定最低値以上とする。
【００７９】
図２１の符号化方式については、次のような性質が知られている。即ち、２つのシンボル“０”，“１”の出現確率が、それぞれｐ，１−ｐ（ｐ≧１／２）なる２値情報源を図２１の方式で符号化するとき、シンボルの出現形態を任意としたときの各次数における最大符号長を最小にするｎは、次式を満たすものである。
【００８０】
【数２７】

【００８１】
従って、上式よりｎを定めれば、ほぼ最適な符号次数が選択できる。
ここで、２値シンボルの計数値、即ち、“０”の計数値をｎ₀、“１”の計数値をｎ₁とすると、
【００８２】
【数２８】

【００８３】
であるから、上式より、
【００８４】
【数２９】

【００８５】
となる。つまり、シンボルカウンタ型確率推定では、ｎ₁を２倍することを繰り返し、その数値がｎ₀を最初に越えた時点で、２倍した回数を次数選択に用いればよい。
【００８６】
【発明が解決しようとする課題】
従来技術のシンボルカウンタ型確率推定は高い劣勢シンボル出現確率を持つ情報源に対し高い符号化性能を有するが、低い劣勢シンボル出現確率を持つ情報源に対しては大きく性能が劣化する。一方、状態遷移型確率推定は、低い劣勢シンボル出現確率を持つ情報源に対してもある程度の性能を維持するものの、高い劣勢シンボル出現確率では、シンボルカウンタ型よりも性能が劣るという問題点があった。
【００８７】
この発明は、以上のような問題点を解決するためになされたものであり、幅広いシンボル出現確率を有する情報源に対しても、常に高い符号化効率を実現することを目的とする。
【００８８】
【課題を解決するための手段】
この発明に係る適応確率推定方法は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定方法において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手順と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手順と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手順と、カウント記憶手順に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順を選択する確率推定判定手順とを備えている。
【００８９】
また、シンボルカウンタ型確率推定手順は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手順に記憶させる累積出現頻度記憶手順と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手順とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。
【００９０】
さらに、状態遷移型確率推定手順は、カウント記憶手順に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手順とを備え、遷移手順は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。
【００９１】
また、他の発明に係る適応符号化方法は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定方法を用いて情報源シンボルを符号化する適応符号化方法において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手順と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手順と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手順と、カウント記憶手順に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順を選択する確率推定判定手順と、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順により推定された出現確率あるいは出現確率に相当する指標を用いて情報源シンボルを符号化する符号化手順とを備えている。
【００９２】
また、シンボルカウンタ型確率推定手順は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手順に記憶させる累積出現頻度記憶手順と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手順とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。
【００９３】
さらに、状態遷移型確率推定手順は、カウント記憶手順に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手順とを備え、遷移手順は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。
【００９４】
また、他の発明に係る適応復号方法は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定方法を用いて、符号化された情報源シンボルを復号する適応復号方法において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手順と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手順と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手順と、カウント記憶手順に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順を選択する確率推定判定手順と、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順により推定された出現確率あるいは出現確率に相当する指標を用いて、符号化された情報源シンボルを復号する復号手順とを備えている。
【００９５】
また、シンボルカウンタ型確率推定手順は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手順に記憶させる累積出現頻度記憶手順と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手順とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。
【００９６】
さらに、状態遷移型確率推定手順は、カウント記憶手順に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手順とを備え、遷移手順は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。
【００９７】
また、他の発明に係る適応確率推定装置は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定装置において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手段と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手段と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手段と、カウント記憶手段に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段を選択する確率推定判定手段とを備えている。
【００９８】
また、シンボルカウンタ型確率推定手段は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手段に記憶させる累積出現頻度記憶手段と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手段とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。
【００９９】
また、状態遷移型確率推定手段は、カウント記憶手段に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手段とを備え、遷移手段は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。
【０１００】
また、他の発明に係る適応符号化装置は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定装置を用いて情報源シンボルを符号化する適応符号化装置において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手段と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手段と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手段と、カウント記憶手段に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段を選択する確率推定判定手段と、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段により推定された出現確率あるいは出現確率に相当する指標を用いて情報源シンボルを符号化する符号化手段とを備えている。
【０１０１】
また、シンボルカウンタ型確率推定手段は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手段に記憶させる累積出現頻度記憶手段と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手段とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。
【０１０２】
さらに、状態遷移型確率推定手段は、カウント記憶手段に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手段とを備え、遷移手段は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。
【０１０３】
また、他の発明に係る適応復号装置は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定装置を用いて、符号化された情報源シンボルを復号する適応復号装置において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手段と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手段と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手段と、カウント記憶手段に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段を選択する確率推定判定手段と、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段により推定された出現確率あるいは出現確率に相当する指標を用いて、符号化された情報源シンボルを復号する復号手段とを備えている。
【０１０４】
また、シンボルカウンタ型確率推定手段は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手段に記憶させる累積出現頻度記憶手段と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手段とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。
【０１０５】
さらに、状態遷移型確率推定手段は、カウント記憶手段に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手段とを備え、遷移手段は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。
【０１０６】
【発明の実施の形態】
実施の形態１．
実施の形態の符号化の一例として、２値データに対するエントロピー符号器として、算術符号器を適用する際の符号化処理手順を示す。
なお、優勢シンボルの領域を下方配置し、符号を有効領域の下界値座標として符号化する。このとき演算精度は２進小数１６ビットで打ち切り、整数部を符号出力とするものとする。
【０１０７】
また、本実施の形態１においては、従来技術の図１７の適応確率推定器１０６と算術エンコーダユニット１０４の処理について説明する。ただし、本実施の形態においては、図１に示すように、適応確率推定器１０６が２つの確率推定器（３５１、３５２）を有し、それらを確率推定切換器３５０（確率推定判定手段）が適応的に切り換えていることが大きな特徴である。ここでは、第一の確率推定器３５１に従来の技術に示したシンボルカウンタ型確率推定（シンボルカウンタ型確率推定手段）を、第二の確率推定器３５２としては、従来の技術に示した状態遷移型確率推定（状態遷移型確率推定手段）を使用している。適応確率推定器１０６と算術エンコーダユニット１０４以外の図１７のエンコーダの構成要素は本実施の形態においても用いることは周知であるので、説明を省略する。ここであえて述べておくが、他の実施の形態においても、図１７のエンコーダの他の構成を用いることは周知である。
【０１０８】
また、本説明で用いる変数は、次の通りである。
Ｃは符号値、
Ａは領域幅値、
ＡＬは劣勢シンボル領域幅値、
ＭＰＳは優勢シンボル値、、
Ｓは入力シンボル値、
Ｎ_LPSは劣勢シンボルの出現頻度（カウンタ）、
Ｎ_Tは両シンボル（０、１）の出現頻度（カウンタ）、
Ｍ_LPSはＭＰＳの連続出現頻度（カウンタ）、
Ｉは状態インデックス、
Ｇ（Ｉ）は、状態インデックスＩの状態の遷移優先シンボル出現頻度、
Ｐは劣勢シンボルの出現確率、
ＦＬＡＧは、その時点で選択している確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグである。
【０１０９】
更にまた、処理手順における定数は、次の通りである。
Ｎ_MAXは、Ｎ_Tの計数最大値、
Ｎ_MINは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移る場合のＮ_LPSの値、
Ｉ_Bは、状態遷移型確率推定での最小状態インデックス、
Ｎ_LPSBは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移った直後のＮ_LPSの値、
Ｎ_TBは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移った直後のＮ_Tの値。
【０１１０】
本実施の形態における符号化処理手順は、次の図２、図３、図４、図５、図６による。図２は図１７の適応確率推定器１０６と算術エンコーダユニット１０４の処理に基づく２値データの算術符号化の処理手順を示すフローチャートである。このフローチャートにおいて、４００はシンボルカウンタ型確率推定のために、優勢シンボル値ＭＰＳ、劣勢シンボル出現頻度Ｎ_LPS，両シンボル出現頻度Ｎ_T、確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧの初期化を行う。４０１は符号値Ｃ、領域幅Ａの初期化を行う。４０２は、シンボルＳを得て、劣勢シンボルの出現確率ＰをＧＥＴＰＲＯＢの呼び出しにより算出する。４０３は、全体の領域幅値Ａに劣勢シンボルの出現確率Ｐを乗算して劣勢シンボルに対応する領域幅値ＡＬを算出する。４０４は、シンボルＳが優勢シンボルか否かを判定する。
【０１１１】
４０４の判定がＹＥＳならば、４０５は、領域幅値Ａを優勢シンボルに対応する領域幅値（Ａ−ＡＬ）に更新するが、符号値Ｃは優勢シンボルが下方配置なので更新は行わない。４０６は、更新された領域幅値Ａが０．５より小さいならば、４０７のＲＥＮＯＲＭＡＬＩＺＥの呼び出しによって０．５以上となるまで領域幅値Ａ、符号値Ｃを２のべき乗倍する正規化処理を行う。４０８は、ＵＰＤＡＴＥＭＰＳの呼び出しによって確率推定のための変数を更新する。
【０１１２】
また、４０４の判定がＮ０ならば、４０９は、下方の優勢シンボルに対応する領域値（Ａ−ＡＬ）を領域下界値である符号値Ｃに加え、また領域幅値Ａを劣勢シンボルに対応する領域幅値ＡＬに更新し、このとき領域幅値Ａが０．５より必ず小さくなるためＲＥＮＯＲＭＡＬＩＺＥの呼び出しによって０．５以上となるまで領域幅値Ａ、符号値Ｃを２のべき乗倍する正規化処理を行う。４１０は、ＵＰＤＡＴＥＬＰＳの呼び出しによって確率推定のための変数を更新する。
【０１１３】
４１１は、処理したシンボルＳが最後か否かを判定し、最後でなければ４０２から４１０の処理を繰り返させる。４１２は、符号化の後処理で、符号値Ｃの小数部（精度ＦＬＵＳＨＢＩＴ＝１６）の１６ビットを２の１６乗倍して整数部に出力させる。要するに、ディジタル信号（データ信号）の符号化にあたり、出現確率の高いシンボルである優勢シンボルと出現確率の低いシンボルである劣勢シンボルとを、数直線上の所定の範囲に対応させ、その数直線上の座標を符号語として出力する。なお、この符号化の一般的内容については特公平８−３４４３４に詳細に記載されている。
【０１１４】
図３は、劣勢シンボルの出現確率Ｐを算出するＧＥＴＰＲＯＢの処理手順である。４２０は、その時点で使用すべき確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧに応じて、劣勢シンボルの出現確率Ｐの算出方法を切り換える（確率推定判定手順）。つまり、ＦＡＬＧ＝０ならば、４２１でシンボルカウンタ型確率推定方式により劣勢シンボルの出現確率Ｐを算出し（シンボルカウンタ型確率推定手順）、ＦＬＡＧ＝１ならば、４２２で状態遷移型確率推定方式により図２０の表に基づき劣勢シンボルの出現確率Ｐを算出する（状態遷移型確率推定手順）。
【０１１５】
図４は、算術符号化変数の正規化処理ＲＥＮＯＲＭＡＬＩＺＥの処理手順である。４３０は、領域幅値Ａ、符号値Ｃを２倍する。４３１は、領域幅値Ａが０．５より小さいならば、０．５以上となるまで４３０の処理を繰り返させる。ここで、領域幅値Ａ、符号値Ｃを同時に２倍するごとに小数部から整数部に符号が１ビット出力される（符号化手順）。
【０１１６】
図５は、劣勢シンボルが出現した場合に確率推定のための変数を更新するＵＰＤＡＴＥＬＰＳの処理手順である。４４０は、その時点で使用すべき確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧに応じて、変数の更新方法を切り換える。つまり、ＦＬＡＧ＝０ならば、シンボルカウンタ型確率推定のための変数を更新し、ＦＬＡＧ＝１ならば、状態遷移型確率推定のための変数を更新する。
【０１１７】
ＦＬＡＧ＝０の場合、４４１は、劣勢シンボルの出現頻度カウンタＮ_LPSおよび両シンボルの出現頻度カウンタＮ_Tに、それぞれ１を加える（累積出現頻度カウント手順）。４４２は、両シンボルの出現頻度カウンタＮ_Tが、予め規定された最大値Ｎ_MAXに達したか否かを判断し、最大値Ｎ_MAXに達したならば４４３によって、Ｎ_LPS、Ｎ_Tをそれぞれ、（Ｎ_LPS＋１）／２、（Ｎ_T＋１）／２に半減させる（半減手順）。次に、４４４は、４４１から４４３の処理により、現在劣勢シンボルとみなしているシンボルが優勢シンボルになっていないかを判断する。もし、Ｎ_T＜Ｎ_LPS×２ならば、４４５は、Ｎ_LPSに、Ｎ_T−Ｎ_LPSを代入すると共に、優勢シンボル値ＭＰＳの値を反転し、優勢シンボルと劣勢シンボルを入れ換える。
【０１１８】
ＦＬＡＧ＝１の場合、４５０は、優勢シンボルの連続出現頻度Ｍ_MPSを０にリセットし、状態インデックスＩを一段階下げる。４５１は、状態インデックスＩが、シンボルカウンタ型から状態遷移型に移行した直後の状態インデックスＩ_B未満の値となったか否かを判断する。最小値Ｉ_B未満の値とならなければ、これ以降も確率推定は状態遷移型で続けられる。もし、最小値Ｉ_B未満の値となったならば、確率推定方式は状態遷移型からシンボルカウンタ型に変更される。そのために、４５２は、劣勢シンボルの出現頻度Ｎ_LPS、両シンボルの出現頻度Ｎ_Tを定数Ｎ_LPSB、Ｎ_TBに再度設定し直す。さらに、４５３は、使用する確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧを０に設定する。
【０１１９】
図６は、優勢シンボルが出現した場合に確率推定のための変数を更新するＵＰＤＡＴＥＭＰＳの処理手順である。４６０は、その時点で使用すべき確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧに応じて、変数の更新方法を切り換える。つまり、ＦＬＡＧ＝０ならば、シンボルカウンタ型確率推定のための変数を更新し、ＦＬＡＧ＝１ならば、状態遷移型確率推定のための変数を更新する。
【０１２０】
ＦＬＡＧ＝０の場合、４６１は、両シンボルの出現頻度カウンタＮ_Tに１を加える。４６２は、両シンボルの出現頻度カウンタＮ_Tが、予め規定された最大値Ｎ_MAXに達したか否かを判断する。最大値Ｎ_MAXに達していなければ、ＵＰＤＡＴＥＭＰＳの処理は終了し、これ以降も確率推定はシンボルカウンタ型で行われる。最大値Ｎ_MAXに達した場合には、さらに４６３が、その劣勢シンボルの出現頻度Ｎ_LPSが予め設定された最小値Ｎ_MIN以下か否かを判断する。Ｎ_LPSがＮ_MINよりも大きければ４６４によって、Ｎ_LPS、Ｎ_Tをそれぞれ、（Ｎ_LPS＋１）／２、（Ｎ_T＋１）／２に半減させ、これ以降も確率推定はシンボルカウンタ型で行われる。Ｎ_LPSがＮ_MIN以下の場合には、確率推定方式はシンボルカウンタ型から状態遷移型に変更される。そのために、４６５は、状態インデックスＩを、定数Ｉ_Bに設定し、優勢シンボルの連続出現頻度Ｍ_MPSを０にリセットする。更に、４６６は、使用する確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧを１に設定する。
【０１２１】
ＦＬＡＧ＝１の場合、４７０は、優勢シンボルの連続出現頻度Ｍ_MPSに１を加える。４７１は、優勢シンボルの連続出現頻度Ｍ_MPSが図２０の表に示した遷移優勢シンボル出現頻度Ｇ（Ｉ）に達したか否かを判断する。遷移優勢シンボル出現頻度Ｇ（Ｉ）に達していない場合には、ＵＰＤＡＴＥＭＰＳの処理は終了する。優勢シンボルの連続出現頻度Ｍ_MPSが遷移優勢シンボル出現頻度Ｇ（Ｉ）に達した場合には、４７２において、優勢シンボルの連続出現頻度Ｍ_MPSを０にリセットする。そして、その時点での状態インデックスＩが最大値Ｉ_MAX(この例では、１６)でなければ、４７４において状態インデックスＩを１段階引き上げる。
【０１２２】
図７は本発明による確率推定の適応化の様子を示している。図の左半分は、シンボルカウンタ型確率推定における、劣勢シンボル／優先シンボル出現に伴う推定劣勢シンボル出現確率の推移を示している（四角で囲んだ数値が推定劣勢シンボル出現確率＝劣勢シンボル出現頻度／両シンボル出現頻度。ただし、N_MAX=256, N_MIN=1, I_B=8, N_LPSB=1, N_TB=128としている）。シンボルカウンタ型確率推定での推定劣勢シンボル出現確率が１／２５５である時に、優勢シンボルが出現すると、確率推定方式は図の右半分に示す状態遷移型に変わる。楕円が各状態を表しており、楕円内の数値がその状態での推定劣勢シンボル出現確率を示している。本実施の形態で述べた状態遷移型確率推定では、複数個の連続した優勢シンボルの出現あるいは１個の劣勢シンボルの出現に伴い、図に示すように状態が遷移する。
【０１２３】
上記説明した処理手順はシングルコンテクストを仮定して説明しているが、マルチコンテクストで扱うとき、４０２でシンボルＳと同時にコンテクストＣＸを得てそれをインデクスとする配列（テーブル）として対応すればよい。 例えば、ＭＰＳ（ＣＸ）は、優勢シンボル値、Ｎ_LPS（ＣＸ）は、劣勢シンボルの出現頻度（カウンタ）、Ｎ_T（ＣＸ）は両シンボルの出現頻度（カウンタ）、Ｍ_MPS（ＣＸ）は、優勢シンボルの連続出現頻度（カウンタ）、Ｉ（ＣＸ）は状態インデックスとする。
【０１２４】
上記説明での算術符号化部は優勢シンボルを劣勢シンボルに対して下位配置としているが、上位配置でも構わない。また、与えられる２値データに対して算術符号化部に２値算術符号化を適用しているが、多値データが与えられる場合には多値算術符号化に置き換えて適用できる。さらに、最終符号値から最小有効桁数への修正処理及び終端に続く符号ビット０の省略処理の実行に関わらす、確率推定精度と符号化効率を本質的に向上させる効果に何ら影響を与えるものではない。
【０１２５】
上記説明での算術符号化部として、確率領域の分割に掛け算を使用する算術符号を使用しているが、例えば「ITU-T Recommendation T.82, "Information Technology - Coded Representation of Picture and Audio Information - Progressive Bi-level Image Compression"」などに示されている掛け算を使用しない確率領域分割処理を簡易化した算術符号を適用することも可能である。
【０１２６】
また、上記説明では、シンボルカウンタ型確率推定において、優勢シンボルと両シンボルの累積出現頻度をカウントしているが、優勢シンボルと劣勢シンボルの累積出現をカウントすること、あるいはシンボル０とシンボル１の累積出現頻度をカウントすることも可能である。
【０１２７】
また、上記説明では、状態遷移型確率推定において、表４に示す状態のセットを使ったが、これら以外の状態のセットを使うことも可能である。更に、状態遷移の規則として、その状態で発生したＭＰＳの連続出現頻度に基づいた遷移規則を説明したが、状態遷移型確率推定方式はこれに限らず、例えば「ITU-T Recommendation T.82, "Information Technology - Coded Representation of Picture and Audio Information - Progressive Bi-level Image Compression"」に記載されている算術符号の状態遷移規則などを適用することも可能である。
【０１２８】
劣勢シンボルの出現確率の異なる複数のランダムデータ系列（Ｐ＝２^-1〜２^-13）を計算機で発生させ、それぞれを実際に本発明を使った算術符号化器で符号化した際の符号化効率（＝エントロピ／符号量）を図８に示す。ただし、それぞれの確率のランダムデータ系列をシングルコンテクストで符号化し、N_MAX＝２５６、N_MIN＝１、I_B＝８、N_LPSB＝１、N_TB＝１２８としている。また、参考のために、従来の技術で示した確率推定方式、つまりシンボルカウント型確率推定のみを使った場合と状態遷移型確率推定方式のみを使った場合の符号化効率も併せて示した。図８からわかるように、シンボルカウンタ型確率推定は高い劣勢シンボル出現確率を持つシンボルに対し高い符号化性能を有するが、低い劣勢シンボル出現確率を持つシンボルに対しては大きく性能が劣化する。また、状態遷移型確率推定は、低い劣勢シンボル出現確率を持つシンボルに対してもある程度の性能を維持するものの、高い劣勢シンボル出現確率では、シンボルカウンタ型よりも性能が劣っている。これらに対し、本発明による確率推定方式では、幅広い劣勢シンボル出現確率において、従来の確率推定方式と同等かそれ以上の符号化効率を実現していることがわかる。
【０１２９】
実施の形態２．
この実施の形態の復号の一例として、２値データに対するエントロピー復号器として、算術復号器を適用する際の復号処理手順を示す。なお、優勢シンボルの領域を下方配置し、符号は有効領域の下界値座標として復号する。このとき演算精度は２進小数１６ビットで打ち切り、整数部を符号出力とするものとする。
【０１３０】
また、本実施の形態２においては、従来技術の図１７の適応確率推定器１１１と算術デコーダユニット１０９の処理について説明する。ただし、本実施の形態においては、図９に示すように、適応確率推定器１１１が２つの確率推定器（３５６、３５７）を有し、それらを確率推定切換器３５５（確率推定判定手段）が適応的に切り換えていることが大きな特徴である。ここでは、第一の確率推定器３５６に従来の技術に示したシンボルカウンタ型確率推定（シンボルカウンタ型確率推定手段）を、第二の確率推定器３５７には従来の技術に示した状態遷移型確率推定（状態遷移型確率推定手段）を使用している。適応確率推定器１１１と算術デコーダユニット１０９以外の図１７のデコーダの構成要素は本実施の形態においても用いることは周知であるので、説明を省略する。
【０１３１】
また、本説明で用いる変数、Ｃ、Ａ、ＡＬ、ＭＰＳ、Ｎ_LPS、Ｎ_T、Ｍ_LPS、Ｉ、Ｐ、ＦＬＡＧは、実施の形態１と同じなので説明は省略する。変数に関して、実施の形態１との違いは、Ｓが出力シンボル値であること、符号ビットを表す変数ａが新たに加わったことである。
【０１３２】
更にまた、処理手順における定数Ｎ_MAX、Ｎ_MIN、Ｉ_B、Ｎ_LPSB、Ｎ_TBは、実施の形態１と同様なので説明は省略する。
【０１３３】
本実施の形態における復号処理手順は、次の図１０、図１１、図３、図５、図６による。図１０は図１７の適応確率推定器１１１と算術デコーダユニット１０９の処理に基づく２値データの算術符号化の処理手順を示すフローチャートである。このフローチャートにおいて、５００はシンボルカウンタ型確率推定のために、優勢シンボル値ＭＰＳ、劣勢シンボル出現頻度Ｎ_LPS，両シンボル出現頻度Ｎ_T、確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧの初期化を行う。５０１は符号値Ｃ、領域幅Ａの初期化を行う。ここで、領域幅Ａは、符号化時と同様A=1と設定されるが、符号値Ｃについては、符号データａを符号値Ｃのレジスタ長のビット数だけ読み込み、符号値Ｃの初期値として設定する。５０２は、劣勢シンボルの出現確率ＰをＧＥＴＰＲＯＢの呼び出しにより算出する。５０３は、全体の領域幅値Ａに劣勢シンボルの出現確率Ｐを乗算して劣勢シンボルに対応する領域幅値ＡＬを算出する。
【０１３４】
５０４は、優勢シンボルの領域幅Ａ−ＡＬと符号値Ｃの大小を判定する。符号値Ｃの方が小さければ、復号シンボルはＭＰＳとなるので、５０５は、復号シンボル値ＳにＭＰＳを代入する。そして、５０６は、領域幅値Ａを優勢シンボルに対応する領域幅値（Ａ−ＡＬ）に更新するが、符号値Ｃは優勢シンボルが下方配置なので更新は行わない。５０７は、更新された領域幅値Ａが０．５より小さいか否かを判断し、０．５より小さいならば、５０８のＲＥＮＯＲＭ＿ＤＥＣの呼び出しによって０．５以上となるまで領域幅値Ａ、符号値Ｃを２のべき乗倍する正規化処理を行う。５０９は、ＵＰＤＡＴＥＭＰＳの呼び出しによって確率推定のための変数を更新する。
【０１３５】
５０４で、符号値Ｃの方が優勢シンボルの領域幅Ａ−ＡＬより大きいと判断されたならば、復号シンボルは劣勢シンボルとなるので、５１０は、復号シンボル値Ｓに劣勢シンボル値１−ＭＰＳを代入する。そして、５１１は、下方配置されている優勢シンボルに対応する領域値（Ａ−ＡＬ）を符号値Ｃから減算し、また領域幅値Ａを劣勢シンボルに対応する領域幅値ＡＬに更新する。このとき領域幅値Ａが０．５より必ず小さくなるためＲＥＮＯＲＭ＿ＤＥＣの呼び出しによって０．５以上となるまで領域幅値Ａ、符号値Ｃを２のべき乗倍する正規化処理を行う。５１２は、ＵＰＤＡＴＥＬＰＳの呼び出しによって確率推定のための変数を更新する。
【０１３６】
５１３は、復号したシンボルＳが最後か否かを判定し、最後でなければ５００から５１２の処理を繰り返させる。要するに、ディジタル信号（データ信号）の復号にあたり、出現確率の高いシンボルである優勢シンボルと出現確率の低いシンボルである劣勢シンボルとを、数直線上の所定の範囲に対応させ、符号語が示すその数直線上の座標が含まれる領域に対応するシンボルを復号シンボルとする。
【０１３７】
図１１は、算術符号化変数の正規化処理ＲＥＮＯＲＭ＿ＤＥＣの処理手順である。５３０は、領域幅値Ａ、符号値Ｃを２倍する。５３１は、符号データから次に復号すべき符号データを１ビット読み出し、符号値Ｃの最下位ビットに設定する。５３１は、領域幅値Ａが０．５より小さいならば、０．５以上となるまで５３０、５３１の処理を繰り返させる。
【０１３８】
劣勢シンボルの出現確率Ｐを算出するＧＥＴＰＲＯＢの処理手順（図３）、劣勢シンボルが出現した場合に確率推定のための変数を更新するＵＰＤＡＴＥＬＰＳの処理手順（図５）、優勢シンボルが出現した場合に確率推定のための変数を更新するＵＰＤＡＴＥＭＰＳの処理手順（図６）は、実施の形態１と同一であるので説明を省略する。
【０１３９】
なお、上記説明した処理手順はシングルコンテクストを仮定して説明しているが、マルチコンテクストで扱うとき、次の変数を、５０２でＬＰＳ出現確率を推定する前にコンテクストＣＸを得てそれをインデクスとする配列（テーブル）として対応すればよい。例えば、ＭＰＳ（ＣＸ）は、優勢シンボル値、Ｎ_LPS（ＣＸ）は、劣勢シンボルの出現頻度（カウンタ）、Ｎ_T（ＣＸ）は両シンボルの出現頻度（カウンタ）、Ｍ_MPS（ＣＸ）は、優勢シンボルの連続出現頻度（カウンタ）、Ｉ（ＣＸ）は状態インデックスとする。
【０１４０】
上記説明での算術復号部は優勢シンボルを劣勢シンボルに対して下位配置としているが、上位配置でも構わない。また、与えられる２値データに対して算術復号部に２値算術復号を適用しているが、多値データが与えられる場合には多値算術復号に置き換えて適用できる。
【０１４１】
上記説明での算術符号化部として、確率領域の分割に掛け算を使用する算術符号を使用しているが、例えば「ITU-T Recommendation T.82, "Information Technology - Coded Representation of Picture and Audio Information - Progressive Bi-level Image Compression"」などに示されている掛け算を使用しない算術符号を適用することも可能である。
【０１４２】
また、上記説明では、シンボルカウンタ型確率推定において、優勢シンボルと両シンボルの累積出現頻度をカウントしているが、優勢シンボルと劣勢シンボルの累積出現をカウントすること、シンボル０とシンボル１の累積出現頻度をカウントすることなども可能である。
【０１４３】
また、上記説明では、状態遷移型確率推定において、表４に示す状態のセットを使ったが、これら以外の状態のセットを使うことも可能である。更に、状態遷移の規則として、その状態で発生したＭＰＳの連続出現頻度に基づいた遷移規則を説明したが、状態遷移型確率推定方式はこれに限らず、例えば「ITU-T Recommendation T.82, "Information Technology - Coded Representation of Picture and Audio Information - Progressive Bi-level Image Compression"」に記載されている算術符号の状態遷移規則を適用することも可能である。
【０１４４】
実施の形態３．
本実施の形態３においては、従来技術の図１７の算術エンコーダユニット１０４の代わりに図２１で示した２値エントロピー符号化を用いた符号化器を使用している。以下、この２値エントロピー符号化と確率推定の処理をフローチャートを用いて説明する。
【０１４５】
確率推定器は、実施の形態１と同様に、図１に示すよう２つの確率推定器（３５１、３５２）を有し、それらを確率推定切換器３５０が適応的に切り換えている。本実施の形態では、第一の確率推定器３５１にシンボルカウンタ型確率推定を、第二の確率推定器３５２には、状態遷移型確率推定を使用する例を示す。適応確率推定器１０６と算術エンコーダユニット１０４以外の図１７のエンコーダの構成要素は本実施の形態においても用いることは周知であるので、説明を省略する。
【０１４６】
また、本説明で用いる変数は、次の通りである。
ＭＰＳは優勢シンボル値、、
Ｓは入力シンボル値、
Ｎ_LPSは劣勢シンボルの出現頻度（カウンタ）、
Ｎ_MPSは優勢シンボルの出現頻度（カウンタ）、
Ｍ_LPSは優勢シンボルの連続出現頻度（カウンタ）、
Ｉは状態インデックス、
Ｐは劣勢シンボルの出現確率、
ＦＬＡＧは、その時点で選択している確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグ、
ＲＣは、符号次数、
Ｒ（Ｉ）は、状態インデックスＩの状態の符号次数、
Ｊ、Ｎ_TMPは、演算処理に使う一時的な変数である。
【０１４７】
更にまた、処理手順における定数は、次の通りである。
Ｎ_MAXは、Ｎ_MPSあるいはＮ_LPSの計数最大値、
Ｎ_MINは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移る際のＮ_LPSの値、
Ｉ_Bは、状態遷移型確率推定での最小状態インデックス、
Ｎ_LPSBは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移った直後のＮ_LPSの値、
Ｎ_MPSBは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移った直後のＮ_MPSの値。
【０１４８】
本実施の形態における符号化処理手順は、次の図１２、図１３、図１４、図１５による。図１２は、本発明の適応確率推定方式と図２１に示す２値エントロピー符号化の処理手順を示すフローチャートである。このフローチャートにおいて、６００は、優勢シンボル値ＭＰＳ、劣勢シンボル出現頻度Ｎ_LPS，優勢シンボル出現頻度Ｎ_MPS、確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧ、符号次数ＲＣ、優勢シンボル連続出現頻度Ｍ_MPSの初期化を行う。優勢シンボル連続出現頻度Ｍ_MPSとは、前回符号語を出力してから発生した優勢シンボルの出現頻度で、符号語を出力する度に０にリセットされる。
【０１４９】
６０１は、入力シンボルＳを得て、６０２はそのシンボルＳが優勢シンボルか劣勢シンボルかを判定する。６０２の判定がＹＥＳならば、つまり、優勢シンボルが発生したならば、６０３は、優勢シンボル連続出現頻度Ｍ_MPSに１を加える。そして、６０４は、優勢シンボル連続出現頻度Ｍ_MPSが符号次数ＲＣに達したか否かを判断し、達したならば６０６は、１ビットの符号語０を出力する。次に、６０７のＵＰＤＡＴＥＭＰＳ＿ＢＬＫ１の呼び出しにより、符号次数と確率推定のための変数を更新する。６０８は、優勢シンボル連続出現頻度Ｍ_MPSを０にリセットし、次の符号語の出力に備える。
【０１５０】
６０４が優勢シンボル連続出現頻度Ｍ_MPSが符号次数ＲＣに達していないと判断したならば、６０５のＵＰＤＡＴＥＭＰＳ＿ＢＬＫ０の呼び出しにより、確率推定のための変数を更新する。なお、符号次数ＲＣ更新は、符号語を出力したときにだけ行うので、ＵＰＤＡＴＥＭＰＳ＿ＢＬＫ０では、符号次数の更新は行わない。
【０１５１】
次に、６０２で入力シンボルが劣勢シンボルと判断された場合には、６０９が符号を出力する。従来例２の説明で述べられているように、１ビットの１を出力した後、優勢シンボル連続出現頻度Ｍ_MPSをlog₂ＲＣ桁の２進数で表現して出力する。この後、６１０のＵＰＤＡＴＥＬＰＳ＿ＢＬＫの呼び出しにより、符号次数と確率推定のための変数を更新し、６０８は優勢シンボル連続出現頻度Ｍ_MPSを０にリセットして次の符号語の出力に備える。
【０１５２】
６１２は、処理したシンボルＳが最後か否かを判定し、最後でなければ６０１から６１１の処理を繰り返させる。
【０１５３】
図１３は、劣勢シンボルが出現した場合に、符号次数と確率推定のための変数を更新するＵＰＤＡＴＥＬＰＳ＿ＢＬＫの処理手順である。６２０は、その時点で使用すべき確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧに応じて、変数の更新方法を切り換える。つまり、ＦＬＡＧ＝０ならば、シンボルカウンタ型確率推定のための変数を更新し、ＦＬＡＧ＝１ならば、状態遷移型確率推定のための変数を更新する。
【０１５４】
ＦＬＡＧ＝０の場合、６２１は、劣勢シンボルの出現頻度カウンタＮ_LPSに１を加える。６２２は、劣勢シンボルの出現頻度カウンタＮ_LPSが、予め規定された最大値Ｎ_MAXに達したか否かを判断し、最大値Ｎ_MAXに達したならば６２３によって、Ｎ_LPS、Ｎ_MPSをそれぞれ、（Ｎ_LPS＋１）／２、（Ｎ_MPS＋１）／２に半減させる。次に、６２４は、６２１から６２３の処理により、現在劣勢シンボルとみなしているシンボルが優勢シンボルになっていないかを判断する。もし、Ｎ_MPS＜Ｎ_LPSならば、６２５は、Ｎ_LPSとＮ_MPSの値を入れ換えると共に、優勢シンボル値ＭＰＳの値を反転する。
【０１５５】
次に、６２６から６２９は符号次数ＲＣの更新を行う。従来例２で述べたように、シンボルカウンタ型確率推定では、Ｎ_LPSを２倍することを繰り返し、その数値がＮ_MPSを最初に越えた時点で、２倍した回数を次数選択に用いればよい。６２６は、２倍する回数を示すカウンタＪを０にセットする。６２７は、２^J+1×Ｎ_LPSとＮ_MPSの大小を比較し、Ｎ_MPSが小さければ、６２８でＪに１を加え再度、比較を行う。２^J+1×Ｎ_LPSよりＮ_MPSの方が、大きければ、６２９は符号次数ＲＣを２^Jに設定する。
【０１５６】
６２０でＦＬＡＧ＝１と判断された場合、つまり状態遷移型確率推定の場合、６３０は、状態インデックスＩを一段階下げる。ここで、６３１は、状態インデックスＩが、シンボルカウンタ型から状態遷移型に移行した直後の状態インデックスＩ_B未満の値となったか否かを判断する。最小値Ｉ_B未満の値にならなければ、６３４は、状態インデックスＲＣを状態インデックスＩの状態の符号次数Ｒ（Ｉ）に更新し、これ以降も確率推定は状態遷移型で続けられる。
【０１５７】
Ｉが最小値Ｉ_B未満の値となったならば、確率推定方式は状態遷移型からシンボルカウンタ型に変更される。そのために、６３２は、劣勢シンボルの出現頻度カウンタＮ_LPS、優勢シンボルの出現頻度カウンタＮ_MPSを定数Ｎ_LPSB、Ｎ_MPSBに再度設定し直す。さらに、６３３は、使用する確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧを０に設定する。そして、６２６から６２９の処理を行い、更新されたＮ_LPS、Ｎ_MPSに基づく新たな符号次数ＲＣを算出する。
【０１５８】
図１４は、優勢シンボルが出現し、かつ符号語を出力しなかった場合に確率推定のための変数を更新するＵＰＤＡＴＥＭＰＳ＿ＢＬＫ０の処理手順である（符号語を出力しなかった場合には、符号次数ＲＣは更新しない）。６５０は、その時点で使用すべき確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧに応じて、変数の更新方法を切り換える。
【０１５９】
ＦＬＡＧ＝０の場合、状態遷移型確率推定の変数の更新はないため、そのままＵＰＤＡＴＥＭＰＳ＿ＢＬＫ１を終了し、これ以降も同じ符号次数で符号化が行われる。
【０１６０】
ＦＬＡＧ＝１の場合、符号次数は更新しないが、確率推定のための変数Ｎ_MPS、Ｎ_LPSは、更新する必要がある。６５１は、優勢シンボルの出現頻度カウンタＮ_MPSに１を加える。６５２は、優勢シンボルの出現頻度カウンタＮ_MPSが、予め規定された最大値Ｎ_MAXに達したか否かを判断する。最大値Ｎ_MAXに達していなければ、ＵＰＤＡＴＥＭＰＳ＿ＢＬＫ０の処理は終了し、これ以降も確率推定はシンボルカウンタ型で行われる。最大値Ｎ_MAXに達した場合には、さらに６５３が、劣勢シンボルの出現頻度Ｎ_LPSが予め設定された最小値Ｎ_MIN以下か否かを判断する。
【０１６１】
Ｎ_LPSがＮ_MINよりも大きければ、６５５は、Ｎ_LPS、Ｎ_MPSをそれぞれ、（Ｎ_LPS＋１）／２、（Ｎ_MPS＋１）／２に半減させる。Ｎ_LPSがＮ_MIN以下の場合、算術符号を使用した実施の形態１では確率推定方式がシンボルカウンタ型から状態遷移型に変更されたが、本実施の形態では、符号語出力時のみ確率推定方式の変更を行うため、ここでは変更しない。ただ、これ以降も優勢シンボルの発生が続いて次に符号語が出力された時に状態遷移型へ移れるように、６５４はＮ_MPSから１を引き、シンボル出現頻度のカウンタをＵＰＤＡＴＥＭＰＳ＿ＢＬＫ０実行前の値に戻しておく。
【０１６２】
図１５は、優勢シンボルが出現し、かつ符号語を出力した場合に符号次数および確率推定のための変数を更新するＵＰＤＡＴＥＭＰＳ＿ＢＬＫ１の処理手順である。６６０は、その時点で使用すべき確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧに応じて、変数の更新方法を切り換える。つまり、ＦＬＡＧ＝０ならば、シンボルカウンタ型確率推定のための変数を更新し、ＦＬＡＧ＝１ならば、状態遷移型確率推定のための変数を更新する。
【０１６３】
ＦＬＡＧ＝０の場合、６６１は、優勢シンボルの出現頻度カウンタＮ_MPSに１を加える。６６２は、優勢シンボルの出現頻度カウンタＮ_MPSが、予め規定された最大値Ｎ_MAXに達したか否かを判断する。最大値Ｎ_MAXに達していなければ、６６８〜６７１は、ＵＰＤＡＴＥＬＰＳ＿ＢＬＫの６２６から６２９の処理と同様に、符号次数ＲＣを算出する。そして、ＵＰＤＡＴＥＭＰＳ＿ＢＬＫ１の処理は終了し、これ以降も確率推定はシンボルカウンタ型で行われる。
【０１６４】
６６２で優勢シンボルの出現頻度カウンタＮ_MPSが最大値Ｎ_MAXに達したと判断された場合には、さらに６６３が、劣勢シンボルの出現頻度カウンタＮ_LPSが予め設定された最小値Ｎ_MIN以下か否かを判断する。Ｎ_LPSがＮ_MINよりも大きければ６６７によって、Ｎ_LPS、Ｎ_MPSをそれぞれ、（Ｎ_LPS＋１）／２、（Ｎ_MPS＋１）／２に半減する。更に、Ｎ_LPS、Ｎ_MPSに基づいて６６８から６７１が、符号次数を算出し、これ以降も確率推定はシンボルカウンタ型で行われる。Ｎ_LPSがＮ_MIN以下の場合には、確率推定方式はシンボルカウンタ型から状態遷移型に変更される。そのために、６６４は、状態インデックスＩを、状態遷移へ変更後の初期状態のインデックスであるＩ_Bに設定し、６６５はその状態の符号次数Ｒ（Ｉ）を符号次数ＲＣに代入する。更に、６６６は、使用する確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧを１に設定する。
【０１６５】
ＦＬＡＧ＝１の場合、６７２は、状態インデックスＩが最大値Ｉ_MAX(図２２の例では、３１)に達したか否かを判断し、達していなければ、６７３は状態インデックスＩを１段階引き上げる。次に、６７４は、符号次数ＲＣを設定し、ＵＰＤＡＴＥＭＰＳ＿ＢＬＫ１の処理は終了する。
【０１６６】
上記説明した処理手順はシングルコンテクストを仮定して説明しているが、マルチコンテクストで扱うとき、６０１でシンボルＳと同時にコンテクストＣＸを得てそれをインデクスとする配列（テーブル）として対応すればよい。例えば、ＭＰＳ（ＣＸ）は、優勢シンボル値、Ｎ_LPS（ＣＸ）は、劣勢シンボルの出現頻度（カウンタ）、Ｎ_MPS（ＣＸ）は優勢シンボルの出現頻度（カウンタ）、Ｍ_MPS（ＣＸ）は、優勢シンボルの連続出現頻度（カウンタ）、Ｉ（ＣＸ）は状態インデックス、ＲＣ（ＣＸ）は符号次数とする。この時、メッセージの先頭符号化シンボルの発生順に符号語を伝送する必要があるが、この符号語の順序制御については、米国特許（ＵＳＰ４１９１９７４号）に記載されている。
【０１６７】
また、上記説明では、シンボルカウンタ型確率推定において、優勢シンボルと劣勢シンボルの累積出現頻度をカウントしているが、優勢シンボルと両シンボル（０と１）の累積出現をカウントすること、あるいはシンボル０とシンボル１の累積出現頻度をカウントすることも可能である。また、上記説明では、状態遷移型確率推定において、表４Ｂに示す３２状態のセットを使ったが、これら以外の状態のセットを使うことも可能である。
【０１６８】
実施の形態４．
本実施の形態４においては、従来技術の図１７の算術デコーダユニット１０９の代わりに図２１で示した符号を用いた復号器を使用している。以下、この２値エントロピー復号と確率推定の処理をフローチャートを用いて説明する。確率推定器は、実施の形態２と同様に、図９に示すよう２つの確率推定器（３５６、３５７）を有し、それらを確率推定切換器３５５が適応的に切り換えている。本実施の形態では、第一の確率推定器３５６にシンボルカウンタ型確率推定を、第二の確率推定器３５７には、状態遷移型確率推定を使用する例を示す。適応確率推定器１１１と算術デコーダユニット１０９以外の図１７のデコーダの構成要素は本実施の形態においても用いることは周知であるので、説明を省略する。
【０１６９】
また、本説明で用いる変数は、次の通りである。
ＭＰＳは優勢シンボル値、、
Ｓは出力シンボル値、
Ｎ_LPSは劣勢シンボルの出現頻度（カウンタ）、
Ｎ_MPSは優勢シンボルの出現頻度（カウンタ）、
Ｍ_LPSは復号したメッセージ内のまだ出力していない劣勢シンボルの個数（カウンタ）、
Ｍ_MPSは復号したメッセージ内のまだ出力していない優勢シンボルの個数（カウンタ）、
Ｉは状態インデックス、
Ｐは劣勢シンボルの出現確率、
ＦＬＡＧは、その時点で選択している確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグ、
ＲＣは、符号次数、
Ｒ（Ｉ）は、状態インデックスＩが示す状態の符号次数である。
【０１７０】
更にまた、処理手順における定数は、次の通りである。
Ｎ_MAXは、Ｎ_MPSあるいはＮ_LPSの計数最大値、
Ｎ_MINは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移る場合のＮ_LPSの値、
Ｉ_Bは、状態遷移型確率推定での最小状態インデックス、
Ｎ_LPSBは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移った直後のＮ_LPSの値、
Ｎ_MPSBは、確率推定方式が状態遷移型確率推定からシンボルカウンタ型確率推定に移った直後のＮ_MPSの値である。
【０１７１】
本実施の形態における符号化処理手順は、次の図１６、図１３、図１４、図１５による。図１６は、本発明の適応確率推定方式と図２１に示す符号を用いた場合の復号処理手順を示すフローチャートである。このフローチャートにおいて、７００は、優勢シンボル値ＭＰＳ、劣勢シンボル出現頻度Ｎ_LPS，優勢シンボル出現頻度Ｎ_MPS、確率推定方式がシンボルカウンタ型か状態遷移型かを示すフラグＦＬＡＧ、符号次数ＲＣ、復号メッセージ内の優勢シンボル個数Ｍ_MPS、劣勢シンボル個数Ｍ_LPSの初期化を行う。
【０１７２】
７０１は、復号メッセージ内のまだ出力していない優勢シンボル個数Ｍ_MPSと劣勢シンボル個数Ｍ_LPSが共に０か否かを判定する。共に０の場合、つまり復号したメッセージを全て出力し終わってしまった場合には、７０２が、符号データから次の符号語を読み込み、図２１の表に従ってその符号語に対応するメッセージを復号し、そのメッセージ内の優勢シンボル個数、劣勢シンボル個数をＭ_MPS，Ｍ_LPSに設定する。
【０１７３】
７０３は、メッセージ内のまだ出力していない優勢シンボル個数Ｍ_MPSが０より大きいか否かを判断する。０より大きければ、優勢シンボルを出力する。つまり、７０４が復号シンボルＳに優勢シンボルを代入し、７０５は、メッセージ内の優勢シンボル個数Ｍ_MPSから１を減じる。次に、符号次数あるいは確率推定のための変数の更新を行うが、符号次数の更新は復号したメッセージを完全に出力し終わった後だけに行う。そこで、７０６は、復号メッセージ内のまだ出力していない優勢シンボル個数Ｍ_MPSと劣勢シンボル個数Ｍ_LPSが共に０か否か、つまり前回復号したメッセージを完全に出力し終わったか否かを判定する。Ｍ_MPSとＭ_LPSが共に０ならば、７０８のＵＰＤＡＴＥＭＰＳ＿ＢＬＫ１の呼び出しにより、符号次数と確率推定のための変数を更新する。Ｍ_MPSとＭ_LPSが共に０でなければ、７０７のＵＰＤＡＴＥＭＰＳ＿ＢＬＫ０の呼び出しにより、確率推定のための変数を更新する。
【０１７４】
次に、７０３でメッセージ内のまだ出力していない優勢シンボル個数Ｍ_MPSが０であると判断された場合には（この場合、Ｍ_LPSは必ず１である）、劣勢シンボルを出力する。つまり、７０９が復号シンボルＳに劣勢シンボルを代入し、７１０は、メッセージ内の劣勢シンボル個数Ｍ_LPSから１を減じる。そして、７１１のＵＰＤＡＴＥＬＰＳ＿ＢＬＫの呼び出しにより、符号次数と確率推定のための変数を更新する。
【０１７５】
７１２は、処理したシンボルＳが最後か否かを判定し、最後でなければ７０１から７１１の処理を繰り返させる。
【０１７６】
劣勢シンボルを出力した後に符号次数、確率推定のための変数を更新するＵＰＤＡＴＥＬＰＳ＿ＢＬＫの処理手順（図１３）、メッセージ内に出力していないシンボルが残っている場合に、確率推定のための変数を更新するＵＰＤＡＴＥＬＰＳ＿ＢＬＫ０の処理手順（図１４）、優勢シンボルのみからなるメッセージ内の全てのシンボルを出力した後、符号次数、確率推定のための変数を更新するＵＰＤＡＴＥＭＰＳ＿ＢＬＫ１の処理手順（図１５）は、実施の形態３と同一であるので説明を省略する。
【０１７７】
上記説明した処理手順はシングルコンテクストを仮定して説明しているが、マルチコンテクストで扱うとき、６０１でシンボルＳと同時にコンテクストＣＸを得てそれをインデクスとする配列（テーブル）として対応すればよい。 例えば、ＭＰＳ（ＣＸ）は、優勢シンボル値、Ｎ_LPS（ＣＸ）は、劣勢シンボルの出現頻度（カウンタ）、Ｎ_MPS（ＣＸ）は優勢シンボルの出現頻度（カウンタ）、Ｍ_MPS（ＣＸ）は、優勢シンボルの連続出現頻度（カウンタ）、Ｉ（ＣＸ）は状態インデックス、ＲＣ（ＣＸ）は符号次数とする。この時、メッセージの先頭符号化シンボルの発生順に符号語を伝送する必要があるが、この符号語の順序制御については、米国特許（ＵＳＰ４１９１９７４号）に記載されている。
【０１７８】
また、上記説明では、シンボルカウンタ型確率推定において、優勢シンボルと劣勢シンボルの累積出現頻度をカウントしているが、優勢シンボルと両シンボル（０と１）の累積出現をカウントすること、あるいはシンボル０とシンボル１の累積出現頻度をカウントすることも可能である。また、上記説明では、状態遷移型確率推定において、表４Ｂに示す３２状態のセットを使ったが、これら以外の状態のセットを使うことも可能である。
【０１７９】
【発明の効果】
この発明に係る適応確率推定方法は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定方法において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手順と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手順と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手順と、カウント記憶手順に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順を選択する確率推定判定手順とを備えている。そのため、幅広いシンボル出現確率を有する情報源に対しても、情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができる。
【０１８０】
また、シンボルカウンタ型確率推定手順は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手順に記憶させる累積出現頻度記憶手順と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手順とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。そのため、累積出現頻度の記憶を少なくできると共に、各情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができる。
【０１８１】
さらに、状態遷移型確率推定手順は、カウント記憶手順に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手順とを備え、遷移手順は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。そのため、予め設定された複数の状態間を遷移させることにより、情報源シンボルの出現確率あるいは出現確率に相当する指標を推定することができる。
【０１８２】
また、他の発明に係る適応符号化方法は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定方法を用いて情報源シンボルを符号化する適応符号化方法において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手順と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手順と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手順と、カウント記憶手順に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順を選択する確率推定判定手順と、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順により推定された出現確率あるいは出現確率に相当する指標を用いて情報源シンボルを符号化する符号化手順とを備えている。そのため、幅広いシンボル出現確率を有する情報源に対しても、情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができ、常に高い符号化効率を実現する。
【０１８３】
また、シンボルカウンタ型確率推定手順は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手順に記憶させる累積出現頻度記憶手順と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手順とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。そのため、累積出現頻度の記憶を少なくできると共に、各情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができ、常に高い符号化効率を実現する。
【０１８４】
さらに、状態遷移型確率推定手順は、カウント記憶手順に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手順とを備え、遷移手順は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。そのため、予め設定された複数の状態間を遷移させることにより、情報源シンボルの出現確率あるいは出現確率に相当する指標を推定することができ、常に高い符号化効率を実現する。
【０１８５】
また、他の発明に係る適応復号方法は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定方法を用いて、符号化された情報源シンボルを復号する適応復号方法において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手順と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手順と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手順と、カウント記憶手順に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順を選択する確率推定判定手順と、シンボルカウンタ型確率推定手順または状態遷移型確率推定手順により推定された出現確率あるいは出現確率に相当する指標を用いて、符号化された情報源シンボルを復号する復号手順とを備えている。そのため、幅広いシンボル出現確率を有する情報源に対しても、情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができ、常に高い復号化効率を実現する。
【０１８６】
また、シンボルカウンタ型確率推定手順は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手順に記憶させる累積出現頻度記憶手順と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手順とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。そのため、累積出現頻度の記憶を少なくできると共に、各情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができ、常に高い復号化効率を実現する。
【０１８７】
さらに、状態遷移型確率推定手順は、カウント記憶手順に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手順とを備え、遷移手順は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。そのため、予め設定された複数の状態間を遷移させることにより、情報源シンボルの出現確率あるいは出現確率に相当する指標を推定することができ、常に高い復号化効率を実現する。
【０１８８】
また、他の発明に係る適応確率推定装置は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定装置において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手段と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手段と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手段と、カウント記憶手段に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段を選択する確率推定判定手段とを備えている。そのため、幅広いシンボル出現確率を有する情報源に対しても、情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができる。
【０１８９】
また、シンボルカウンタ型確率推定手段は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手段に記憶させる累積出現頻度記憶手段と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手段とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。そのため、累積出現頻度の記憶を少なくできると共に、各情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができる。
【０１９０】
また、状態遷移型確率推定手段は、カウント記憶手段に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手段とを備え、遷移手段は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。そのため、予め設定された複数の状態間を遷移させることにより、情報源シンボルの出現確率あるいは出現確率に相当する指標を推定することができる。
【０１９１】
また、他の発明に係る適応符号化装置は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定装置を用いて情報源シンボルを符号化する適応符号化装置において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手段と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手段と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手段と、カウント記憶手段に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段を選択する確率推定判定手段と、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段により推定された出現確率あるいは出現確率に相当する指標を用いて情報源シンボルを符号化する符号化手段とを備えている。そのため、幅広いシンボル出現確率を有する情報源に対しても、情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができ、常に高い符号化効率を実現する。
【０１９２】
また、シンボルカウンタ型確率推定手段は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手段に記憶させる累積出現頻度記憶手段と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手段とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。そのため、累積出現頻度の記憶を少なくできると共に、各情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができ、常に高い符号化効率を実現する。
【０１９３】
さらに、状態遷移型確率推定手段は、カウント記憶手段に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手段とを備え、遷移手段は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。そのため、予め設定された複数の状態間を遷移させることにより、情報源シンボルの出現確率あるいは出現確率に相当する指標を推定することができ、常に高い符号化効率を実現する。
【０１９４】
また、他の発明に係る適応復号装置は、情報源シンボルの累積出現頻度に基づいて推定される符号化対象シンボルの出現確率あるいは出現確率に相当する指標から符号化パラメータを選択する適応確率推定装置を用いて、符号化された情報源シンボルを復号する適応復号装置において、情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスを記憶するカウント記憶手段と、情報源シンボルの出現頻度に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定するシンボルカウンタ型確率推定手段と、各情報源シンボルの状態間の遷移に基づき、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する状態遷移型確率推定手段と、カウント記憶手段に記憶された情報源シンボルの出現頻度あるいは情報源シンボルの状態のインデックスに基づいて、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段を選択する確率推定判定手段と、シンボルカウンタ型確率推定手段または状態遷移型確率推定手段により推定された出現確率あるいは出現確率に相当する指標を用いて、符号化された情報源シンボルを復号する復号手段とを備えている。そのため、幅広いシンボル出現確率を有する情報源に対しても、情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができ、常に高い復号化効率を実現する。
【０１９５】
また、シンボルカウンタ型確率推定手段は、全情報源シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度あるいは、優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度をカウントし、カウント記憶手段に記憶させる累積出現頻度記憶手段と、各々の累積出現頻度が所定の値に達した場合、累積出現頻度を半減する半減手段とを備え、全情報源シンボルの累積出現頻度と劣勢シンボルの累積出現頻度との比あるいは優勢シンボルの累積出現頻度及び劣勢シンボルの累積出現頻度との比から、各情報源シンボルの出現確率あるいは出現確率に相当する指標を推定する。そのため、累積出現頻度の記憶を少なくできると共に、各情報源シンボルの出現確率あるいは出現確率に相当する指標を確実に推定することができ、常に高い復号化効率を実現する。
【０１９６】
さらに、状態遷移型確率推定手段は、カウント記憶手段に記憶された情報源シンボルのインデックスと出現した情報源シンボルに応じて、情報源シンボルの状態を予め設定された複数の状態間を遷移させることにより推定する遷移手段とを備え、遷移手段は、各情報源シンボルの状態に定められている出現確率あるいは出現確率に相当する指標を、その情報源シンボルの出現確率あるいは出現確率に相当する指標であると推定する。そのため、予め設定された複数の状態間を遷移させることにより、情報源シンボルの出現確率あるいは出現確率に相当する指標を推定することができ、常に高い復号化効率を実現する。
【図面の簡単な説明】
【図１】 本発明の適応確率推定装置を算術エンコーダユニットに用いた場合の要部を示す構成図である。
【図２】 適応確率推定器と算術エンコーダユニットの処理に基づく２値データの算術符号化の処理手順を示すフローチャートである。
【図３】 劣勢シンボルの出現確率Ｐを算出する処理手順を示す図である。
【図４】 算術符号化変数の正規化処理の処理手順を示す図である。
【図５】 劣勢シンボルが出現した場合に確率推定のための変数を更新する処理手順を示す図である。
【図６】 優勢シンボルが出現した場合に確率推定のための変数を更新する処理手順を示す図である。
【図７】 確率推定の適応化の様子を示す図である。
【図８】 劣勢シンボルの出現確率の異なる複数のランダムデータ系列を計算機で発生させ、それぞれを実際に算術符号化器で符号化した際の符号化効率を示す図である。
【図９】 本発明の適応確率推定装置を算術デコーダユニットに用いた場合の要部を示す構成図である。
【図１０】 適応確率推定器と算術デコーダユニットの処理に基づく２値データの算術符号化の処理手順を示すフローチャートである。
【図１１】 算術符号化変数の正規化処理の処理手順を示す図である。
【図１２】 適応確率推定方式と２値エントロピー符号化の処理手順を示すフローチャートである。
【図１３】 劣勢シンボルが出現した場合に、符号次数と確率推定のための変数を更新する処理手順を示す図である。
【図１４】 優勢シンボルが出現し、かつ符号語を出力しなかった場合に確率推定のための変数を更新する処理手順を示す図である。
【図１５】 優勢シンボルが出現し、かつ符号語を出力した場合に符号次数および確率推定のための変数を更新する処理手順を示す図である。
【図１６】 適応確率推定方式と図２１に示す符号を用いた場合の復号処理手順を示すフローチャートである。
【図１７】 従来のエントロピー・エンコーダの簡単化したブロック・ダイヤグラムを示す図である。
【図１８】 シンボルカウンタ型の適応確率推定器の動作を示す図である。
【図１９】 状態遷移型の適応確率推定器の動作を示す図である。
【図２０】 各状態に対する推定劣勢シンボル出現確率Ｑ（Ｉ）、遷移優勢シンボル出現頻度Ｇ（Ｉ）を予め設定しておく例を示す図である。
【図２１】 １つ又は複数の２値シンボル列に対して１つの符号語を割り当てる符号化／復号方法を示す図である。
【図２２】 符号器／復号器が２値シンボル系列を符号化／復号する場合その状態に応じて符号次数が定まる様子を示す図である。
【符号の説明】
４２０ 確率推定判定手順、４２１ シンボルカウンタ型確率推定手順、４２２ 状態遷移型確率推定手順、４３０ 符号化手順、４４１ カウント記憶手順、４４３ 半減手順、３５０，３５５ 確率推定切換器（確率推定判定手段）、３５１，３５６ 第一の確率推定器（シンボルカウンタ型確率推定手段）、３５２，３５７ 第一の確率推定器（状態遷移型確率推定手段）。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an adaptive probability estimation method, an adaptive encoding method, an adaptive decoding method, an adaptive probability estimation device, an adaptive encoding device, and an adaptive decoding device in data signal encoding, particularly entropy encoding.
[0002]
[Prior art]
Conventional Example 1
In order to realize highly efficient entropy coding and decoding, it is known that probability estimation of a signal to be encoded and then decoded is necessary. In arithmetic encoding (encoding) and decoding (decoding), it is possible to compress large data by estimating the probability with high accuracy. For this reason, it is desirable to adapt the probability estimation to changes in symbol probabilities.
[0003]
Conventionally known US patents (USP 5025258) and Japanese patents (JP-B-8-34433) disclose that the degree of adaptation to the estimated probability of symbols to be encoded or decoded is optimized. The above conventional technique will be described in detail with reference to FIGS.
[0004]
FIG. 17 shows a simplified block diagram of a conventional entropy encoder 101 that accepts symbols s (k) and encodes these symbols s (k) into a data stream a (i). And these symbols s (k) are transmitted to the remote entropy decoder 103 via the transmission medium 102. The entropy decoder 103 decodes it as a replica of the transmitted symbol s (k) through the transmission medium to obtain a receiver data stream. Symbol s (k) is element (0,..., S−1), that is,
[0005]
[Expression 1]

[0006]
including. Thus, the symbols are given in the desired multi-value or binary.
Accordingly, the encoder 101 includes an arithmetic encoder unit 104, a context extractor 105, an adaptive probability estimator 106, and a line interface 107 in this example. The symbol s (k) and the probability estimate p (k) are fed to the arithmetic encoder unit 104, where known methods are used to produce the encoded data stream a (i).
[0007]
Such arithmetic encoder units are well known in the art. IEEE Transaction on Communications VOL.cos-29.P858-867 published in June 1981 entitled "Compression of Black-White Image with Arithmetic Coding" and binary elements US Pat. No. 4,633,490, issued Dec. 30, 1986, relating to an arithmetic encoder / decoder for encoding / decoding symbols having a symbol, and further an arithmetic for encoding / decoding symbols having multi-value elements Revealed in the literature titled "Arithmetic Coding for Data Compression" in Communications of the ACM Vol. 30, No. 6, P.520-540, published in June 1987 on encoders / decoders It is.
[0008]
The line interface 107 interfaces the encoded data stream a (i) and sends it to the transmission medium 102, which in turn supplies the remote decoder 103. For this reason, the line interface 107 includes a suitable device for formatting the data stream into the signal format used by the transmission medium 102. These include transport trunks, ISDN basic subscriber lines, and local area networks. Such line interfaces are well known in the art.
The context extractor 105 is the context of the received symbol s (k), here
[0009]
[Expression 2]

[0010]
Get. That is, the context extractor 105 generates a unique context (ie, state) for the symbol s (k) based on the previously supplied symbol. Taking, for example, an image compression system, the symbol s (k) represents the color of the current pixel to be encoded, and the context c (k) is determined by the color of the previous pixel as described above. For example, the color of the previous pixel (P) that is adjacent to the current pixel in the same line and the previous pixel (A) on the line immediately before the current pixel is the binary application symbol s (k Is used to create the context c (k) for Thus, if both pixel P and pixel A are white, c (k) is 0, and if pixel P is white and pixel A is black, c (k) is 1 and pixel P is black. If pixel A is white, c (k) is 2. If both pixel P and pixel A are black, c (k) is 3. In the US patent (USP 4,633,490), another context extractor (state creator) using the binary system is shown. It will be clear to those skilled in the art how such a binary context extractor has been extended to obtain a multi-valued context. The extracted and expressed context c (k) is supplied to the adaptive probability estimator 106.
The adaptive probability estimator 106 receives the input signal
[0011]
[Equation 3]

[0012]
And related context
[0013]
[Expression 4]

[0014]
Probability estimate for
[0015]
[Equation 5]

[0016]
Used to make.
[0017]
The adaptive probability estimator 106 can be roughly divided into a symbol count type and a state transition type. Each adaptive probability estimator will be described below.
[0018]
(1) Symbol count type adaptive probability estimator
The symbol count type adaptive probability estimator is a method of calculating the appearance probability from the past number of appearances of the symbol s (k). For example, the idea is shown in US Pat. No. 5,025,258.
[0019]
The symbol count adaptive probability estimator 106 is an array with dimensions S and C (n _{s, c} ) Until the end. Where each element n of the array _{s, c} Is the accumulation, or “count,” of the occurrence of symbol s in context c, where s and c are n in the array _{s, c} A dummy index that identifies the location of The adaptive probability estimator 106 can be easily implemented by appropriately programming a computer or digital signal processor. However, a better mode of mounting is envisioned to be in the form of a highly integrated (VLSI) circuit on a semiconductor chip.
[0020]
The flowchart of FIG. 18 shows the operation of the symbol counter type adaptive probability estimator 106. The operation of adaptive probability estimator 106 begins at start step 201. Next, the operation block 202 sets k = 0,
[0021]
[Formula 6]

[0022]
And all that should be
[0023]
[Expression 7]

[0024]
When
[0025]
[Equation 8]

[0026]
N for _{s, c} Initialize the count. Where N _{s, c} Is a predetermined value. The operation block 203 obtains a new context c (k). It is noted that the new context is the same as the previously obtained context. Next, action block 204
[0027]
[Equation 9]

[0028]
Get the sum of counts Z for the context c (k) obtained for. That is,
[0029]
[Expression 10]

[0030]
The action block 205 causes the adaptive probability estimator 106 (FIG. 17) to output probability estimates that are sequentially supplied to the arithmetic encoder unit 104 (FIG. 17). Since this probability estimate is the first run, it is based only on the initial condition and the obtained context c (k). In the next run, the probability estimation is based on the sum or accumulation of the occurrence count of the symbol s (k) for the context c (k). In this way, step 205 outputs a probability estimate. That is,
[0031]
[Expression 11]

[0032]
[Expression 12]

[0033]
Operation block 206 obtains an encoded symbol s (k). Action block 207 increments the count for the resulting symbol s (k) and context c (k) by one. That is,
[0034]
[Formula 13]

[0035]
Is increased by one.
The action block 208 obtains at least a first characteristic and at least a second characteristic of the defined set of parameters. In this example, each element of the defined set of parameters is a function of the accumulation or count depending on the context of the received symbol being encoded. That is, the predetermined set of parameters is the number of occurrences that “accumulate” the occurrence of symbol s (k) for context c (k), ie, n _{0, c (k)} , ..., n _{s-1, c (k)} It is. In this example, at least the first characteristic is a minimum value of the accumulated number of appearances for the context c (k). That is,
[0036]
[Expression 14]

[0037]
In this example, at least the second characteristic is the maximum value of the accumulated number of appearances for the context c (k). That is,
[0038]
[Expression 15]

[0039]
Conditional branch point 209 has at least a first characteristic that is at least equal to or greater than a first threshold value, ie,
[0040]
[Expression 16]

[0041]
Or at least the second characteristic is at least equal to or greater than the second threshold, ie
[0042]
[Expression 17]

[0043]
Test to determine.
It is important that the use of at least the first characteristic (MIN) allows optimization of the degree of adaptation of the adaptive probability estimator 106 (FIG. 17). In this example, at least the first characteristic that is MIN described above and a small threshold value T that is 8 ₁ It is solved by using. Thus, conventionally, each possible signal generation for context c (k), ie (0,..., S−1), is
[0044]
[Expression 18]

[0045]
It must occur at least 8 times to satisfy the condition. As a result, at least the first characteristic MIN and at least the first threshold value T ₁ Use of = 8 creates an adaptation rate that ideally matches the actual probability value being evaluated. Since it is not construed as limiting the scope in this example, taking the application of binary and the probability of being evaluated as ½, the accumulated occurrence will reduce the context c (k) to approximately
[0046]
[Equation 19]

[0047]
Adjusted after being referenced once. For a probability that is evaluated as ¼, the context c (k) is approximately
[0048]
[Expression 20]

[0049]
After being referenced once, the cumulative occurrence is adjusted, and for the probability of being evaluated 1/8, the context c (k) is approximately
[0050]
[Expression 21]

[0051]
After being referenced once, the cumulative occurrence is adjusted. In this way, the adaptation speed is faster for larger (not smaller) probability values being evaluated, and inevitably slower for smaller probability values being evaluated. Adjustment of the adaptation speed is apparent from steps 209 and 210.
[0052]
The at least second characteristic that is the MAX in this example is at least a second threshold T ₂ Is used to prevent overflow during the accumulation of the occurrence of symbol s (k) in context c (k). Unless the probability of being evaluated is even an abnormally small value, MAX is not a characteristic that requires parameter adjustment. For example, T ₂ The value of is 2048. That means that another characteristic of the set of parameters is used. For example, the total Z obtained in step 204 is used instead of MAX.
In this way, the conditional expression
[0053]
[Expression 22]

[0054]
Or expression
[0055]
[Expression 23]

[0056]
If either of these is satisfied, returning to step 209, operation block 210 adjusts the symbol elements accumulated in context c (k). Adjustment of the adaptation speed is realized by step 210 in conjunction with step 209 responsible for the adjustment, eg all
[0057]
[Expression 24]

[0058]
The so-called halving set by the following equation for the accumulative occurrence for the context c (k) for determines the displayed accumulative or count.
[0059]
[Expression 25]

[0060]
Conventionally, the formula MINT ₁ Or the formula MAXT ₂ The count is adjusted in the same way when either condition is satisfied, but for certain applications it may be more convenient to adjust the count separately for each of the above conditions. Note that once the count is adjusted, it is an indication of the cumulative occurrence. This cumulative occurrence adjustment is subordinate to having a probability estimate for a newer occurrence in context c (k). As mentioned above, MINT ₁ The degree of adaptation ideally matches the actual probability being evaluated by adjusting the cumulative occurrence that occurs according to That is, MAXT ₂ The adjustment of the cumulative occurrence of the symbol s (k) in the context c (k) that occurs in response to Protects possible arithmetic overflow conditions in rare situations where very small probability values are estimated That is.
[0061]
The conditional branch point 211 is then tested to determine if the symbol s (k) is the last symbol to encode / decode. The number of symbols to be encoded is usually known. If not known, an indication of the number of symbols is provided to adaptive probability estimator 106. If the test result in step 211 is YES, the operation of the elements of the adaptive probability estimator 106 ends through END and step 212. If the test result in step 211 is NO, an incremental index k plus 1 is created in step 213, control is returned to step 203, and appropriate action from step 203 to 211 is performed until step 211 becomes YES. Repeated.
[0062]
(2) State transition type adaptive probability estimator
With state transition type adaptive probability estimation, a plurality of states having probabilities corresponding to each of the states are set in advance, and the state of the current stay is determined as the estimated probability by transitioning between states based on a certain rule. This is a probability estimation method. For example, the concept is described in Japanese Patent Publication No. 8-34433. The symbol count type probability estimation requires a memory for storing the cumulative appearance frequency of the symbol s (k) for each context c (k) and a division for calculating the probability, whereas the state transition type has an estimated probability for each state. Since the probability can be estimated by referring to the table showing, generally, there is a feature that it is simple and can be processed at high speed.
[0063]
In this example, the input data is binary data,
[Equation 26]

[0064]
And the appearance probability P of the symbol (dominant symbol) whose appearance probability is estimated to be higher than the other symbol. _MPS And the appearance probability P of a symbol (inferior symbol) estimated to have a low appearance probability _LPS Is estimated. In this example, there are 17 states, and as shown in the table of FIG. 20, the estimated inferior symbol appearance probability Q (I) and transition dominant symbol appearance frequency G (I) for each state are set in advance. Also, the probability estimator, for each context c, the state index Ic (0 ≦ Ic ≦ 16) of the current state, the value MPSc (0 or 1) of the dominant symbol, and the frequency of the dominant symbol generated in the current state m _MPS It is necessary to memorize c.
[0065]
The flowchart of FIG. 19 shows the operation of the state transition type adaptive probability estimator 106. Starting from the start step 301, at step 302, the index k of the input data is set to k = 0, and variables for each context, that is, the state index Ic, the dominant symbol value MPSc, and the appearance frequency m of the dominant symbol. _MPS Initialize c to 0 respectively. Next, after obtaining a new context c (k) in step 303, in step 304, an estimated appearance probability of each symbol corresponding to c (k) is calculated. In the state transition type probability estimation, since the state index Ic of the state corresponding to each context c (k) is stored, the inferior symbol estimated probability P corresponding to the state index is stored. _LPS (K) = Q (Ic) is obtained by referring to the table of FIG. As described above, since the estimation probability is obtained by referring to the table, the probability estimation processing is generally simpler than the symbol counter type probability estimation that requires division. In this example, since the binary information source is targeted, the estimated appearance probability P of the dominant symbol P _MPS (k) = 1-P _LPS (k) can also be easily calculated, and these probabilities are output to the arithmetic encoder unit 104.
[0066]
Updating the variables for probability estimation is performed as follows. The new symbol s (k) obtained in step 305 is compared with the dominant symbol value MPSc corresponding to the context c (k) at the conditional branch point 306 to determine whether the new symbol is a dominant symbol or an inferior symbol.
[0067]
If the new symbol is the dominant symbol, in step 311 the frequency of appearance of the dominant symbol m _MPS Add 1 to c. Here, at the conditional branch point 312, the appearance frequency m of the dominant symbol _MPS If it is determined that c has reached the transition MPS appearance frequency G (I) determined for each state, first, in the operation block 313, the appearance frequency m of the dominant symbol. _MPS Reset c to 0. The state index Ic at that time is the maximum value I _MAX If not (16 in this example), the state index of the context is increased by one level. Also, at the conditional branch point 312, the appearance frequency m of the dominant symbol _MPS When it is determined that c does not reach the specified frequency G (I) determined for each state, the above processing (313 to 315) is not performed.
[0068]
If the new symbol is an inferior symbol, in step 307, the appearance frequency m of the dominant symbol. _MPS Reset c to 0. If the state index is not the minimum value (= 0), the state index is lowered by one step in step 309. When the state index is the minimum value, the dominant symbol value MPSc is inverted, that is, MPSc = 1−MPSc. Due to the state transition by the above update algorithm, the estimated probability is updated according to the appearing symbol.
[0069]
Thereafter, conditional branch point 316 tests to determine if symbol s (k) is the last symbol to encode / decode. The number of symbols to be encoded is usually known. If not known, an indication of the number of symbols is provided to adaptive probability estimator 106. If the test result in step 316 is YES, the operation of the elements of the adaptive probability estimator 106 ends via END and step 317. If the test result in step 316 is NO, an incremental index k plus 1 is created in step 318, control is returned to step 303, and appropriate actions from step 303 to 315 are performed until step 316 becomes YES. Repeated.
[0070]
The above is the outline of the operation of the symbol count type adaptive probability estimator or the state transition type adaptive probability estimator and the arithmetic encoder unit 106.
[0071]
The decoder 103 includes a line interface 108, an arithmetic decoder unit 109, a context extractor 110, and an adaptive probability estimator 111. The line interface 108 performs the reverse function of the line interface 107 and deformats the input signal in a known manner to obtain the data stream s (i). The arithmetic decoder unit 109 performs the reverse function of the arithmetic encoder unit 104. For this, the received data stream a (i) and the probability estimate from the adaptive probability estimator 111 are fed to the arithmetic decoder unit 109 and used there in a known manner to obtain the symbol s (k).
[0072]
Such arithmetic decoder units are well known in the art. This is because of the previously cited reference entitled “Compression of Black-White Image with Arithmetic Coding” and a binary US patent (US Pat. No. 4,633,490), and a multi-valued application. It is described in a document entitled “Arithmetic Coding for Data Compression”. Since the document extractor 110 has the same structure and operation as 105, a description thereof will be omitted. Similarly, 111 is the same as 106 and will not be described.
[0073]
Conventional Example 2
In Conventional Example 2, the encoding / decoding method disclosed in US Pat. No. 4,191,974 is taken up as a binary symbol encoding / decoding method.
[0074]
In this encoding / decoding method, as shown in FIG. 21, one code word is assigned to one or a plurality of binary symbol sequences. That is, encoding is performed when a certain number of consecutive dominant symbols appear (hereinafter, this certain number is referred to as a code order), or when an inferior symbol appears, the codeword is determined and the codeword is output. To do. At this time, the number of consecutive dominant symbols is counted by the dominant symbol counter inside (or outside) the encoder, the value of the dominant symbol is stored in the dominant symbol memory, and the state number (described later) is stored in the state number memory (described later). (Not shown).
[0075]
The code order can be any natural number, but in this example, 2 ⁿ The description will be limited to (2 to the power of n). When the number of consecutive dominant symbols (the value of the dominant symbol counter) becomes equal to the code order, 1-bit code word “0” is assigned to the number of consecutive dominant symbols equal to the code order. In addition, if the inferior symbol appears before the number of consecutive appearances of the dominant symbol becomes equal to the code order, the number of consecutive appearances of the dominant symbol from the output of the code word immediately before the appearance of the inferior symbol is The number of (n + 1) -bit codewords is expressed by an n-bit binary number, and a 1-bit “1” is added to the top of the n-bit binary to distinguish it from a codeword “0” having only a dominant symbol. This is assigned to a symbol string consisting of the dominant symbol and one inferior symbol. The unit of the binary symbol sequence to which the code word is assigned is hereinafter referred to as a message. At the same time as the code word is determined and the code word is output, the dominant symbol counter is reset. In this way, a code is obtained by outputting each output codeword as a series of sequences. On the other hand, when decoding a code, the input code is decomposed into code words, a binary symbol string is restored for each decoder, and pixels are reproduced.
[0076]
In the encoding / decoding method described above, it is possible to realize further excellent encoding efficiency by switching the code order to an appropriate value according to the appearance probability of 0/1 estimated from the past binary symbol sequence. it can.
[0077]
A first example using state transition type probability estimation for this order determination is shown below.
When the encoder / decoder encodes / decodes a binary symbol sequence, it is in one of the 32 states shown in FIG. 22, and the code order is determined according to that state. The initial value of the state number in the encoder / decoder is 0. Further, at the start of the encoding / decoding process, the dominant symbol counter of each encoder / decoder is reset. The encoder / decoder performs a state transition when a codeword is determined during the encoding / decoding process. When the number of consecutive appearances of dominant symbols becomes equal to the code order, the state number is increased by one. If an inferior symbol appears before the number of consecutive appearances of the dominant symbol becomes equal to the code order, the state number is lowered by one. However, if the number of consecutive dominant symbols in state number 31 is equal to the code order, or if an inferior symbol appears in state number 0, the encoder / decoder keeps the state unchanged. .
[0078]
Next, as a second example of determining the code order, a method using symbol counter type probability estimation, that is, the number n of 0 and 1 appearing in a binary symbol sequence ₀ , N ₁ The code order is calculated based on the counting result on the transmission / reception side in the same range (for example, one line). A method for determining the code order is shown in, for example, US Patent (USP4191914: Japanese Patent Publication No. 59-27501). The calculation method is 2 ^{n + 1} n ₁ > N ₀ ≧ 2 ⁿ n ₁ by. However, the code order 2 as the state transition destination ⁿ Is below the default maximum and above the default minimum.
[0079]
The following properties are known for the encoding method of FIG. That is, when a binary information source in which the appearance probabilities of two symbols “0” and “1” are p and 1-p (p ≧ 1/2), respectively, is encoded by the method of FIG. N that minimizes the maximum code length in each order when ## EQU1 ## satisfies the following expression.
[0080]
[Expression 27]

[0081]
Therefore, if n is determined from the above equation, a substantially optimal code order can be selected.
Here, the count value of the binary symbol, that is, the count value of “0” is n ₀ , The count value of “1” is n ₁ Then,
[0082]
[Expression 28]

[0083]
Therefore, from the above formula,
[0084]
[Expression 29]

[0085]
It becomes. That is, in symbol counter type probability estimation, n ₁ Is repeated twice, and the value is n ₀ When the number is first exceeded, the number doubled may be used for order selection.
[0086]
[Problems to be solved by the invention]
The prior art symbol counter type probability estimation has a high coding performance for an information source having a high inferior symbol appearance probability, but the performance is greatly deteriorated for an information source having a low inferior symbol appearance probability. On the other hand, the state transition type probability estimation maintains a certain level of performance even for information sources having a low inferior symbol appearance probability, but the high inferior symbol appearance probability has a problem that the performance is inferior to the symbol counter type. It was.
[0087]
The present invention has been made to solve the above-described problems, and an object of the present invention is to always realize high coding efficiency even for an information source having a wide symbol appearance probability.
[0088]
[Means for Solving the Problems]
The adaptive probability estimation method according to the present invention is an adaptive probability estimation method for selecting an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. A count storage procedure for storing the appearance frequency of the information source symbol or the index of the state of the information source symbol, and a symbol counter for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on the appearance frequency of the information source symbol Stored in the type probability estimation procedure, the state transition type probability estimation procedure for estimating the appearance probability of each information source symbol or an index corresponding to the appearance probability based on the transition between the states of each information source symbol, and the count storage procedure Based on the appearance frequency of the information source symbol or the index of the state of the information source symbol, And a probability estimation judgment procedure for selecting the Bol counter type probabilistic estimation procedure or stateful probability estimation procedure.
[0089]
The symbol counter type probability estimation procedure counts the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol, or the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. In A cumulative appearance frequency storage procedure to be stored and a half-procedure to halve the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, and the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol.
[0090]
Further, the state transition type probability estimation procedure causes the state of the information source symbol to transition between a plurality of preset states according to the information source symbol index stored in the count storage procedure and the appearing information source symbol. The transition procedure is an index corresponding to the appearance probability or the appearance probability of the information source symbol. Presume that there is.
[0091]
An adaptive coding method according to another invention is an adaptive probability estimation in which a coding parameter is selected from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. In the adaptive encoding method for encoding the information source symbol using the method, each information based on the count storage procedure for storing the appearance frequency of the information source symbol or the index of the state of the information source symbol and the appearance frequency of the information source symbol Based on the symbol counter type probability estimation procedure for estimating the appearance probability of the source symbol or an index corresponding to the appearance probability, and the transition between the states of each information source symbol, the index corresponding to the appearance probability or appearance probability of each information source symbol There is an appearance frequency of the information source symbol stored in the state transition type probability estimation procedure to be estimated and the count storage procedure Is estimated by a probability estimation determination procedure for selecting a symbol counter type probability estimation procedure or a state transition type probability estimation procedure and a symbol counter type probability estimation procedure or a state transition type probability estimation procedure based on the index of the state of the source symbol. The Using the occurrence probability or an index corresponding to the occurrence probability And an encoding procedure for encoding the information source symbol.
[0092]
The symbol counter type probability estimation procedure counts the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol, or the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. In A cumulative appearance frequency storage procedure to be stored and a half-procedure to halve the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, and the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol.
[0093]
Further, the state transition type probability estimation procedure causes the state of the information source symbol to transition between a plurality of preset states according to the information source symbol index stored in the count storage procedure and the appearing information source symbol. The transition procedure is an index corresponding to the appearance probability or the appearance probability of the information source symbol. Presume that there is.
[0094]
An adaptive decoding method according to another invention is an adaptive probability estimation method for selecting a coding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. Using Encoded In an adaptive decoding method for decoding an information source symbol, a count storage procedure for storing an appearance frequency of the information source symbol or an index of the state of the information source symbol, and an appearance probability of each information source symbol based on the appearance frequency of the information source symbol State transition-type probability that estimates an index corresponding to the appearance probability or appearance probability of each source symbol based on the symbol counter type probability estimation procedure for estimating an index corresponding to the appearance probability and the transition between the states of each information source symbol An estimation procedure, and a probability estimation determination procedure for selecting a symbol counter type probability estimation procedure or a state transition type probability estimation procedure based on the appearance frequency of the information source symbol stored in the count storage procedure or the index of the information source symbol state; , Symbol counter type probability estimation procedure or state transition type probability estimation procedure It has been constant Encoded using an occurrence probability or an index corresponding to the occurrence probability And a decoding procedure for decoding the information source symbol.
[0095]
The symbol counter type probability estimation procedure counts the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol, or the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. In A cumulative appearance frequency storage procedure to be stored and a half-procedure to halve the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, and the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol.
[0096]
Further, the state transition type probability estimation procedure causes the state of the information source symbol to transition between a plurality of preset states according to the information source symbol index stored in the count storage procedure and the appearing information source symbol. The transition procedure is an index corresponding to the appearance probability or the appearance probability of the information source symbol. Presume that there is.
[0097]
In addition, an adaptive probability estimation device according to another invention is an adaptive probability estimation that selects an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. In the apparatus, a count storage means for storing an appearance frequency of the information source symbol or an index of the state of the information source symbol and an index corresponding to the appearance probability or the appearance probability of each information source symbol are estimated based on the appearance frequency of the information source symbol A symbol counter type probability estimating means for performing, a state transition type probability estimating means for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on a transition between states of each information source symbol, and a count storage means Based on the frequency of occurrence of the stored source symbol or the index of the source symbol state , And a probability estimation judging means for selecting a symbol counter type probability estimation means or stateful probability estimation means.
[0098]
The symbol counter type probability estimation means counts the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and count storage means In A cumulative appearance frequency storage means for storing, and a halving means for halving the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols; When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol.
[0099]
In addition, the state transition type probability estimating unit shifts the state of the information source symbol between a plurality of preset states according to the index of the information source symbol stored in the count storage unit and the appearing information source symbol. Transition means for estimating the state of each information source symbol, the transition means is an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol. Presume that there is.
[0100]
In addition, the adaptive coding apparatus according to another aspect of the invention is an adaptive probability estimation that selects a coding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. In the adaptive encoding apparatus that encodes the information source symbol using the apparatus, the count storage means for storing the appearance frequency of the information source symbol or the index of the state of the information source symbol, and each information based on the appearance frequency of the information source symbol Based on the transition between the states of each information source symbol, the symbol counter type probability estimating means for estimating the appearance probability of the source symbol or the index corresponding to the appearance probability, and the index corresponding to the appearance probability of each information source symbol There is an appearance frequency of the information source symbol stored in the state transition type probability estimating means to be estimated and the count storage means Is estimated by a probability estimation determination unit that selects a symbol counter type probability estimation unit or a state transition type probability estimation unit, and a symbol counter type probability estimation unit or a state transition type probability estimation unit based on the index of the state of the information source symbol. The Using the occurrence probability or an index corresponding to the occurrence probability Coding means for coding the information source symbol.
[0101]
The symbol counter type probability estimation means counts the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and count storage means In A cumulative appearance frequency storage means for storing, and a halving means for halving the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols; When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol.
[0102]
Further, the state transition type probability estimating means transitions the state of the information source symbol between a plurality of preset states according to the index of the information source symbol stored in the count storage means and the appearing information source symbol. Transition means for estimating the state of each information source symbol, the transition means is an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol. Presume that there is.
[0103]
An adaptive decoding apparatus according to another invention selects an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. Using Encoded In an adaptive decoding apparatus that decodes information source symbols, a count storage unit that stores an appearance frequency of the information source symbols or an index of the state of the information source symbols, and an appearance probability of each information source symbol based on the appearance frequency of the information source symbols Symbol counter type probability estimation means for estimating an index corresponding to the appearance probability, and a state transition type probability for estimating an index corresponding to the appearance probability or appearance probability of each information source symbol based on the transition between the states of each information source symbol An estimation means, and a probability estimation determination means for selecting the symbol counter type probability estimation means or the state transition type probability estimation means based on the appearance frequency of the information source symbol stored in the count storage means or the index of the state of the information source symbol By means of symbol counter type probability estimation means or state transition type probability estimation means It has been constant Encoded using an occurrence probability or an index corresponding to the occurrence probability Decoding means for decoding the information source symbol.
[0104]
The symbol counter type probability estimation means counts the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and count storage means In A cumulative appearance frequency storage means for storing, and a halving means for halving the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols; When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol.
[0105]
Further, the state transition type probability estimating means transitions the state of the information source symbol between a plurality of preset states according to the index of the information source symbol stored in the count storage means and the appearing information source symbol. Transition means for estimating the state of each information source symbol, the transition means is an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol. Presume that there is.
[0106]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
As an example of encoding according to the embodiment, an encoding processing procedure when an arithmetic encoder is applied as an entropy encoder for binary data will be described.
Note that the dominant symbol area is arranged below, and the code is encoded as the lower bound coordinate of the effective area. At this time, it is assumed that the calculation accuracy is truncated at binary decimal 16 bits and the integer part is used as a code output.
[0107]
In the first embodiment, the processing of the adaptive probability estimator 106 and the arithmetic encoder unit 104 of FIG. However, in the present embodiment, as shown in FIG. 1, the adaptive probability estimator 106 has two probability estimators (351, 352), which are replaced by a probability estimation switching device 350 (probability estimation determining means). A major feature is adaptive switching. Here, the first probability estimator 351 uses the symbol counter type probability estimation (symbol counter type probability estimation means) shown in the conventional technique, and the second probability estimator 352 uses the state transition shown in the conventional technique. Type probability estimation (state transition type probability estimation means) is used. Since it is well known that the components of the encoder of FIG. 17 other than the adaptive probability estimator 106 and the arithmetic encoder unit 104 are also used in this embodiment, description thereof will be omitted. It should be noted here that, in other embodiments, it is well known to use other configurations of the encoder of FIG.
[0108]
The variables used in this description are as follows.
C is the sign value,
A is the region width value,
AL is the inferior symbol area width value,
MPS is the dominant symbol value,
S is the input symbol value,
N _LPS Is the appearance frequency (counter) of inferior symbols,
N _T Is the appearance frequency (counter) of both symbols (0, 1),
M _LPS Is the continuous appearance frequency (counter) of MPS,
I is the state index,
G (I) is the transition priority symbol appearance frequency of the state of state index I,
P is the probability of appearance of an inferior symbol,
FLAG is a flag indicating whether the probability estimation method selected at that time is a symbol counter type or a state transition type.
[0109]
Furthermore, the constants in the processing procedure are as follows.
N _MAX Is N _T Counting maximum value,
N _MIN N in the case where the probability estimation method shifts from state transition type probability estimation to symbol counter type probability estimation. _LPS The value of the,
I _B Is the minimum state index in state transition probability estimation,
N _LPSB Is the N immediately after the probability estimation method shifts from the state transition type probability estimation to the symbol counter type probability estimation. _LPS The value of the,
N _TB Is the N immediately after the probability estimation method shifts from the state transition type probability estimation to the symbol counter type probability estimation. _T The value of the.
[0110]
The encoding processing procedure in the present embodiment is based on the following FIG. 2, FIG. 3, FIG. 4, FIG. FIG. 2 is a flowchart showing the processing procedure of arithmetic coding of binary data based on the processing of the adaptive probability estimator 106 and the arithmetic encoder unit 104 of FIG. In this flowchart, 400 is a dominant symbol value MPS, an inferior symbol appearance frequency N for symbol counter type probability estimation. _LPS , Both symbol appearance frequency N _T The flag FLAG indicating whether the probability estimation method is the symbol counter type or the state transition type is initialized. 401 initializes the code value C and the region width A. 402 obtains the symbol S and calculates the appearance probability P of the inferior symbol by calling GETPROB. Step 403 multiplies the entire region width value A by the appearance probability P of the inferior symbol to calculate the region width value AL corresponding to the inferior symbol. 404 determines whether the symbol S is a dominant symbol.
[0111]
If the determination in 404 is YES, 405 updates the region width value A to the region width value (A-AL) corresponding to the dominant symbol, but the code value C is not updated because the dominant symbol is arranged below. If the updated area width value A is smaller than 0.5, a normalization process for multiplying the area width value A and the code value C to a power of 2 until the area width value A becomes 0.5 or more by calling 407 RENORMALIZE. Do. 408 updates a variable for probability estimation by calling UPDATETEMPS.
[0112]
If the determination in 404 is N0, 409 adds the area value (A-AL) corresponding to the lower dominant symbol to the code value C, which is the area lower bound value, and the area width value A corresponds to the inferior symbol. The region width value AL is updated, and since the region width value A is always smaller than 0.5 at this time, the region width value A and the code value C are normalized by a power of 2 until it becomes 0.5 or more by calling RENORMALIZE. Process. 410 updates the variables for probability estimation by calling UPDATATELPS.
[0113]
In step S411, it is determined whether or not the processed symbol S is the last, and if it is not the last, the processes from 402 to 410 are repeated. 412 is a post-processing of encoding, and 16 bits of the decimal part (accuracy FLUSHBIT = 16) of the code value C are multiplied by 2 to the power of 2 and output to the integer part. In short, when encoding a digital signal (data signal), a dominant symbol that is a symbol with a high appearance probability and an inferior symbol that is a symbol with a low appearance probability are made to correspond to a predetermined range on the number line, and the number line The coordinates of are output as codewords. The general contents of this encoding are described in detail in Japanese Patent Publication No. 8-34434.
[0114]
FIG. 3 is a GEPROB processing procedure for calculating the appearance probability P of the inferior symbol. 420 switches the calculation method of the inferior symbol appearance probability P according to the flag FLAG indicating whether the probability estimation method to be used at that time is the symbol counter type or the state transition type (probability estimation determination procedure). In other words, if FALG = 0, the appearance probability P of the inferior symbol is calculated by the symbol counter type probability estimation method at 421 (symbol counter type probability estimation procedure), and if FLAG = 1, at 422 by the state transition type probability estimation method. The appearance probability P of the inferior symbol is calculated based on the table of FIG. 20 (state transition type probability estimation procedure).
[0115]
FIG. 4 is a processing procedure of the normalization processing RENORMALIZE of the arithmetic coding variable. In step 430, the region width value A and the code value C are doubled. If the area width value A is smaller than 0.5, the process 430 repeats the process 430 until it becomes 0.5 or more. Here, every time the region width value A and the code value C are doubled simultaneously, one bit of code is output from the decimal part to the integer part (encoding procedure).
[0116]
FIG. 5 is a UPDATELPS processing procedure for updating a variable for probability estimation when an inferior symbol appears. 440 switches the variable update method according to a flag FLAG indicating whether the probability estimation method to be used at that time is the symbol counter type or the state transition type. That is, if FLAG = 0, the variable for symbol counter type probability estimation is updated, and if FLAG = 1, the variable for state transition type probability estimation is updated.
[0117]
When FLAG = 0, 441 is an inferior symbol appearance frequency counter N _LPS And the appearance frequency counter N of both symbols _T 1 is added to each (accumulation frequency counting procedure). 442 is an appearance frequency counter N of both symbols _T Is a predetermined maximum value N _MAX Whether or not the maximum value N _MAX If 443 is reached, N _LPS , N _T (N _LPS +1) / 2, (N _T +1) / 2 halved (halved procedure). Next, 444 determines whether a symbol currently regarded as an inferior symbol is a dominant symbol by the processing from 441 to 443. If N _T <N _LPS If x2, 445 is N _LPS N _T -N _LPS Is substituted, the dominant symbol value MPS is inverted, and the dominant symbol and the inferior symbol are exchanged.
[0118]
When FLAG = 1, 450 is the frequency M of continuous appearance of dominant symbols. _MPS Is reset to 0, and the state index I is lowered by one step. Reference numeral 451 denotes a state index I immediately after the state index I shifts from the symbol counter type to the state transition type. _B It is determined whether or not the value is less than. Minimum value I _B If it is not less than the value, the probability estimation is continued in the state transition type thereafter. If the minimum value I _B If the value is less than the value, the probability estimation method is changed from the state transition type to the symbol counter type. Therefore, 452 is the appearance frequency N of the inferior symbol. _LPS , Appearance frequency N of both symbols _T Is a constant N _LPSB , N _TB Set again to. Further, 453 sets a flag FLAG indicating whether the probability estimation method to be used is a symbol counter type or a state transition type to 0.
[0119]
FIG. 6 shows the UPDATETEMPS processing procedure for updating a variable for probability estimation when a dominant symbol appears. 460 switches the variable update method according to the flag FLAG indicating whether the probability estimation method to be used at that time is the symbol counter type or the state transition type. That is, if FLAG = 0, the variable for symbol counter type probability estimation is updated, and if FLAG = 1, the variable for state transition type probability estimation is updated.
[0120]
When FLAG = 0, 461 is an appearance frequency counter N of both symbols. _T Add 1 to 462 is an appearance frequency counter N of both symbols _T Is a predetermined maximum value N _MAX It is determined whether or not. Maximum value N _MAX If not, the UPDATETEMPS process is terminated, and the probability estimation is performed in the symbol counter type thereafter. Maximum value N _MAX 463, the inferior symbol appearance frequency N _LPS Is the preset minimum value N _MIN It is determined whether or not: N _LPS Is N _MIN Greater than 464, N _LPS , N _T (N _LPS +1) / 2, (N _T The probability estimation is performed in the symbol counter type thereafter. N _LPS Is N _MIN In the following cases, the probability estimation method is changed from the symbol counter type to the state transition type. Therefore, 465 sets the state index I to the constant I. _B , The frequency of continuous appearance of dominant symbols M _MPS Is reset to 0. Further, 466 sets a flag FLAG indicating whether the probability estimation method to be used is a symbol counter type or a state transition type to 1.
[0121]
When FLAG = 1, 470 is the frequency M of continuous appearance of the dominant symbol. _MPS Add 1 to 471 is the continuous appearance frequency M of the dominant symbol _MPS Whether or not the transition dominant symbol appearance frequency G (I) shown in the table of FIG. 20 has been reached is determined. If the transition dominant symbol appearance frequency G (I) has not been reached, the UPDATETEMPS process ends. Continuous appearance frequency M of dominant symbol _MPS Reaches the transition dominant symbol appearance frequency G (I), at 472, the continuous appearance frequency M of the dominant symbol appears. _MPS Is reset to 0. The state index I at that time is the maximum value I _MAX If it is not (16 in this example), the state index I is raised by one step at 474.
[0122]
FIG. 7 shows how probability estimation is adapted according to the present invention. The left half of the figure shows the transition of the estimated inferior symbol appearance probability associated with the appearance of the inferior symbol / priority symbol in the symbol counter type probability estimation (the numerical value enclosed by a square is the estimated inferior symbol appearance probability = the inferior symbol appearance frequency / Frequency of both symbols, where N _MAX = 256, N _MIN = 1, I _B = 8, N _LPSB = 1, N _TB = 128). When the estimated inferior symbol appearance probability in the symbol counter type probability estimation is 1/255, when a dominant symbol appears, the probability estimation method changes to the state transition type shown in the right half of the figure. An ellipse represents each state, and a numerical value in the ellipse represents an estimated inferior symbol appearance probability in that state. In the state transition type probability estimation described in the present embodiment, the state transitions as shown in the figure with the appearance of a plurality of consecutive dominant symbols or one inferior symbol.
[0123]
The processing procedure described above is described assuming a single context. However, when handling in a multi-context, the context CX may be obtained simultaneously with the symbol S in 402 and correspond to an array (table) that uses it as an index. For example, MPS (CX) is the dominant symbol value, N _LPS (CX) is the appearance frequency (counter) of inferior symbols, N _T (CX) is the appearance frequency (counter) of both symbols, M _MPS (CX) is a continuous appearance frequency (counter) of dominant symbols, and I (CX) is a state index.
[0124]
In the above description, the arithmetic coding unit places the dominant symbol in a lower order with respect to the inferior symbol, but it may be placed in a higher order. Also, binary arithmetic coding is applied to the arithmetic coding unit for given binary data. However, when multi-valued data is given, it can be replaced with multi-valued arithmetic coding. Furthermore, there is any influence on the effect of essentially improving the probability estimation accuracy and the coding efficiency related to the execution of the correction process from the final code value to the minimum number of significant digits and the execution of the process of omitting the sign bit 0 following the end. is not.
[0125]
As the arithmetic coding unit in the above description, an arithmetic code using multiplication for dividing the probability domain is used. For example, “ITU-T Recommendation T.82,“ Information Technology-Coded Representation of Picture and Audio Information- It is also possible to apply an arithmetic code that simplifies the probabilistic region division processing that does not use multiplication shown in “Progressive Bi-level Image Compression” ”.
[0126]
In the above description, the cumulative appearance frequency of the dominant symbol and both symbols is counted in the symbol counter type probability estimation. However, the cumulative appearance of the dominant symbol and the inferior symbol is counted, or the cumulative appearance of the symbol 0 and the symbol 1 is counted. It is also possible to count the appearance frequency.
[0127]
In the above description, in the state transition type probability estimation, the state set shown in Table 4 is used. However, other state sets may be used. Furthermore, although the transition rule based on the continuous appearance frequency of MPS generated in the state has been described as the state transition rule, the state transition type probability estimation method is not limited to this, for example, “ITU-T Recommendation T.82, It is also possible to apply the arithmetic code state transition rules described in "Information Technology-Coded Representation of Picture and Audio Information-Progressive Bi-level Image Compression".
[0128]
A plurality of random data series (P = 2) having different appearance probabilities of inferior symbols ^-1 ~ 2 ^-13 ) Are generated by a computer, and the encoding efficiency (= entropy / code amount) when each is actually encoded by an arithmetic encoder using the present invention is shown in FIG. However, a random data sequence of each probability is encoded in a single context, and N _MAX = 256, N _MIN = 1, I _B = 8, N _LPSB = 1, N _TB = 128. For reference, the coding efficiency in the case of using only the probability estimation method shown in the prior art, that is, the case of using only the symbol count type probability estimation method and the state transition type probability estimation method is also shown. As can be seen from FIG. 8, the symbol counter type probability estimation has a high encoding performance for symbols having a high inferior symbol appearance probability, but the performance is greatly degraded for symbols having a low inferior symbol appearance probability. In addition, although the state transition type probability estimation maintains a certain level of performance even for symbols having a low inferior symbol appearance probability, the performance is inferior to the symbol counter type at a high inferior symbol appearance probability. On the other hand, it can be seen that the probability estimation method according to the present invention achieves encoding efficiency equal to or higher than that of the conventional probability estimation method over a wide range of inferior symbol appearance probabilities.
[0129]
Embodiment 2. FIG.
As an example of decoding in this embodiment, a decoding processing procedure when an arithmetic decoder is applied as an entropy decoder for binary data is shown. The dominant symbol area is arranged below, and the sign is decoded as the lower bound coordinate of the effective area. At this time, it is assumed that the calculation accuracy is truncated at binary decimal 16 bits and the integer part is used as a code output.
[0130]
In the second embodiment, the processes of the adaptive probability estimator 111 and the arithmetic decoder unit 109 of FIG. However, in the present embodiment, as shown in FIG. 9, the adaptive probability estimator 111 has two probability estimators (356, 357), and the probability estimation switching unit 355 (probability estimation determining means) includes them. A major feature is adaptive switching. Here, the first probability estimator 356 is the symbol counter type probability estimation (symbol counter type probability estimation means) shown in the conventional technique, and the second probability estimator 357 is the state transition type shown in the conventional technique. Probability estimation (state transition type probability estimation means) is used. Since it is well known that the components of the decoder of FIG. 17 other than the adaptive probability estimator 111 and the arithmetic decoder unit 109 are also used in this embodiment, description thereof will be omitted.
[0131]
Also, variables used in this description, C, A, AL, MPS, N _LPS , N _T , M _LPS , I, P, and FLAG are the same as those in the first embodiment, and a description thereof will be omitted. Regarding variables, the difference from the first embodiment is that S is an output symbol value and a variable a representing a sign bit is newly added.
[0132]
Furthermore, the constant N in the processing procedure _MAX , N _MIN , I _B , N _LPSB , N _TB Since this is the same as that of the first embodiment, description thereof is omitted.
[0133]
The decoding processing procedure in the present embodiment is based on the following FIG. 10, FIG. 11, FIG. 3, FIG. FIG. 10 is a flowchart showing a processing procedure of arithmetic coding of binary data based on the processing of the adaptive probability estimator 111 and the arithmetic decoder unit 109 of FIG. In this flowchart, 500 is a dominant symbol value MPS, an inferior symbol appearance frequency N for symbol counter type probability estimation. _LPS , Both symbol appearance frequency N _T The flag FLAG indicating whether the probability estimation method is the symbol counter type or the state transition type is initialized. Reference numeral 501 initializes the code value C and the region width A. Here, the area width A is set to A = 1 as in the encoding, but for the code value C, the code data a is read by the number of bits of the register length of the code value C, and the initial value of the code value C is read. Set as. In 502, the appearance probability P of the inferior symbol is calculated by calling GETPROB. In step 503, the overall region width value A is multiplied by the appearance probability P of the inferior symbol to calculate the region width value AL corresponding to the inferior symbol.
[0134]
In step 504, the region width A-AL and the code value C of the dominant symbol are determined. If the code value C is smaller, the decoded symbol is MPS, and 505 substitutes MPS for the decoded symbol value S. Then, 506 updates the region width value A to the region width value (A-AL) corresponding to the dominant symbol, but the code value C is not updated because the dominant symbol is arranged below. 507 determines whether or not the updated region width value A is smaller than 0.5. If it is smaller than 0.5, the region width value A and the sign until the region width value A becomes 0.5 or more by calling 508 RENORM_DEC. A normalization process for multiplying the value C to a power of 2 is performed. 509 updates a variable for probability estimation by calling UPDATETEMPS.
[0135]
If it is determined at 504 that the code value C is larger than the region width A-AL of the dominant symbol, the decoded symbol becomes an inferior symbol, and 510 is set to the decoded symbol value S with the inferior symbol value 1-MPS. substitute. Then, 511 subtracts the area value (A-AL) corresponding to the dominant symbol arranged below from the code value C, and updates the area width value A to the area width value AL corresponding to the inferior symbol. At this time, since the region width value A is necessarily smaller than 0.5, normalization processing is performed to multiply the region width value A and the code value C to a power of 2 until the region width value A becomes 0.5 or more by calling RENORM_DEC. 512 updates the variables for probability estimation by calling UPDATTELPS.
[0136]
In step S513, it is determined whether the decoded symbol S is the last one. In short, when decoding a digital signal (data signal), a dominant symbol that is a symbol with a high appearance probability and an inferior symbol that is a symbol with a low appearance probability are associated with a predetermined range on the number line, and the code word indicates A symbol corresponding to an area including coordinates on the number line is set as a decoded symbol.
[0137]
FIG. 11 shows the processing procedure of the normalization processing RENORM_DEC of the arithmetic coding variable. In 530, the region width value A and the code value C are doubled. 531 reads one bit of code data to be decoded next from the code data, and sets it to the least significant bit of the code value C. If the region width value A is smaller than 0.5, 531 repeats the processing of 530 and 531 until it becomes 0.5 or more.
[0138]
GEPROB processing procedure for calculating appearance probability P of inferior symbol (FIG. 3), UPDATELPS processing procedure for updating variable for probability estimation when inferior symbol appears (FIG. 5), when dominant symbol appears The UPDATETEMPS processing procedure (FIG. 6) for updating the variables for probability estimation is the same as that in the first embodiment, and a description thereof will be omitted.
[0139]
The processing procedure described above is described assuming a single context. However, when dealing with multi-contexts, the following variable is obtained as context CX before estimating the LPS appearance probability in 502, and is used as an index. What is necessary is just to respond | correspond as an arrangement | sequence (table) to perform. For example, MPS (CX) is the dominant symbol value, N _LPS (CX) is the appearance frequency (counter) of inferior symbols, N _T (CX) is the appearance frequency (counter) of both symbols, M _MPS (CX) is a continuous appearance frequency (counter) of dominant symbols, and I (CX) is a state index.
[0140]
In the above description, the arithmetic decoding unit places the dominant symbol in a lower order with respect to the inferior symbol, but it may be placed in a higher order. Further, binary arithmetic decoding is applied to the arithmetic decoding unit for given binary data. However, when multi-value data is given, it can be replaced with multi-valued arithmetic decoding.
[0141]
As the arithmetic coding unit in the above description, an arithmetic code using multiplication for dividing the probability domain is used. For example, “ITU-T Recommendation T.82,“ Information Technology-Coded Representation of Picture and Audio Information- It is also possible to apply an arithmetic code that does not use multiplication as shown in “Progressive Bi-level Image Compression” ”.
[0142]
Further, in the above description, in the symbol counter type probability estimation, the cumulative appearance frequency of the dominant symbol and both symbols is counted. It is also possible to count the frequency.
[0143]
In the above description, in the state transition type probability estimation, the state set shown in Table 4 is used. However, other state sets may be used. Furthermore, although the transition rule based on the continuous appearance frequency of MPS generated in the state has been described as the state transition rule, the state transition type probability estimation method is not limited to this, for example, “ITU-T Recommendation T.82, It is also possible to apply the arithmetic code state transition rules described in "Information Technology-Coded Representation of Picture and Audio Information-Progressive Bi-level Image Compression".
[0144]
Embodiment 3 FIG.
In the third embodiment, an encoder using binary entropy coding shown in FIG. 21 is used instead of the arithmetic encoder unit 104 of FIG. Hereinafter, the binary entropy coding and probability estimation processing will be described with reference to flowcharts.
[0145]
Similar to the first embodiment, the probability estimator has two probability estimators (351, 352) as shown in FIG. 1, and the probability estimation switching unit 350 adaptively switches them. In this embodiment, an example in which symbol counter type probability estimation is used for the first probability estimator 351 and state transition type probability estimation is used for the second probability estimator 352 is shown. Since it is well known that the components of the encoder of FIG. 17 other than the adaptive probability estimator 106 and the arithmetic encoder unit 104 are also used in this embodiment, description thereof will be omitted.
[0146]
The variables used in this description are as follows.
MPS is the dominant symbol value,
S is the input symbol value,
N _LPS Is the appearance frequency (counter) of inferior symbols,
N _MPS Is the frequency of appearance of the dominant symbol (counter),
M _LPS Is the frequency of continuous appearance of the dominant symbol (counter),
I is the state index,
P is the probability of appearance of an inferior symbol,
FLAG is a flag indicating whether the probability estimation method selected at that time is a symbol counter type or a state transition type,
RC is the code order,
R (I) is the code order of the state of state index I,
J, N _TMP Is a temporary variable used for arithmetic processing.
[0147]
Furthermore, the constants in the processing procedure are as follows.
N _MAX Is N _MPS There Is N _LPS Counting maximum value,
N _MIN Is the N when the probability estimation method moves from state transition type probability estimation to symbol counter type probability estimation. _LPS The value of the,
I _B Is the minimum state index in state transition probability estimation,
N _LPSB Is the N immediately after the probability estimation method shifts from the state transition type probability estimation to the symbol counter type probability estimation. _LPS The value of the,
N _MPSB Is the N immediately after the probability estimation method shifts from the state transition type probability estimation to the symbol counter type probability estimation. _MPS The value of the.
[0148]
The encoding processing procedure in the present embodiment is based on the following FIG. 12, FIG. 13, FIG. 14, and FIG. FIG. 12 is a flowchart showing a processing procedure of the adaptive probability estimation method of the present invention and the binary entropy encoding shown in FIG. In this flowchart, 600 indicates the dominant symbol value MPS and the inferior symbol appearance frequency N. _LPS , Dominant symbol appearance frequency N _MPS , A flag FLAG indicating whether the probability estimation method is a symbol counter type or a state transition type, a code order RC, a dominant symbol continuous appearance frequency M _MPS Initialize the. Dominant symbol continuous appearance frequency M _MPS Is the appearance frequency of the dominant symbol generated since the previous code word was output, and is reset to 0 each time the code word is output.
[0149]
601 obtains an input symbol S, and 602 determines whether the symbol S is a dominant symbol or an inferior symbol. If the determination in 602 is YES, that is, if a dominant symbol is generated, 603 is a dominant symbol continuous appearance frequency M. _MPS Add 1 to And 604 is the dominant symbol continuous appearance frequency M. _MPS Determines whether or not the code order RC has been reached, and if so, 606 outputs a 1-bit codeword 0. Next, the code order and the variables for probability estimation are updated by calling UPDATEDPS_BLK1 in 607. 608 is the dominant symbol continuous appearance frequency M _MPS Is reset to 0 to prepare for the next codeword output.
[0150]
604 is the dominant symbol continuous appearance frequency M _MPS If the code order RC is not reached, the variable for probability estimation is updated by calling UPDATETEMPS_BLK0 at 605. Note that the code order RC update is performed only when a code word is output, so the code order is not updated in UPDATETEMPS_BLK0.
[0151]
Next, when it is determined in 602 that the input symbol is an inferior symbol, 609 outputs a code. As described in the description of the conventional example 2, after outputting 1 of 1 bit, the dominant symbol continuous appearance frequency M is output. _MPS Log ₂ Expressed in RC digit binary number and output. Thereafter, the code order and the variable for probability estimation are updated by calling UPDITELPS_BLK at 610. 608 is the dominant symbol continuous appearance frequency M. _MPS Is reset to 0 to prepare for the next codeword output.
[0152]
In step 612, it is determined whether or not the processed symbol S is the last, and if it is not the last, the processing from 601 to 611 is repeated.
[0153]
FIG. 13 shows a UPDATELPS_BLK processing procedure for updating a code order and a variable for probability estimation when an inferior symbol appears. 620 switches the variable update method according to a flag FLAG indicating whether the probability estimation method to be used at that time is the symbol counter type or the state transition type. That is, if FLAG = 0, the variable for symbol counter type probability estimation is updated, and if FLAG = 1, the variable for state transition type probability estimation is updated.
[0154]
When FLAG = 0, 621 is an inferior symbol appearance frequency counter N _LPS Add 1 to 622 is an inferior symbol appearance frequency counter N _LPS Is a predetermined maximum value N _MAX Whether or not the maximum value N _MAX If 623 is reached, N _LPS , N _MPS (N _LPS +1) / 2, (N _MPS +1) / 2. Next, 624 determines whether a symbol currently regarded as an inferior symbol is a dominant symbol by the processing from 621 to 623. If N _MPS <N _LPS Then 625 is N _LPS And N _MPS And the value of the dominant symbol value MPS is inverted.
[0155]
Next, from 626 to 629, the code order RC is updated. As described in the conventional example 2, in the symbol counter type probability estimation, N _LPS Is repeated twice, and the value is N _MPS When the number is first exceeded, the number doubled may be used for order selection. 626 sets a counter J indicating the number of times of doubling to 0. 627 is 2 ^{J + 1} × N _LPS And N _MPS Compare the size of N and N _MPS Is smaller, J is incremented by 1 at 628 and the comparison is performed again. 2 ^{J + 1} × N _LPS Than N _MPS If is greater, 629 sets the code order RC to 2 ^J Set to.
[0156]
If FLAG = 1 is determined in 620, that is, in the case of state transition type probability estimation, 630 lowers the state index I by one step. Here, 631 is a state index I immediately after the state index I has shifted from the symbol counter type to the state transition type. _B It is determined whether or not the value is less than. Minimum value I _B If the value does not become less than 634, the state index RC is updated to the code order R (I) of the state of the state index I, and the probability estimation continues in the state transition type thereafter.
[0157]
I is the minimum value I _B If the value is less than the value, the probability estimation method is changed from the state transition type to the symbol counter type. Therefore, 632 is an inferior symbol appearance frequency counter N. _LPS , Dominant symbol appearance frequency counter N _MPS Is a constant N _LPSB , N _MPSB Set again to. Further, 633 sets a flag FLAG indicating whether the probability estimation method to be used is a symbol counter type or a state transition type to 0. Then, processing from 626 to 629 is performed, and the updated N _LPS , N _MPS A new code order RC based on is calculated.
[0158]
FIG. 14 is a processing procedure of UPDATETEMPS_BLK0 that updates a variable for probability estimation when a dominant symbol appears and a codeword is not output (if no codeword is output, the code order RC Is not updated). 650 switches the variable update method according to a flag FLAG indicating whether the probability estimation method to be used at that time is the symbol counter type or the state transition type.
[0159]
When FLAG = 0, there is no update of the state transition type probability estimation variable, so UPDATETEMPS_BLK1 is terminated as it is, and encoding is performed with the same code order thereafter.
[0160]
When FLAG = 1, the code order is not updated, but the variable N for probability estimation _MPS , N _LPS Need to be updated. 651 is a dominant symbol appearance frequency counter N _MPS Add 1 to 652 is a dominant symbol appearance frequency counter N _MPS Is a predetermined maximum value N _MAX It is determined whether or not. Maximum value N _MAX If not reached, the processing of UPDATETEMPS_BLK0 ends, and the probability estimation is performed in the symbol counter type thereafter. Maximum value N _MAX 653, the inferior symbol appearance frequency N _LPS Is the preset minimum value N _MIN It is determined whether or not:
[0161]
N _LPS Is N _MIN Is greater than 655 is N _LPS , N _MPS (N _LPS +1) / 2, (N _MPS +1) / 2. N _LPS Is N _MIN In the following cases, the probability estimation method is changed from the symbol counter type to the state transition type in the first embodiment using the arithmetic code, but in this embodiment, the probability estimation method is changed only when the codeword is output. , Do not change here. However, 654 is N so that the transition to the state transition type can be made when the prevailing symbol continues to be generated and the next code word is output. _MPS 1 is subtracted and the symbol appearance frequency counter is returned to the value before execution of UPDATETEMPS_BLK0.
[0162]
FIG. 15 is a processing procedure of UPDATETEMPS_BLK1 that updates the code order and the variables for probability estimation when a dominant symbol appears and a code word is output. 660 switches the variable update method according to a flag FLAG indicating whether the probability estimation method to be used at that time is the symbol counter type or the state transition type. That is, if FLAG = 0, the variable for symbol counter type probability estimation is updated, and if FLAG = 1, the variable for state transition type probability estimation is updated.
[0163]
When FLAG = 0, 661 is the dominant symbol appearance frequency counter N _MPS Add 1 to 662 is a dominant symbol appearance frequency counter N _MPS Is a predetermined maximum value N _MAX It is determined whether or not. Maximum value N _MAX If not, 668 to 671 calculate the code order RC similarly to the processing from 626 to 629 of UPDATELPS_BLK. Then, the processing of UPDATETEMPS_BLK1 ends, and the probability estimation is performed in the symbol counter type thereafter.
[0164]
662 is the dominant symbol appearance frequency counter N _MPS Is the maximum value N _MAX If it is determined that the frequency of the inferior symbol has been reached, 663 _LPS Is the preset minimum value N _MIN It is determined whether or not: N _LPS Is N _MIN If greater than 667, N _LPS , N _MPS (N _LPS +1) / 2, (N _MPS +1) / 2. In addition, N _LPS , N _MPS 668 to 671 calculate the code order based on the above, and the probability estimation is performed in the symbol counter type thereafter. N _LPS Is N _MIN In the following cases, the probability estimation method is changed from the symbol counter type to the state transition type. Therefore, 664 is an index of an initial state after changing the state index I to a state transition. _B 665 substitutes the code order R (I) in that state for the code order RC. Further, 666 sets 1 to a flag FLAG indicating whether the probability estimation method to be used is the symbol counter type or the state transition type.
[0165]
When FLAG = 1, 672 indicates that the state index I is the maximum value I _MAX (In the example of FIG. 22, it is determined whether or not 31) has been reached. If not, 673 raises the state index I by one step. Next, 674 sets the code order RC, and the processing of UPDATETEMPS_BLK1 ends.
[0166]
The processing procedure described above is described assuming a single context. However, when handling in a multi-context, it is only necessary to correspond to an array (table) in which a context CX is obtained simultaneously with the symbol S in 601 and is used as an index. For example, MPS (CX) is the dominant symbol value, N _LPS (CX) is the appearance frequency (counter) of inferior symbols, N _MPS (CX) is the appearance frequency (counter) of the dominant symbol, M _MPS (CX) is a continuous appearance frequency (counter) of dominant symbols, I (CX) is a state index, and RC (CX) is a code order. At this time, it is necessary to transmit the code words in the order of occurrence of the first encoded symbol of the message. The order control of the code words is described in US Pat. No. 4,191,974.
[0167]
In the above description, the cumulative appearance frequency of the dominant symbol and the inferior symbol is counted in the symbol counter type probability estimation, but the cumulative appearance of the dominant symbol and both symbols (0 and 1) is counted, or the symbol 0 It is also possible to count the cumulative appearance frequency of symbol 1. In the above description, in the state transition type probability estimation, the set of 32 states shown in Table 4B is used, but a set of states other than these can also be used.
[0168]
Embodiment 4 FIG.
In the fourth embodiment, a decoder using the code shown in FIG. 21 is used instead of the arithmetic decoder unit 109 of FIG. 17 of the prior art. Hereinafter, the binary entropy decoding and probability estimation processing will be described with reference to flowcharts. Like the second embodiment, the probability estimator has two probability estimators (356, 357) as shown in FIG. 9, and the probability estimation switcher 355 adaptively switches them. In this embodiment, an example in which symbol counter type probability estimation is used for the first probability estimator 356 and state transition type probability estimation is used for the second probability estimator 357 is shown. Since it is well known that the components of the decoder of FIG. 17 other than the adaptive probability estimator 111 and the arithmetic decoder unit 109 are also used in this embodiment, description thereof will be omitted.
[0169]
The variables used in this description are as follows.
MPS is the dominant symbol value,
S is the output symbol value,
N _LPS Is the appearance frequency (counter) of inferior symbols,
N _MPS Is the frequency of appearance of the dominant symbol (counter),
M _LPS Is the number of inferior symbols that have not yet been output in the decoded message (counter),
M _MPS Is the number of dominant symbols (counters) that have not yet been output in the decoded message,
I is the state index,
P is the probability of appearance of an inferior symbol,
FLAG is a flag indicating whether the probability estimation method selected at that time is a symbol counter type or a state transition type,
RC is the code order,
R (I) is the code order of the state indicated by the state index I.
[0170]
Furthermore, the constants in the processing procedure are as follows.
N _MAX Is N _MPS There Is N _LPS Counting maximum value,
N _MIN N in the case where the probability estimation method shifts from state transition type probability estimation to symbol counter type probability estimation. _LPS The value of the,
I _B Is the minimum state index in state transition probability estimation,
N _LPSB Is the N immediately after the probability estimation method shifts from the state transition type probability estimation to the symbol counter type probability estimation. _LPS The value of the,
N _MPSB Is the N immediately after the probability estimation method shifts from the state transition type probability estimation to the symbol counter type probability estimation. _MPS Is the value of
[0171]
The encoding processing procedure in the present embodiment is based on the following FIGS. 16, 13, 14, and 15. FIG. 16 is a flowchart showing a decoding processing procedure when the adaptive probability estimation method of the present invention and the code shown in FIG. 21 are used. In this flowchart, 700 is a dominant symbol value MPS and an inferior symbol appearance frequency N. _LPS , Dominant symbol appearance frequency N _MPS A flag FLAG indicating whether the probability estimation method is a symbol counter type or a state transition type, a code order RC, and the number M of dominant symbols in the decoded message _MPS , Number of inferior symbols M _LPS Initialize the.
[0172]
701 is the number M of dominant symbols not yet output in the decoded message. _MPS And the number M of inferior symbols _LPS Are both 0 or not. When both are 0, that is, when all the decoded messages have been output, 702 reads the next code word from the code data, decodes the message corresponding to the code word according to the table of FIG. The number of dominant symbols and inferior symbols in the message is M _MPS , M _LPS Set to.
[0173]
703 is the number M of dominant symbols not yet output in the message. _MPS Whether or not is greater than 0 is determined. If it is greater than 0, the dominant symbol is output. That is, 704 assigns a dominant symbol to the decoded symbol S, and 705 indicates the number M of dominant symbols in the message. _MPS Subtract 1 from Next, the code order or the variable for probability estimation is updated. The code order is updated only after the decoded message is completely output. Therefore, 706 is the number M of dominant symbols not yet output in the decoded message. _MPS And the number M of inferior symbols _LPS Are both 0, that is, whether or not the previously decoded message has been completely output. M _MPS And M _LPS If both are 0, the code order and probability estimation variables are updated by calling 708 UPDATETEMPS_BLK1. M _MPS And M _LPS If both are not 0, the variable for probability estimation is updated by calling UPDATEDPS_BLK0 in 707.
[0174]
Next, in 703, the number M of dominant symbols not yet output in the message. _MPS Is determined to be 0 (in this case, M _LPS Is always 1), the inferior symbol is output. That is, 709 assigns the inferior symbol to the decoded symbol S, and 710 indicates the number of inferior symbols M in the message. _LPS Subtract 1 from Then, the code order and the variables for probability estimation are updated by calling 711 UPDATELPS_BLK.
[0175]
In step 712, it is determined whether or not the processed symbol S is the last, and if it is not the last, the processing from 701 to 711 is repeated.
[0176]
UPDATELPS_BLK processing procedure (FIG. 13) for updating variables for code order and probability estimation after output of inferior symbol, output in message do it If there are any remaining symbols, the UPDATELPS_BLK0 processing procedure for updating the variables for probability estimation (FIG. 14), after outputting all symbols in the message consisting only of dominant symbols, for code order and probability estimation The processing procedure of UPDATETEMPS_BLK1 for updating the variable (FIG. 15) is the same as that in the third embodiment, and the description thereof will be omitted.
[0177]
The processing procedure described above is described assuming a single context. However, when handling in a multi-context, it is only necessary to correspond to an array (table) in which a context CX is obtained simultaneously with the symbol S in 601 and is used as an index. For example, MPS (CX) is the dominant symbol value, N _LPS (CX) is the appearance frequency (counter) of inferior symbols, N _MPS (CX) is the appearance frequency (counter) of the dominant symbol, M _MPS (CX) is a continuous appearance frequency (counter) of dominant symbols, I (CX) is a state index, and RC (CX) is a code order. At this time, it is necessary to transmit the code words in the order of occurrence of the first encoded symbol of the message. The order control of the code words is described in US Pat. No. 4,191,974.
[0178]
In the above description, the cumulative appearance frequency of the dominant symbol and the inferior symbol is counted in the symbol counter type probability estimation, but the cumulative appearance of the dominant symbol and both symbols (0 and 1) is counted, or the symbol 0 It is also possible to count the cumulative appearance frequency of symbol 1. In the above description, in the state transition type probability estimation, the set of 32 states shown in Table 4B is used, but a set of states other than these can also be used.
[0179]
【The invention's effect】
The adaptive probability estimation method according to the present invention is an adaptive probability estimation method for selecting an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. A count storage procedure for storing the appearance frequency of the information source symbol or the index of the state of the information source symbol, and a symbol counter for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on the appearance frequency of the information source symbol Stored in the type probability estimation procedure, the state transition type probability estimation procedure for estimating the appearance probability of each information source symbol or an index corresponding to the appearance probability based on the transition between the states of each information source symbol, and the count storage procedure Based on the appearance frequency of the information source symbol or the index of the state of the information source symbol, And a probability estimation judgment procedure for selecting the Bol counter type probabilistic estimation procedure or stateful probability estimation procedure. Therefore, even for an information source having a wide symbol appearance probability, it is possible to reliably estimate the appearance probability of the information source symbol or an index corresponding to the appearance probability.
[0180]
The symbol counter type probability estimation procedure counts the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol, or the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. In A cumulative appearance frequency storage procedure to be stored and a half-procedure to halve the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, and the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. Therefore, it is possible to reduce the storage of the cumulative appearance frequency and to reliably estimate the appearance probability or the index corresponding to the appearance probability of each information source symbol.
[0181]
Further, the state transition type probability estimation procedure causes the state of the information source symbol to transition between a plurality of preset states according to the information source symbol index stored in the count storage procedure and the appearing information source symbol. The transition procedure is an index corresponding to the appearance probability or the appearance probability of the information source symbol. Presume that there is. Therefore, it is possible to estimate an appearance probability of an information source symbol or an index corresponding to the appearance probability by transitioning between a plurality of preset states.
[0182]
An adaptive coding method according to another invention is an adaptive probability estimation in which a coding parameter is selected from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. In the adaptive encoding method for encoding the information source symbol using the method, each information based on the count storage procedure for storing the appearance frequency of the information source symbol or the index of the state of the information source symbol and the appearance frequency of the information source symbol Based on the symbol counter type probability estimation procedure for estimating the appearance probability of the source symbol or an index corresponding to the appearance probability, and the transition between the states of each information source symbol, the index corresponding to the appearance probability or appearance probability of each information source symbol There is an appearance frequency of the information source symbol stored in the state transition type probability estimation procedure to be estimated and the count storage procedure Is estimated by a probability estimation determination procedure for selecting a symbol counter type probability estimation procedure or a state transition type probability estimation procedure and a symbol counter type probability estimation procedure or a state transition type probability estimation procedure based on the index of the state of the source symbol. The Using the occurrence probability or an index corresponding to the occurrence probability And an encoding procedure for encoding the information source symbol. Therefore, even for an information source having a wide symbol appearance probability, it is possible to reliably estimate the appearance probability of the information source symbol or an index corresponding to the appearance probability, and always realize high coding efficiency.
[0183]
The symbol counter type probability estimation procedure counts the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol, or the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. In A cumulative appearance frequency storage procedure to be stored and a half-procedure to halve the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, and the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. Therefore, it is possible to reduce the storage of the cumulative appearance frequency, and to reliably estimate the appearance probability or the index corresponding to the appearance probability of each information source symbol, and always realize high coding efficiency.
[0184]
Further, the state transition type probability estimation procedure causes the state of the information source symbol to transition between a plurality of preset states according to the information source symbol index stored in the count storage procedure and the appearing information source symbol. The transition procedure is an index corresponding to the appearance probability or the appearance probability of the information source symbol. Presume that there is. Therefore, by making transition between a plurality of preset states, it is possible to estimate the appearance probability of the information source symbol or an index corresponding to the appearance probability, and always realize high coding efficiency.
[0185]
An adaptive decoding method according to another invention is an adaptive probability estimation method for selecting a coding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. Using Encoded In an adaptive decoding method for decoding an information source symbol, a count storage procedure for storing an appearance frequency of the information source symbol or an index of the state of the information source symbol, and an appearance probability of each information source symbol based on the appearance frequency of the information source symbol State transition-type probability that estimates an index corresponding to the appearance probability or appearance probability of each source symbol based on the symbol counter type probability estimation procedure for estimating an index corresponding to the appearance probability and the transition between the states of each information source symbol An estimation procedure, and a probability estimation determination procedure for selecting a symbol counter type probability estimation procedure or a state transition type probability estimation procedure based on the appearance frequency of the information source symbol stored in the count storage procedure or the index of the information source symbol state; , Symbol counter type probability estimation procedure or state transition type probability estimation procedure It has been constant Encoded using an occurrence probability or an index corresponding to the occurrence probability And a decoding procedure for decoding the information source symbol. Therefore, even for an information source having a wide symbol appearance probability, it is possible to reliably estimate the appearance probability of the information source symbol or an index corresponding to the appearance probability, and always realize high decoding efficiency.
[0186]
The symbol counter type probability estimation procedure counts the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol, or the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. In A cumulative appearance frequency storage procedure to be stored and a half-procedure to halve the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, and the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. Therefore, it is possible to reduce the storage of the cumulative appearance frequency, and to reliably estimate the appearance probability or the index corresponding to the appearance probability of each information source symbol, and always realize high decoding efficiency.
[0187]
Further, the state transition type probability estimation procedure causes the state of the information source symbol to transition between a plurality of preset states according to the information source symbol index stored in the count storage procedure and the appearing information source symbol. The transition procedure is an index corresponding to the appearance probability or the appearance probability of the information source symbol. Presume that there is. Therefore, by transitioning between a plurality of preset states, it is possible to estimate an appearance probability of an information source symbol or an index corresponding to the appearance probability, and always realize high decoding efficiency.
[0188]
In addition, an adaptive probability estimation device according to another invention is an adaptive probability estimation that selects an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. In the apparatus, a count storage means for storing an appearance frequency of the information source symbol or an index of the state of the information source symbol and an index corresponding to the appearance probability or the appearance probability of each information source symbol are estimated based on the appearance frequency of the information source symbol A symbol counter type probability estimating means for performing, a state transition type probability estimating means for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on a transition between states of each information source symbol, and a count storage means Based on the frequency of occurrence of the stored source symbol or the index of the source symbol state , And a probability estimation judging means for selecting a symbol counter type probability estimation means or stateful probability estimation means. Therefore, even for an information source having a wide symbol appearance probability, it is possible to reliably estimate the appearance probability of the information source symbol or an index corresponding to the appearance probability.
[0189]
The symbol counter type probability estimation means counts the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and count storage means In A cumulative appearance frequency storage means for storing, and a halving means for halving the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols; When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. Therefore, it is possible to reduce the storage of the cumulative appearance frequency and to reliably estimate the appearance probability or the index corresponding to the appearance probability of each information source symbol.
[0190]
In addition, the state transition type probability estimating unit shifts the state of the information source symbol between a plurality of preset states according to the index of the information source symbol stored in the count storage unit and the appearing information source symbol. Transition means for estimating the state of each information source symbol, the transition means is an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol. Presume that there is. Therefore, it is possible to estimate an appearance probability of an information source symbol or an index corresponding to the appearance probability by transitioning between a plurality of preset states.
[0191]
In addition, the adaptive coding apparatus according to another aspect of the invention is an adaptive probability estimation that selects a coding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. In the adaptive encoding apparatus that encodes the information source symbol using the apparatus, the count storage means for storing the appearance frequency of the information source symbol or the index of the state of the information source symbol, and each information based on the appearance frequency of the information source symbol Based on the transition between the states of each information source symbol, the symbol counter type probability estimating means for estimating the appearance probability of the source symbol or the index corresponding to the appearance probability, and the index corresponding to the appearance probability of each information source symbol There is an appearance frequency of the information source symbol stored in the state transition type probability estimating means to be estimated and the count storage means Is estimated by a probability estimation determination unit that selects a symbol counter type probability estimation unit or a state transition type probability estimation unit, and a symbol counter type probability estimation unit or a state transition type probability estimation unit based on the index of the state of the information source symbol. The Using the occurrence probability or an index corresponding to the occurrence probability Coding means for coding the information source symbol. Therefore, even for an information source having a wide symbol appearance probability, it is possible to reliably estimate the appearance probability of the information source symbol or an index corresponding to the appearance probability, and always realize high coding efficiency.
[0192]
The symbol counter type probability estimation means counts the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and count storage means In A cumulative appearance frequency storage means for storing, and a halving means for halving the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols; When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. Therefore, it is possible to reduce the storage of the cumulative appearance frequency, and to reliably estimate the appearance probability or the index corresponding to the appearance probability of each information source symbol, and always realize high coding efficiency.
[0193]
Further, the state transition type probability estimating means transitions the state of the information source symbol between a plurality of preset states according to the index of the information source symbol stored in the count storage means and the appearing information source symbol. Transition means for estimating the state of each information source symbol, the transition means is an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol. Presume that there is. Therefore, by making transition between a plurality of preset states, it is possible to estimate the appearance probability of the information source symbol or an index corresponding to the appearance probability, and always realize high coding efficiency.
[0194]
An adaptive decoding apparatus according to another invention selects an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an index corresponding to the appearance probability. Using Encoded In an adaptive decoding apparatus that decodes information source symbols, a count storage unit that stores an appearance frequency of the information source symbols or an index of the state of the information source symbols, and an appearance probability of each information source symbol based on the appearance frequency of the information source symbols Symbol counter type probability estimation means for estimating an index corresponding to the appearance probability, and a state transition type probability for estimating an index corresponding to the appearance probability or appearance probability of each information source symbol based on the transition between the states of each information source symbol An estimation means, and a probability estimation determination means for selecting the symbol counter type probability estimation means or the state transition type probability estimation means based on the appearance frequency of the information source symbol stored in the count storage means or the index of the state of the information source symbol By means of symbol counter type probability estimation means or state transition type probability estimation means It has been constant Encoded using an occurrence probability or an index corresponding to the occurrence probability Decoding means for decoding the information source symbol. Therefore, even for an information source having a wide symbol appearance probability, it is possible to reliably estimate the appearance probability of the information source symbol or an index corresponding to the appearance probability, and always realize high decoding efficiency.
[0195]
The symbol counter type probability estimation means counts the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and count storage means In A cumulative appearance frequency storage means for storing, and a halving means for halving the cumulative appearance frequency when each cumulative appearance frequency reaches a predetermined value, the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols; When of An index corresponding to the appearance probability or appearance probability of each information source symbol is estimated from the ratio or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol. Therefore, it is possible to reduce the storage of the cumulative appearance frequency, and to reliably estimate the appearance probability or the index corresponding to the appearance probability of each information source symbol, and always realize high decoding efficiency.
[0196]
Further, the state transition type probability estimating means transitions the state of the information source symbol between a plurality of preset states according to the index of the information source symbol stored in the count storage means and the appearing information source symbol. Transition means for estimating the state of each information source symbol, the transition means is an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol. Presume that there is. Therefore, by transitioning between a plurality of preset states, it is possible to estimate an appearance probability of an information source symbol or an index corresponding to the appearance probability, and always realize high decoding efficiency.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a main part when an adaptive probability estimation apparatus of the present invention is used in an arithmetic encoder unit.
FIG. 2 is a flowchart showing a processing procedure of arithmetic coding of binary data based on processing of an adaptive probability estimator and an arithmetic encoder unit.
FIG. 3 is a diagram illustrating a processing procedure for calculating an appearance probability P of an inferior symbol.
FIG. 4 is a diagram showing a processing procedure for normalization processing of arithmetic coding variables.
FIG. 5 is a diagram illustrating a processing procedure for updating a variable for probability estimation when an inferior symbol appears.
FIG. 6 is a diagram illustrating a processing procedure for updating a variable for probability estimation when a dominant symbol appears.
FIG. 7 is a diagram showing how probability estimation is adapted.
FIG. 8 is a diagram showing encoding efficiency when a plurality of random data sequences having different appearance probability of inferior symbols are generated by a computer and each is actually encoded by an arithmetic encoder.
FIG. 9 is a block diagram showing a main part when the adaptive probability estimation apparatus of the present invention is used in an arithmetic decoder unit.
FIG. 10 is a flowchart showing a processing procedure of arithmetic coding of binary data based on processing of an adaptive probability estimator and an arithmetic decoder unit.
FIG. 11 is a diagram showing a processing procedure for normalization processing of arithmetic coding variables.
FIG. 12 is a flowchart showing an adaptive probability estimation method and binary entropy encoding processing procedures.
FIG. 13 is a diagram illustrating a processing procedure for updating a code order and a variable for probability estimation when an inferior symbol appears.
FIG. 14 is a diagram illustrating a processing procedure for updating a variable for probability estimation when a dominant symbol appears and a code word is not output.
FIG. 15 is a diagram illustrating a processing procedure for updating a code order and a variable for probability estimation when a dominant symbol appears and a code word is output.
16 is a flowchart showing a decoding processing procedure when the adaptive probability estimation method and the code shown in FIG. 21 are used.
FIG. 17 is a simplified block diagram of a conventional entropy encoder.
FIG. 18 is a diagram illustrating an operation of a symbol counter type adaptive probability estimator.
FIG. 19 is a diagram illustrating an operation of a state transition type adaptive probability estimator.
FIG. 20 is a diagram illustrating an example in which an estimated inferior symbol appearance probability Q (I) and a transition dominant symbol appearance frequency G (I) for each state are set in advance.
FIG. 21 is a diagram illustrating an encoding / decoding method in which one code word is assigned to one or a plurality of binary symbol sequences.
FIG. 22 is a diagram illustrating a state in which a code order is determined according to a state when an encoder / decoder encodes / decodes a binary symbol sequence.
[Explanation of symbols]
420 probability estimation determination procedure, 421 symbol counter type probability estimation procedure, 422 state transition type probability estimation procedure, 430 encoding procedure, 441 count storage procedure, 443 half procedure, 350, 355 probability estimation switch (probability estimation determination means), 351, 356 First probability estimator (symbol counter type probability estimating means), 352, 357 First probability estimator (state transition type probability estimating means).

Claims (18)

In an adaptive probability estimation method for selecting an encoding parameter from an index corresponding to an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of an information source symbol or an appearance probability,
A count storage procedure for storing an index of the appearance frequency of the information source symbol or the state of the information source symbol;
A symbol counter type probability estimation procedure for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on the appearance frequency of the information source symbol;
A state transition type probability estimation procedure for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on a transition between states of each information source symbol;
A probability estimation determination procedure for selecting the symbol counter type probability estimation procedure or the state transition type probability estimation procedure based on the appearance frequency of the information source symbol stored in the count storage procedure or the index of the state of the information source symbol. An adaptive probability estimation method characterized by comprising: The symbol counter type probability estimation procedure is as follows:
A cumulative appearance frequency storage procedure for counting the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and storing them in the count storage procedure;
When each of the cumulative appearance frequency reaches a predetermined value, a half procedure for halving the cumulative appearance frequency,
From the ratio of the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol, the appearance probability or appearance of each information source symbol The adaptive probability estimation method according to claim 1, wherein an index corresponding to the probability is estimated. The state transition type probability estimation procedure is as follows:
A transition procedure for estimating the state of the information source symbol by transitioning between a plurality of preset states according to the index of the information source symbol stored in the count storage procedure and the appearing information source symbol,
The above transition procedure is characterized in that an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol is estimated as an index corresponding to the appearance probability or the appearance probability of the information source symbol. The adaptive probability estimation method according to claim 1 or 2. An adaptive code that encodes an information source symbol using an adaptive probability estimation method that selects an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of the information source symbol or an index corresponding to the appearance probability In the conversion method,
A count storage procedure for storing an index of the appearance frequency of the information source symbol or the state of the information source symbol;
A symbol counter type probability estimation procedure for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on the appearance frequency of the information source symbol;
A state transition type probability estimation procedure for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on a transition between states of each information source symbol;
A probability estimation determination procedure for selecting the symbol counter-type probability estimation procedure or the state transition probability estimation procedure based on the appearance frequency of the information source symbol stored in the count storage procedure or the index of the state of the information source symbol;
An encoding procedure for encoding an information source symbol using an occurrence probability estimated by the symbol counter type probability estimation procedure or the state transition type probability estimation procedure or an index corresponding to the occurrence probability. Adaptive encoding method. The symbol counter type probability estimation procedure is as follows:
A cumulative appearance frequency storage procedure for counting the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and storing them in the count storage procedure;
When each of the cumulative appearance frequency reaches a predetermined value, a half procedure for halving the cumulative appearance frequency,
From the ratio of the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol, the appearance probability or appearance of each information source symbol The adaptive encoding method according to claim 4, wherein an index corresponding to the probability is estimated. The state transition type probability estimation procedure is as follows:
A transition procedure for estimating the state of the information source symbol by transitioning between a plurality of preset states according to the index of the information source symbol stored in the count storage procedure and the appearing information source symbol,
The above transition procedure is characterized in that an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol is estimated as an index corresponding to the appearance probability or the appearance probability of the information source symbol. The adaptive encoding method according to claim 4 or 5. Using an adaptive probability estimation method that selects an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of the information source symbol or an index corresponding to the appearance probability, an encoded information source symbol is In an adaptive decoding method for decoding,
A count storage procedure for storing an index of the appearance frequency of the information source symbol or the state of the information source symbol;
A symbol counter type probability estimation procedure for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on the appearance frequency of the information source symbol;
A state transition type probability estimation procedure for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on a transition between states of each information source symbol;
A probability estimation determination procedure for selecting the symbol counter-type probability estimation procedure or the state transition probability estimation procedure based on the appearance frequency of the information source symbol stored in the count storage procedure or the index of the state of the information source symbol;
A decoding procedure for decoding an encoded information source symbol using an occurrence probability estimated by the symbol counter type probability estimation procedure or the state transition type probability estimation procedure or an index corresponding to the appearance probability. A featured adaptive decoding method. The symbol counter type probability estimation procedure is as follows:
A cumulative appearance frequency storage procedure for counting the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and storing them in the count storage procedure;
When each of the cumulative appearance frequency reaches a predetermined value, a half procedure for halving the cumulative appearance frequency,
From the ratio of the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol, the appearance probability or appearance of each information source symbol The adaptive decoding method according to claim 7, wherein an index corresponding to the probability is estimated. The state transition type probability estimation procedure is as follows:
A transition procedure for estimating the state of the information source symbol by transitioning between a plurality of preset states according to the index of the information source symbol stored in the count storage procedure and the appearing information source symbol,
The above transition procedure is characterized in that an index corresponding to the appearance probability or the appearance probability defined in the state of each information source symbol is estimated as an index corresponding to the appearance probability or the appearance probability of the information source symbol. The adaptive decoding method according to claim 7 or 8. In an adaptive probability estimation device that selects an encoding parameter from an index corresponding to an appearance probability or an appearance probability of an encoding target symbol estimated based on the cumulative appearance frequency of an information source symbol,
Count storage means for storing an index of the appearance frequency of the information source symbol or the state of the information source symbol;
A symbol counter type probability estimating means for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on the appearance frequency of the information source symbol;
A state transition type probability estimating means for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on a transition between states of each information source symbol;
Probability estimation judging means for selecting the symbol counter type probability estimating means or the state transition type probability estimating means based on the appearance frequency of the information source symbol stored in the count storage means or the index of the information source symbol state An adaptive probability estimation device characterized by comprising. The symbol counter type probability estimating means includes:
Cumulative appearance frequency storage means for counting the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and storing them in the count storage means;
When each of the cumulative appearance frequencies reaches a predetermined value, a half means for halving the cumulative appearance frequency,
From the ratio of the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol, the appearance probability or appearance of each information source symbol The adaptive probability estimation apparatus according to claim 10, wherein an index corresponding to a probability is estimated. The state transition type probability estimating means is:
Transition means for estimating the state of the information source symbol by transitioning between a plurality of preset states according to the index of the information source symbol stored in the count storage means and the appearing information source symbol,
The transition means estimates an index corresponding to an appearance probability or an appearance probability defined in a state of each information source symbol as an index corresponding to an appearance probability or an appearance probability of the information source symbol. The adaptive probability estimation apparatus according to claim 10 or 11. Adaptive code that encodes information source symbols using an adaptive probability estimation device that selects an encoding parameter from an appearance probability of an encoding target symbol estimated based on a cumulative appearance frequency of the information source symbol or an index corresponding to the appearance probability In the conversion device,
Count storage means for storing an index of the appearance frequency of the information source symbol or the state of the information source symbol;
A symbol counter type probability estimating means for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on the appearance frequency of the information source symbol;
A state transition type probability estimating means for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on a transition between states of each information source symbol;
Probability estimation determination means for selecting the symbol counter type probability estimation means or the state transition type probability estimation means based on the appearance frequency of the information source symbol stored in the count storage means or the index of the state of the information source symbol;
Encoding means for encoding an information source symbol using an appearance probability estimated by the symbol counter type probability estimation means or the state transition type probability estimation means or an index corresponding to the appearance probability. Adaptive encoding device. The symbol counter type probability estimating means includes:
Cumulative appearance frequency storage means for counting the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and storing them in the count storage means;
When each of the cumulative appearance frequencies reaches a predetermined value, a half means for halving the cumulative appearance frequency,
From the ratio of the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol, the appearance probability or appearance of each information source symbol The adaptive encoding apparatus according to claim 13, wherein an index corresponding to the probability is estimated. The state transition type probability estimating means is:
Transition means for estimating the state of the information source symbol by transitioning between a plurality of preset states according to the index of the information source symbol stored in the count storage means and the appearing information source symbol,
The transition means estimates an index corresponding to an appearance probability or an appearance probability defined in a state of each information source symbol as an index corresponding to an appearance probability or an appearance probability of the information source symbol. The adaptive encoding device according to claim 13 or 14. Using an adaptive probability estimation device that selects an encoding parameter from an appearance probability of an encoding target symbol estimated based on the cumulative appearance frequency of the information source symbol or an index corresponding to the appearance probability , the encoded information source symbol is In an adaptive decoding device for decoding,
Count storage means for storing an index of the appearance frequency of the information source symbol or the state of the information source symbol;
A symbol counter type probability estimating means for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on the appearance frequency of the information source symbol;
A state transition type probability estimating means for estimating an appearance probability of each information source symbol or an index corresponding to the appearance probability based on a transition between states of each information source symbol;
Probability estimation determination means for selecting the symbol counter type probability estimation means or the state transition type probability estimation means based on the appearance frequency of the information source symbol stored in the count storage means or the index of the state of the information source symbol;
Decoding means for decoding an encoded information source symbol using the appearance probability estimated by the symbol counter type probability estimation means or the state transition type probability estimation means or an index corresponding to the appearance probability. A featured adaptive decoding device. The symbol counter type probability estimating means includes:
Cumulative appearance frequency storage means for counting the cumulative appearance frequency of all information source symbols and the cumulative appearance frequency of inferior symbols, or the cumulative appearance frequency of dominant symbols and the cumulative appearance frequency of inferior symbols, and storing them in the count storage means;
When each of the cumulative appearance frequencies reaches a predetermined value, a half means for halving the cumulative appearance frequency,
From the ratio of the cumulative appearance frequency of all the information source symbols and the cumulative appearance frequency of the inferior symbol or the ratio of the cumulative appearance frequency of the dominant symbol and the cumulative appearance frequency of the inferior symbol, the appearance probability or appearance of each information source symbol The adaptive decoding apparatus according to claim 16, wherein an index corresponding to the probability is estimated. The state transition type probability estimating means is:
Transition means for estimating the state of the information source symbol by transitioning between a plurality of preset states according to the index of the information source symbol stored in the count storage means and the appearing information source symbol,
The transition means estimates an index corresponding to an appearance probability or an appearance probability defined in a state of each information source symbol as an index corresponding to an appearance probability or an appearance probability of the information source symbol. The adaptive decoding device according to claim 16 or 17.

Images