JP4234018B2 - デジタル映像音声信号可逆符号化復号方法、装置およびこの方法を実行するためのコンピュータプログラムを記録した記録媒体 - Google Patents

Description

本発明は映像・音声の高能率可逆符号化に関する。

従来の画像・音声の可逆符号化、あるいは内挿予測を用いた符号化においては、以下のような方法があった。
［外挿予測］
画像の符号化を例にとると、ＩＳＯ／ＩＥＣ ｌ０９１８（ＪＰＥＧ）ロスレスモード，ＩＳＯ／ＩＥＣ １４４９５（ＪＰＥＧ−ＬＳ），ＣＡＬＩＣ（非特許文献１参照）等の方式は、図１のような画素の並びにおいて、着目画素（ｘ）の周囲で、復号側でも使うことができる「因果的画素（ｏ）」を用いて、外挿予測を行い、予測値と原信号との差分を可変長符号や算術符号によりエントロピ符号化する、という方式を用いている。現状では、この方式が圧縮率の観点から最も効率が高い。

［因果的内挿予測］
また、「因果的内挿予測」とも呼ぶべき方法として、図２のように画像をたとえば２画素に１画素の割合で縦横に間引き、符号化第一段階で疎な画素（ｏ）のみからなる縮小画像を上述のように外挿予測符号化し、符号化第二段階で残る画素（・）を、やはり復号側でも使うことができる因果的画素により内挿予測し、同様に予測差分を符号化する、という方法も多く提案されている（例えば非特許文献２参照）。

例えば図３で着目画素（ｘ）を符号化する際、図２で（・）で示された画素のうち復号済みの（ｘに対し因果的な）画素（＃）および第一段階で符号化済みの画素（ｏ）の、全部または一部を用いてｘを予測する（（・）は復号済みでないので予測には用いない）。ただし、最初に疎な信号（ｏ）だけを符号化する際、画素間の距離が離れたもの同士（相関が弱いもの同士）で外挿予測を行うため、符号化効率はそれほど高くはならない。

［内挿予測（非可逆符号化）］
ここまでで述べた方法は、復号側でも既に復号済みの「因果的画素」を用いて予測を行う方法であり、図４に示す着目画素（ｘ）を予測するのに、既に復号済みでない周囲の「非因果的」画素（ｏ）を用いてはいなかった。ここで示したような非因果的画素をも予測に用いる方法を本発明では「内挿予測」方式と呼ぶ。非可逆符号化ではこの予測を用いた方式が従来提案がなされていた（例えば非特許文献３参照）が、付加情報が多くなり、ＩＳＯ／ＩＥＣｌ０９１８（ＪＰＥＧ）やＩＳＯ／ＩＥＣ １５４４４（ＪＰＥＧ２０００）などの非可逆符号化標準に比べ性能は劣る。

X. Wu and N. Memon, "Context-based adaptive lossless image codec", IEEE Transactions on Communication, Vol. 45, pp. 437-444, April 1997 岩橋他,「一般化内挿外挿予測符号化方式」，信学ソ大，Ａ-112，ｐ．113，Sep. 1996 町澤，田中，「領域分割による内挿ＤＰＣＭに基づく画像データ圧縮法」，電子情報通信学会論文誌 vol. J69-D, no. 3, pp. 375-382, Mar. 1986

非因果的信号を用いた内挿予測方式は、「従来の技術」で挙げた外挿予測や因果的内挿予測に比べ、着目画素に密接した画素をより多く用いて予測が行えるため、予測効率が高い（予測差分信号のエントロピが低い）という好ましい性質をもつ。外挿予測、内挿予測それぞれの模式図を図５と図６に示す。
予測差分の整数化（量子化）が符号化には不可欠であるが、その量子化に起因する誤差が復号信号において大きく拡大してしまうという好ましくない性質があるので、内挿予測は可逆符号化には従来応用はなされていなかった。
本発明は、内挿予測を用いながらも可逆で効率の高いデジタル映像音声信号の符号化復号化方法及び装置を実現することを目的とする。

本発明は、一般に、まったく同じ量子化差分信号値を与える信号値は複数存在し得るので、扱う信号がデジタル離散信号であることを利用して、内挿予測により予測し量子化伝送された差分信号値から逆に、原信号値のとる可能性のある「候補信号」を洩れなく推定・列挙し、列挙された候補信号中、原信号が何番目にあたるかを伝送すれば、同じ列挙手順を有する復号側で原信号を正しく復号することが可能になるという着想に基づくものである。

請求項１の発明は、上記の着想に基づいて、ディジタル画像・音声の信号を、既に復号済みでない、着目信号周囲の「非因果的信号」を用いて信号値の線形内挿予測を行い原信号と同一の信号を再現しうる符号を生成する、デジタル映像音声信号可逆符号化方法であって、線形内挿により信号の内挿予測値を求め、原信号の信号値から該内挿予測値を減じ差分値を求め、量子化ステップ幅を入力し、該差分値を該量子化ステップ幅で量子化して量子化差分値を求め、量子化差分値を符号化し、量子化差分値から原信号値が取りうる全ての原信号値候補を総探索し、得られる毎に通番Ｎを１ずつ加算し、原信号と一致するケースが出現した際の通番Ｎを符号化することを特徴とし、
請求項５の発明は、請求項１に記載のディジタル映像音声信号可逆符号化方法に対応する復号方法であって、量子化差分値を復号し、量子化ステップ幅を入力し、原信号と一致するケースが出現した際の通番を表す原信号出現番号を復号し、該量子化差分値から、原信号値が取りうる全ての候補信号を総探索し、得られる毎に通番Ｎ’を１ずつ加算し、その通番Ｎ’が原信号出現番号Ｎに等しくなった場合、その候補信号を復号画像として出力し処理を終了することを特徴とする。

請求項２の発明は、請求項１記載のデジタル映像音声信号可逆符号化方法において、伝送される量子化差分値の持つ誤差の上下界を量子化ステップ幅から求め、差分値上下界を求め、差分値上下界それぞれを逆線形内挿予測変換し原信号値の上下界ｆ_Ｌ，ｆ_Ｕを求め、該上下界により総探索における探索範囲を限定することを特徴とし、
請求項６の発明は、請求項２に記載のデジタル映像音声信号可逆符号化方法に対応する、請求項５に記載の復号方法において、請求項２に記載のデジタル映像音声信号可逆符号化方法に対応する、請求項５に記載の復号方法であって、量子化差分値の持つ誤差の上下界を量子化ステップ幅から求め、差分値上下界を求め、差分値上下界それぞれを逆線形内挿予測変換し原信号値の上下界を求め、該上下界により総探索における探索範囲を限定することを特徴とする。

請求項３の発明は、請求項１または２に記載のデジタル映像音声信号可逆符号化方法において、伝送される量子化差分値に一律に数値Ｕを加えた修正差分値を求め、該修正差分値を逆線形内挿予測変換し推定原信号値を求め、該推定原信号値が全ての位置で原信号値以上となるような、定められた精度内で最小の数値Ｕ（差分値誤差上限値）を求め、数値Ｕと同様に該推定原信号値が全ての位置で原信号値以下となるような、定められた精度内で最大の数値Ｌ（差分値誤差下限値）を求め、数値Ｌ，Ｕを符号化し、数値Ｌ，Ｕに対応する原信号値の上下界ｆ_Ｌ，ｆ_Ｕを求め、該上下界により総探索における探索範囲を限定することを特徴とし、
請求項７の発明は、請求項３に記載のデジタル映像音声信号可逆符号化方法に対応する、請求項５または６に記載の復号方法であって、差分値誤差上下限値Ｌ，Ｕを復号し、Ｌ，Ｕに対応する原信号の上下界を求め、該上下界により総探索における探索範囲を限定することを特徴とする。

請求項４の発明は、請求項１、２または３に記載のデジタル映像音声信号可逆符号化方法において、原信号の平均値を求め、伝送される量子化差分値に一律に数値Ｍを加えた修正差分値を求め、該修正差分値を逆線形内挿予測変換し、推定原信号値を求め、該推定原信号値の平均値が原信号値の平均値と一致するような数値Ｍ（差分値誤差平均値）を求め、数値Ｍを符号化し、総探索により得られた原信号値候補の平均値を求め、これと原信号平均値を比較し、等しい場合のみ通番を加算することを特徴とし、
請求項８の発明は、請求項４に記載のデジタル映像音声信号可逆符号化方法に対応する、請求項５または６または７に記載の復号方法であって、差分値誤差平均値Ｍを復号し、Ｍに対応する原信号の平均値を求め、該平均値を用いて、総探索における列挙候補を絞り込むことを特徴とする。

請求項９〜１２の発明は請求項１〜４の何れかに記載のデジタル映像音声信号可逆符号化方法を実施する符号化装置であって、請求項１〜４の何れかに記載の各ステップを実行する手段を備えることを特徴とする。

請求項１３〜１６の発明は、請求項５〜８に記載のデジタル映像音声信号可逆復号方法を実施する復号装置であって、請求項５〜８に記載の各ステップを実行する手段を備えることを特徴とする。

請求項１７の発明は、請求項１〜４の何れかに記載のデジタル映像音声信号可逆符号化方法における符号化処理手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体であり、
請求項１８の発明は、請求項５〜８の何れかに記載のデジタル映像音声信号可逆復号方法における復号処理手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体である。

本発明によれば、外挿予測や因果的内挿予測よりも予測効率の高い内挿予測を用いたデジタル音声・画像信号の可逆符号化ができる。

[請求項１及び５の発明]
請求項１及び５に記載のデジタル映像音声信号可逆符号化復号方法について、４ｂｉｔのデジタル１次元信号の例をとって説明する。信号値は０から１５までの整数値をとる。
３つのデジタル信号が
（10，15，12）
のように並んでいる場合の符号化を考える。端（１０の左、１２の右）は特に与えられていない場合、固定値が入っているとする。ここでは０とする。つまり
((0)，10，15，12，(0))
のようになっているとみなす。内挿予測は、着目信号の両隣の信号の平均をとることにする。つまり内挿予測係数は１／２である。従って内挿予測値は
((0+15)/2，(12+15)/2，(15+0)/2)
つまり
（7.5，11，7.5）
となる。これらを原信号値から除いた値が差分値であり、
（2.5，４，4.5）
となる。これらを幅１で量子化（四捨五入）し、
（３，４，５）
という量子化差分値を得る。これらの信号を算術符号やハフマン符号などでエントロピ符号化し、伝送する。

復号側を考えると、
（３，４，５）
という量子化差分値がわかっており、
（(0)，ａ，ｂ，ｃ，(0)）
のように不明値ａ，ｂ，ｃが存在している。
内挿予測の手順を考えると、ａの位置では
Round（ａ−（０＋ｂ）/２）＝３ （１）
と書ける。ここでRound（）は小数点以下を四捨五入し整数とする関数、つまり量子化ステップ幅１での量子化を行う関数である。引数がスカラーでなくベクトルであれば、ベクトルの各要素を四捨五入することとする。すなわち
Round（ｘ）＝［ｘ＋0.5］ （２）
である。式１を変形し以下を得る。
ａ＝Round((０＋ｂ)/２)＋３ （３）
ここで内挿予測係数が１/２のためｘは整数か半整数であり、
Round（ｘ）＝ｂのときｘ＝ｂまたはｘ＝ｂ−0.5 （４）
が成り立つ。したがって
ａ＝(０＋ｂ)/２＋３またはａ＝(０＋ｂ)/２−0.5＋３ （５）
となる。つまり、
ｂ＝２（ａ−３）またはｂ＝２（ａ−３）＋１ （６）
となる。

同様に、
Round（ｂ−（ａ＋ｃ）/２）＝４ （７）
から
ｃ＝２（ｂ−４）−ａまたはｃ＝２（ｂ−４）−ａ＋１ （８）
となり、
ｃ−Round（（ｂ＋０）/２）＝５ （９）
から
２（ｃ−５）＝ｂまたは２（ｃ−５）＝ｂ−１ (10)
となる。

したがって、ａ，ｂ，ｃを求めるためには、式６、式８、式１０を踏まえ、以下のような手順を実行すればよいことになる。

1 N＝0
2 for(a＝0 to 15 step 1)/*4bit整数の範囲内*/
3 for(b＝2(a-3) to 2(a-3)＋1 step 1)
4 if(bが4 bit整数の範囲内)
5 then
6 for(c＝2(b-4)-a to 2(b-4)-a＋1 step 1)
7 if(cが4 bit整数の範囲内かつ(2(c-5)＝＝bまたは2(c-5)＝＝b-1))
8 then
9 if(a,b,cが原信号に一致)then Nを出力し終了 fi
10 N＝N＋1
11 fi
12 end
13 fi
14 end
15 end

上記手順を実行すると、
（10，15，12），（11，16，13）
の２候補がこの順に出力される。いずれも量子化差分値（３，４，５）を満たしている。この場合１番目（10，15，12）が原信号であるので、通番「Ｎ＝０」が符号化結果として出力される。

このＮと量子化差分値を伝送すれば、以下のように同様の手続きを復号側で行うことにより原信号が誤りなく復号できる。

1 N'＝０
2 符号化ストリームからNを取得
3 for(a＝0 to 15 step 1)/*4bit整数の範囲内*/
4 for(b＝2(a-3) to 2(a-3)＋1 step 1)
5 if(bが4 bit整数の範囲内)
6 then
7 for(c＝2(b-4)-a to 2(b-4)-a＋1 step 1)
8 if(cが4 bit整数の範囲内かつ(2(c-5)＝＝bまたは2(c-5)＝＝b-1))
9 then
10 if(N＝＝N') then a,b,cを出力し終了 fi
11 N＝N'＋1
12 fi
13 end
14 fi
15 end
16 end

また、ここでは信号長を３としたので深さ３の入れ子ループで実装したが、一般の長さ（Ｗ）の信号の符号化を行う場合は、量子化予測差分をdif[1..Ｗ]に保存しておき、原信号候補用のメモリbuf[0‥Ｗ＋1]を用意する。そして、次の手順のような再帰呼び出しを行えばよい。これはいわゆる「バックトラック探索」と呼ばれる、一般的なしらみつぶし探索技法の一つである。

1 proc Seek(x)
2 if(x＝＝1)/*左端*/
3 for(ν＝Min to Max step 1)
4 buf[x]＝ν
5 call Seek (x＋1)
6 end
7 elseif (x < W)
8 for(ν＝Min to Max step 1)
9 if(Round((buf[x-2]＋ν)/2)-buf[x-1]＝＝dif[x-1])
10 then
11 buf[x]＝ν
12 call Seek (x＋1)
13 fi
14 end
15 else/*x＝W 右端*/
16 bufW＝Round((buf[W-1]＋buf[W+1])/2)＋dif[W]
17 if(buf[W-1]＝＝Round((buf[W-2]＋bufW)/2)＋dif[W-1])
18 then/*候補発見*/
19 if(buf[1..W]が原信号に一致)then Nを出力し終了 fi
20 N＝N＋1
21 if
22 end
23 endproc
25 proc Main
26 N＝0
27 Min＝0,Max＝15/*4 bit 信号の上下限*/
28 dif[1..W]のセットアップ
29 buf[0]＝buf[W＋1]＝0/*信号の外の値を0としておく*/
30 call Seek(1)
31 endproc

[請求項２及び６の発明]
請求項２及び６の発明は、請求項１及び５に記載のデジタル映像音声信号可逆符号化復号方法について、付加情報なしで高速に符号化復号化処理を行うようにするためにステップサイズに基づいて捜索範囲の絞り込みを行うものであり、１次元信号を例にとって説明する。

原信号
(ａ，ｂ，ｃ) (11)
を内挿予測差分へ変換すると、量子化誤差を考えない場合、

（ａ−(ｂ＋０)/２，ｂ−(ａ＋ｃ)/２，ｃ−(ｂ＋０)/２） (12)
のようになる。
式１１から式１２への変化を行列とベクトルを用いて表現すると、原信号ベクトルｆを
ｆ＝(ａ，ｂ，ｃ)^Ｔ (13)
とし（・^Ｔは行列・ベクトルの転置を表す）、これを線形内挿予測変換行列Ａ

が内挿予測差分値ベクトルクｐ
ｐ＝(ｘ，ｙ，ｚ)^Ｔ (15)
に写像する、つまり
Ａｆ＝ｐ (16)
と書ける。

量子化差分値ベクトルｑは
ｑ＝Round(ｐ) (17)
＝(Roumd(ｘ)，Round(ｙ)，Round(ｚ))^Ｔ (18)
＝ｐ＋(ｄ_ｘ，ｄ_ｙ，ｄ_ｚ)^Ｔ (19)
と書ける。ここでｄ_ｘ，ｄ_ｙ，ｄ_ｚは式２よりそれぞれ０か0.5の値をとる変数である。

ここで、量子化差分値ベクトルｑの各要素に一律に値ｗを加えた
ｑ(ｗ)＝（Round(ｘ)＋ｗ，Round(ｙ)＋ｗ，Round(ｚ)＋ｗ (20)
なるベクトルｑ(ｗ)を定義する。これは３要素での例であるが、要素数が異なっても同様に各要素に値ｗを加えたベクトルを表すものとする。

式１６より、
ｆ＝Ａ^-1ｐ （21）
＝Ａ^-1(ｑ−(ｄ_ｘ，ｄ_ｙ，ｄ_ｚ)^Ｔ) （22）
とし、Ａのような形の行列の逆行列Ａ^-1の要素は非零であることがわかっているので、ｗの増減とＡ^-1ｑ(ｗ)の各要素の増減は一致する。したがってｆの各要素は、位置毎に
Ａ^-1ｑ(−0.5)^Ｔの要素以上、Ａ^-1ｑ(０)^Ｔの要素以下 （23）
である。

これらをＡの逆行列

を用いて実際に計算すると、先ほどの例ではｑ＝(３，４，５)^Ｔであったので、
Ａ^-1ｑ(−0.5)^Ｔ＝Ａ^-1(2.5, 3.5, 4.5)^Ｔ＝(9.5, 14, 11.5)^Ｔ (25)
と
Ａ^-1ｑ(０)^Ｔ＝Ａ^-1(３，４，５)^Ｔ＝(11，16，13)^Ｔ （26）
の間で探索すればよい。

さらに、下限として出た9.5や11.5のような値はデジタル信号はとりえないので、それぞれ整数に切り上げた10や12としてよい。つまり
（10，14，12）
を下限値としてよい。同様に、仮に上限に非整数が出た場合は、切捨てた値とすればよい。
また上下限は４ｂｉｔデジタル信号の範囲（0‥15）内でクリッピングしてよい。この例では上限として出た値の一つ16が該当するので、これを15にクリッピングした
（11，15，13）
を上限とすればよい。

これを反映した先程の探索手続きは以下のようになる。

1 for(a＝10 to 11 step 1)
2 for(b＝2(a-3) to 2(a-3)＋1 step 1)
3 if(bが4 bit整数の範囲内かつ14≦b≦15)
4 then
5 for(c＝2(b-4)-a to 2(b-4)-a＋1 step 1)
6 if(cが4 bit整数の範囲内かつ12≦c≦13
7 かつ(2(c-5)＝＝bまたは(2(c-5)＝＝b-1))
8 then
9 a,b,cを出力
10 fi
11 end
12 fi
13 end
14 end

このように探索すべき範囲を大きく減らし、計算時間を短縮することができる。本絞り込み処理のために必要な情報は量子化ステップ幅のみであり、ここで行っているように１で固定であれば伝送不要である。

［1次元より高い次元について］
１次元より次元が高い信号についても同様に探索処理ができることを説明する。例えば３×３の画像の２次元信号において、着目画素の上下左右に隣接する画素の平均値を予測値とする、線形内挿予測における場合を説明する。図７のような画像において、ｅの予測値を0.25（ｂ＋ｄ＋ｆ＋ｈ）とする。量子化を考えない場合の予測差分値はｅ−0.25（ｂ＋ｄ＋ｆ＋ｈ）となる。

図７の２次元信号を走査線順に並べ、
（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ）
のように１次元化すると、線形内挿予測変換行列Ａは

のようになる。後の上下限値の決定及び探索処理は１次元の例で述べたものとまったく同様である。

［行列方程式の解法について］
なお、ここで出てくる行列ＡとＡ^-1はともに、行数・列数がともに総信号数と等しい（要素数が総信号数の二乗に等しい）正方行列である。符号化する対象が２次元、３次元信号の場合も同様である。１次元の例では信号のサイズが３と小さいので直接Ａ^-1を求めて例を示したが、数百、数千といった大きなサイズであったり、２次元、３次元信号の場合、行列Ａは巨大なものになり、直接Ａ^-1を求めるのは非現実的となる。しかしながら、ヤコピ法やＳＯＲ法などの逐次的数値解法を用いれば、総信号数と同オーダーのメモリ量で、かつ高速にＡｆ＝ｐからｆ＝Ａ^-1ｐを求めることができる。

［内挿予測に用いる係数について］
上記の説明では簡単のため、１次元の場合は両隣の信号の平均（係数はそれぞれ0.5）、２次元の場合は上下左右に隣接する信号の平均（係数はそれぞれ0.25）としていた。
しかしながら本発明においては係数はこれには限らず、例えば最小二乗法により予測係数を求めたり、信号の端など、領域毎に予測係数を適応的に変えたりしてもよい。

例えば図７の２次元画像信号において、
・角の点ａ,ｃ,ｇ,ｉは予測せず、そのまま伝送する；
・端の点ｂはａ,ｃ,ｅの３信号の平均として予測(ｄ,ｆ,ｈも同様に３信号から予測)；
のようにした場合、線形内挿予測変換行列Ａは

なる。

また、同じ画像で
・角の点ａ,ｃ,ｇ,ｉは予測せず、そのまま伝送する；
・端の点ｂは両隣ａ,ｃの平均として１次元予測（ｄ,ｆ,ｈも同様に１次元予測）；
という予測方針であれば、線形内挿予測変換行列Ａは

のようになる。

このように、予測が線形であれば行列表現ができるので、前述の行列を用いた議論がそのままあてはまる。したがって、本発明により以下のような符号化の例がいずれも可能となる：
・１次元デジタル信号を符号化する際、信号の始点の前、終点の後には信号値０があるとして、全ての信号を等価に内挿予測し符号化する（最初に説明したもの）；
・１次元デジタル信号を符号化する際、信号の始点と終点を内挿予測せず直接伝送する；
・２次元デジタル信号を符号化する際、全信号を任意の１次元内挿予測符号化する；
・２次元デジタル信号を符号化する際、４辺の信号すべてを任意の１次元内挿予測符号化し、内部の信号は上下左右斜めの隣接８画素の平均として２次元内挿予測符号化する；
・２次元デジタル信号を符号化する際、上辺の信号のみ下左右の３点の平均として２次元内挿予測符号化し、残る３辺の信号は任意の１次元内挿予測符号化し、内部の信号は上下左右４点の平均として２次元内挿予測符号化する；
・３次元デジタル信号を符号化する際、全８面の信号を任意の２次元内挿予測符号化し、内部の信号は上下左右前後６点の平均として３次元内挿予測符号化する；
・３次元デジタル信号を符号化する際、全１２辺を１次元内挿予測符号化し、全８面の信号を、外部を含まない５方向３次元次元内挿予測符号化し、内部の信号は上下左右前後斜め２６点の平均として３次元内挿予測符号化する；

[請求項３及び７の発明]
この発明は、請求項２及び６の符号化復号方法において、若干の付加情報を伝送することで符号化復号処理を高速化し、かつ符号化効率改善も実現するための、捜索範囲の絞り込みを行うものであり、１次元信号を例にとって説明する。
「ｆ_Ｕ＝Ａ^-1ｑ(Ｕ)が全ての位置で原信号値ｆ以上となるような、定められた精度内で最小の数値である、差分値誤差上限値Ｕ」を求める。ここでｑ(・)は式２０のものである。
以後、一般的な行列の形式で説明する。

この差分値誤差上限値Ｕを求める手順は次の通りである。
式２３から−0.5≦Ｕ≦０であることがわかっているので、

1 U＝0, lo＝-0.5
2 repeat(最大回数まで)
3 mid＝(U+lo)/2
4 x＝A^-1q(mid)を計算。
5 xの要素を4bit整数の範囲ですべて整数に切り捨てる
6 if(要素ごとの比較でxがfを一つでも下回っている)
7 then
8 lo＝mid
9 0を出力
10 else
11 if(xが前回から変化がない) then終了fi
12 U＝mid
13 1を出力
14 if(xが原信号に一致) then終了fi
15 fi
16 endrep

ここで用いた「最大回数」が上記の「定められた精度」に相当する。

これを先の例で実行すると、符号「１」が出力され、Ｕ＝−0.25、対応する上限は(10，15，12)となる。
Ｕは、上記の手順により得られた符号から、以下の手順により復号できる。すなわち、

1 U＝0, lo＝-0.5
2 repeat(最大回数まで)
3 mid＝(U+lo)/2
4 1 ビット取り出す
5 if(取り出すビットがない)then終了
6 elseif(ビットが0))then lo＝mid
7 elseif(ビットが1))then U＝mid
8 fi
9 endrep

とする。

同様に、差分値誤差下限値Ｌを求める手順は以下のようになる。Ｕが既に求まっているので、Ｌの上限値hiはＵで初期化してよい。

1 hi＝U, L＝-0.5
2 repeat(最大回数まで)
3 mid＝(hi＋L)/2
4 x＝A^−１q(mid)を計算
5 xの要素を4bit整数の範囲ですべて整数に切り上げる
6 if(要素ごとの比較でxがfを一つでも上回っている)
7 then
8 hi＝mid
9 0を出力
10 else
11 if(xが前回から変化がない)then終了fi
12 L＝mid
13 1を出力
14 if(xが原信号に一致)then終了fi
15 fi
16 endrep

Ｌは、上記の手順により得られた符号から復号することができる。すなわち、

1 hi＝U, L＝-0.5
2 repeat
3 mid＝(hi＋L)/2
4 １ビットを取り出す
5 if(取り出すビットがない)then終了
6 elseif(ビットが0))then hi＝mid
7 elseif(ビットが1))then L＝mid
8 fi
9 endrep

とする。
これも先の例で実行すると、符号「１」が出力され、Ｌ＝−0.375、対応する下限は（10，15，12）となる。

尚、この発明では、請求項４および８の発明により、ｑ(Ｍ)の平均値が原信号のそれと一致するような値Ｍ（差分値誤差平均値）がＵ，Ｌよりも前に符号化伝送されている場合には、Ｌ≦Ｍ≦Ｕが成り立つことから、Ｕの符号化復号手順ステップ１において
Ｕ＝０，ｌｏ＝−0.5
Ｌの符号化復号手順ステップ１において
ｈｉ＝Ｕ，Ｌ＝−0.5
と初期化していたところをそれぞれ
Ｕ＝０，ｌｏ＝−Ｍ
ｈｉ＝Ｍ，Ｌ＝−0.5
と修正する。これにより、ＵとＬの存在範囲が予め狭まるため、それぞれの記述に要するビット数が少なくなる可能性がある（少なくとも超えない）、という効果を生む。

[請求項４および８の発明]
この発明は請求項３および７の発明と同様の絞り込みを強化したもので、符号化効率改善を狙うものであり、この発明に係るデジタル映像音声信号可逆符号化復号方法について、前述のｑ(ｘ)を用いて説明する。

Ａ^−１ｑ(Ｍ)の要素平均値が原信号値ｆ＝（10，15，12）の要素平均値（12.333）と一致するような、定められた精度内で最小の数値Ｍ（差分値誤差平均値）を求める。なお、Ａ^−１ｑ(Ｍ)の各要素は必ずしも整数でないので、平均を求める際には何らかの整数化を行う。ここでは四捨五入とした。

差分値誤差平均値Ｍを求める手順は次の通りである。

1 hi＝0, M＝-0.5
2 repeat(最大回数まで)
3 mid＝(hi＋M)/2
4 x＝A^-1q(mid)を計算
5 xの要素を4bit整数の範囲ですべて四捨五入する
6 if(xの要素平均値が原信号値のそれより大きい)
7 then
8 hi＝mid
9 0を出力
10 elseif(xの要素平均値が原信号値のそれより小さい)
11 then
12 M＝mid
13 1を出力
14 elseif(xの要素平均値が原信号値のそれと一致)
15 then
16 M＝mid
17 1を出力
18 終了
19 if
20 endrep

Ｍの復号手順は以下のようになる。

1 hi＝0, M＝-0.5
2 repeat
3 mid＝(hi＋M)/2
4 1ビット取り出す
5 if(取り出すビットがない)then終了
6 elseif(ビットが0))then hi＝mid
7 elseif(ビットが1))then M＝mid
8 fi
9 endrep

尚、この発明では、請求項３および１０の発明によりＭよりも前にＵ，Ｌが符号化伝送されている場合、Ｌ≦Ｍ≦Ｕが成り立っことから、上記手順中、ｈｉ＝０，Ｍ＝−０．５と初期化していたところをｈｉ＝Ｕ，Ｍ＝Ｌと変更する。このようにするとＭの存在範囲が予め狭まるため、Ｍの記述に要するビット数を少なくできる可能性がある（少なくとも超えない）、という効果を生む。
またＭを用い、原信号候補として原信号と平均値が同じものだけを絞り込むので、Ｍの記述に要するビット数も少なくできる可能性がある。

本発明の請求項３乃至４の符号化方式の好適実施例について図８を参照して説明する。
ステップ１０１にて原信号ベクトルｆを入力する。信号サイズが過度に大きい場合は、信号を幾つかの小ブロックに分割し個別に符号化処理を行うこととしてもよい。
次いで、線形内挿予測変換ステップ１０２で内挿予測値ベクトルｐに変換される。次いでステップ１０３でｑ＝Round(ｆ−ｐ)と、差分・量子化を施し量子化差分値ベクトルｑを得る。このｑは、符号化ステップ１０４にて、算術符号あるいは可変長符号により、エントロピ符号化され、出力される。

ステップ１０５および１０８では、「請求項３および７の発明」で述べたようにｑ(ｘ)を繰り返し評価し、差分値誤差信号上限値Ｕ、下限値Ｌを求め、それぞれステップ１０６，１０９にて符号を出力する。
ステップ１０７，１１０では、Ｕ，Ｌに対応する原信号の上下界ｆ_Ｕ，ｆ_Ｌを求めておく。

ステップ１１１では、「請求項４及び８の発明」で述べたように、ｑ(ｘ)を繰り返し評価し、差分値誤差平均値Ｍを求め、ステップ１１２にてその符号を出力する。このＭの代りに、例えば原信号値の総和を送ることも考えられる。この場合Ｍの伝送に信号のビット数＋ｌｏｇ_２（信号総数）程度の情報量が必要となり、これをステップ１１２にて出力する。また、ステップ１１３では原信号ｆの平均値Ａｖｅを求めておく。

ステップ１１４で通番Ｎを０に初期化する。
ステップ１１５にて、請求項１及び５の方法におけバックトラック法等による可能な原信号値候補ｃのしらみつぶし探索の代わりに、本実施例では、ステップ１０７，１１０で求められたｆ_Ｕ，ｆ_Ｌの間だけを探索するようにし、処理を効率化する。

ステップ１１８にて原信号候補ｃの平均値ｃAveを求め、ステップ１１９にてこれが原信号の平均値Ａｖｅと等しいかを調べる。等しくなければ明らかに原信号候補になりえないためステップ１１５へ戻り次の候補を探索する。等しい場合、ステップ１１６で、候補ｃが原信号ｆに等しいかを調べ、等しい場合はステップ１１７に移り、そのときの通番Ｎを出力し処理を終了する。等しくなければ、ステップ１２０にて通番Ｎをインクリメントし、ステップ１１５へ戻る。

本発明請求項７乃至８の復号方式の好適実施例について図９を参照して説明する。
ステップ２０１にて量子化差分値ベクトルｑをエントロピ復号する。次いで「請求項３及び７の発明」にて述べた方法により、ステップ２０２にて差分値誤差上限値Ｕを復号し、これを元に原信号の上界ベクトルｆ_Ｕを求める。同様にステップ２０４にて差分値誤差下限値Ｕを復号し、これを元に原信号の下界ベクトルｆ_Lを求める。同様にステップ２０６にて差分値誤差平均値Ｍを復号し、ベクトルＡ^-1ｑ(Ｍ)の各要素の四捨五入後の総平均Ａｖｅを求める。これは原信号ｆの平均と一致しているはずである。

ついで２０８で通番Ｎを復号し、ステップ２０９にて変数Ｎ′を０に初期化する。
ステップ２１０はステップ１１５と全く同一の手続きである。ここで候補ベクトルｃが得られるたびに、ステップ２１３にてｃの総平均ｃＡｖｅを求め、これがＡｖｅと等しいかをステップ２１４にてチェックする。等しくなければ原信号候補から外れるので再びステップ２１０に戻る。等しければ、ステップ２１１にてＮとＮ′を比較し、等しければそのときの候補ベクトルｃが原画像であるのでこれを出力とし（ステップ２１２）、終了する。等しくなければステップ２１５でＮ′をインクリメントし、ステップ２１０に戻る。

尚、請求項１の符号化方法は、図８のステップ１０１，１０２，１０３，１１４，１１５，１１６，１１７，１２０のみで実現され、ステップ１０５にてステップ１０３で得られた量子化差分値から原信号が取り得るすべての原信号値候補ｃを探索し、ステップ１１６で、候補ｃが原信号ｆに等しいかを調べ、等しい場合はステップ１１７に移り、そのときの通番Ｎを出力し処理を終了する。等しくなければ、ステップ１２０にて通番Ｎをインクリメントし、ステップ１１５へ戻る。
また、請求項５の復号方法は、図９のステップ２０１，２０８，２０９，２１０，２１１，２１２，２１５のみで実現され、ステップ２１０にて復号量子化差分値から原信号が取り得るすべての原信号値候補ｃを探索し、候補ｃが得られるたびステップ２１１にてＮとＮ′を比較し、等しければそのときの候補ｃが原信号であるのでこれを出力とし（ステップ２１２）、終了する。等しくなければステップ２１５でＮ′をインクリメントし、ステップ２１０に戻る。

また、請求項２の符号化方法は、図１の方法のステップとステップ１０７及び１１０のみで実現され、ステップ１０７及び１１０にて、量子化ステップサイズに基づいて原信号の上界ｆ_Ｕ及び下界ｆ_Ｌを計算し、ステップ１１５における原信号候補ｃの探索を上下界ｆ_Ｕ及びｆ_Ｌの間だけ行い、請求項６の復号方法は、図５の方法のステップとステップ２０３及び２０５のみで実現され、ステップ２０３及び２０５にて量子化ステップサイズに基づいて原信号の上界ｆ_Ｕ及び下界ｆ_Ｌを計算し、ステップ２１０における原信号候補ｃの探索を上下界ｆ_Ｕ及びｆ_Ｌの間だけ行い、その他の処理は請求項１及び５の方法と同じである。

以上、本発明のディジタル映像音声信号可逆符号化復号方法の処理手順について説明したが、本発明はこれらの処理手順を実行する手段を備えたディジタル映像音声信号可逆符号化復号装置も本発明の範囲に含むものである。また、これらの処理手順及び手段はコンピュータによって実行及び実現することができ、本発明はこれらの処理手順を実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範囲に含むものである。

着目画素（ｘ）とその因果的画素（ｏ）を示す図である。 因果的内挿予測における疎画素（ｏ）と密画素（．）を示す図である。 因果的内挿予測における利用可能画素（０，＃）の例を示す図である。 着目画素（ｘ）およびそれに対する非因果的画素（０）を示す図である。 外挿予測の例を示す図である。 内挿予測の例を示す図である。 ３×３二次元画像信号を示す図である。 本発明の請求項１乃至４の符号化方法の実施例を示す図である。 本発明請求項５乃至８の符号方法の実施例を示す図である。

符号の説明

１１４−１２０ 量子化差分値から原信号が取り得る全ての原信号値候補を探索し、得られる毎に通番Ｎを１ずつ加算し、原信号と一致するケースが出現した際の通番Ｎを符号化する処理手順
２１０−２１５ 量子化差分値から、原信号値が取り得る全ての原信号値候補を探索・列挙し、列挙した回数が原信号出現番号に等しくなった場合、その候補信号を復号信号として出力する処理手順

Claims (18)

1. デジタルの画像・音声の信号を、既に復号済みでない、着目信号周囲の「非因果的信号」を用いて信号値の線形内挿予測を行い原信号と同一の信号を再現しうる符号を生成する、デジタル映像音声信号可逆符号化方法であって、
   線形内挿により信号の内挿予測値を求め、
   原信号の信号値から該内挿予測値を減じ差分値を求め、
   量子化ステップ幅を入力し、該差分値を該量子化ステップ幅で量子化し量子化差分値を求め、
   量子化差分値を符号化し、
   量子化差分値から原信号値が取りうる全ての原信号値候補を総探索し、
   原信号候補が得られる毎に通番Ｎを１ずつ加算し、原信号と一致するケースが出現した際の通番Ｎを符号化することを特徴とするデジタル映像音声信号可逆符号化方法。
2. 請求項１に記載のデジタル映像音声信号可逆符号化方法であって、
   伝送される量子化差分値の持つ誤差の上下界を量子化ステップ幅から求め、
   差分値上下界を求め、
   差分値上下界それぞれを逆線形内挿予測変換し原信号値の上下界ｆ_Ｌ，ｆ_Ｕを求め、
   該上下界により総探索における探索範囲を限定することを特徴とするデジタル映像音声信号可逆符号化方法。
3. 請求項１または２に記載のデジタル映像音声信号可逆符号化方法であって、
   伝送される量子化差分値に一律に数値Ｕを加えた修正差分値を求め、
   該修正差分値を逆線形内挿予測変換し推定原信号値を求め、
   該推定原信号値が全ての位置で原信号値以上となるような、定められた精度内で最小の数値Ｕ（差分値誤差上限値）を求め、
   数値Ｕと同様に該推定原信号値が全ての位置で原信号値以下となるような、定められた精度内で最大の数値Ｌ（差分値誤差下限値）を求め、
   数値Ｌ，Ｕを符号化し、
   数値Ｌ，Ｕに対応する原信号値の上下界ｆ_Ｌ，ｆ_Ｕを求め、
   該上下界により総探索における探索範囲を限定することを特徴とするデジタル映像音声信号可逆符号化方法。
4. 請求項１または２または３に記載のデジタル映像音声信号可逆符号化方法であって、
   原信号の平均値を求め、
   伝送される量子化差分値に一律に数値Ｍを加えた修正差分値を求め、
   該修正差分値を逆線形内挿予測変換し、推定原信号値を求め、
   該推定原信号値の平均値が原信号値の平均値と一致するような数値Ｍ（差分値誤差平均値）を求め、
   数値Ｍを符号化し、
   総探索により得られた原信号値候補の平均値を求め、
   これと原信号平均値を比較し、等しい場合のみ通番を加算することを特徴とするデジタル映像音声信号可逆符号化方法。
5. 請求項１に記載のデジタル映像音声信号可逆符号化方法に対応する復号方法であって、
   量子化差分値を復号し、
   量子化ステップ幅を入力し、
   原信号と一致するケースが出現した際の通番を表す原信号出現番号を復号し、
   該量子化差分値から、原信号値が取りうる全ての候補信号を総探索・列挙し、
   列挙した回数が原信号出現番号に等しくなった場合、その候補信号を復号画像として出力し処理を終了することを特徴とするデジタル映像音声信号可逆復号方法。
6. 請求項２に記載のデジタル映像音声信号可逆符号化方法に対応する、請求項５に記載の復号方法であって、
   量子化差分値の持つ誤差の上下界を量子化ステップ幅から求め、
   差分値上下界を求め、
   差分値上下界それぞれを逆線形内挿予測変換し原信号値の上下界を求め、
   該上下界により総探索における探索範囲を限定することを特徴とするデジタル映像音声信号可逆復号方法。
7. 請求項３に記載のデジタル映像音声信号可逆符号化方法に対応する、請求項５または６に記載の復号方法であって、
   差分値誤差上下限値Ｌ，Ｕを復号し、
   Ｌ，Ｕに対応する原信号の上下界を求め、
   該上下界により総探索における探索範囲を限定することを特徴とするデジタル映像音声信号可逆復号方法。
8. 請求項４に記載のデジタル映像音声信号可逆符号化方法に対応する、請求項５または６または７に記載の復号方法であって、
   差分値誤差平均値Ｍを復号し、
   Ｍに対応する原信号の平均値を求め、
   該平均値を用いて、総探索における列挙候補を絞り込むことを特徴とするデジタル映像音声信号可逆復号方法。
9. デジタルの画像・音声の信号を、既に復号済みでない、着目信号周囲の「非因果的信号」を用いて信号値の線形内挿予測を行い原信号と同一の信号を再現しうる符号を生成する、デジタル映像音声信号可逆符号化装置であって、
   線形内挿により信号の内挿予測値を求める手段と、
   原信号の信号値から該内挿予測値を減じ差分値を求める手段と、
   量子化ステップ幅を入力し、該差分値を該量子化ステップ幅で量子化し量子化差分値を求める手段と、
   量子化差分値を符号化し、量子化差分値から原信号値が取りうる全ての原信号値候補を総探索する手段と、
   原信号候補が得られる毎に通番Ｎを１ずつ加算し、原信号と一致するケースが出現した際の通番Ｎを符号化する手段とを備えることを特徴とするデジタル映像音声信号可逆符号化装置。
10. 請求項９に記載のデジタル映像音声信号可逆符号化装置であって、
    伝送される量子化差分値の持つ誤差の上下界を量子化ステップ幅から求める手段と、
    差分値上下界を求める手段と、
    差分値上下界それぞれを逆線形内挿予測変換し原信号値の上下界ｆ_Ｌ，ｆ_Ｕを求める手段と、
    該上下界により総探索における探索範囲を限定する手段とを備えることを特徴とするデジタル映像音声信号可逆符号化装置。
11. 請求項９または１０に記載のデジタル映像音声信号可逆符号化装置であって、
    伝送される量子化差分値に一律に数値Ｕを加えた修正差分値を求める手段と、
    該修正差分値を逆線形内挿予測変換し推定原信号値を求める手段と、
    該推定原信号値が全ての位置で原信号値以上となるような、定められた精度内で最小の数値Ｕ（差分値誤差上限値）を求める手段と、
    数値Ｕと同様に該推定原信号値が全ての位置で原信号値以下となるような、定められた精度内で最大の数値Ｌ（差分値誤差下限値）を求める手段と、
    数値Ｌ，Ｕを符号化する手段と、
    数値Ｌ，Ｕに対応する原信号値の上下界ｆ_Ｌ，ｆ_Ｕを求める手段と、
    該上下界により総探索における探索範囲を限定する手段とを備えることを特徴とするデジタル映像音声信号可逆符号化装置。
12. 請求項９または１０または１１に記載のデジタル映像音声信号可逆符号化装置であって、
    原信号の平均値を求める手段と、
    伝送される量子化差分値に一律に数値Ｍを加えた修正差分値を求める手段と、
    該修正差分値を逆線形内挿予測変換し、推定原信号値を求める手段と、
    該推定原信号値の平均値が原信号値の平均値と一致するような数値Ｍ（差分値誤差平均値）を求める手段と、
    数値Ｍを符号化する手段と、
    総探索により得られた原信号値候補の平均値を求める手段と、
    これと原信号平均値を比較し、等しい場合のみ通番を加算する手段とを備えることを特徴とするデジタル映像音声信号可逆符号化装置。
13. 請求項９に記載のデジタル映像音声信号可逆符号化装置に対応する復号装置であって、
    量子化差分値を復号する手段と、
    量子化ステップ幅を入力する手段と、
    原信号と一致するケースが出現した際の通番を表す原信号出現番号を復号する手段と、
    該量子化差分値から、原信号値が取りうる全ての候補信号を総探索・列挙する手段と、
    列挙した回数が原信号出現番号に等しくなった場合、その候補信号を復号画像として出力し処理を終了する手段とを備えることを特徴とするデジタル映像音声信号可逆復号装置。
14. 請求項１０に記載のデジタル映像音声信号可逆符号化装置に対応する、請求項１３に記載の復号装置であって、
    量子化差分値の持つ誤差の上下界を量子化ステップ幅から求める手段と、
    差分値上下界を求める手段と、
    差分値上下界それぞれを逆線形内挿予測変換し原信号値の上下界を求める手段と、
    該上下界により総探索における探索範囲を限定する手段とを備えることを特徴とするデジタル映像音声信号可逆復号装置。
15. 請求項１１に記載のデジタル映像音声信号可逆符号化装置に対応する、請求項１３または１４に記載の復号装置であって、
    差分値誤差上下限値Ｌ，Ｕを復号する手段と、
    Ｌ，Ｕに対応する原信号の上下界を求める手段と、
    該上下界により総探索における探索範囲を限定する手段とを備えることを特徴とするデジタル映像音声信号可逆復号装置。
16. 請求項１２に記載のデジタル映像音声信号可逆符号化装置に対応する、請求項１３また１４または１５に記載の復号装置であって、
    差分値誤差平均値Ｍを復号する手段と、
    Ｍに対応する原信号の平均値を求める手段と、
    該平均値を用いて、総探索における列挙候補を絞り込む手段とを備えることを特徴とするデジタル映像音声信号可逆復号装置。
17. 請求項１乃至４の何れかに記載のデジタル映像音声信号可逆符号化方法における処理手順をコンピュータに実行させるためのコンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記録したことを特徴とするデジタル映像音声信号可逆符号化プログラムの記憶媒体。
18. 請求項５乃至８の何れかに記載のデジタル映像音声信号可逆復号方法における処理手順をコンピュータに実行させるためのコンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記録したことを特徴とするデジタル映像音声信号可逆復号プログラムの記憶媒体。

Images