JP5678593B2 - 符号化支援装置、符号化装置、復号支援装置、復号装置、符号化支援プログラム、及び復号支援プログラム - Google Patents

Description

本発明は、符号化支援装置、符号化装置、復号支援装置、復号装置、符号化支援プログラム、及び復号支援プログラムに係り、特に、画像情報を整数変換する際の演算に掛かる負荷を軽減する符号化支援装置、符号化装置、復号支援装置、復号装置、符号化支援プログラム、及び復号支援プログラムに関する。

非特許文献１には、Slepian-Wolfコーディック、整数変換、及び量子化を用いた映像符号化方式、並びに逆整数変換及び逆量子化の映像復号方式が開示されている。この映像符号化方式によれば、Slepian-Wolfコーディック、整数変換、及び量子化を組み合わせることによって、画像を示す画像情報を符号化する符号化装置における演算に掛かる負荷の軽減と効率的な高符号化とを両立することができる。

ここで、図１４を参照しながら非特許文献１に開示されている映像符号化方式及び映像復号方式の概要を説明する。なお、本発明は、整数変換に関するものであるので、ここではSlepian-Wolfコーディックに関する説明を省略する。

図１４は、非特許文献１に採用されている映像符号化方式及び映像復号方式が採用された画像情報処理システム１００の構成の一例を示すブロック図である。同図に示すように、画像情報処理システム１００は、入力された画像情報を符号化して出力する符号化装置１０２、及び符号化装置１０２から入力された符号化された画像情報を復号してＬＣＤ（Liquid Crystal Display)や有機ＥＬディスプレイなどの表示装置（図示省略）に出力する復号装置１０４を含んで構成されている。符号化装置１０２及び復号装置１０４は、各々ＣＰＵ（中央処理装置）、ＲＯＭ（Read Only Memory）、及びＲＡＭ(Random Access Memory)を備えた別々のコンピュータによって構成されており、符号化装置１０２及び復号装置１０４は相互に情報の授受を行うことができるように通信網１０６を介して接続されている。

符号化装置１０２は、整数変換部１０８、係数調整量子化部１１０、及び送信部１１２を含んで構成されており、整数変換部１０８の入力端子は、符号化前の画像情報の供給源としての外部装置（図示省略）の出力端子に接続され、整数変換部１０８の出力端子は係数調整量子化部１１０の入力端子に接続され、係数調整量子化部１１０の出力端子は送信部１１２を介して通信網１０６に接続されている。

整数変換部１０８は、入力された画像情報に対して下記の数式（１）に示す直交変換行列Ｔを用いて整数変換を行うものである。なお、下記の直交変換行列Ｔは、H.264/AVCで採用されている変換行列である。そして、整数変換の手法も、H.264/AVCなどの映像符号化方式で用いられる手法と同様であり、入力された画像情報に正規直交系でない直交変換行列Ｔを乗じることにより画素単位で整数精度の画像情報に変換（整数変換）する、という手法が採用されている。このように画像情報を整数変換するのは、ハードウェア資源による計算をし易くするためであり、これによって復号装置１０４側でも整数精度での復号が可能となる。数式（１）に示す直交変換行列Ｔは、要素数が４のベクトルに対する変換行列である。一般的に、画像などの二次元情報は、例えば４×４の行列で表現されることが多い。数式（１）に示す直交変換行列Ｔのクロネッカー積を計算することで、画像などの４×４の二次元情報をラスタスキャン順に並べてベクトル表現したときの、直交変換行列を生成することができる。なお、画像などの４×４の二次元情報を表す行列の各行ベクトルを、数式（１）を用いて変換し、この結果得られた４×４の行列の各列ベクトルを、再び数式（１）を用いて変換し、４×４の行列を得ることによっても、画像などの二次元情報を直交変換することができる。ここで、行ベクトルから変換するか、列ベクトルから変換するかは、任意である。

整数変換部１０８は、上記のように整数変換を行って得た変換係数（同図では、「調整前変換係数」と表記。）を係数調整量子化部１１０に出力する。なお、以下では、整数変換部１０８において、４×４のデータサイズの画像情報に直交変換行列Ｔを乗じた場合を例に挙げて説明する。また、以下では、４×４の画像情報を直交変換行列Ｔによって変換した結果得られる４×４の情報の各要素を“帯域”と称する。

ところで、整数変換部１０８において整数変換が行われた場合、復号装置１０４にて後述するように逆整数変換を行う必要がある。しかし、このように整数変換及び逆整数変換を行うと、変換行列が正規直交系でないことに起因して、帯域毎の利得に大きな較差が生じてしまう。例えば、整数変換を行なうことによって４０倍の利得が加わっている帯域もあれば１００倍の利得が加わっている帯域もあるという変換行列が正規直交系でないことに起因する利得のｂのばらつきが生じ、これによって帯域間で利得に大きな格差が生じるこのように帯域間で利得に大きな格差が生じると、後段で量子化した際に意図しない値が出力されてしまうことになる。

そこで、符号化装置１０２は、係数調整量子化部１１０を備えている。係数調整量子化部１１０は、係数調整部１１０Ａ及び量子化部１１０Ｂを含んで構成されており、係数調整部１１０Ａの入力端子は係数調整量子化部１１０の入力端子を構成し、係数調整部１１０Ａの出力端子は量子化部１１０Ｂの入力端子に接続され、量子化部１１０Ｂの出力端子は係数調整量子化部１１０の出力端子を構成している。

係数調整部１１０Ａは、整数変換部１０８での整数変換によって生じた帯域間の利得の格差を解消するために帯域毎に利得を調整（正規化）し、この調整後の変換係数（同図では、「調整後変換係数」と表記。）を量子化部１１０Ｂに出力する。なお、画像情報処理システム１００では、帯域間の利得の格差を解消するためには係数調整部１１０Ａでの変換係数の調整に加え、復号装置１０４においても逆量子化値の調整を行う必要がある（詳しくは後述）。

量子化部１１０Ｂは、係数調整部１１０Ａから入力された変換係数を量子化し、量子化して得た量子化値を、符号化された画像情報として送信部１１２に出力する。なお、量子化の手法は、H.264/AVCなどの映像符号化方式で用いられる手法と同様である。

送信部１１２は、通信網１０６を介して復号装置１０４に情報を送信するための通信インタフェースであり、出力端子が通信網１０６を介して復号装置１０４に接続されている。従って、送信部１１２は、通信網１０６を介して復号装置１０４に符号化後の画像情報を送信することができる。

一方、復号装置１０４は、受信部１１４、逆量子化・調整部１１６、及び逆整数変換部１１８を含んで構成されており、受信部１１４の出力端子は逆量子化・調整部１１６の入力端子に接続され、逆量子化・調整部１１６の出力端子は逆整数変換部１１８の入力端子に接続され、逆整数変換部１１８の出力端子は上記の表示装置に接続されている。

受信部１１４は、通信網１０６を介して情報を受信するための通信インタフェースであり、入力端子が通信網１０６を介して符号化装置１０４に接続されている。従って、受信部１１４は、符号化装置１０２から送信された量子化値（符号化後の画像情報）を通信網１０６を介して受信することができる。

逆量子化・調整部１１６は、逆量子化部１１６Ａ及び逆量子化値調整部１１６Ｂを含んで構成されており、逆量子化部１１６Ａの入力端子は逆量子化・調整部１１６の入力端子を構成し、逆量子化部１１６Ａの出力端子は逆量子化値調整部１１６Ｂの入力端子に接続され、逆量子化値調整部１１６Ｂの出力端子は逆量子化・調整部１１６の出力端子を構成している。なお、逆整数変換部１１８の出力端子は、復号装置１０４の出力端子を構成している。

逆量子化部１１６Ａは、受信部１１４によって受信された量子化値を逆量子化し、逆量子化して得た逆量子化値（同図では、「調整前逆量子化値」と表記。）を逆量子化値調整部１１６Ｂに出力する。

逆量子化値調整部１１６Ｂは、後述する逆整数変換によって生じる帯域間の利得の格差を解消するために帯域毎に利得を調整し、調整して得た逆量子化値（同図では、「調整後逆量子化値」と表記。）を逆整数変化部１１８に出力する。

逆整数変換部１１８は、逆量子化値調整部１１６Ｂから入力された逆量子化値に対して、直交変換行列Ｔの転置行列を用いて逆整数変換を行い、逆整数変換結果を復号された画像情報として表示装置に出力する。

C.Brites, J. Ascenso, and F. Pereira, "Improving Transform Domain Wyner-Ziv Video Coding Performance", IEEE ICASSP, Toulouse, France, May 2006.

しかしながら、整数変換によって得られた変換係数の変換行列が正規直交系でないことに起因する帯域間の利得を調整する場合、例えば√２（２の平方根）などの膨大な桁数の小数を含む値の演算が必要になるため、整数を演算する場合に比べて演算に掛かる負荷が大きくなる、という問題点があった。整数変換によって得られた変換係数の小数点以下の値を切り上げる又は切り捨てて整数にすることによって利得の調整に係る演算の負荷を軽減することはできるものの、画像情報が再現される精度が著しく低下してしまう、という問題点があった。

本発明は上記問題点を解決するために成されたものであり、画像情報を符号化する場合の演算に掛かる負荷を、画像情報の再現の精度の低下を抑えつつ軽減することができる符号化支援装置、符号化装置、復号支援装置、復号装置、符号化支援プログラム、及び復号支援プログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の符号化支援装置は、画像を示す画像情報を正規直交系でない直交変換行列を用いて直交変換して得られた直交変換係数を量子化する前段階で、該直交変換係数に乗じることによって該直交変換係数間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該直交変換係数が調整される係数調整値について、該直交変換係数の各々に乗じることにより利得が平滑化されることによって該直交変換係数の各々が調整される平滑化調整値、及び前記利得の平滑化の度合いを示す予め定められた精度に基づいて、前記予め定められた精度で表現可能な値の集合から、前記表現可能な値と前記平滑化調整値及び予め定められた値の積との差が最小となる前記表現可能な値を前記係数調整値として帯域毎に算出する算出手段を含み、前記算出手段は、前記直交変換行列と該直交変換行列の転置行列との積の対角成分の平方根の逆数を前記平滑化調整値として前記帯域毎に算出する平滑化調整値算出手段を有する。

請求項２に記載の符号化支援装置は、請求項１に記載の発明において、前記算出手段が、次の数式を用いて前記係数調整値を帯域毎に算出するものである。

請求項３に記載の符号化支援装置は、請求項１または請求項２に記載の発明において、複数のビット数のうちの何れかを前記精度として指定する指定手段を更に含むものである。

請求項４に記載の符号化装置は、請求項１〜請求項３の何れか１項に記載の符号化支援装置と、前記画像情報を前記直交変換行列を用いて直交変換する直交変換手段と、前記直交変換手段によって直交変換されて得られた前記直交変換係数に対して、前記算出手段によって算出された対応する帯域の係数調整値を乗じることにより該直交変換係数を調整し、調整して得た直交変換係数を量子化する調整値量子化手段と、を含んで構成されている。

請求項５に記載の符号化装置は、請求項４に記載の発明において、入力された情報を演算する機能を有し、前記調整値量子化手段としても機能する演算装置と、前記演算装置の演算に掛かる負荷の大きさが予め定められた大きさ以上になった場合、前記精度として現時点で前記算出手段によって用いられる精度よりも低い精度に変更する変更手段と、を更に含んで構成されている。

請求項６に記載の符号化装置は、画像を示す画像情報を正規直交系でない直交変換行列を用いて直交変換して得られた直交変換係数を量子化する前段階で、該直交変換係数に乗じることによって該直交変換係数間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該直交変換係数が調整される係数調整値であって、該直交変換係数の各々に乗じることにより利得が平滑化されることによって該直交変換係数の各々が調整される平滑化調整値、及び前記利得の平滑化の度合いを示す予め定められた精度に基づいて、前記予め定められた精度で表現可能な値の集合から、前記表現可能な値と前記平滑化調整値及び予め定められた値の積との差が最小となる前記表現可能な値である係数調整値を帯域毎に記憶した記憶手段と、前記画像情報を前記直交変換行列を用いて直交変換する直交変換手段と、前記直交変換手段によって直交変換されて得られた前記直交変換係数に対応する帯域の係数調整値を前記記憶手段から取得し、取得した係数調整値を該直交変換係数に乗じることにより該直交変換係数を調整し、調整して得た直交変換係数を量子化する調整値量子化手段と、を含み、前記平滑化調整値は、前記帯域毎に算出された、前記直交変換行列と該直交変換行列の転置行列との積の対角成分の平方根の逆数である。

請求項７に記載の符号化装置は、請求項６に記載の発明において、前記精度が複数存在し、前記記憶手段が、帯域毎にかつ前記精度毎に算出された係数調整値を帯域毎にかつ前記精度毎に記憶し、前記精度の何れかを指定する指定手段を更に含み、前記調整値量子化手段が、前記直交変換係数に乗じる係数調整値として、前記指定手段によって指定された精度に対応する係数調整値を前記記憶手段から取得するものである。

請求項８に記載の符号化装置は、請求項６または請求項７記載の発明において、前記精度として第１の精度及び該第１の精度よりも低い第２の精度が存在し、前記記憶手段が、帯域毎にかつ前記精度毎に算出された係数調整値を帯域毎にかつ前記精度毎に記憶し、入力された情報を演算する機能を有し、前記調整値量子化手段としても機能する演算装置を更に含み、前記調整値量子化手段が、前記直交変換係数に乗じる係数調整値として、前記演算装置の演算に掛かる負荷の大きさが予め定められた大きさ未満の場合、前記第１の精度に対応する係数調整値を前記記憶手段から取得し、前記演算装置の演算に掛かる負荷の大きさが予め定められた大きさ以上の場合、前記第２の精度に対応する係数調整値を前記記憶手段から取得するものである。

請求項９に記載の復号支援装置は、請求項４または請求項５に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値を、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出する逆量子化調整値算出手段を含んで構成されている。

請求項１０に記載の復号支援装置は、前記逆量子化調整値算出手段が、前記直交変換行列と該直交変換行列の転置行列との積の対角成分の平方根の逆数を前記平滑化調整値として帯域毎に算出する第１の算出手段と、前記第１の算出手段によって算出された帯域毎の前記平滑化調整値及び前記精度に基づいて、該精度で前記直交変換係数間の前記利得の差が最も小さくなるように前記係数調整値を帯域毎に算出する第２の算出手段と、前記第１の算出手段によって算出された帯域毎の前記平滑化調整値及び前記第２の算出手段によって算出された帯域毎の前記係数調整値に基づいて、前記逆量子化値間の前記利得の差が最も小さくなるように前記逆量子化調整値を帯域毎に算出する第３の算出手段と、を有するものである。

請求項１１に記載の復号支援装置は、請求項１０に記載の発明において、前記第３の算出手段が、次の数式を用いて前記逆量子化調整値を帯域毎に算出するものである。

請求項１２に記載の復号装置は、請求項９〜請求項１１の何れか１項に記載の復号支援装置と、前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対して、前記逆量子化調整値算出手段によって算出された対応する帯域の逆量子化調整値を乗じることにより該逆量子化値を調整する逆量子化調整手段と、前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段と、を含んで構成されている。

請求項１３に記載の復号装置は、請求項１２に記載の発明において、入力された情報を演算する機能を有し、前記逆量子化調整手段としても機能する第２の演算装置と、前記第２の演算装置の演算に掛かる負荷の大きさが予め定められた大きさ以上になった場合、前記精度として現時点で前記逆量子化調整値算出手段によって用いられる精度よりも低い精度に変更する第２の変更手段と、を更に含んで構成されている。

請求項１４に記載の復号装置は、請求項６に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値であって、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出された逆量子化調整値を帯域毎に記憶した逆量子化調整値記憶手段と、前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対応する帯域の逆量子化調整値を前記逆量子化調整値記憶手段から取得し、取得した逆量子化調整値を該逆量子化値に乗じることにより該逆量子化値を調整する逆量子化調整手段と、前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段と、を含んで構成されている。

請求項１５に記載の復号装置は、請求項７に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値であって、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出された逆量子化調整値を帯域毎に記憶した逆量子化調整値記憶手段と、前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対応する帯域の逆量子化調整値を前記逆量子化調整値記憶手段から取得し、取得した逆量子化調整値を該逆量子化値に乗じることにより該逆量子化値を調整する逆量子化調整手段と、前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段と、を含み、前記逆量子化調整値記憶手段が、帯域毎にかつ前記精度毎に算出された逆量子化調整値を帯域毎にかつ前記精度毎に記憶し、前記逆量子化調整手段が、前記逆量子化値に乗じる逆量子化調整値として、前記指定手段によって指定された精度に対応する逆量子化調整値を前記逆量子化調整値記憶手段から取得するものである。

請求項１６に記載の復号装置は、請求項８に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値であって、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出された逆量子化調整値を帯域毎に記憶した逆量子化調整値記憶手段と、前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対応する帯域の逆量子化調整値を前記逆量子化調整値記憶手段から取得し、取得した逆量子化調整値を該逆量子化値に乗じることにより該逆量子化値を調整する逆量子化調整手段と、前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段と、を含み、前記逆量子化調整値記憶手段が、帯域毎にかつ前記精度毎に算出された係数調整値を帯域毎にかつ前記精度毎に記憶し、入力された情報を演算する機能を有し、前記逆量子化調整手段としても機能する第２の演算装置を更に含み、前記逆量子化調整手段が、前記逆量子化値に乗じる逆量子化調整値として、前記第２の演算装置の演算に掛かる負荷の大きさが予め定められた大きさ未満の場合、前記第１の精度に対応する係数調整値を前記記憶手段から取得し、前記演算装置の演算に掛かる負荷の大きさが予め定められた大きさ以上の場合、前記第１の精度に対応する係数調整値を前記記憶手段から取得するものである。

画像情報処理システムは、請求項４または請求項５に記載の符号化装置と、前記符号化装置によって符号化された情報を送信する送信手段と、前記送信手段によって送信された情報を受信する受信手段と、前記受信手段によって受信された情報を復号する請求項１２または請求項１３に記載の復号装置と、を含んで構成されている。

画像情報処理システムは、請求項６に記載の符号化装置と、前記符号化装置によって符号化された情報を送信する送信手段と、前記送信手段によって送信された情報を受信する受信手段と、前記受信手段によって受信された情報を復号する請求項１４に記載の復号装置と、を含んで構成されている。

画像情報処理システムは、請求項７に記載の符号化装置と、前記符号化装置によって符号化された情報を送信する送信手段と、前記送信手段によって送信された情報を受信する受信手段と、前記受信手段によって受信された情報を復号する請求項１５に記載の復号装置と、を含んで構成されている。

画像情報処理システムは、請求項８に記載の符号化装置と、前記符号化装置によって符号化された情報を送信する送信手段と、前記送信手段によって送信された情報を受信する受信手段と、前記受信手段によって受信された情報を復号する請求項１６に記載の復号装置と、を含んで構成されている。

画像情報処理システムは、請求項４または請求項５に記載の符号化装置と、前記符号化装置の前記利得調整値量子化手段によって量子化された量子化値を送信すると共に、該符号化装置の前記算出手段によって算出された係数調整値を送信する送信手段と、前記送信手段によって送信された前記量子化値及び前記係数調整値を受信する受信手段と、前記受信手段によって受信された前記量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値を、前記受信手段によって受信された前記係数調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出する逆量子化調整値算出手段、前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対して、前記逆量子化調整値算出手段によって算出された対応する帯域の逆量子化調整値を乗じることにより該逆量子化値を調整する逆量子化調整手段、及び前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段を有する復号装置と、を含んで構成されている。

画像情報処理システムは、請求項６〜請求項８の何れか１項に記載の符号化装置と、前記符号化装置の前記利得調整値量子化手段によって量子化された量子化値を送信すると共に、該符号化装置の前記記憶手段に記憶されている前記係数調整値を送信する送信手段と、前記送信手段によって送信された前記量子化値及び前記係数調整値を受信する受信手段と、前記受信手段によって受信された前記量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値を、前記受信手段によって受信された前記係数調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出する逆量子化調整値算出手段、前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対して、前記逆量子化調整値算出手段によって算出された対応する帯域の逆量子化調整値を乗じることにより該逆量子化値を調整する逆量子化調整手段、及び前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段を有する復号装置と、を含んで構成されている。

請求項１７に記載の符号化支援プログラムは、コンピュータを、画像を示す画像情報を正規直交系でない直交変換行列を用いて直交変換して得られた直交変換係数を量子化する前段階で、該直交変換係数に乗じることによって該直交変換係数間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該直交変換係数が調整される係数調整値を、該直交変換係数の各々に乗じることにより利得が平滑化されることによって該直交変換係数の各々が調整される平滑化調整値、及び前記利得の平滑化の度合いを示す予め定められた精度に基づいて、前記予め定められた精度で表現可能な値の集合から、前記表現可能な値と前記平滑化調整値及び予め定められた値の積との差が最小となる前記表現可能な値を前記係数調整値として帯域毎に算出する算出手段として機能させるための符号化支援プログラムであって、前記算出手段は、前記直交変換行列と該直交変換行列の転置行列との積の対角成分の平方根の逆数を前記平滑化調整値として前記帯域毎に算出する平滑化調整値算出手段を有する符号化支援プログラムである。

符号化プログラムは、コンピュータを、請求項１〜請求項３の何れか１項に記載の符号化支援装置の前記算出手段によって算出された係数調整値を、前記画像情報が直交変換手段によって前記直交変換行列を用いて直交変換されて得られた対応する行列成分の前記直交変換係数に乗じることにより該直交変換係数を調整する調整手段、及び前記逆量子化調整手段によって調整された直交変換係数を量子化する量子化手段として機能させるためのものである。

符号化プログラムは、コンピュータを、画像を示す画像情報を正規直交系でない直交変換行列を用いて直交変換して得られた直交変換係数を量子化する前段階で、該直交変換係数に乗じることによって該直交変換係数間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該直交変換係数が調整される係数調整値であって、該直交変換係数の各々に乗じることにより利得が平滑化されることによって該直交変換係数の各々が調整される平滑化調整値、及び前記利得の平滑化の度合いを示す予め定められた精度に基づいて、該精度で前記利得の差が最も小さくなるように前記直交変換行列の帯域毎に算出された係数調整値を帯域毎に記憶した記憶手段から、前記画像情報が直交変換手段によって前記直交変換行列を用いて直交変換されて得られた前記直交変換係数に対応する帯域の係数調整値を取得し、取得した係数調整値を該直交変換係数に乗じることにより該直交変換係数を調整する調整手段、及び前記逆量子化調整手段によって調整された直交変換係数を量子化する調整値量子化手段として機能させるためのものである。

請求項１８に記載の復号支援プログラムは、コンピュータを、請求項４または請求項５に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値を、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出する逆量子化調整値算出手段として機能させるためのものである。

復号プログラムは、コンピュータを、請求項９〜請求項１１の何れか１項に記載の復号支援装置の前記逆量子化調整値算出手段によって算出された逆量子化調整値を、前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た対応する帯域の前記逆量子化値に乗じることにより該逆量子化値を調整する逆量子化調整手段、及び前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段として機能させるためのものである。

復号プログラムは、コンピュータを、請求項６に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値であって、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出された逆量子化調整値を帯域毎に記憶した逆量子化調整値記憶手段から、前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た対応する帯域の前記逆量子化値に対応する帯域の逆量子化調整値を取得し、取得した逆量子化調整値を該逆量子化値に乗じることにより該逆量子化値を調整する逆量子化調整手段、及び前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段として機能させるためのものである。

請求項１，４，６，９，１２，１４，１７，１８に係る発明によれば、画像情報を符号化する場合の演算に掛かる負荷を、画像情報の再現の精度の低下を抑えつつ軽減することができる、という効果が得られる。

請求項１に係る発明によれば、予め定められた精度で直交変換係数間の直交変換行列が正規直交系でないことに起因する利得の差を最も小さくする係数調整値を容易かつ高精度に算出することができる、という効果が得られる。

請求項２に係る発明によれば、予め定められた精度で直交変換係数間の直交変換行列が正規直交系でないことに起因する利得の差を最も小さくする係数調整値を容易かつ高精度に算出することができる、という効果が得られる。

請求項３に係る発明によれば、画像情報を符号化する場合の演算に掛かる負荷を容易に調整することができる、という効果が得られる。

請求項５に係る発明によれば、符号化に係る処理の遅滞を効率的に抑制することができる、という効果が得られる。

請求項７に係る発明によれば、画像情報を符号化する場合の演算に掛かる負荷を容易に調整することができる、という効果が得られる。

請求項８に係る発明によれば、符号化に係る処理の遅滞を効率的に抑制することができる、という効果が得られる。

請求項１０に係る発明によれば、予め定められた精度で逆量子化値間の直交変換行列が正規直交系でないことに起因する利得の差を最も小さくする係数調整値を容易かつ高精度に算出することができる、という効果が得られる。

請求項１１に係る発明によれば、予め定められた精度で逆量子化値間の直交変換行列が正規直交系でないことに起因する利得の差を最も小さくする係数調整値を容易かつ高精度に算出することができる、という効果が得られる。

請求項１３に係る発明によれば、復号に係る処理の遅滞を効率的に抑制することができる、という効果が得られる。

請求項１５に係る発明によれば、画像情報を復号する場合の演算に掛かる負荷を容易に調整することができる、という効果が得られる。

請求項１６に係る発明によれば、復号に係る処理の遅滞を効率的に抑制することができる、という効果が得られる。

第１の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。 第１の実施形態に係る係数調整値計算処理の流れを示すフローチャートである。 第１の実施形態に係る符号化処理プログラムの処理の流れを示すフローチャートである。 第１の実施形態に係る逆量子化調整値計算処理の流れを示すフローチャートである。 第１の実施形態に係る復号処理プログラムの処理の流れを示すフローチャートである。 第２の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。 第２の実施形態に係る係数調整値計算処理の流れを示すフローチャートである。 第２の実施形態に係る逆量子化調整値計算処理の流れを示すフローチャートである。 第３の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。 第４の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。 第５の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。 第６の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。 第７の実施形態に係る画像情報処理システムの構成の一例を示すブロック図である。 従来の画像情報処理システムの構成の一例を示すブロック図である。

以下、図面を参照して本発明を実施するための形態の一例について詳細に説明する。なお、本実施形態では、デジタルビデオカメラで撮影して得た動画像を構成している複数の画像の各々を示す画像情報が入力され、入力された画像情報を符号化装置により符号化し、符号化した画像情報を通信手段を介して復号装置に送信し、復号装置により画像情報を復号して表示装置に出力する画像情報処理システムに本発明を適用した場合について説明する。また、以下では、図１４と同一の構成については同一の符号を付してその説明を省略し、図１４と異なる点のみを説明する。

［第１の実施形態］
図１は、本第１の実施形態に係る画像情報処理システム１０の構成の一例を示すブロック図である。同図に示すように、画像情報処理システム１０は、符号化装置１２、復号装置１４、及び精度指示装置１６を含んで構成されている。符号化装置１２は、図１４に示す画像情報処理システム１００の符号化装置１０２に比べ、係数調整量子化部１１０に代えて係数調整量子化部１８を適用した点、及び係数調整値計算部２２を新たに設けた点のみが異なっている。係数調整量子化部１８は、図１４に示す係数調整量子化部１１０に比べ、係数調整部１１０Ａに代えて係数調整部２０を適用した点のみが異なっている。

精度指示装置１６は、一般的なパーソナル・コンピュータを含んで構成されており、通信網１０６を介して係数調整値計算部２２と通信可能に接続されている。精度指示装置１６は、符号化装置１２において整数変換部１０８での整数変換によって生じた帯域間の利得の格差を解消するために帯域毎に利得を調整する際の精度、すなわち、帯域毎の調整前変換係数の各々のダイナミックレンジをどの程度平滑化するかという平滑化の度合いを示す精度（以下、「調整精度」という。）を符号化装置１２に指示するためのものである。精度指示装置１６には、キーボードやマウス（ポインティング・デバイス）などの受付装置（図示省略）が接続されており、調整精度を示す調整精度情報が受付装置によって受け付けられ、受け付けられた調整精度情報を係数調整値計算部２２に送信する。なお、調整精度としては、３ビット、８ビットなどのビット数が例示できる。本第１の実施形態に係る画像情報処理システム１０では、調整精度として、１ビット、３ビット、及び８ビットのうちの何れかのビット数を精度指示装置１６を介して指示している。

係数調整値計算部２２は、ＡＳＩＣ(Application Specific Integrated Circuit）によって構成されており、整数変換部１０８及び係数調整量子化部１８として機能するコンピュータとは異なるハードウェア資源によって実現されるものである。係数調整値計算部２２は、調整前変換係数に乗じることによって調整前変換係数間の変換行列が正規直交系でないことに起因する利得の差が小さくなるように調整前変換係数が調整される係数調整値を算出するものである。この係数調整値は、帯域毎の調整前変換係数の各々に乗じることにより各調整前変換係数の利得が平滑化されることによって調整前変換係数の各々が調整される平滑化調整値、及び精度指示装置１６によって指示された調整精度に基づいて、この調整精度で調整前変換係数間の変換行列が正規直交系でないことに起因する利得の差が小さくなるように直交変換行列Ｔの帯域毎に算出される。

ここで、係数調整値の算出方法の一例を説明する。

先ず、次の数式（２）を用いて、調整前変換係数の帯域ｉの理想的な調整値である平滑化調整値Ｋ_ｌ［ｉ］を算出する。数式（２）において、“ｉ”は帯域を示し、Ｈは数式（３）に示す直交変換行列Ｔとその転置行列Ｔ^ｔとの積で表される行列を示す。なお、数式（４）は、Ｋ_ｌ［ｉ］の具体的な値の一例を示している。

平滑化調整値Ｋ_ｌ［ｉ］を算出した後、次の数式（５）を用いて係数調整値Ｋ［ｉ］を算出する。数式（５）は、数式（２）を用いて算出されたＫ_ｌ［ｉ］を代入すると共に、調整精度としてのｐビットで表現可能な値の集合Ｑ（例えば、ｐ＝８であれば２５６通りの値からなる集合）を構成している値ｑを代入することによって、係数調整値Ｋ［ｉ］としての（ｑ−Ｋ_ｌ［ｉ］*２^ｎ）の最小値を探り出すことを意味する数式である。なお、数式（５）において“ｎ”は任意の整数である。

係数調整部２０は、２つの入力端子及び１つの出力端子を備えており、一方の入力端子は整数変換部１０８の出力端子に接続され、他方の入力端子は係数調整値計算部２２の出力端子に接続され、出力端子は量子化部１１０Ｂの入力端子に接続されている。

係数調整部２０は、調整前変換係数に対して、係数調整値計算部２２によって算出された対応する帯域の係数調整値を乗じることにより調整前変換係数を調整し、調整して得た調整後変換係数を量子化部１１０Ｂに出力する。

一方、復号装置１４は、図１４に示す画像情報処理システム１００の復号装置１０４に比べ、逆量子化・調整部１１６に代えて逆量子化・調整部２４を適用した点、係数調整値計算部２８を新たに設けた点、及び逆量子化調整値計算部３０を新たに設けた点のみが異なっている。係数調整値計算部２８及び逆量子化調整値計算部３０は、ＡＳＩＣによって構成されており、逆量子化・調整部２４及び逆整数変換部１１８として機能するコンピュータとは異なるハードウェア資源によって実現されるものである。

係数調整値計算部２８は、入力端子及び出力端子を備え、入力端子が通信網１０６を介して精度指示装置１６の出力端子に接続され、出力端子が逆量子化調整値計算部３０の入力端子に接続されている。係数調整値計算部２８は、符号化装置１２の係数調整値計算部２２とほぼ同様の機能を有しており、係数調整値計算部２２に比べ、係数調整値を係数調整部２０に出力する点に代えて係数調整値を逆量子化調整値計算部３０に出力する点、及び平滑化調整値を逆量子化調整値計算部３０に出力する点が異なっている。なお、平滑化調整値は逆量子化調整値計算部３０によって所持されていてもよい。

逆量子化調整値計算部３０は、逆量子化部１１６Ａによって逆量子化されて得られた逆量子化値に乗じることによって逆量子化の各々の変換行列が正規直交系でないことに起因する利得の差が小さくなるように逆量子化値が調整される逆量子化調整値を算出するものである。この逆量子化調整値は、係数調整値計算部２２から入力された平滑化調整値及び係数調整値に基づいて、逆量子化部１１６Ａによって逆量子化されて得られた逆量子化値の各々の変換行列が正規直交系でないことに起因する利得の差が小さくなるように直交変換行列Ｔの帯域毎に算出される。具体的には、次の数式（６）を用いて、逆量子化調整値Ｌ［ｉ］を算出する。

逆量子化値調整部２６は、２つの入力端子及び１つの出力端子を備えており、一方の入力端子は逆量子化部１１６Ａの出力端子に接続され、他方の入力端子は逆量子化調整値計算部３０の出力端子に接続され、出力端子は逆整数変換部１１８の入力端子に接続されている。

逆量子化値調整部２６は、調整前逆量子化値に対して、逆量子化調整値計算部３０によって算出された対応する帯域の逆量子化調整値を乗じることにより調整前逆量子化値を調整し、調整して得た調整後逆量子化値を逆整数変換部１１８に出力する。

次に、画像情報処理システム１０の作用を説明する。

先ず、図２を参照しながら係数調整値計算部２２の作用を説明する。なお、図２は、精度指示装置１６によって調整精度が指示された際に係数調整値計算部２２によって実行される係数調整値計算処理の流れを示すフローチャートである。

同図のステップ２００では、数式（２）を用いて行列Ｈの帯域毎に平滑化調整値を算出し、その後にステップ２０２に移行し、数式（５）を用いて、上記ステップ２００の処理によって算出された帯域毎の平滑化調整値及び精度指示装置１６によって指示された調整精度としてのビット数から、帯域毎の係数調整値を算出する。そして、次のステップ２０４では、上記ステップ２０２の処理によって算出された係数調整値を内蔵された不揮発性メモリ（図示省略）の予め定められた記憶領域に記憶した後、本係数調整値計算処理を終了する。

次に、図３を参照しながら符号化装置１２の作用を説明する。なお、図３は、符号化前の画像情報が符号化装置１２に入力された際にコンピュータによって実行される符号化処理プログラムの処理の流れを示すフローチャートである。なお、符号化処理プログラムは、コンピュータのＲＯＭに予め記憶されている。なお、以下の本第１の実施形態では、錯綜を回避するために、４×４の二次元配列された画素群毎の画像情報を対象にして符号化処理及び復号処理を行う場合について説明する。

同図のステップ２５０では、入力された画像情報を整数変換部１０８によって整数変換し、その後にステップ２５２に移行し、係数調整値計算部２２の不揮発性メモリから係数調整値を取得する。

次のステップ２５４では、上記ステップ２５０の処理によって整数変換されて得られた帯域毎の調整前変換係数に対して、上記ステップ２５２の処理によって取得された対応する帯域の係数調整値を乗じることにより帯域毎に調整前変換係数を調整する。

次のステップ２５６では、上記ステップ２５４の処理によって帯域毎の調整前変換係数が調整されて得られた帯域毎の調整後変換係数を各々量子化し、その後にステップ２５８に移行し、上記ステップ２５６の処理によって帯域毎の調整後変換係数が各々量子化されて得られた各量子化値を復号装置１４に送信した後、本符号化処理プログラムを終了する。

次に、図４を参照しながら係数調整値計算部２８及び逆量子化調整値計算部３０の作用を説明する。なお、図４は、精度指示装置１６によって調整精度が指示された際に係数調整値計算部２８及び逆量子化調整値計算部３０によって実行される逆量子化調整値計算処理の流れを示すフローチャートである。

同図のステップ３００では、係数調整値計算部２８が数式（２）を用いて行列Ｈの帯域毎に平滑化調整値を算出し、その後にステップ３０２に移行し、係数調整値計算部２８が上記ステップ３００の処理によって算出された平滑化調整値及び精度指示装置１６によって指示された調整精度としてのビット数を帯域毎に数式（５）に代入して帯域毎の係数調整値を算出する。

次のステップ３０４では、上記ステップ３００の処理によって算出された平滑化調整値及び上記ステップ３０２の処理によって算出された係数調整値を帯域毎に数式（６）に代入して帯域毎の逆量子化調整値を算出し、その後にステップ３０６に移行し、係数調整値計算部２８が上記ステップ３０４の処理によって算出された逆量子化調整値を内蔵された不揮発性メモリ（図示省略）の予め定められた記憶領域に記憶した後、本逆量子化調整値計算処理を終了する。

次に、図５を参照しながら復号装置１４の作用を説明する。なお、図５は、復号前の画像情報として符号化装置１２から送信された量子化値を復号装置１４が受信した際にコンピュータによって実行される復号処理プログラムの処理の流れを示すフローチャートである。なお、復号処理プログラムは、コンピュータのＲＯＭに予め記憶されている。

同図のステップ３５０では、受信した量子化値を逆量子化部１１６Ａによって逆量子化し、その後にステップ３５２に移行し、逆量子化調整値計算部３０の不揮発性メモリから逆量子化調整値を取得する。

次のステップ３５４では、上記ステップ３５０の処理によって逆量子化されて得られた帯域毎の調整前逆量子化値に対して、上記ステップ３５２の処理によって取得された対応する帯域の逆量子化調整値を乗じることにより帯域毎に調整前逆量子化値を調整する。

次のステップ３５６では、上記ステップ３５４の処理によって帯域毎の調整前逆量子化値が調整されて得られた帯域毎の調整後逆量子化値を直交変換行列Ｔの転置行列を用いて逆整数変換した後、本復号処理プログラムを終了する。

以上詳細に説明したように、本第１の実施形態に係る画像情報処理システム１０では、画像情報を直交変換行列Ｔを用いて直交変換して得られた調整前変換係数（直交変換係数）を量子化する前段階で、調整前変換係数に乗じることによって調整前変換係数間の変換行列が正規直交系でないことに起因する利得の差が小さくなるように調整前変換係数が調整値される係数調整値を、調整前変換係数の各々に乗じることにより利得が平滑化されることによって調整前変換係数の各々が調整される平滑化調整値、及び調整精度に基づいて、この調整精度で調整前変換係数間の変換行列が正規直交系でないことに起因する利得の差が最も小さくなるように帯域毎に算出しているので、画像情報を符号化する場合の演算に掛かる負荷を、画像情報の再現の精度の低下を抑えつつ軽減することができる。

また、本第１の実施形態に係る画像情報処理システム１０では、係数調整量子化部１８によって量子化して得られた量子化値を逆量子化して得られた逆量子化値の各々を直交変換行列Ｔの転置行列を用いて逆直交変換する前段階で、逆量子化値に乗じることによって逆量子化値間の変換行列が正規直交系でないことに起因する利得の差が小さくなるように逆量子化値が調整される逆量子化調整値を、平滑調整値及び調整精度に基づいて、この調整精度で逆量子化値間の変換行列が正規直交系でないことに起因する利得の差が最も小さくなるように帯域毎に算出しているので、画像情報を符号化する場合の演算に掛かる負荷を軽減したことに伴う画像情報の再現の精度の低下を抑えることができる。

［第２の実施形態］
上記第１の実施形態では、符号化装置１２及び復号装置１４の各々で係数調整値を算出する場合の形態例を挙げて説明したが、本第２の実施形態では、符号化装置で係数調整値を算出し、復号装置で係数調整値を算出しない場合について説明する。なお、本第２の実施形態では、上記第１の実施形態と同一の構成については同一の符号を付してその説明を省略し、上記第１の実施形態と異なる点のみを説明する。

図６は、第２の実施形態に係る画像情報処理システム５０の構成の一例を示すブロック図である。同図に示すように、画像情報処理システム５０は、図１に示す画像情報処理システム１０に比べ、符号化装置１２に代えて符号化装置５２を適用した点、復号装置１４に代えて復号装置５４を適用した点のみが異なっている。

符号化装置５２は、図１に示す符号化装置１２に比べ、係数調整値計算部２２に代えて係数調整値計算部５６を適用した点、及び係数調整値送信部５８を新たに設けた点のみが異なっている。

係数調整値計算部５６は、図１に示す係数調整値計算部２２に比べ、出力端子が１つ新たに設けられた点のみが異なっている。この出力端子は、係数調整値送信部５８の入力端子に接続されている。したがって、係数調整値計算部５６は、算出して得た係数調整値を係数調整値送信部５８に出力することができる。

係数調整値送信部５８は、通信網１０６を介して復号装置１０４に情報を送信するための通信インタフェースであり、出力端子が通信網１０６を介して復号装置５４に接続されている。従って、係数調整値送信部５８は、係数調整値計算部５６から入力された係数調整値を通信網１０６を介して復号装置１０４に送信することができる。

一方、復号装置５４は、図１に示す復号装置１４に比べ、逆量子化調整値計算部３０に代えて逆量子化調整値計算部６０を適用した点、及び係数調整値計算部２８に代えて係数調整値受信部６２を適用した点のみが異なっている。

逆量子化調整値計算部６０は、図１に示す逆量子化調整値計算部３０に比べ、係数調整値受信部６２の出力端子に接続された入力端子を新たに設けた点、通信網１０６を介して精度指示装置１６と通信可能に接続されていない点、内蔵された不揮発性メモリ（図示省略）に平滑化調整値が予め記憶されている点のみが異なっている。

係数調整値受信部６２は、通信網１０６を介して情報を受信するための通信インタフェースであり、入力端子が通信網１０６を介して符号化装置５２に接続され、出力端子が逆量子化調整値計算部６２の入力端子に接続されている。従って、係数調整値受信部６２は、符号化装置５２の係数調整値送信部５８から送信された係数調整値を通信網１０６を介して受信し、受信した係数調整値を逆量子化調整値計算部６０に出力することができる。

次に、画像情報処理システム５０の作用を説明する。

先ず、図７を参照しながら係数調整値計算部５６の作用を説明する。なお、図７は、精度指示装置１６によって調整精度が指示された際に係数調整値計算部５６によって実行される係数調整値計算処理の流れを示すフローチャートである。また、図７に示すフローチャートは、図２に示すフローチャートに比べ、ステップ２０６を新たに設けた点のみが異なっている。そのため、ここでは、図２に示すフローチャートと同一の処理については同一のステップ番号を付してその説明を省略し、図２に示すフローチャートの処理とは異なる処理のみを説明する。

同図のステップ２０４の処理が終了するとステップ２０６に移行する。ステップ２０６では、上記ステップ２０２の処理によって算出された係数調整値を係数調整値送信部５８を介して復号装置５４に送信した後、本係数調整値計算処理を終了する。

次に、図８を参照しながら逆量子化調整値計算部６０及び係数調整値受信部６２の作用を説明する。なお、図８は、精度指示装置１６によって調整精度が指示された際に係数調整値計算部２８及び逆量子化調整値計算部３０によって実行される逆量子化調整値計算処理の流れを示すフローチャートである。また、図８に示すフローチャートは、図４に示すフローチャートに比べ、ステップ３００を除いた点、ステップ３０１を新たに設けた点、ステップ３０２に代えてステップ３０２Ｂを適用した点、及びステップ３０４に代えてステップ３０４Ｂを適用した点のみが異なっている。そのため、ここでは、図４に示すフローチャートと同一の処理については同一のステップ番号を付してその説明を省略し、図４に示すフローチャートの処理とは異なる処理のみを説明する。

同図のステップ３０１では、係数調整値受信部６２が係数調整値送信部５８から送信される係数調整値の受信待ちを行う。係数調整値受信部６２が係数調整値を受信すると、受信した係数調整値を自身に内蔵された不揮発性メモリ（図示省略）の予め定められた記憶領域に記憶してからステップ３０２Ｂに移行する。

ステップ３０２Ｂでは、逆量子化調整値計算部３０が係数調整値受信部６２の不揮発性メモリから係数調整値を取得し、その後にステップ３０４Ｂに移行する。ステップ３０４Ｂでは、逆量子化調整値計算部３０が不揮発性メモリに記憶されている平滑化調整値及び上記ステップ３０２Ｂの処理によって取得された係数調整値を帯域毎に数式（６）に代入して帯域毎の逆量子化調整値を算出し、その後にステップ３０６に移行する。

以上詳細に説明したように、本第２の実施形態に係る画像情報処理システム５０では、係数調整値計算部５６によって算出された係数調整値を係数調整値送信部５８により復号装置５４に送信し、復号装置５４が係数調整値送信部５８から送信された係数調整値を係数調整値受信部６２で受信し、係数調整量子化部１８によって量子化して得られた量子化値を逆量子化して得られた逆量子化値の各々を直交変換行列Ｔの転置行列を用いて逆直交変換する前段階で、逆量子化値に乗じることによって逆量子化値間の変換行列が正規直交系でないことに起因する利得の差が小さくなるように逆量子化値が調整される逆量子化調整値を、平滑化調整値及び係数調整値受信部６２によって受信された係数調整値に基づいて、この係数調整値に対応する調整精度で逆量子化値間の変換行列が正規直交系でないことに起因する利得の差が最も小さくなるように帯域毎に算出しているので、画像情報を符号化する場合の演算に掛かる負荷を軽減したことに伴う画像情報の再現の精度の低下を抑えることができ、更に、復号装置において係数調整値を算出する必要がないため、復号装置５４での演算負荷を軽減することができる。

［第３の実施形態］
上記第１の実施形態では、符号化装置１２及び復号装置１４の各々にて係数調整値を計算する場合の形態例を挙げ、上記第２の実施形態では、符号化装置１２にて係数調整値を計算する場合の形態例を挙げて説明したが、本第３の実施形態では、係数調整値計算部２２での計算手法を用いて係数調整値を予め計算し、符号化装置及び復号装置の各々に係数調整値を予め所持させる場合について説明する。なお、本第３の実施形態では、上記第１の実施形態と同一の構成については同一の符号を付してその説明を省略し、上記第１の実施形態と異なる点のみを説明する。

図９は、本第３の実施形態に係る画像情報処理システム１０Ｂの構成を示すブロック図である。同図に示すように、画像情報処理システム１０Ｂは、図１に示す画像情報処理システム１０に比べ、精度指示装置１６を除いた点、符号化装置１２に代えて符号化装置１２Ｂを適用した点、及び復号装置１４に代えて復号装置１４Ｂを適用して点のみが異なっている。

符号化装置１２Ｂは、図１に示す符号化装置１２に比べ、係数調整値計算部２２に代えて調整値記憶部７０を適用した点のみが異なっている。復号装置１４Ｂは、図１に示す復号装置１４に比べ、係数調整値計算部２８に代えて調整値記憶部７２を適用した点のみが異なっている。

係数調整値記憶部７０，７２は、不揮発性メモリ又はＲＯＭなどの電源を切っても記憶内容が保持されるメモリによって構成されており、調整値記憶部７０には係数調整値が予め記憶され、調整値記憶部７２には係数調整値及び平滑化調整値が予め記憶されている。

従って、係数調整部２０は、調整前変換係数を調整する際に調整値記憶部７０から係数調整値を取得し、逆量子化調整値計算部３０は、逆量子化調整値を計算する際に調整値記憶部７２から係数調整値及び平滑化調整値を取得する。

なお、本第３の実施形態では、調整値記憶部７２に係数調整値及び平滑化調整値を予め記憶した形態例を挙げて説明しているが、調整値記憶部７２に係数調整値を予め記憶させておき、他の不揮発性メモリに平滑化調整値を予め記憶させておいてもよい。

このように、係数調整部２０及び逆量子化調整値計算部３０の各々に係数調整値を予め所持させておくことにより、符号化及び復号を行う毎に係数調整値を計算する必要がなくなるので、例えば調整精度が固定値の場合（調整精度を選択する余地がない場合）やユーザが調整精度の変更を全く望まない場合には利便性を向上させることができる。

［第４の実施形態］
上記第３の実施形態では、係数調整値が固定値の場合の形態例を挙げて説明したが、本第４の実施形態では、複数の係数調整値のうちの何れかを選択し、選択した係数調整値を用いて調整前変換係数の調整及び逆量子化調整値の計算を行う場合について説明する。なお、本第３の実施形態では、上記第１の実施形態と同一の構成については同一の符号を付してその説明を省略し、上記第１の実施形態と異なる点のみを説明する。

図１０は、本第４の実施形態に係る画像情報処理システム１０Ｃの構成を示すブロック図である。同図に示すように、画像情報処理システム１０Ｃは、図１に示す画像情報処理システム１０に比べ、精度指示装置１６を除いた点、符号化装置１２に代えて符号化装置１２Ｃを適用した点、及び復号装置１４に代えて復号装置１４Ｃを適用して点のみが異なっている。符号化装置１２Ｃは、図１に示す符号化装置１２に比べ、受付部７４を新たに設けた点、及び係数調整値計算部２２に代えて調整値切替部７６を適用した点のみが異なっている。なお、本第４の実施形態に係る調整値切替部７６，８０は、ＡＳＩＣによって構成されている。

受付部７４は、キーボードやマウス（ポインティング・デバイス）、またはＵＩ（ユーザ・インタフェース）パネルなどのユーザの指示を受け付け、受け付けた指示をコンピュータに伝える機能を有するものによって構成されている。受付部７４の出力端子は調整値切替部７６の入力端子に接続されている。従って、受付部７４は、受け付けた指示を調整値切替部７６に出力することができる。

調整値切替部７６は、係数調整部２０によって調整前変換係数が調整される際に用いられる係数調整値を、受付部７４によって受け付けられた指示に応じて切り替える。調整値切替部７６は、不揮発性メモリ（図示省略）を備えており、この不揮発性メモリには複数の係数調整値が記憶されている。調整値切替部７６の出力端子は係数調整部２０の入力端子に接続されている。従って、調整値切替部７６は、受付部７４によって受け付けられた指示に応じた係数調整値を不揮発性メモリから取得し、取得した係数調整値を係数調整部２０に提供することができる。

一方、復号装置１４Ｃは、図１に示す復号装置１４に比べ、受付部７８を新たに設けた点、及び係数調整値計算部２８に代えて調整値切替部８０を適用した点のみが異なっている。受付部７８は、受付部７４とほぼ同様に構成されており、出力端子が調整値切替部８０の入力端子に接続されている点のみが受付部７４と異なっている。従って、受付部７８は、受け付けた指示を調整値切替部８０に出力することができる。

調整値切替部８０は、逆量子化調整値計算部３０によって逆量子化調整値が計算される際に用いられる係数調整値及び平滑化調整値を提供するものであり、受付部７８によって受け付けられた指示に応じて、逆量子化調整値計算部３０に提供する係数調整値を切り替える。調整値切替部８０は、不揮発性メモリ（図示省略）を備えており、この不揮発性メモリには複数の係数調整値が記憶されている。調整値切替部８０の出力端子は逆量子化調整値計算部３０の入力端子に接続されている。従って、調整値切替部８０は、受付部７８によって受け付けられた指示に応じた係数調整値を不揮発性メモリから取得し、取得した係数調整値を逆量子化調整値計算部３０に提供することができる。

このように構成された画像情報処理システム１０Ｃでは、符号化装置１２Ｃと復号装置１２Ｃとの各々で係数調整値を切り替える場合には、係数調整部２０が調整前変換係数を調整する際に用いる係数調整値と逆量子化調整値計算部３０が逆量子化調整値を計算する際に用いる係数調整値とを一致させる必要がある。そこで、符号化処理及び復号処理を実行する場合、受付部７４，７８を介して同一の係数調整値をユーザに指示させる。

符号化装置１２Ｃにおいて、ユーザによって係数調整値が指示されると、係数調整部２０からの要求に応じて、受付部７４によって受け付けられた指示に応じた係数調整値が調整値切替部７６によって係数調整部２０に提供される。

一方、復号装置１４Ｃにおいて、ユーザによって係数調整値が指示されると、受付部７８によって受け付けられた指示に応じた係数調整値が調整値切替部８０によって逆量子化調整値計算部３０に提供される。

従って、本第４の実施形態に係る画像情報処理システム１０Ｃによれば、符号化処理及び復号処理毎に係数調整値を計算する必要がないため、処理の高速化が期待できる。また、調整精度を自在に変更したいユーザにとっての利便性を向上させることができる。

［第５の実施形態］
上記第４の実施形態では、符号化装置１２Ｃ及び復号装置１４Ｃの各々において係数調整値をユーザに選択させる場合の形態例を挙げて説明したが、本第５の実施形態では、復号装置でユーザに係数調整値を選択させ、その係数調整値を復号装置に反映させる場合について説明する。なお、本第４の実施形態では、上記第４の実施形態と同一の構成については同一の符号を付してその説明を省略し、上記第４の実施形態と異なる点のみを説明する。

図１１は、本第５の実施形態に係る画像情報処理システム１０Ｄの構成を示すブロック図である。同図に示すように、画像情報処理システム１０Ｄは、図１０に示す画像情報処理システム１０Ｃに比べ、符号化装置１２Ｃに代えて符号化装置１２Ｄを適用した点、及び復号装置１４Ｃに代えて復号装置１４Ｄを適用した点のみが異なっている。

符号化装置１２Ｄは、図１０に示す符号化装置１２Ｃに比べ、調整値切替部７６に代えて調整値切替部７６Ｂを適用した点、及び係数調整値送信部５８Ｂを新たに設けた点のみが異なっている。一方、復号装置１４Ｄは、図１０に示す復号装置１４Ｃに比べ、受付部７８及び調整値切替部８０を除いた点、逆量子化調整値計算部３０に代えて逆量子化調整値計算部６０Ｂを適用した点、並びに係数調整値受信部６２Ｂを新たに設けた点のみが異なっている。

調整値切替部７６Ｂは、図１０に示す調整値切替部７６に比べ、１つの新たな出力端子を設けた点のみが異なっており、この出力端子は、係数調整値送信部５８Ｂの入力端子に接続されている。係数調整値送信部５８Ｂは、通信網１０６を介して復号装置１４Ｄに情報を送信するための通信インタフェースであり、図６に示す係数調整値送信部５８とほぼ同様に構成されている。係数調整値送信部５８Ｂの出力端子は、通信網１０６を介して復号装置１４Ｄに接続されている。従って、調整値切替部７６Ｂは、受付部７４によって受け付けられた指示に応じて切り替えた係数調整値を係数調整値送信部５８Ｂを介して復号装置１４Ｄに送信することができる。

一方、逆量子化調整値計算部６０Ｂは、図６に示す逆量子化調整値計算部６０とほぼ同様に構成されており、入力端子が係数調整値受信部６２の出力端子に代えて係数調整値受信部６２Ｂの出力端子に接続されている点のみが異なっている。

係数調整値受信部６２Ｂは、通信網１０６を介して符号化装置１２Ｄから送信された情報を受信するための通信インタフェースであり、図６に示す係数調整値受信部６２とほぼ同様に構成されている。係数調整値受信部６２Ｂの入力端子は、通信網１０６を介して符号化装置１２Ｄに接続されている。従って、逆量子化調整値計算部６０Ｂは、係数調整値送信部５８Ｂから送信された係数調整値を係数調整値受信部６２Ｂを介して受信することができる。

このように構成された画像情報処理システム１０Ｄでは、符号化処理及び復号処理を実行する場合、受付部７４を介して係数調整値をユーザに指示させる。符号化装置１２Ｃにおいて、ユーザによって係数調整値が指示されると、係数調整部２０からの要求に応じて、受付部７４によって受け付けられた指示に応じた係数調整値が調整値切替部７６によって係数調整部２０に提供されると共に、係数調整値送信部５８Ｂによって復号装置１４Ｄに送信される。

一方、復号装置１４Ｄにおいて、符号化装置１２Ｄによって送信された係数調整値は係数調整値受信部６２Ｂによって受信されると、係数調整値受信部６２Ｂによって逆量子化調整値計算部６０Ｂに出力される。逆量子化調整値計算部６０Ｂでは、係数調整値受信部６２Ｂから入力された係数調整値及び不揮発性メモリに予め記憶されている平滑化調整値を用いて逆量子化調整値が計算される。

従って、本第５の実施形態に係る画像情報処理システム１０Ｄによれば、符号化装置１２Ｄにおいて設定された係数調整値が復号装置１４Ｄにも反映されるので、復号装置１４Ｄ側でユーザが係数調整値を選択する必要がなくなり、ユーザにとっての利便性を向上させることができる。

［第６の実施形態］
上記第５の実施形態では、符号化装置１２Ｄ側でユーザに係数調整値を選択させ、その係数調整値を復号装置１４Ｄに反映させた場合の形態例を挙げて説明したが、本第６の実施形態では、復号装置側でユーザに係数調整値を選択させ、その係数調整値を符号化装置に反映させる場合の形態例を挙げて説明する。なお、本第６の実施形態では、上記第４の実施形態と同一の構成については同一の符号を付してその説明を省略し、上記第４の実施形態と異なる点のみを説明する。

図１２は、本第６の実施形態に係る画像情報処理システム１０Ｅの構成を示すブロック図である。同図に示すように、画像情報処理システム１０Ｅは、図１０に示す画像情報処理システム１０Ｃに比べ、符号化装置１２Ｃに代えて符号化装置１２Ｅを適用した点、及び復号装置１４Ｃに代えて復号装置１４Ｅを適用した点のみが異なっている。

復号装置１４Ｅは、図１０に示す復号装置１４Ｃに比べ、逆量子化調整値計算部３０に代えて逆量子化調整値計算部６０Ｃを適用した点、及び係数調整値送信部６３を新たに設けた点のみが異なっている。一方、符号化装置１２Ｅは、図１０に示す符号化装置１２Ｃに比べ、受付部７４を除いた点、調整値切替部７６に代えて調整値切替部７６Ｃを適用した点、及び係数調整値受信部５９を新たに設けた点のみが異なっている。

逆量子化調整値計算部６０Ｃは、図１０に示す逆量子化調整値計算部３０に比べ、係数調整値送信部６３の入力端子に接続された出力端子を新たに設けた点のみが異なっている。

係数調整値送信部６３は、通信網１０６を介して復号装置１４Ｄに情報を送信するための通信インタフェースであり、出力端子が通信網１０６を介して符号化装置１２Ｅに接続されている。従って、逆量子化調整値計算部６０Ｃは、受付部７８によって受け付けられた指示に応じて切り替えた係数調整値を逆量子化調整値計算部６０Ｃ及び係数調整値送信部６３を介して符号化装置１２Ｅに送信することができる。

調整値切替部７６Ｃは、図１０に示す調整値切替部７６に比べ、係数調整値受信部５９の出力端子に接続された入力端子を新たに設けた点、係数調整部２０に提供する係数調整値を、入力された係数調整値に切り替えるように構成された点のみが異なっている。また、係数調整値受信部５９は、通信網１０６を介して復号装置１４Ｅに情報を送信するための通信インタフェースであり、入力端子が通信網１０６を介して復号装置１４Ｅに接続されている。従って、係数調整値受信部５９は、復号装置１４Ｅから送信された係数調整値を受信し、受信した係数調整値を調整値切替部７６Ｃに出力することができる。

このように構成された画像情報処理システム１０Ｅでは、復号装置１４Ｅにおいて、ユーザによって係数調整値が指示されると、受付部７８によって受け付けられた指示に応じた係数調整値が調整値切替部８０によって逆量子化調整値計算部６０Ｃに提供されると共に、係数調整値送信部６３によって符号化装置１２Ｅに送信される。逆量子化調整値計算部６０Ｃでは、調整値切替部８０によって提供された係数調整値を用いて逆量子化調整値が計算される。

一方、符号化装置１２Ｅにおいて、復号装置１４Ｅによって送信された係数調整値は係数調整値受信部５９によって受信されると、調整値受信部５９によって調整値切替部７６Ｃに出力される。調整値切替部７６Ｃでは、係数調整部２０に提供する係数調整値が、係数調整値受信部５９から入力された係数調整値に切り替えられる。

従って、本第６の実施形態に係る画像情報処理システム１０Ｅによれば、復号装置１４Ｅにおいて設定された係数調整値が復号装置１２Ｅにも反映されるので、符号化装置１２Ｅ側でユーザが係数調整値を選択する必要がなくなり、ユーザにとっての利便性を向上させることができる。

［第７の実施形態］
上記第４〜６の実施形態では、ユーザによって係数調整値を選択させる場合の形態例を挙げて説明したが、本第７の実施形態では、符号化装置側のコンピュータのＣＰＵの使用率に応じて係数調整値を変更する場合の形態例を挙げて説明する。なお、本第７の実施形態では、上記第５及び第６の実施形態と同一の構成については同一の符号を付してその説明を省略し、上記第５及び第６の実施形態と異なる点のみを説明する。

図１３は、本第７の実施形態に係る画像情報処理システム１０Ｆの構成を示すブロック図である。同図に示すように、画像情報処理システム１０Ｆは、図１１に示す画像情報処理システム１０Ｄに比べ、符号化装置１２Ｄに代えて符号化装置１２Ｆを適用した点、及び復号装置１４Ｄに代えて復号装置１４Ｆを適用した点のみが異なっている。

符号化装置１２Ｆは、図１１に示す符号化装置１２Ｄに比べ、受付部７４を除いた点、調整値切替部７６Ｂに代えて調整値切替部７６Ｄを適用した点、及び係数調整値受信部５９を新たに設けた点のみが異なっている。

調整値切替部７６Ｄは、図１１に示す調整値切替部７６Ｂに比べ、係数調整値受信部５９の出力端子に接続された入力端子を新たに設けた点、係数調整部２０に提供する係数調整値を、符号化装置１２ＦのコンピュータのＣＰＵの使用率に応じて変更すると共に、変更後の係数調整値を係数調整値送信部５８Ｂを介して復号装置１４Ｆに送信するように構成された点のみが異なっている。なお、本第７の実施形態では、調整値切替部７６Ｄの不揮発性メモリに１ビットの調整精度に対応する係数調整値、３ビットの調整精度に対応する係数調整値、及び８ビットの調整精度に対応する係数調整値が予め記憶されており、デフォルト状態で８ビットの調整精度に対応する係数調整値が係数調整部２０に提供されるものとする。

一方、復号装置１４Ｆは、図１１に示す復号装置１４Ｄに比べ、逆量子化調整値計算部６０Ｂに代えて逆量子化調整値計算部６０Ｄを適用した点、及び係数調整値送信部６３を新たに設けた点のみが異なっている。

逆量子化調整値計算部６０Ｄは、図１１に示す逆量子化調整値計算部６０Ｂに比べ、係数調整値送信部６３の入力端子に接続された出力端子を新たに設けた点、複数の係数調整値が予め記憶された不揮発性メモリ（図示省略）を備えた点、逆量子化値を計算する際に用いる係数調整値を、復号装置１４ＦのコンピュータのＣＰＵの使用率に応じて変更可能な変更機能を有する点、及びこの変更機能を働かせて係数調整値を変更した後に変更後の係数調整値を係数調整値送信部６３を介して符号化装置１２Ｆに送信する点のみが異なっている。なお、本第７の実施形態では、逆量子化調整値計算部６０Ｄの不揮発性メモリに１ビットの調整精度に対応する係数調整値、３ビットの調整精度に対応する係数調整値、及び８ビットの調整精度に対応する係数調整値が予め記憶されており、デフォルト状態で８ビットの調整精度に対応する係数調整値が逆量子化調整値を計算する際に用いられるものとする。

このように構成された画像情報処理システム１０Ｆでは、デフォルト状態において、符号化装置１２ＦのコンピュータのＣＰＵの使用率が例えば１００％に達したとき、調整値切替部７６Ｄは不揮発性メモリから８ビットの調整精度に対応する係数調整値よりも対応する調整精度が低い係数調整値、すなわち、１ビットの調整精度に対応する係数調整値又は３ビットの調整精度に対応する係数調整値を取得（本第７の実施形態では、１ビットの調整精度に対応する係数調整値を取得）し、取得した係数調整値を係数調整部２０に提供すると共に、係数調整値送信部５８Ｂを介して復号装置１４Ｆに送信する。

一方、復号装置１４Ｆでは、符号化装置１２Ｆによって送信された係数調整値が係数調整値受信部６２Ｂによって受信されると、その係数調整値は係数調整値受信部６２Ｂによって逆量子化調整値計算部６０Ｄに出力される。逆量子化調整値計算部６０Ｄでは、係数調整値受信部６２Ｂから入力された係数調整値を用いて逆量子化調整値が計算され、計算された逆量子化調整値は逆量子化値調整部２６に提供される。

また、復号装置１４ＦのコンピュータのＣＰＵの使用率に応じて係数調整値を変更する場合、すなわち、復号装置１４の変更機能を働かせて係数調整値を変更する場合、符号化装置１２Ｆ及び復号装置１４Ｆの各々に接続された操作入力部（図示省略）を介して所定の指示を入力することにより、符号化装置１２Ｆ及び復号装置１４Ｆの各々を、符号化装置１２ＦのコンピュータのＣＰＵの使用率に応じて係数調整値を変更する符号化装置主体モードから、復号装置１４ＦのコンピュータのＣＰＵの使用率に応じて係数調整値を変更する復号装置主体モードに切り替える。これにより、画像情報処理システム１０Ｆでは、デフォルト状態において、復号装置１４ＦのコンピュータのＣＰＵの使用率が例えば１００％に達したとき、逆量子化調整値計算部６０Ｄは不揮発性メモリから８ビットの調整精度に対応する係数調整値よりも対応する調整精度が低い係数調整値、すなわち、１ビットの調整精度に対応する係数調整値又は３ビットの調整精度に対応する係数調整値を取得（本第７の実施形態では、１ビットの調整精度に対応する係数調整値を取得）し、取得した係数調整値を用いて逆量子化調整値を計算し、計算して得た逆量子化調整値を逆量子化値調整値部２６に提供すると共に、係数調整値送信部６３を介して符号化装置１２Ｆに送信する。

一方、符号化装置１２Ｆでは、復号装置１４Ｆによって送信された係数調整値が係数調整値受信部５９によって受信されると、その係数調整値は係数調整値受信部５９によって調整値切替部７６Ｄに出力される。これに応じて、調整値切替部７６Ｄは、係数調整部２０に提供する係数調整値を、係数調整値受信部５９から入力された係数調整値に切り替える。

従って、本第７の実施形態に係る画像情報処理システム１０Ｅによれば、コンピュータのＣＰＵの使用率に応じて係数調整値を調整精度のより低い係数調整値に変更しているので、符号化及び復号に係る処理の遅滞を抑制することができる。

なお、上記第７の実施形態では、係数調整値を変更する場合の形態例を挙げて説明したが、ＣＰＵの使用率に応じて、符号化装置１２Ｆ及び復号装置１４Ｆの各々に提供する調整精度を変更してもよい。但し、この場合、符号化装置１２Ｆ及び復号装置１４Ｆの各々において係数調整値を計算するための処理を要する。

また、上記第７の実施形態では、ＣＰＵの使用率が１００％に達したときに調整精度のより低い係数調整値に変更する場合の形態例を挙げて説明したが、本発明はこれに限定されるものではなく、ＣＰＵの使用率が例えば１００％よりも低い所定の使用率に達したときに調整精度のより低い係数調整値に変更してもよい。また、ＣＰＵの使用率に応じて多段階的に係数調整値を変更してもよい。この場合、ＣＰＵの使用率が例えば５０％未満のときは８ビットの調整精度に対応する係数調整値を採用し、ＣＰＵの使用率が例えば５０％以上９０％未満のときは３ビットの調整精度に対応する係数調整値を採用し、ＣＰＵの使用率が例えば９０％以上のときは１ビットの調整精度に対応する係数調整値を採用する、という形態が例示できる。

なお、上記第１及び第２の実施形態では、各種処理プログラムがＲＯＭに予め記憶されているが、これに限らず、各種処理プログラムをＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどのコンピュータによって読み取られる記憶媒体に格納した状態で提供する形態を適用しても良いし、有線又は無線による通信手段を介して配信する形態を適用しても良い。

１０，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｅ，１０Ｆ，５０ 画像情報処理システム
１２，１２Ｂ，１２Ｃ，１２Ｄ，１２Ｅ，１２Ｆ，５２ 符号化装置
１４，１４Ｂ，１４Ｃ，１４Ｄ，１４Ｅ，１４Ｆ，５４ 復号装置
１６ 精度指示装置
１８ 係数調整量子化部
２０ 係数調整部
２２，２８，５６ 係数調整値計算部
２４ 逆量子化・調整部
２６ 逆量子化値調整部
３０，６０，６０Ｂ，６０Ｃ，６０Ｄ 逆量子化調整値計算部
５８，５８Ｂ，６３ 係数調整値送信部
５９，６２，６２Ｂ 係数調整値受信部
７０，７２ 調整値記憶部
７６，７６Ｂ，７６Ｃ，７６Ｄ，８０ 調整値切替部
１０８ 整数変換部
１１０ 量子化部
１１２ 送信部
１１４ 受信部
１１６Ａ 逆量子化部
１１８ 逆整数変換部

Claims (18)

1. 画像を示す画像情報を正規直交系でない直交変換行列を用いて直交変換して得られた直交変換係数を量子化する前段階で、該直交変換係数に乗じることによって該直交変換係数間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該直交変換係数が調整される係数調整値について、該直交変換係数の各々に乗じることにより利得が平滑化されることによって該直交変換係数の各々が調整される平滑化調整値、及び前記利得の平滑化の度合いを示す予め定められた精度に基づいて、前記予め定められた精度で表現可能な値の集合から、前記表現可能な値と前記平滑化調整値及び予め定められた値の積との差が最小となる前記表現可能な値を前記係数調整値として帯域毎に算出する算出手段を含み、
   前記算出手段は、前記直交変換行列と該直交変換行列の転置行列との積の対角成分の平方根の逆数を前記平滑化調整値として前記帯域毎に算出する平滑化調整値算出手段を有する
   符号化支援装置。
2. 前記算出手段は、次の数式を用いて前記係数調整値を帯域毎に算出する請求項１記載の符号化支援装置。
   
3. 複数のビット数のうちの何れかを前記精度として指定する指定手段を更に含む請求項１または請求項２に記載の符号化支援装置。
4. 請求項１〜請求項３の何れか１項に記載の符号化支援装置と、
   前記画像情報を前記直交変換行列を用いて直交変換する直交変換手段と、
   前記直交変換手段によって直交変換されて得られた前記直交変換係数に対して、前記算出手段によって算出された対応する帯域の係数調整値を乗じることにより該直交変換係数を調整し、調整して得た直交変換係数を量子化する調整値量子化手段と、
   を含む符号化装置。
5. 入力された情報を演算する機能を有し、前記調整値量子化手段としても機能する演算装置と、
   前記演算装置の演算に掛かる負荷の大きさが予め定められた大きさ以上になった場合、前記精度として現時点で前記算出手段によって用いられる精度よりも低い精度に変更する変更手段と、を更に含む請求項４記載の符号化装置。
6. 画像を示す画像情報を正規直交系でない直交変換行列を用いて直交変換して得られた直交変換係数を量子化する前段階で、該直交変換係数に乗じることによって該直交変換係数間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該直交変換係数が調整される係数調整値であって、該直交変換係数の各々に乗じることにより利得が平滑化されることによって該直交変換係数の各々が調整される平滑化調整値、及び前記利得の平滑化の度合いを示す予め定められた精度に基づいて、前記予め定められた精度で表現可能な値の集合から、前記表現可能な値と前記平滑化調整値及び予め定められた値の積との差が最小となる前記表現可能な値である係数調整値を帯域毎に記憶した記憶手段と、
   前記画像情報を前記直交変換行列を用いて直交変換する直交変換手段と、
   前記直交変換手段によって直交変換されて得られた前記直交変換係数に対応する帯域の係数調整値を前記記憶手段から取得し、取得した係数調整値を該直交変換係数に乗じることにより該直交変換係数を調整し、調整して得た直交変換係数を量子化する調整値量子化手段と、を含み、
   前記平滑化調整値は、前記帯域毎に算出された、前記直交変換行列と該直交変換行列の転置行列との積の対角成分の平方根の逆数である符号化装置。
7. 前記精度は複数存在し、
   前記記憶手段は、帯域毎にかつ前記精度毎に算出された係数調整値を帯域毎にかつ前記精度毎に記憶し、
   前記精度の何れかを指定する指定手段を更に含み、
   前記調整値量子化手段は、前記直交変換係数に乗じる係数調整値として、前記指定手段によって指定された精度に対応する係数調整値を前記記憶手段から取得する請求項６記載の符号化装置。
8. 前記精度として第１の精度及び該第１の精度よりも低い第２の精度が存在し、
   前記記憶手段は、帯域毎にかつ前記精度毎に算出された係数調整値を帯域毎にかつ前記精度毎に記憶し、
   入力された情報を演算する機能を有し、前記調整値量子化手段としても機能する演算装置を更に含み、
   前記調整値量子化手段は、前記直交変換係数に乗じる係数調整値として、前記演算装置の演算に掛かる負荷の大きさが予め定められた大きさ未満の場合、前記第１の精度に対応する係数調整値を前記記憶手段から取得し、前記演算装置の演算に掛かる負荷の大きさが予め定められた大きさ以上の場合、前記第２の精度に対応する係数調整値を前記記憶手段から取得する請求項６または請求項７記載の符号化装置。
9. 請求項４または請求項５に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値を、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出する逆量子化調整値算出手段を含む
   復号支援装置。
10. 前記逆量子化調整値算出手段は、
    前記直交変換行列と該直交変換行列の転置行列との積の対角成分の平方根の逆数を前記平滑化調整値として帯域毎に算出する第１の算出手段と、
    前記第１の算出手段によって算出された帯域毎の前記平滑化調整値及び前記精度に基づいて、該精度で前記直交変換係数間の前記利得の差が最も小さくなるように前記係数調整値を帯域毎に算出する第２の算出手段と、
    前記第１の算出手段によって算出された帯域毎の前記平滑化調整値及び前記第２の算出手段によって算出された帯域毎の前記係数調整値に基づいて、前記逆量子化値間の前記利得の差が最も小さくなるように前記逆量子化調整値を帯域毎に算出する第３の算出手段と、を有する請求項９記載の復号支援装置。
11. 前記第３の算出手段は、次の数式を用いて前記逆量子化調整値を帯域毎に算出する請求項１０記載の復号支援装置。
    
12. 請求項９〜請求項１１の何れか１項に記載の復号支援装置と、
    前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対して、前記逆量子化調整値算出手段によって算出された対応する帯域の逆量子化調整値を乗じることにより該逆量子化値を調整する逆量子化調整手段と、
    前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段と、
    を含む復号装置。
13. 入力された情報を演算する機能を有し、前記逆量子化調整手段としても機能する第２の演算装置と、
    前記第２の演算装置の演算に掛かる負荷の大きさが予め定められた大きさ以上になった場合、前記精度として現時点で前記逆量子化調整値算出手段によって用いられる精度よりも低い精度に変更する第２の変更手段と、を更に含む請求項１２記載の復号装置。
14. 請求項６に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値であって、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出された逆量子化調整値を帯域毎に記憶した逆量子化調整値記憶手段と、
    前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対応する帯域の逆量子化調整値を前記逆量子化調整値記憶手段から取得し、取得した逆量子化調整値を該逆量子化値に乗じることにより該逆量子化値を調整する逆量子化調整手段と、
    前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段と、
    を含む復号装置。
15. 請求項７に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値であって、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出された逆量子化調整値を帯域毎に記憶した逆量子化調整値記憶手段と、
    前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対応する帯域の逆量子化調整値を前記逆量子化調整値記憶手段から取得し、取得した逆量子化調整値を該逆量子化値に乗じることにより該逆量子化値を調整する逆量子化調整手段と、
    前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段と、を含み、
    前記逆量子化調整値記憶手段は、帯域毎にかつ前記精度毎に算出された逆量子化調整値を帯域毎にかつ前記精度毎に記憶し、
    前記逆量子化調整手段は、前記逆量子化値に乗じる逆量子化調整値として、前記指定手段によって指定された精度に対応する逆量子化調整値を前記逆量子化調整値記憶手段から取得する
    復号装置。
16. 請求項８に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値であって、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出された逆量子化調整値を帯域毎に記憶した逆量子化調整値記憶手段と、
    前記符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化し、逆量子化して得た逆量子化値に対応する帯域の逆量子化調整値を前記逆量子化調整値記憶手段から取得し、取得した逆量子化調整値を該逆量子化値に乗じることにより該逆量子化値を調整する逆量子化調整手段と、
    前記逆量子化調整手段によって調整された逆量子化値を前記直交変換行列の転置行列を用いて逆直交変換する逆直交変換手段と、を含み、
    前記逆量子化調整値記憶手段は、帯域毎にかつ前記精度毎に算出された係数調整値を帯域毎にかつ前記精度毎に記憶し、
    入力された情報を演算する機能を有し、前記逆量子化調整手段としても機能する第２の演算装置を更に含み、
    前記逆量子化調整手段は、前記逆量子化値に乗じる逆量子化調整値として、前記第２の演算装置の演算に掛かる負荷の大きさが予め定められた大きさ未満の場合、前記第１の精度に対応する係数調整値を前記記憶手段から取得し、前記演算装置の演算に掛かる負荷の大きさが予め定められた大きさ以上の場合、前記第１の精度に対応する係数調整値を前記記憶手段から取得する
    復号装置。
17. コンピュータを、
    画像を示す画像情報を正規直交系でない直交変換行列を用いて直交変換して得られた直交変換係数を量子化する前段階で、該直交変換係数に乗じることによって該直交変換係数間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該直交変換係数が調整される係数調整値について、該直交変換係数の各々に乗じることにより利得が平滑化されることによって該直交変換係数の各々が調整される平滑化調整値、及び前記利得の平滑化の度合いを示す予め定められた精度に基づいて、前記予め定められた精度で表現可能な値の集合から、前記表現可能な値と前記平滑化調整値及び予め定められた値の積との差が最小となる前記表現可能な値を前記係数調整値として帯域毎に算出する算出手段として機能させるための符号化支援プログラムであって、
    前記算出手段は、前記直交変換行列と該直交変換行列の転置行列との積の対角成分の平方根の逆数を前記平滑化調整値として前記帯域毎に算出する平滑化調整値算出手段を有する
    符号化支援プログラム。
18. コンピュータを、
    請求項４または請求項５に記載の符号化装置の前記調整値量子化手段によって量子化して得られた前記直交変換係数毎の量子化値を逆量子化して得られた逆量子化値の各々を逆直交変換行列を用いて逆直交変換する前段階で、該逆量子化値に乗じることによって逆量子化値間の前記直交変換行列が正規直交系でないことに起因する利得の差が小さくなるように該逆量子化値が調整される逆量子化調整値を、前記平滑化調整値及び前記精度に基づいて、該精度で前記逆量子化値間の前記利得の差が最も小さくなるように帯域毎に算出する逆量子化調整値算出手段として機能させるための復号支援プログラム。