JP3771175B2 - 画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体 - Google Patents
画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3771175B2 JP3771175B2 JP2002024121A JP2002024121A JP3771175B2 JP 3771175 B2 JP3771175 B2 JP 3771175B2 JP 2002024121 A JP2002024121 A JP 2002024121A JP 2002024121 A JP2002024121 A JP 2002024121A JP 3771175 B2 JP3771175 B2 JP 3771175B2
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- image
- code
- compression rate
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置に関し、特に視覚的重みに基づいて符号化を行うことで画質を保持する画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、画像符号化を行う際は、一般的に（色変換）→（周波数領域の係数への変換）→（係数の量子化）→（エントロピー符号化）という手順が取られている。またこの際、低域の画像データを多く残し、高域の画像データを多く削ることで、同等量の圧縮をした場合でも比較的良い画質が得られることが知られている。これは、人間の視覚特性によるものである。
【０００３】
上記手順において量子化を行う際には、処理を簡易にするために画像特性（細やかな絵柄が多い画像か、平坦な絵柄の画像か等）を考慮しないで、所定の定数で係数の除算を行うという、一律な量子化が行われていた。
【０００４】
しかし、画像特性を考慮しない一律な量子化では、圧縮率が高い（＝除算時の定数が大きい）場合に、低域に較べて高域の画像データ、即ち符号量を多く削りすぎてしまい、画質が保持できなくなるという問題が生じる。また、圧縮率が低い場合には、高域に較べて低域の符号量を多く削りすぎてしまうという問題も存在する。
【０００５】
このような問題を解決する技術として、符号化時、人間の視覚特性を考慮することによって、削減すべき符号量を精度良く求め、合理的な符号量配分を行う技術が特開平５−８３５６０号公報に開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平５−８３５６０号公報が開示する技術では、削減すべき符号量の算出方法が原画像に基づくものではなく、予め用意された標準的な画像に基づくものであるため、原画像の符号量特性と誤差とが生じる可能性が大きいという問題がある。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
係る目的を達成するために、請求項１記載の発明は、周波数領域に変換された画像データを符号化する画像符号化装置であって、ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減手段を有し、前記エントロピー符号化により得られた周波数領域毎の符号量に、視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴としている。
【０００９】
これにより、請求項１記載の発明では、視覚特性を反映させながら、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置を提供することが可能となる。
【００１０】
また、請求項２記載の発明は、周波数領域に変換された複数のコンポーネントからなる画像データを符号化する画像符号化装置であって、ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減手段を有し、前記エントロピー符号化により得られた周波数領域毎の符号量に対して、前記コンポーネント毎に視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴としている。
【００１１】
これにより、請求項２記載の発明では、圧縮率を保ちつつ、コンポーネント毎に視覚特性を反映することで、より原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置を提供することが可能となる。
【００１２】
更に、請求項３記載の発明は、前記符号量削減手段は、低圧縮率である場合と高圧縮率である場合とで符号量の削減を変えることを特徴としている。
【００１３】
これにより、請求項３記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、圧縮率によって符号量削減方法を変えることで、より画質劣化を低減させることが可能となる。
【００１４】
更に、請求項４記載の発明は、前記符号量削減手段は、ある一定の圧縮率までは全域に渡って平均的に符号量を削減し、前記圧縮率以上からは高域から順に符号量を削減することを特徴としている。
【００１５】
これにより、請求項４記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、急激な画質劣化を低減することが可能となる。
【００１６】
更に、請求項５記載の発明は、前記符号量削減手段は、所定の圧縮率以下である場合、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。
【００１７】
これにより、請求項５記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、よりバランスの取れた画質を得ることが可能となる。
【００１８】
更に、請求項６記載の発明は、前記符号量削減手段は、所定の圧縮率以上である場合、当該圧縮率までは、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。
【００１９】
これにより、請求項６記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、急激な画質劣化を低減させることが可能となる。
【００２０】
更に、請求項７記載の発明は、周波数領域に変換された画像データを符号化する画像符号化方法であって、ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減工程を有し、前記エントロピー符号化により得られた周波数領域毎の符号量に、視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴としている。
【００２１】
これにより、請求項７記載の発明では、視覚特性を反映させながら、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
【００２２】
更に、請求項８記載の発明は、周波数領域に変換された複数のコンポーネントからなる画像データを符号化する画像符号化方法であって、ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減工程を有し、前記エントロピー符号化により得られた周波数領域毎の符号量に対して、前記コンポーネント毎に視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴としている。
【００２３】
これにより、請求項８記載の発明では、圧縮率を保ちつつ、コンポーネント毎に視覚特性を反映することで、より原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
【００２４】
更に、請求項９記載の発明は、前記符号量削減工程は、低圧縮率である場合と高圧縮率である場合とで符号量の削減を変えることを特徴としている。
【００２５】
これにより、請求項９記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、圧縮率によって符号量削減方法を変えることで、より画質劣化を低減させることが可能となる。
更に、請求項１０の発明では、前記符号量削減工程は、ある一定の圧縮率までは全域に渡って平均的に符号量を削減し、前記圧縮率以上からは高域から順に符号量を削減することを特徴としている。
これにより、請求項１０記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、急激な画質劣化を低減することが可能となる。
更に、請求項１１の発明では、前記符号量削減工程は、所定の圧縮率以下である場合、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。
これにより、請求項１１記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、よりバランスの取れた画質を得ることが可能となる。
更に、請求項１２の発明では、前記符号量削減工程は、所定の圧縮率以上である場合、当該圧縮率までは、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。
これにより、請求項１２記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、急激な画質劣化を低減させることが可能となる。
【００２６】
【発明の実施の形態】
〔原理〕
本発明を好適に実施した形態を説明するにあたり、その原理について先に述べる。
【００２７】
上記従来技術の説明で述べたような、「画像データ」と「符号量」とを同等な扱いとしたのには以下に示すような理由がある。
【００２８】
一般的に平均情報量はエントロピーと呼ばれるが、上記で述べた（色変換）→（周波数領域の係数への変換）→（係数の量子化）→（エントロピー符号化）の手順における「エントロピー符号化」とは、「画像データのエントロピー（平均情報量）を反映した形で符号化する」ことを意味する。即ち、通常、エントロピー符号化後の符号量は、その画像のデータ量をある程度反映したものとなる。従って、「画像データ量≒符号量」というモデル化が可能である。
【００２９】
そこで「原画像の特性≒画像のデータ量≒符号量」と考えれば、ロスレスのサブバンド全体でエントロピー符号化を行って符号量（の分布）を得た後、それを考慮して再度の量子化或いは符号の破棄等を行うことにより、原画像の特性に合わせた符号が得られる。本発明では、このようにエントロピー符号化により得られた符号量を考慮することによって、エントロピー符号化で得られる符号量の多い画像と少ない画像とに対する量子化方法（符号量の破棄方法）を変える。
【００３０】
また、通常、画像を周波数変換してから符号化する方式では、サブバンド符号化に代表されるように周波数領域毎に符号化を施す。このため、符号量としては周波数領域毎に参照することが可能である。従って、周波数領域毎の符号量分布を考慮して、より精密な量子化方法（破棄方法）の調整をするよう構成することも可能である。尚、例えばＪＰＥＧ２０００のような、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄することで、最終的な符号量を制御することは容易である。
【００３１】
このように本発明は、周波数領域に変換された画像データを符号化する際に、ロスレスのサブバンド全体のエントロピー符号化後の符号量に基づいて符号量を削減することを特徴としている。これにより本発明では、原画像の特性を考慮した符号化を行うことが可能となる。
【００３２】
また、上記で延べた「符号量」はロスレスのものに限定される必要はない。例えば、均一に量子化された後の符号量は、原画像のデータ量がかなりの程度反映されている。更に、この符号量を生成するにあたり用いた量子化方法が明らかであれば（通常、符号のためには量子化方法は明らかである必要がある）、原画像のデータ量を推測することも可能である。従って、ロスが存在する場合でも、本発明を適用することは可能である。
【００３３】
但し、原画像にはノイズ成分が含まれている場合がある。このため、ロスレスの場合にはノイズ自体も情報量として符号化される。しかしながら、ノイズが含まれる画像は、量子化することでその多くを削減することが可能である。このため、量子化を取り入れることにより、ノイズ成分を除いた原画像の情報量を基に量子化方法（符号破棄方法）を制御することが可能となる。
【００３４】
このように本発明は、周波数領域に変換された画像データを符号化する際に、量子化後のエントロピー符号化により得られた符号量に基づいて削減する符号量を決定することを特徴としている。これにより本発明では、ノイズ成分の影響を低減し、原画像の特性を考慮した符号化を行うことが可能となる。
【００３５】
また、上記では「原画像のデータ量≒符号量」というモデルを採用したが、人間の視覚では、単純に「画像のデータ量＝画質」、即ちデータ量が多い画像程、良い画質と認識されるとは限らない。これは、人間の視覚がローパスフィルタだからであり、高周波成分が強く認識されないためである。このため、同じ符号量でも高周波成分の符号量は、より破棄の対象として良いと言える。
【００３６】
そこで本発明は、上記した特徴の他に、視覚特性に基づきながら符号量を削減することも特徴としている。これにより本発明では、視覚的な重みに基づいて、より良い画質を保つことが可能となる。
【００３７】
ここで、視覚的な重みを表す関数の代表例として、視覚伝達関数（ｖｉｓｕａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ：ＶＴＦ）が存在する。ＶＴＦとは、視覚系の振幅伝搬特性（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＭＴＦ）のことであり、以下の（式１）で表されるものである。
ＶＴＦ＝５．０５（ｅ−０．８４３ｆ）（１−ｅ０．６１１ｆ）：（但し、ｆ＞０．７９）
＝１．０ …（式１）
但し、上記（式１）において、ｆは空間周波数であり、単位は［ｃｙｃｌｅ／ｍｍ］である。
【００３８】
このＶＴＦは、簡単には周波数毎の視覚の感度を示している（詳細は画像写真学会年次大会『Ｊａｐａｎ Ｈａｒｄｃｏｐｙ ’９５』論文集１５５−１５８（：以下、引用文献１という）を参照されたい）。
【００３９】
一般的に、ウェーブレット符号化に代表されるサブバンド符号化は、画像を周波数領域毎のサブバンドに変換するが、これに対してＶＴＦは周波数の関数であるため、サブバンド毎の符号量にＶＴＦの逆数をかければ、いわば「視覚的に鈍感な程度（＝ＶＴＦの逆数）を反映した符号量」即ち「視覚的に削減可能な程度が反映された削減前の符号量」を得ることができる。ここで、サブバンドとは、例えば３回のサブバンド分割を行った場合、図２に示されているような、それぞれの分割によって得られた３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨのことである。
【００４０】
このように本発明は、上記した特徴の他に、ロスレスの符号量に視覚伝達関数（ＶＴＦ）の逆数を乗じたものに基づきながら、符号量を削減していくことを特徴としている。これにより本発明では、視覚特性を反映しながら原画像の特性を考慮した符号化を行うことが可能となる。
【００４１】
更に本発明は、上記した特徴の他に、量子化後の符号量に視覚伝達関数ＶＴＦの逆数を乗じたものに基づきながら、符号量を削減していくことを特徴としている。これにより本発明では、ノイズ成分の影響を低減し、且つ視覚特性を反映しながら、原画像の特性を考慮した符号化を行うことが可能となる。
【００４２】
また、画像が複数のコンポーネント（Ｒ，Ｇ，Ｂの３つのコンポーネントや、輝度Ｙ，色差Ｃｂ，色差Ｃｒの３つのコンポーネント等）から成る場合、上記した視覚特性はコンポーネント毎に異なるものとなる。例えばＷａｔｓｏｎ， Ｇ．Ｙａｎｇ， Ｊ．Ｖｉｌｌａｓｅｎｏｒによる“Ｖｉｓｉｂｉｌｉｔｙ ｏｆ ｗａｖｅｌｅｔ ｑｕａｎｔｉｚａｔｉｏｎ ｎｏｉｓｅ”， ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｉｍａｇｅ Ｐｒｏｃ．， ｖｏｌ．６， ｐｐ．１１６４−１１７５， １９９７（以下、引用文献２という）に記載されているように、知覚可能な量子誤差の最大値が、輝度Ｙ，色差Ｃｂ，色差Ｃｒでおよそ１：２：４の比となる実験結果が存在する。この実験結果のグラフを図３に示す。
【００４３】
図３は、横軸に空間周波数、縦軸に量子化誤差が取られている。また、図３中の「ｏｒ＝１，２，３，４」は順にＬＬ，ＨＬ，ＨＨ，ＬＨと対応する。更に、図３中、下方に位置する曲線から順に輝度Ｙ成分，色差Ｃｒ成分，色差Ｃｂ成分の実験値を示している。この図３からも明らかなように、空間周波数の高い部分においては一部例外があるものの、輝度Ｙ成分，色差Ｃｒ成分，色差Ｃｂ成分の順に量子化誤差が少ないことが解る。
【００４４】
ここでいう量子化誤差とは、認識されない程度の誤差の限界値であり、これ以上量子化を行った場合には認識される程度の誤差が生じると判断する際の指標となるものである。即ち、量子化誤差が少ないということは、それだけ量子化がし難く、人間の目にとって敏感であるということになる。逆に量子化誤差が大きいということは、より量子化がし易く、人間の目にとって鈍感であるということになる。このように、人間の目の見え易さを表す輝度Ｙ，色差Ｃｒ，色差Ｃｂ毎の視覚伝達関数ＶＴＦによる関係は、上述の引用文献２及び図３にも示されているように、４：２：１として扱うことができる。
【００４５】
ここで、輝度Ｙ，色差Ｃｂ，色差Ｃｒとは、ＲＧＢの３つのコンポーネント（Ｒ，Ｇ，Ｂ）を以下に示す（式２）で変換することにより得られるものであり、輝度や色差のコンポーネントのことである。但し、（式２）はＪＰＥＧにおける色変換で広く使用されている用いられる式である。
輝度Ｙ ＝０．２９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
色差Ｃｂ＝０．５Ｒ−０．４１８７Ｇ−０．０１８１３Ｂ
色差Ｃｒ＝−０．１６８７Ｒ−０．３３１３Ｇ＋０．５Ｂ …（式２）
そこで、本発明は、上記した特徴の他に、画像が複数のコンポーネントで構成されている場合、該コンポーネント毎に上記視覚特性又は視覚伝達関数（ＶＴＦ）を反映して、削減する符号量を決定することを特徴とする。これにより本発明では、圧縮率を保ちつつ、コンポーネント毎にＶＴＦが反映され、より画質劣化を防止することが可能となる。
【００４６】
また、本発明では、以上で得られた周波数領域毎の「視覚的に削減可能な程度が反映された削減前の符号量」に基づいて、原画像の特性をどう反映しながら符号量を削減するかが問題となる。これは符号量の削減をどの程度簡易に行うか、又、低域から高域のバランスをどうするか、等によって幾通りかの方法を取ることができる。
【００４７】
上記「視覚的に削減可能な程度が反映された削減前の符号量」は、周波数領域毎のＶＴＦを考慮したものであり、いわゆる正規化したものである。このため、正規化自体が適正に行われていれば、基本的にはどの周波数を削っても同じ程度の画質劣化が生じると期待される。しかしながら、低域の符号を中心に削った場合と、高域の符号を中心に削った場合とでは、認識される画像が違うタイプのものとなる。即ち、前者では全体にシャープではあるが低域のムラが目立つ画像と認識され、後者では低域のムラは生じにくいが全体にぼやけた画像と認識される。このように、高域の符号を削減した場合と、低域の画像を削減した場合とでは、観察者に与える印象が異なる。
【００４８】
画像を圧縮する場合には観察者の嗜好にも依存するため、設計思想等によって上記のような符号の削減方法を選択しなければならない。ここで、原画像の特性を反映する方法としては、周波数領域毎に見た場合に「視覚的に削減可能な程度の符号量が多い」帯域から順に削減する方法や、低域から高域に渡って平均的に符号量を削減する方法等が存在する。前者は処理が簡易であり、低域重視の仕上がりとなる。一方、後者はバランスの取れた画像を得ることができる。
【００４９】
しかしながら、後者の場合、高圧縮率に設定すると、削減する符号量が大幅に増加するため、過剰に低域の符号量が少なくなる傾向にあり、急激な画質劣化を生じる可能性がある。
【００５０】
そこで、高圧縮率の場合でも急激な画質劣化をなるべく抑えるために、本発明では、ある一定の圧縮率までは全域に渡って平均的に符号量を削減し、ある一定の圧縮率以上からは高域から順に符号量を削減する方式を取る。この方式によれば、急激な画質劣化を低減することができる。
【００５１】
このように本発明は、上記した特徴の他に、周波数領域に変換された画像データを符号化する際に、低圧縮率である場合と高圧縮率である場合とで、ロスレスの符号量に視覚伝搬関数（ＶＴＦ）の逆数を乗じたものに基づいて、採用する削減方法を変えることを特徴としている。これにより本発明では、低圧縮でも高圧縮でも高画質を実現することが可能となる。
【００５２】
また、本発明は、上記した特徴の他に、ある一定の圧縮率以下である場合、全域に渡って、符号量又は、視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。これにより本発明では、よりバランスの取れた画質を得ることが可能となる。
【００５３】
また、本発明は、上記した特徴の他に、ある一定の圧縮率以上である場合、この圧縮率までは、全域に渡って、符号量又は、視覚特性に基づいた符号量の比と略同じ比率で符号量を削減し、ある一定の圧縮率以上である場合、高域から順に符号量を削減することを特徴としている。これにより本発明では、２つの削減方法が使い分けられ、急激な画質劣化を低減させることが可能となる。
【００５４】
以下、本発明を好適に実施した形態について、その具体例を挙げて詳細に説明する。
〔第１の実施例〕
まず、本発明の第１の実施例について図面を用いて詳細に説明する。
【００５５】
図１は、本実施例に係る画像符号化を実現する装置の構成例を示すブロック図である。図１を参照すると、本装置は、ＰＣ１０とプリンタ２０とを有して構成されており、これらが例えばシリアル回線やパラレル回線等で構成されたデータバス１を介して接続されている。
【００５６】
ＰＣ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１や，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２や，ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１３等を有して構成される。但し、この構成においてＨＤＤ１３は、シリアル回線やパラレル回線等の所定の通信回線を介してＰＣ１０に対し外付けされたものであっても良い。また、プリンタ２０は、ＣＰＵ２１や，ＲＡＭ２２等を有して構成され、データバス１を介して入力された画像データを伸張し、出力する。
【００５７】
この構成において、例えばＨＤＤ１３内に格納された原画像Ａをプリントアウトする場合、原画像ＡはＰＣ１０において圧縮された後、プリンタ２０へ送信され、プリンタ２０において伸張される。この際、原画像Ａを圧縮する理由は、ＰＣ１０→プリンタ２０間の送信データ量を低減させるためである。これにより、送信時間が短縮され、圧縮・伸張に要する時間を加味してもプリントアウトまでに要する時間が短縮される。
【００５８】
また、ＨＤＤ１３内に格納された原画像Ａをプリントアウトする際の一連の流れは以下の（１）〜（７）のようになる。
（１）ＣＰＵ１１からの命令により、ＨＤＤ１３上に記録された原画像ＡがＲＡＭ１２上に読み込まれる。
（２）ＣＰＵ１１がＲＡＭ１２上の原画像Ａ’を読み込み、これを所定の圧縮方法で圧縮する。
（３）（２）で作成された圧縮画像ＢをＲＡＭ１２上の別領域に書き込む。
（４）ＣＰＵ１１からの命令により、ＲＡＭ１２上の圧縮画像Ｂがデータバス１を介してプリンタ２０へ送信され、プリンタ２０におけるＲＡＭ２２上に書き込まれる。
（５）ＣＰＵ２１がＲＡＭ２２上の圧縮画像Ｂ’を読み込み、これを所定の伸張方法で伸張する。
（６）（５）で作成された伸張画像ＣをＲＡＭ２２上の別領域に書き込む。
（７）ＣＰＵ２１からの命令により、伸張された伸張画像Ｃを所定の手順（変倍がかかる）で印刷エンジンへ出力し、プリントアウトする。
【００５９】
次に、本実施例における処理の流れを説明する。
【００６０】
本実施例では、まず原画像Ａ（以下、説明の都合上、画像データという）を周波数領域に変換する。このように周波数領域に変換すると、これに対してロスレスのサブバンド全体のエントロピー符号化を施す。その後、符号化された画像データに対して、視覚的重みが考慮された符号量の削減を施す。
【００６１】
この流れを図５に示すフローチャートを用いて説明する。但し、本実施例では、サブバンド符号化方式を採用した場合について説明する。
【００６２】
従って、本実施例では、まず、ステップＳ１０１として、画像データを１２８画素×１２８画素のタイルに分割し、それぞれに対して３回のウェーブレット変換を行う。これにより図２に示すようなサブバンド構造を有するタイルが作成される。
【００６３】
次に、ステップＳ１０２において、ステップＳ１０１で作成したタイルに対し、ロスレスのサブバンド全体のエントロピー符号化を行う。また、このエントロピー符号化により得られた符号量を保持する。保持する先としては、エントロピー符号化を行うエンコーダとする。但し、本実施例においてエンコーダはＣＰＵ１１及びＲＡＭ１２によりプログラムを用いて実現されるため、保持先はＲＡＭ１２となる。更に、ステップＳ１０２では、保持した符号量に対して個々に視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで正規化し、これにより得られた値（視覚特性が反映された符号量：以下、正規化された符号量という）をＲＡＭ１２に保持する。
【００６４】
その後、ステップＳ１０３において、正規化された符号量を読み出し、それぞれのコンポーネント毎のサブバンドにおいて符号量の多いものから順に所定の条件を満たすまで符号量を削減する。この際の所定の条件については、以下において詳細に説明する。
【００６５】
また、ステップＳ１０１からステップＳ１０３までの処理は、全てのタイルに対して完了するまで繰り返し行われる（ステップＳ１０４）。
【００６６】
ここで、各サブバンドの周波数は、画像データの解像度と観察距離との関数になる。例えば上記で触れた引用文献２に記載されているように、ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドは異なるフーリエスペクトルを生じる。このため、各サブバンドに生じた誤差に対する視覚の感度は、サブバンド毎に異なると考えられている。上述において触れた引用文献２によれば、ＬＬ，ＨＬ，ＬＨ，ＨＨの視覚の感度比は、おおよそ１：（１／１．３）：（１／１．３）：（１／１．８）となっている。
【００６７】
そこで、本実施例では、周波数の違いによるＶＴＦの値の差に加え、サブバンド毎の感度の違いも考慮に入れる。
【００６８】
例えば３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの空間周波数を‘１’とした場合、２ＨＬ，２ＬＨ，２ＨＨの空間周波数は‘２’となり、１ＨＬ，１ＬＨ，１ＨＨの空間周波数は‘４’となる。
【００６９】
また、例えば下記の（式３）（：（式１）に対応）を、ＬＬのＶＴＦとして用いたとすると、ＨＬ，ＬＨのＶＴＦとＨＨのＶＴＦとの式は、各々下記の（式４），（式５）のようになる。
ＶＴＦ＿ＬＬ＝５．０５（ｅ−０．８４３ｆ）（１−ｅ０．６１１ｆ）：（但し、ｆ＞０．７９）
＝１．０ …（式３）
ＶＴＦ＿（ＨＬ，ＬＨ）＝５．０５（ｅ−０．８４３ｆ）（１−ｅ−０．６１１ｆ）／１．３ …（式４）
ＶＴＦ＿ＨＨ ＝５．０５（ｅ−０．８４３ｆ）（１−ｅ−０．６１１ｆ）／１．８ …（式５）
これにより、（式３），（式４），（式５）により導き出せる、空間周波数に対するＶＴＦの関係は、図４に示すようになる。
【００７０】
よって、上記での空間周波数に対する輝度Ｙ成分のＶＴＦの値は、以下のようになる。
３ＹＬＬ＝０．９９
３ＹＨＬ＝０．７６
３ＹＬＨ＝０．７６
３ＹＨＨ＝０．５５
２ＹＨＬ＝０．５１
２ＹＬＨ＝０．５１
２ＹＨＨ＝０．３７
１ＹＨＬ＝０．１２
１ＹＬＨ＝０．１２
１ＹＨＨ＝０．０９
また、輝度Ｙ成分のＶＴＦの値の逆数は、以下のようになる。
３ＹＬＬ＝１／０．９９
３ＹＨＬ＝１／０．７６
３ＹＬＨ＝１／０．７６
３ＹＨＨ＝１／０．５５
２ＹＨＬ＝１／０．５１
２ＹＬＨ＝１／０．５１
２ＹＨＨ＝１／０．３７
１ＹＨＬ＝１／０．１２
１ＹＬＨ＝１／０．１２
１ＹＨＨ＝１／０．０９
ここで、例えば、ＶＴＦにおける輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との視覚特性の関係が４：２：１であったとすると、ＶＴＦの値の逆数における輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との関係は、その逆数であるから１：２：４となる。
【００７１】
従って、上記における色差Ｃｒ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｒＬＬ＝２／０．９９
３ＣｒＨＬ＝２／０．７６
３ＣｒＬＨ＝２／０．７６
３ＣｒＨＨ＝２／０．５５
２ＣｒＨＬ＝２／０．５１
２ＣｒＬＨ＝２／０．５１
２ＣｒＨＨ＝２／０．３７
１ＣｒＨＬ＝２／０．１２
１ＣｒＬＨ＝２／０．１２
１ＣｒＨＨ＝２／０．０９
同様に、色差Ｃｂ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｂＬＬ＝４／０．９９
３ＣｂＨＬ＝４／０．７６
３ＣｂＬＨ＝４／０．７６
３ＣｂＨＨ＝４／０．５５
２ＣｂＨＬ＝４／０．５１
２ＣｂＬＨ＝４／０．５１
２ＣｂＨＨ＝４／０．３７
１ＣｂＨＬ＝４／０．１２
１ＣｂＬＨ＝４／０．１２
１ＣｂＨＨ＝４／０．０９
ここで、ある１つのタイルにおける輝度Ｙ成分のロスレスの符号量を、以下のように仮定する。
３ＹＬＬの符号量＝Ａ＿ｙ
３ＹＨＬの符号量＝Ｂ＿ｙ
３ＹＬＨの符号量＝Ｃ＿ｙ
３ＹＨＨの符号量＝Ｄ＿ｙ
２ＹＨＬの符号量＝Ｅ＿ｙ
２ＹＬＨの符号量＝Ｆ＿ｙ
２ＹＨＨの符号量＝Ｇ＿ｙ
１ＹＨＬの符号量＝Ｈ＿ｙ
１ＹＬＨの符号量＝Ｉ＿ｙ
１ＹＨＨの符号量＝Ｊ＿ｙ
これにより、輝度Ｙ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＹＬＬ＝Ａ＿ｙ／０．９９
３ＹＨＬ＝Ｂ＿ｙ／０．７６
３ＹＬＨ＝Ｃ＿ｙ／０．７６
３ＹＨＨ＝Ｄ＿ｙ／０．５５
２ＹＨＬ＝Ｅ＿ｙ／０．５１
２ＹＬＨ＝Ｆ＿ｙ／０．５１
２ＹＨＨ＝Ｇ＿ｙ／０．３７
１ＹＨＬ＝Ｈ＿ｙ／０．１２
１ＹＬＨ＝Ｉ＿ｙ／０．１２
１ＹＨＨ＝Ｊ＿ｙ／０．０９
また、同じタイルにおける色差Ｃｒ成分のロスレスの符号量を、以下のように仮定する。
３ＣｒＬＬの符号量＝Ａ＿Ｃｒ
３ＣｒＨＬの符号量＝Ｂ＿Ｃｒ
３ＣｒＬＨの符号量＝Ｃ＿Ｃｒ
３ＣｒＨＨの符号量＝Ｄ＿Ｃｒ
２ＣｒＨＬの符号量＝Ｅ＿Ｃｒ
２ＣｒＬＨの符号量＝Ｆ＿Ｃｒ
２ＣｒＨＨの符号量＝Ｇ＿Ｃｒ
１ＣｒＨＬの符号量＝Ｈ＿Ｃｒ
１ＣｒＬＨの符号量＝Ｉ＿Ｃｒ
１ＣｒＨＨの符号量＝Ｊ＿Ｃｒ
これにより、色差Ｃｒ成分のロスレスの符号量にＶＴＦの逆数を乗じることでで得られてた正規化された符号量は、以下のようになる。
３ＣｒＬＬ＝Ａ＿Ｃｒ・２／０．９９
３ＣｒＨＬ＝Ｂ＿Ｃｒ・２／０．７６
３ＣｒＬＨ＝Ｃ＿Ｃｒ・２／０．７６
３ＣｒＨＨ＝Ｄ＿Ｃｒ・２／０．５５
２ＣｒＨＬ＝Ｅ＿Ｃｒ・２／０．５１
２ＣｒＬＨ＝Ｆ＿Ｃｒ・２／０．５１
２ＣｒＨＨ＝Ｇ＿Ｃｒ・２／０．３７
１ＣｒＨＬ＝Ｈ＿Ｃｒ・２／０．１２
１ＣｒＬＨ＝Ｉ＿Ｃｒ・２／０．１２
１ＣｒＨＨ＝Ｊ＿Ｃｒ・２／０．０９
同様に、同じタイルにおける色差Ｃｂ成分のロスレスの符号量を、以下のように仮定する。
３ＣｂＬＬの符号量＝Ａ＿Ｃｂ
３ＣｂＨＬの符号量＝Ｂ＿Ｃｂ
３ＣｂＬＨの符号量＝Ｃ＿Ｃｂ
３ＣｂＨＨの符号量＝Ｄ＿Ｃｂ
２ＣｂＨＬの符号量＝Ｅ＿Ｃｂ
２ＣｂＬＨの符号量＝Ｆ＿Ｃｂ
２ＣｂＨＨの符号量＝Ｇ＿Ｃｂ
１ＣｂＨＬの符号量＝Ｈ＿Ｃｂ
１ＣｂＬＨの符号量＝Ｉ＿Ｃｂ
１ＣｂＨＨの符号量＝Ｊ＿Ｃｂ
これにより、色差Ｃｂ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｂＬＬ＝Ａ＿Ｃｂ・４／０．９９
３ＣｂＨＬ＝Ｂ＿Ｃｂ・４／０．７６
３ＣｂＬＨ＝Ｃ＿Ｃｂ・４／０．７６
３ＣｂＨＨ＝Ｄ＿Ｃｂ・４／０．５５
２ＣｂＨＬ＝Ｅ＿Ｃｂ・４／０．５１
２ＣｂＬＨ＝Ｆ＿Ｃｂ・４／０．５１
２ＣｂＨＨ＝Ｇ＿Ｃｂ・４／０．３７
１ＣｂＨＬ＝Ｈ＿Ｃｂ・４／０．１２
１ＣｂＬＨ＝Ｉ＿Ｃｂ・４／０．１２
１ＣｂＨＨ＝Ｊ＿Ｃｂ・４／０．０９
次に、全てのコンポーネント毎のサブバンドにおいて最も符号量の多いものから順に、削減すべき値に達する（＝以下に示す所定の条件を満たす）まで符号量を削減していく。
【００７２】
ここで、例えば、符号量の多い順を１ＣｂＨＨ＞１ＣｂＬＨ＞１ＣｂＨＬ＞１ＣｒＨＨ＞１ＹＨＨ＞１ＣｒＬＨ＞…とし、また、上記の所定の条件を削減対象が最も符号量が多い状態から脱することとする。
【００７３】
この場合、符号量削減処理は下記に（１）〜（５）の行程で示すような順序で行われる。尚、以下における各行程では、削減する度に、削減された符号量の合計が、削減すべき符号量に達しているか否かが判断される。
（１）まず、本実施例では、最も符号量の多い１ＣｂＨＨを対象として符号量を削減していく。この処理は、１ＣｂＨＨの符号量が現時点で２番目に符号量の多い１ＣｂＬＨよりも少なくなるまで行う。この結果、符号量の多い順序が１ＣｂＬＨ＞１ＣｂＨＬ＞１ＣｒＨＨ＞１ＹＨＨ＞１ＣｒＬＨ＞１ＣｂＨＨ…のように変化するしたものとする。但し、削減後のＩＣｂＨＨの順位は２番目以降、任意の順位となる。
（２）次に、（１）の結果として最も符号量が多いものとなった１ＣｂＬＨを対象として符号量を削減していく。この処理でも同様に、１ＣｂＬＨの符号量が現時点で２番目に符号量の多い１ＣｂＨＬよりも少なくなるまで行う。この結果、符号量の多い順序が１ＣｂＨＬ＞１ＣｒＨＨ＞１ＹＨＨ＞１ＣｒＬＨ＞１ＣｂＨＨ＞１ＣｂＬＨ…のように変化したものとする。
（３）次に、（２）の結果として最も符号量の多いものとなった１ＣｂＨＬを対象として符号量を削減していく。この処理でも同様に、１ＣｂＨＬの符号量が現時点で２番目に符号量の多い１ＣｒＨＨよりも少なくなるまで行う。この結果、符号量の多い順序が１ＣｒＨＨ＞１ＹＨＨ＞１ＣｒＬＨ＞１ＣｂＨＨ＞１ＣｂＬＨ＞１ＣｂＨＬ…のように変化したものとする。
（４）次に、（３）の結果として最も符号量の多いものとなった１ＣｒＨＨを対象として符号量を削減していく。この処理でも同様に、１ＣｒＨＨの符号量が現時点で２番目に符号量の多い１ＹＨＨよりも少なくなるまで行う。この結果、符号量の多い順序が１ＹＨＨ＞１ＣｒＬＨ＞１ＣｂＨＨ＞１ＣｂＬＨ＞１ＣｒＨＨ＞１ＣｂＨＬ…のように変化したものとする。
（５）最後に、（４）の結果として最も符号量の多いものとなった１ＹＨＨを対象として符号量を削減していく。この処理でも同様に、１ＹＨＨの符号量が現時点で２番目に符号量の多い１ＣｒＬＨよりも少なくなるまで行う。また、本実施例では、この段階までで、削減した符号量の総和が削減すべき符号量に達したものとする。従って、本実施例では、ここで符号量削減の処理が終了され、図５におけるステップＳ１０４へ移行する。
【００７４】
また、以上の処理を実行することにより、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分の符号量は、図６から図８に示すようになる。但し、図６から図８において、１本の棒グラフは、全体が削減する前の正規化された符号量を示し、棒グラフにおける白抜きの部分が削減分の符号量、又、棒グラフにおける黒塗りの部分が削減後の符号量を示している。
【００７５】
このように、本実施例では、視覚特性を考慮した上で、全てのコンポーネント毎のサブバンド中で符号量の多いものから順に削減を行うため、原画像の特性を強く反映させることができる。また、このような構成は、上述したように比較的簡易な構成で実現することが可能である。
【００７６】
尚、例えばＪＰＥＧ２０００のような、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄し、最終的な符号量を制御することは容易であるため、復号化する際に本実施例によるような符号量削減を行ってもよい。これによって、復号化時の処理速度が速くなり且つより画質を上げることができる。
【００７７】
また、本実施例による画像符号化を実現するプログラムは、図１におけるＨＤＤ１３等に予め格納されており、必要に応じて読み出され、ＲＡＭ１２に作業領域が確保されてＣＰＵ１１において実行されるものである。
【００７８】
また、このプログラムを、ＣＤ−ＲＯＭ（ＣＤ−Ｒ，ＣＤ−ＲＷ等を含む）やＤＶＤ−ＲＡＭ（ＤＣＤ−ＲＷ等を含む）やＭＯ等の持ち運び可能な記録媒体し、任意の端末に組み込めるようにするとよい。
〔第２の実施例〕
また、上記した第１の実施例とは異なり、削減する前の符号量と削減した後の符号量との比率をタイル毎に一定とするよう構成することも可能である。これを以下に第２の実施例として図面を用いて詳細に説明する。
【００７９】
本実施例に係る画像符号化を実現する装置の構成例は、第１の実施例で示すもの（図１参照）と同様である。
【００８０】
また、本実施例においても、第１の実施例と同様に、画像データを符号化する際、周波数領域に変換し、ロスレスのサブバンド全体のエントロピー符号化後、符号化後のデータに視覚的重みを考慮し、符号量の削減を実行する。この際の動作を図９を用いて以下に説明する。但し、本実施例でも、サブバンド符号化方式を採用した場合について説明する。
【００８１】
図９を参照すると、本実施例では、まず、ステップＳ１１１として、画像データを１２８画素×１２８画素のタイルに分割し、それぞれに対して３回のウェーブレット変換を行う。これにより、図２に示すようなサブバンド構造を有するタイルが作成される。
【００８２】
次に、ステップＳ１１２において、ステップＳ１１１で作成したタイルに対し、ロスレスのサブバンド全体のエントロピー符号化を行う。また、このエントロピー符号化により得られた符号量を保持する。保持する先としては、エントロピー符号化を行うエンコーダとする。但し、本実施例においてもエンコーダがＣＰＵ１１及びＲＡＭ１２によりプログラムを用いて実現されるために、保持先はＲＡＭ１２となる。更に、ステップＳ１１２では、保持した符号量に対して個々に視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで正規化し、これにより得られた値（正規化された符号量）をＲＡＭ１２に保持する。
【００８３】
その後、ステップＳ１１３において、正規化された符号量を読み出し、これに基づいてコンポーネント毎のサブバンドの符号量比率を求め、削減すべき符号量の合計をそれぞれのコンポーネント毎のサブバンド全てに渡り、所定の条件を満たすまで、略同一の比率で配分し、削減を行う。この際の所定の条件としては、削減した符号量の合計値が、削減すべき符号量の値となることとする。
【００８４】
また、ステップＳ１１１からステップＳ１１３までの処理は、全てのタイルに対して完了するまで繰り返し行われる（ステップＳ１１４）。
【００８５】
この処理において、例えばＪＰＥＧ２０００のような符号化方式を用いた場合、パケットのヘッダ情報としてサブバンド毎のロスレスの符号量を含むため、このヘッダ情報からそれぞれの符号量を特定し、積算したものをパックトパケットヘッダに書きこむ。また正規化は、パックトパケットヘッダからそれぞれの符号量を読み出し、これに視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで行う。
【００８６】
ここで、各サブバンドの周波数は、画像データの解像度と観察距離との関数になる。例えば、上記で触れた引用文献２に記載されているように、ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドは異なるフーリエスペクトルを生じる。このため、各サブバンドに生じた誤差に対する視覚の感度は、サブバンド毎に異なると考えられている。上述において触れた引用文献２によれば、ＬＬ，ＨＬ，ＬＨ，ＨＨの視覚の感度比は、おおよそ１：１／１．３：１／１．３：１／１．８となっている。
【００８７】
そこで、本実施例では、周波数の違いによるＶＴＦの値の差に加え、サブバンド毎の感度の違いも考慮に入れるよう構成する。
【００８８】
例えば３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの空間周波数を‘１’とした場合、２ＨＬ，２ＬＨ，２ＨＨの空間周波数は‘２’となり，１ＨＬ，１ＬＨ，１ＨＨの空間周波数は‘４’となる。
【００８９】
また、第１の実施例で示したように、例えば上記した（式３），（式４），（式５）をそれぞれＬＬ，（ＨＬ，ＬＨ），ＨＨのＶＴＦとして用いたとすると、その特性は図４に示すようになる。
【００９０】
よって、上記での空間周波数に対する輝度Ｙ成分のＶＴＦの値は、以下のようになる。
３ＹＬＬ＝０．９９
３ＹＨＬ＝０．７６
３ＹＬＨ＝０．７６
３ＹＨＨ＝０．５５
２ＹＨＬ＝０．５１
２ＹＬＨ＝０．５１
２ＹＨＨ＝０．３７
１ＹＨＬ＝０．１２
１ＹＬＨ＝０．１２
１ＹＨＨ＝０．０９
また、輝度Ｙ成分のＶＴＦの値の逆数は、以下のようになる。
３ＹＬＬ＝１／０．９９
３ＹＨＬ＝１／０．７６
３ＹＬＨ＝１／０．７６
３ＹＨＨ＝１／０．５５
２ＹＨＬ＝１／０．５１
２ＹＬＨ＝１／０．５１
２ＹＨＨ＝１／０．３７
１ＹＨＬ＝１／０．１２
１ＹＬＨ＝１／０．１２
１ＹＨＨ＝１／０．０９
ここで、例えば、ＶＴＦにおける輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との視覚特性の関係が４：２：１であったとすると、ＶＴＦの値の逆数における輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との関係は、その逆数であるから１：２：４となる。
【００９１】
従って、上記における色差Ｃｒ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｒＬＬ＝２／０．９９
３ＣｒＨＬ＝２／０．７６
３ＣｒＬＨ＝２／０．７６
３ＣｒＨＨ＝２／０．５５
２ＣｒＨＬ＝２／０．５１
２ＣｒＬＨ＝２／０．５１
２ＣｒＨＨ＝２／０．３７
１ＣｒＨＬ＝２／０．１２
１ＣｒＬＨ＝２／０．１２
１ＣｒＨＨ＝２／０．０９
同様に、色差Ｃｂ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｂＬＬ＝４／０．９９
３ＣｂＨＬ＝４／０．７６
３ＣｂＬＨ＝４／０．７６
３ＣｂＨＨ＝４／０．５５
２ＣｂＨＬ＝４／０．５１
２ＣｂＬＨ＝４／０．５１
２ＣｂＨＨ＝４／０．３７
１ＣｂＨＬ＝４／０．１２
１ＣｂＬＨ＝４／０．１２
１ＣｂＨＨ＝４／０．０９
ここで、ある１つのタイルにおける輝度Ｙ成分のロスレスの符号量を、以下のように仮定する。
３ＹＬＬの符号量＝Ａ＿ｙ
３ＹＨＬの符号量＝Ｂ＿ｙ
３ＹＬＨの符号量＝Ｃ＿ｙ
３ＹＨＨの符号量＝Ｄ＿ｙ
２ＹＨＬの符号量＝Ｅ＿ｙ
２ＹＬＨの符号量＝Ｆ＿ｙ
２ＹＨＨの符号量＝Ｇ＿ｙ
１ＹＨＬの符号量＝Ｈ＿ｙ
１ＹＬＨの符号量＝Ｉ＿ｙ
１ＹＨＨの符号量＝Ｊ＿ｙ
これにより、輝度Ｙ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＹＬＬ＝Ａ＿ｙ／０．９９
３ＹＨＬ＝Ｂ＿ｙ／０．７６
３ＹＬＨ＝Ｃ＿ｙ／０．７６
３ＹＨＨ＝Ｄ＿ｙ／０．５５
２ＹＨＬ＝Ｅ＿ｙ／０．５１
２ＹＬＨ＝Ｆ＿ｙ／０．５１
２ＹＨＨ＝Ｇ＿ｙ／０．３７
１ＹＨＬ＝Ｈ＿ｙ／０．１２
１ＹＬＨ＝Ｉ＿ｙ／０．１２
１ＹＨＨ＝Ｊ＿ｙ／０．０９
また、同じタイルにおける色差Ｃｒ成分のロスレスの符号量を、以下のように仮定する。
３ＣｒＬＬの符号量＝Ａ＿Ｃｒ
３ＣｒＨＬの符号量＝Ｂ＿Ｃｒ
３ＣｒＬＨの符号量＝Ｃ＿Ｃｒ
３ＣｒＨＨの符号量＝Ｄ＿Ｃｒ
２ＣｒＨＬの符号量＝Ｅ＿Ｃｒ
２ＣｒＬＨの符号量＝Ｆ＿Ｃｒ
２ＣｒＨＨの符号量＝Ｇ＿Ｃｒ
１ＣｒＨＬの符号量＝Ｈ＿Ｃｒ
１ＣｒＬＨの符号量＝Ｉ＿Ｃｒ
１ＣｒＨＨの符号量＝Ｊ＿Ｃｒ
これにより、色差Ｃｒ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｒＬＬ＝Ａ＿Ｃｒ・２／０．９９
３ＣｒＨＬ＝Ｂ＿Ｃｒ・２／０．７６
３ＣｒＬＨ＝Ｃ＿Ｃｒ・２／０．７６
３ＣｒＨＨ＝Ｄ＿Ｃｒ・２／０．５５
２ＣｒＨＬ＝Ｅ＿Ｃｒ・２／０．５１
２ＣｒＬＨ＝Ｆ＿Ｃｒ・２／０．５１
２ＣｒＨＨ＝Ｇ＿Ｃｒ・２／０．３７
１ＣｒＨＬ＝Ｈ＿Ｃｒ・２／０．１２
１ＣｒＬＨ＝Ｉ＿Ｃｒ・２／０．１２
１ＣｒＨＨ＝Ｊ＿Ｃｒ・２／０．０９
同様に、同じタイルにおける色差Ｃｂ成分のロスレスの符号量を、以下のように仮定する。
３ＣｂＬＬの符号量＝Ａ＿Ｃｂ
３ＣｂＨＬの符号量＝Ｂ＿Ｃｂ
３ＣｂＬＨの符号量＝Ｃ＿Ｃｂ
３ＣｂＨＨの符号量＝Ｄ＿Ｃｂ
２ＣｂＨＬの符号量＝Ｅ＿Ｃｂ
２ＣｂＬＨの符号量＝Ｆ＿Ｃｂ
２ＣｂＨＨの符号量＝Ｇ＿Ｃｂ
１ＣｂＨＬの符号量＝Ｈ＿Ｃｂ
１ＣｂＬＨの符号量＝Ｉ＿Ｃｂ
１ＣｂＨＨの符号量＝Ｊ＿Ｃｂ
これにより、色差Ｃｂ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｂＬＬ＝Ａ＿Ｃｂ・４／０．９９
３ＣｂＨＬ＝Ｂ＿Ｃｂ・４／０．７６
３ＣｂＬＨ＝Ｃ＿Ｃｂ・４／０．７６
３ＣｂＨＨ＝Ｄ＿Ｃｂ・４／０．５５
２ＣｂＨＬ＝Ｅ＿Ｃｂ・４／０．５１
２ＣｂＬＨ＝Ｆ＿Ｃｂ・４／０．５１
２ＣｂＨＨ＝Ｇ＿Ｃｂ・４／０．３７
１ＣｂＨＬ＝Ｈ＿Ｃｂ・４／０．１２
１ＣｂＬＨ＝Ｉ＿Ｃｂ・４／０．１２
１ＣｂＨＨ＝Ｊ＿Ｃｂ・４／０．０９
次に、各コンポーネント毎のサブバンドに対し、視覚特性に基づいた符号量（但し、視覚特性を考慮しない場合であってもよい：以下、視覚特性を考慮しない場合を省いて説明する）の比と略同じ比率で符号量を削減する。これは、上述したように、削減した符号量の総和が削減すべき符号量に達するまで行われる。
【００９２】
ここで、上述から導き出せるように、全域における視覚特性に基づいた符号量の比は、以下のようになる。
３ＹＬＬ：３ＹＨＬ：３ＹＬＨ：３ＹＨＨ：２ＹＨＬ：２ＹＬＨ：２ＹＨＨ：１ＹＨＬ：１ＹＬＨ：１ＹＨＨ：３ＣｒＬＬ：３ＣｒＨＬ：３ＣｒＬＨ：３ＣｒＨＨ：２ＣｒＨＬ：２ＣｒＬＨ：２ＣｒＨＨ：１ＣｒＨＬ：１ＣｒＬＨ：１ＣｒＨＨ：３ＣｂＬＬ：３ＣｂＨＬ：３ＣｂＬＨ：３ＣｂＨＨ：２ＣｂＨＬ：２ＣｂＬＨ：２ＣｂＨＨ：１ＣｂＨＬ：１ＣｂＬＨ：１ＣｂＨＨ＝Ａ＿ｙ／０．９９：Ｂ＿ｙ／０．７６：Ｃ＿ｙ／０．７６：Ｄ＿ｙ／０．５５：Ｅ＿ｙ／０．５１：Ｆ＿ｙ／０．５１：Ｇ＿ｙ／０．３７：Ｈ＿ｙ／０．１２：Ｉ＿ｙ／０．１２：Ｊ＿ｙ／０．０９：Ａ＿Ｃｒ・２／０．９９：Ｂ＿Ｃｒ・２／０．７６：Ｃ＿Ｃｒ・２／０．７６：Ｄ＿Ｃｒ・２／０．５５：Ｅ＿Ｃｒ・２／０．５１：Ｆ＿Ｃｒ・２／０．５１：Ｇ＿Ｃｒ・２／０．３７：Ｈ＿Ｃｒ・２／０．１２：Ｉ＿Ｃｒ・２／０．１２：Ｊ＿Ｃｒ・２／０．０９：Ａ＿Ｃｂ・４／０．９９：Ｂ＿Ｃｂ・４／０．７６：Ｃ＿Ｃｂ・４／０．７６：Ｄ＿Ｃｂ・４／０．５５：Ｅ＿Ｃｂ・４／０．５１：Ｆ＿Ｃｂ・４／０．５１：Ｇ＿Ｃｂ・４／０．３７：Ｈ＿Ｃｂ・４／０．１２：Ｉ＿Ｃｂ・４／０．１２：Ｊ＿Ｃｂ・４／０．０９
従って、全ての比率の総和αは、以下のようになる。
α＝Ａ＿ｙ／０．９９＋Ｂ＿ｙ／０．７６＋Ｃ＿ｙ／０．７６＋Ｄ＿ｙ／０．５５＋Ｅ＿ｙ／０．５１＋Ｆ＿ｙ／０．５１＋Ｇ＿ｙ／０．３７＋Ｈ＿ｙ／０．１２＋Ｉ＿ｙ／０．１２＋Ｊ＿ｙ／０．０９＋Ａ＿Ｃｒ・２／０．９９＋Ｂ＿Ｃｒ・２／０．７６＋Ｃ＿Ｃｒ・２／０．７６＋Ｄ＿Ｃｒ・２／０．５５＋Ｅ＿Ｃｒ・２／０．５１＋Ｆ＿Ｃｒ・２／０．５１＋Ｇ＿Ｃｒ・２／０．３７＋Ｈ＿Ｃｒ・２／０．１２＋Ｉ＿Ｃｒ・２／０．１２＋Ｊ＿Ｃｒ・２／０．０９＋Ａ＿Ｃｂ・４／０．９９＋Ｂ＿Ｃｂ・４／０．７６＋Ｃ＿Ｃｂ・４／０．７６＋Ｄ＿Ｃｂ・４／０．５５＋Ｅ＿Ｃｂ・４／０．５１＋Ｆ＿Ｃｂ・４／０．５１＋Ｇ＿Ｃｂ・４／０．３７＋Ｈ＿Ｃｂ・４／０．１２＋Ｉ＿Ｃｂ・４／０．１２＋Ｊ＿Ｃｂ・４／０．０９
また、削減すべき総符号量をβとすると、削減すべき符号量はそれぞれ、以下のようになる。
３ＹＬＬ＝（Ａ＿ｙ／０．９９）／（α／β）
３ＹＨＬ＝（Ｂ＿ｙ／０．７６）／（α／β）
３ＹＬＨ＝（Ｃ＿ｙ／０．７６）／（α／β）
３ＹＨＨ＝（Ｄ＿ｙ／０．５５）／（α／β）
２ＹＨＬ＝（Ｅ＿ｙ／０．５１）／（α／β）
２ＹＬＨ＝（Ｆ＿ｙ／０．５１）／（α／β）
２ＹＨＨ＝（Ｇ＿ｙ／０．３７）／（α／β）
１ＹＨＬ＝（Ｈ＿ｙ／０．１２）／（α／β）
１ＹＬＨ＝（Ｉ＿ｙ／０．１２）／（α／β）
１ＹＨＨ＝（Ｊ＿ｙ／０．０９）／（α／β）
３ＣｒＬＬ＝（Ａ＿Ｃｒ・２／０．９９）／（α／β）
３ＣｒＨＬ＝（Ｂ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＬＨ＝（Ｃ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＨＨ＝（Ｄ＿Ｃｒ・２／０．５５）／（α／β）
２ＣｒＨＬ＝（Ｅ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＬＨ＝（Ｆ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＨＨ＝（Ｇ＿Ｃｒ・２／０．３７）／（α／β）
１ＣｒＨＬ＝（Ｈ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＬＨ＝（Ｉ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＨＨ＝（Ｊ＿Ｃｒ・２／０．０９）／（α／β）
３ＣｂＬＬ＝（Ａ＿Ｃｂ・４／０．９９）／（α／β）
３ＣｂＨＬ＝（Ｂ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＬＨ＝（Ｃ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＨＨ＝（Ｄ＿Ｃｂ・４／０．５５）／（α／β）
２ＣｂＨＬ＝（Ｅ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＬＨ＝（Ｆ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＨＨ＝（Ｇ＿Ｃｂ・４／０．３７）／（α／β）
１ＣｂＨＬ＝（Ｈ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＬＨ＝（Ｉ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＨＨ＝（Ｊ＿Ｃｂ・４／０．０９）／（α／β）
以上のような処理を実行することにより、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分の符号量は、図１０から図１２に示すようになる。但し、図６から図８と同様に図１０から図１２において、１本の棒グラフは、全体が削減する前の正規化された符号量を示し、棒グラフにおける白抜きの部分が削減分の符号量、又、棒グラフにおける黒塗りの部分が削減後の符号量を示している。
【００９３】
このように、全域に渡り、符号量又は、視覚特性に基づいた符号量の比と略同じ比率によって符号量を削減することで、ノイズ成分による影響が低減される。また、符号量を削減する前の符号量と削減した後の符号量との比率をタイル毎に一定とすることで、タイル毎の画質劣化を一定とすることが可能となり、バランスの取れた画像を得ることができる。
【００９４】
尚、例えばＪＰＥＧ２０００の様な、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄し、最終的な符号量を制御することは容易であるため、復号化する際に本実施例によるような符号量削減を行ってもよい。これによって、復号化時の処理速度が速くなり且つより画質を上げることができる。
【００９５】
また、本実施例による画像符号化を実現するプログラムは、図１におけるＨＤＤ１３等に予め格納されており、必要に応じて読み出され、ＲＡＭ１２に作業領域が確保されてＣＰＵ１１において実行されるものである。
【００９６】
また、このプログラムを、ＣＤ−ＲＯＭ（ＣＤ−Ｒ，ＣＤ−ＲＷ等を含む）やＤＶＤ−ＲＡＭ（ＤＣＤ−ＲＷ等を含む）やＭＯ等の持ち運び可能な記録媒体し、任意の端末に組み込めるようにするとよい。
〔第３の実施例〕
また、第２の実施例において、符号量の削減時に、それぞれ配分された削減すべき符号量と正規化された符号量とを比較し、これに基づいて削減方法を選択するようにも構成することができる。以下、このように構成したものを、第３の実施例として図面を用いて詳細に説明する。
【００９７】
本実施例に係る画像符号化を実現する装置の構成例は、第１の実施例で示すもの（図１参照）と同様である。
【００９８】
また、本実施例においても、第１の実施例と同様に、画像データを符号化する際、周波数領域に変換し、ロスレスのサブバンド全体のエントロピー符号化後、符号化後のデータに視覚的重みを考慮し、符号量の削減を実行する。この際の動作を図１３を用いて詳細に説明する。但し、本実施例でも、サブバンド符号化方式を採用した場合について説明する。
【００９９】
図１３を参照すると、本実施例では、まず、ステップＳ１２１として、画像データを１２８画素×１２８画素のタイルに分割し、それぞれに対して３回のウェーブレット変換を行う。これにより、図２に示すようなサブバンド構造を有するタイルが作成される。
【０１００】
次に、ステップＳ１２２において、ステップＳ１２１で作成したタイルに対し、ロスレスのサブバンド全体のエントロピー符号化を行う。また、このエントロピー符号化により得られた符号量を保持する。保持する先としては、エントロピー符号化を行うエンコーダとする。但し、本実施例においてもエンコーダがＣＰＵ１１及びＲＡＭ１２によりプログラムを用いて実現されるために、保持先はＲＡＭ１２となる。更に、ステップＳ１２２では、保持した符号量に対して個々に視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで正規化し、これにより得られた値（正規化された符号量）をＲＡＭ１２に保持する。
【０１０１】
その後、ステップＳ１２３において、正規化された符号量を読み出し、これに基づいてコンポーネント毎のサブバンドの符号量比率を求め、削減すべき符号量の合計を、同一の比率でコンポーネント毎のサブバンドに分配する。
【０１０２】
このように削減すべき符号量をコンポーネント毎のサブバンドに分配すると、ステップＳ１２４において、各コンポーネント毎のサブバンドに、正規化された符号量が分配した削減すべき符号量以上であるか否かが判定される。
【０１０３】
この判定の結果、全てのコンポーネント毎のサブバンドにおいて正規化された符号量が分配された削減すべき符号量よりも多い場合（ステップＳ１２４のＹｅｓ）、ステップＳ１２５において、分配された削減すべき符号量を正規化された符号量より削減する。これに対し、何れかのサブバンドにおいて正規化された符号量が分配された符号量よりも少ない場合（ステップＳ１２４のＮｏ）、例えば図５のステップＳ１０３や、図９のステップＳ１１３で説明した処理により、各コンポーネント毎のサブバンドの符号量を削減する。
【０１０４】
また、ステップＳ１２１からステップＳ１２７までの処理は、全てのタイルに対して完了するまで繰り返し行われる（ステップＳ１２５）。
【０１０５】
この処理において、例えばＪＰＥＧ２０００のような符号化方式を用いた場合、パケットのヘッダ情報としてサブバンド毎のロスレスの符号量を含むため、このヘッダ情報からそれぞれの符号量を特定し、積算したものをパックトパケットヘッダに書きこむ。また正規化は、パックトパケットヘッダからそれぞれの符号量を読み出し、これに視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで行う。
【０１０６】
ここで、各サブバンドの周波数は、画像データの解像度と観察距離との関数になる。例えば、上記で触れた引用文献２に記載されているように、ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドは異なるフーリエスペクトルを生じる。このため、各サブバンドに生じた誤差に対する視覚の感度は、サブバンド毎に異なると考えられている。上述において触れた引用文献２によれば、ＬＬ，ＨＬ，ＬＨ，ＨＨの視覚の感度比は、おおよそ１：１／１．３：１／１．３：１／１．８となっている。
【０１０７】
そこで、本実施例では、周波数の違いによるＶＴＦの値の差に加え、サブバンド毎の感度の違いも考慮に入れるよう構成する。
【０１０８】
例えば３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの空間周波数を‘１’とした場合、２ＨＬ，２ＬＨ，２ＨＨの空間周波数は‘２’となり，１ＨＬ，１ＬＨ，１ＨＨの空間周波数は‘４’となる。
【０１０９】
また、第１の実施例で示したように、例えば上記した（式３），（式４），（式５）をそれぞれＬＬ，（ＨＬ，ＬＨ），ＨＨのＶＴＦとして用いたとすると、その特性は図４に示すようになる。
【０１１０】
よって、上記での空間周波数に対する輝度Ｙ成分のＶＴＦの値は、以下のようになる。
３ＹＬＬ＝０．９９
３ＹＨＬ＝０．７６
３ＹＬＨ＝０．７６
３ＹＨＨ＝０．５５
２ＹＨＬ＝０．５１
２ＹＬＨ＝０．５１
２ＹＨＨ＝０．３７
１ＹＨＬ＝０．１２
１ＹＬＨ＝０．１２
１ＹＨＨ＝０．０９
また、輝度Ｙ成分のＶＴＦの値の逆数は、以下のようになる。
３ＹＬＬ＝１／０．９９
３ＹＨＬ＝１／０．７６
３ＹＬＨ＝１／０．７６
３ＹＨＨ＝１／０．５５
２ＹＨＬ＝１／０．５１
２ＹＬＨ＝１／０．５１
２ＹＨＨ＝１／０．３７
１ＹＨＬ＝１／０．１２
１ＹＬＨ＝１／０．１２
１ＹＨＨ＝１／０．０９
ここで、例えば、ＶＴＦにおける輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との視覚特性の関係が４：２：１であったとすると、ＶＴＦの値の逆数における輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との関係は、その逆数であるから１：２：４となる。
【０１１１】
従って、上記における色差Ｃｒ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｒＬＬ＝２／０．９９
３ＣｒＨＬ＝２／０．７６
３ＣｒＬＨ＝２／０．７６
３ＣｒＨＨ＝２／０．５５
２ＣｒＨＬ＝２／０．５１
２ＣｒＬＨ＝２／０．５１
２ＣｒＨＨ＝２／０．３７
１ＣｒＨＬ＝２／０．１２
１ＣｒＬＨ＝２／０．１２
１ＣｒＨＨ＝２／０．０９
同様に、色差Ｃｂ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｂＬＬ＝４／０．９９
３ＣｂＨＬ＝４／０．７６
３ＣｂＬＨ＝４／０．７６
３ＣｂＨＨ＝４／０．５５
２ＣｂＨＬ＝４／０．５１
２ＣｂＬＨ＝４／０．５１
２ＣｂＨＨ＝４／０．３７
１ＣｂＨＬ＝４／０．１２
１ＣｂＬＨ＝４／０．１２
１ＣｂＨＨ＝４／０．０９
ここで、ある１つのタイルにおける輝度Ｙ成分のロスレスの符号量を、以下のように仮定する。
３ＹＬＬの符号量＝Ａ＿ｙ
３ＹＨＬの符号量＝Ｂ＿ｙ
３ＹＬＨの符号量＝Ｃ＿ｙ
３ＹＨＨの符号量＝Ｄ＿ｙ
２ＹＨＬの符号量＝Ｅ＿ｙ
２ＹＬＨの符号量＝Ｆ＿ｙ
２ＹＨＨの符号量＝Ｇ＿ｙ
１ＹＨＬの符号量＝Ｈ＿ｙ
１ＹＬＨの符号量＝Ｉ＿ｙ
１ＹＨＨの符号量＝Ｊ＿ｙ
これにより、輝度Ｙ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＹＬＬ＝Ａ＿ｙ／０．９９
３ＹＨＬ＝Ｂ＿ｙ／０．７６
３ＹＬＨ＝Ｃ＿ｙ／０．７６
３ＹＨＨ＝Ｄ＿ｙ／０．５５
２ＹＨＬ＝Ｅ＿ｙ／０．５１
２ＹＬＨ＝Ｆ＿ｙ／０．５１
２ＹＨＨ＝Ｇ＿ｙ／０．３７
１ＹＨＬ＝Ｈ＿ｙ／０．１２
１ＹＬＨ＝Ｉ＿ｙ／０．１２
１ＹＨＨ＝Ｊ＿ｙ／０．０９
また、同じタイルにおける色差Ｃｒ成分のロスレスの符号量を、以下のように仮定する。
３ＣｒＬＬの符号量＝Ａ＿Ｃｒ
３ＣｒＨＬの符号量＝Ｂ＿Ｃｒ
３ＣｒＬＨの符号量＝Ｃ＿Ｃｒ
３ＣｒＨＨの符号量＝Ｄ＿Ｃｒ
２ＣｒＨＬの符号量＝Ｅ＿Ｃｒ
２ＣｒＬＨの符号量＝Ｆ＿Ｃｒ
２ＣｒＨＨの符号量＝Ｇ＿Ｃｒ
１ＣｒＨＬの符号量＝Ｈ＿Ｃｒ
１ＣｒＬＨの符号量＝Ｉ＿Ｃｒ
１ＣｒＨＨの符号量＝Ｊ＿Ｃｒ
これにより、色差Ｃｒ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｒＬＬ＝Ａ＿Ｃｒ・２／０．９９
３ＣｒＨＬ＝Ｂ＿Ｃｒ・２／０．７６
３ＣｒＬＨ＝Ｃ＿Ｃｒ・２／０．７６
３ＣｒＨＨ＝Ｄ＿Ｃｒ・２／０．５５
２ＣｒＨＬ＝Ｅ＿Ｃｒ・２／０．５１
２ＣｒＬＨ＝Ｆ＿Ｃｒ・２／０．５１
２ＣｒＨＨ＝Ｇ＿Ｃｒ・２／０．３７
１ＣｒＨＬ＝Ｈ＿Ｃｒ・２／０．１２
１ＣｒＬＨ＝Ｉ＿Ｃｒ・２／０．１２
１ＣｒＨＨ＝Ｊ＿Ｃｒ・２／０．０９
同様に、同じタイルにおける色差Ｃｂ成分のロスレスの符号量を、以下のように仮定する。
３ＣｂＬＬの符号量＝Ａ＿Ｃｂ
３ＣｂＨＬの符号量＝Ｂ＿Ｃｂ
３ＣｂＬＨの符号量＝Ｃ＿Ｃｂ
３ＣｂＨＨの符号量＝Ｄ＿Ｃｂ
２ＣｂＨＬの符号量＝Ｅ＿Ｃｂ
２ＣｂＬＨの符号量＝Ｆ＿Ｃｂ
２ＣｂＨＨの符号量＝Ｇ＿Ｃｂ
１ＣｂＨＬの符号量＝Ｈ＿Ｃｂ
１ＣｂＬＨの符号量＝Ｉ＿Ｃｂ
１ＣｂＨＨの符号量＝Ｊ＿Ｃｂ
これにより、色差Ｃｂ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｂＬＬ＝Ａ＿Ｃｂ・４／０．９９
３ＣｂＨＬ＝Ｂ＿Ｃｂ・４／０．７６
３ＣｂＬＨ＝Ｃ＿Ｃｂ・４／０．７６
３ＣｂＨＨ＝Ｄ＿Ｃｂ・４／０．５５
２ＣｂＨＬ＝Ｅ＿Ｃｂ・４／０．５１
２ＣｂＬＨ＝Ｆ＿Ｃｂ・４／０．５１
２ＣｂＨＨ＝Ｇ＿Ｃｂ・４／０．３７
１ＣｂＨＬ＝Ｈ＿Ｃｂ・４／０．１２
１ＣｂＬＨ＝Ｉ＿Ｃｂ・４／０．１２
１ＣｂＨＨ＝Ｊ＿Ｃｂ・４／０．０９
次に、各コンポーネント毎のサブバンドに対し、視覚特性に基づいた符号量の比と略同じ比率となるような削減すべき符号量を配分する。これは、上述したように、削減した符号量の総和が削減すべき符号量に達するように配分される。
【０１１２】
ここで、上述から導き出せるように、全域における視覚特性に基づいた符号量の比は、以下のようになる。
３ＹＬＬ：３ＹＨＬ：３ＹＬＨ：３ＹＨＨ：２ＹＨＬ：２ＹＬＨ：２ＹＨＨ：１ＹＨＬ：１ＹＬＨ：１ＹＨＨ：３ＣｒＬＬ：３ＣｒＨＬ：３ＣｒＬＨ：３ＣｒＨＨ：２ＣｒＨＬ：２ＣｒＬＨ：２ＣｒＨＨ：１ＣｒＨＬ：１ＣｒＬＨ：１ＣｒＨＨ：３ＣｂＬＬ：３ＣｂＨＬ：３ＣｂＬＨ：３ＣｂＨＨ：２ＣｂＨＬ：２ＣｂＬＨ：２ＣｂＨＨ：１ＣｂＨＬ：１ＣｂＬＨ：１ＣｂＨＨ＝Ａ＿ｙ／０．９９：Ｂ＿ｙ／０．７６：Ｃ＿ｙ／０．７６：Ｄ＿ｙ／０．５５：Ｅ＿ｙ／０．５１：Ｆ＿ｙ／０．５１：Ｇ＿ｙ／０．３７：Ｈ＿ｙ／０．１２：Ｉ＿ｙ／０．１２：Ｊ＿ｙ／０．０９：Ａ＿Ｃｒ・２／０．９９：Ｂ＿Ｃｒ・２／０．７６：Ｃ＿Ｃｒ・２／０．７６：Ｄ＿Ｃｒ・２／０．５５：Ｅ＿Ｃｒ・２／０．５１：Ｆ＿Ｃｒ・２／０．５１：Ｇ＿Ｃｒ・２／０．３７：Ｈ＿Ｃｒ・２／０．１２：Ｉ＿Ｃｒ・２／０．１２：Ｊ＿Ｃｒ・２／０．０９：Ａ＿Ｃｂ・４／０．９９：Ｂ＿Ｃｂ・４／０．７６：Ｃ＿Ｃｂ・４／０．７６：Ｄ＿Ｃｂ・４／０．５５：Ｅ＿Ｃｂ・４／０．５１：Ｆ＿Ｃｂ・４／０．５１：Ｇ＿Ｃｂ・４／０．３７：Ｈ＿Ｃｂ・４／０．１２：Ｉ＿Ｃｂ・４／０．１２：Ｊ＿Ｃｂ・４／０．０９
従って、全ての比率の総和αは、以下のようになる。
α＝Ａ＿ｙ／０．９９＋Ｂ＿ｙ／０．７６＋Ｃ＿ｙ／０．７６＋Ｄ＿ｙ／０．５５＋Ｅ＿ｙ／０．５１＋Ｆ＿ｙ／０．５１＋Ｇ＿ｙ／０．３７＋Ｈ＿ｙ／０．１２＋Ｉ＿ｙ／０．１２＋Ｊ＿ｙ／０．０９＋Ａ＿Ｃｒ・２／０．９９＋Ｂ＿Ｃｒ・２／０．７６＋Ｃ＿Ｃｒ・２／０．７６＋Ｄ＿Ｃｒ・２／０．５５＋Ｅ＿Ｃｒ・２／０．５１＋Ｆ＿Ｃｒ・２／０．５１＋Ｇ＿Ｃｒ・２／０．３７＋Ｈ＿Ｃｒ・２／０．１２＋Ｉ＿Ｃｒ・２／０．１２＋Ｊ＿Ｃｒ・２／０．０９＋Ａ＿Ｃｂ・４／０．９９＋Ｂ＿Ｃｂ・４／０．７６＋Ｃ＿Ｃｂ・４／０．７６＋Ｄ＿Ｃｂ・４／０．５５＋Ｅ＿Ｃｂ・４／０．５１＋Ｆ＿Ｃｂ・４／０．５１＋Ｇ＿Ｃｂ・４／０．３７＋Ｈ＿Ｃｂ・４／０．１２＋Ｉ＿Ｃｂ・４／０．１２＋Ｊ＿Ｃｂ・４／０．０９
また、削減すべき総符号量をβとすると、削減すべき符号量配分はそれぞれ、以下のようになる。
３ＹＬＬ＝（Ａ＿ｙ／０．９９）／（α／β）
３ＹＨＬ＝（Ｂ＿ｙ／０．７６）／（α／β）
３ＹＬＨ＝（Ｃ＿ｙ／０．７６）／（α／β）
３ＹＨＨ＝（Ｄ＿ｙ／０．５５）／（α／β）
２ＹＨＬ＝（Ｅ＿ｙ／０．５１）／（α／β）
２ＹＬＨ＝（Ｆ＿ｙ／０．５１）／（α／β）
２ＹＨＨ＝（Ｇ＿ｙ／０．３７）／（α／β）
１ＹＨＬ＝（Ｈ＿ｙ／０．１２）／（α／β）
１ＹＬＨ＝（Ｉ＿ｙ／０．１２）／（α／β）
１ＹＨＨ＝（Ｊ＿ｙ／０．０９）／（α／β）
３ＣｒＬＬ＝（Ａ＿Ｃｒ・２／０．９９）／（α／β）
３ＣｒＨＬ＝（Ｂ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＬＨ＝（Ｃ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＨＨ＝（Ｄ＿Ｃｒ・２／０．５５）／（α／β）
２ＣｒＨＬ＝（Ｅ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＬＨ＝（Ｆ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＨＨ＝（Ｇ＿Ｃｒ・２／０．３７）／（α／β）
１ＣｒＨＬ＝（Ｈ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＬＨ＝（Ｉ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＨＨ＝（Ｊ＿Ｃｒ・２／０．０９）／（α／β）
３ＣｂＬＬ＝（Ａ＿Ｃｂ・４／０．９９）／（α／β）
３ＣｂＨＬ＝（Ｂ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＬＨ＝（Ｃ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＨＨ＝（Ｄ＿Ｃｂ・４／０．５５）／（α／β）
２ＣｂＨＬ＝（Ｅ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＬＨ＝（Ｆ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＨＨ＝（Ｇ＿Ｃｂ・４／０．３７）／（α／β）
１ＣｂＨＬ＝（Ｈ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＬＨ＝（Ｉ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＨＨ＝（Ｊ＿Ｃｂ・４／０．０９）／（α／β）
ここで、本実施例では第２の実施例と相違して、それぞれ配分された削減すべき符号量を正規化された符号量と比較する。
【０１１３】
この結果、例えば全てのコンポーネント毎のサブバンドにおいて符号量が少ないという結果が得られた場合、配分された削減すべき符号量に基づき符号量を削減するよう動作する。
【０１１４】
また、何れかのコンポーネント毎のサブバンドにおいて符号量が不足していると判定された場合、本実施例では第１又は第２の実施例で説明したような方法により、各コンポーネント毎のサブバンドより所定の符号量を削減する処理を実行する。
【０１１５】
以上のような処理を実行することにより、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分の符号量は、図１４から図１６に示すようになる。但し、図６から図８と同様に図１４から図１６において、１本の棒グラフは、全体が削減する前の正規化された符号量を示し、棒グラフにおける白抜きの部分が削減分の符号量、又、棒グラフにおける黒塗りの部分が削減後の符号量を示している。
【０１１６】
このように全域に渡り、視覚特性に基づいた符号量の比と略同じ比率によって符号量を削減することで、ノイズ成分による影響が低減される。また、符号量を削減する前の符号量と削減した後の符号量との比率をタイル毎に一定とすることで、タイル毎の画質劣化を一定とすることが可能となり、バランスの取れた画像を得ることができる。更に、削減にあたり不足した分の符号量を、視覚的に鈍感な帯域から順に削減するよう構成することで、より画質劣化を抑えることが可能となる。
【０１１７】
尚、例えばＪＰＥＧ２０００の様な、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄し、最終的な符号量を制御することは容易であるため、復号化する際に本実施例によるような符号量削減を行ってもよい。これによって、復号化時の処理速度が速くなり且つより画質を上げることができる。
【０１１８】
また、本実施例による画像符号化を実現するプログラムは、図１におけるＨＤＤ１３等に予め格納されており、必要に応じて読み出され、ＲＡＭ１２に作業領域が確保されてＣＰＵ１１において実行されるものである。
【０１１９】
また、このプログラムを、ＣＤ−ＲＯＭ（ＣＤ−Ｒ，ＣＤ−ＲＷ等を含む）やＤＶＤ−ＲＡＭ（ＤＣＤ−ＲＷ等を含む）やＭＯ等の持ち運び可能な記録媒体し、任意の端末に組み込めるようにするとよい。
〔第４の実施例〕
また、上記第３の実施例では、それぞれ配分された削減すべき符号量を正規化された符号量と比較した結果、全てのサブバンドにおいて符号量が少ないという結果が得られた場合に全ての周波数領域において同一の比率で符号量を削減するよう構成されている。これに対し、上記比較の結果、符号量が削減する分に対し不足する場合、余った削減すべき符号量を他の周波数領域に割り当てるよう構成することも可能である。以下、これを第４の実施例として図面を用いて詳細に説明する。
【０１２０】
本実施例に係る画像符号化を実現する装置の構成例は、第１の実施例で示すもの（図１参照）と同様であるため、ここでは説明を省略する。
【０１２１】
また、本実施例においても、第１の実施例と同様に、画像データを符号化する際、周波数領域に変化し、ロスレスのサブバンド全体のエントロピー符号化後、符号化後のデータに視覚的重みを考慮し、符号量の削減を実行する。この際の動作を図１７を用いて以下に説明する。但し、本実施例でも、サブバンド符号化方式を採用した場合について説明する。
【０１２２】
図１７を参照すると、本実施例では、まず、ステップＳ１３１として、画像データを１２８画素×１２８画素のタイルに分割し、それぞれに対して３回のウェーブレット変換を行う。これにより、図２に示すようなサブバンド構造を有するタイルが作成される。
【０１２３】
次に、ステップＳ１３２において、ステップＳ１３１で作成したタイルに対し、ロスレスのサブバンド全体のエントロピー符号化を行う。また、このエントロピー符号化により得られた符号量を保持する。保持する先としては、エントロピー符号化を行うエンコーダとする。但し、本実施例においてもエンコーダがＣＰＵ１１及びＲＡＭ１２によりプログラムを用いて実現されるために、保持先はＲＡＭ１２となる。更に、ステップＳ１３２では、保持した符号量に対して個々に視覚右傾のＭＴＦ（ＶＴＦ）の逆数を乗じることで正規化し、これにより得られた値（正規化された符号量）をＲＡＭ１２に保持する。
【０１２４】
その後、ステップＳ１３３において、正規化された符号量を読み出し、これに基づいてコンポーネント毎のサブバンドの符号量比率を求め、削減すべき符号量の合計を、同一の比率でコンポーネント毎のサブバンドに分配する。
【０１２５】
このように削減すべき符号量をコンポーネント毎のサブバンドに分配すると、ステップＳ１３４において、各コンポーネント毎のサブバンドに、正規化された符号量が分配した削減すべき符号量以上であるか否かが判定される。
【０１２６】
この判定の結果、全てのコンポーネント毎のサブバンドにおいて正規化された符号量が分配された削減すべき符号量よりも多い場合（ステップＳ１３４のＹｅｓ）、ステップＳ１３５において、分配された削減すべき符号量を正規化された符号量より削減する。これに対し、何れかのコンポーネント毎のサブバンドにおいて正規化された符号量が分配された符号量よりも少ない場合（ステップＳ１３４のＮｏ）、ステップＳ１３７において不足した削減すべき符号量分を、他のコンポーネント毎のサブバンドから削減する。これは、不足分全てが補われるまで、例えば高域から順に削減するように構成される。
【０１２７】
また、ステップＳ１３１からステップＳ１３７までの処理は、全てのタイルに対して完了するまで、繰り返し行われる（ステップＳ１３６）。
【０１２８】
この処理において、例えばＪＰＥＧ２０００のような符号化方式を用いた場合、パケットのヘッダ情報としてサブバンド毎のロスレスの符号量を含むため、このヘッダ情報からそれぞれの符号量を特定し、積算したものをパックトパケットヘッダに書き込む。また、正規化は、パックトパケットヘッダからそれぞれの符号量を読み出し、これに視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで行う。
【０１２９】
ここで、各サブバンドの周波数は、画像データの解像度と観察距離との関数になる。例えば、上記で触れた引用文献２に記載されているように、ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドは異なるフーリエスペクトルを生じる。このため、各サブバンドに生じた誤差に対する視覚の感度は、サブバンド毎に異なると考えられている。上述において触れた引用文献２によれば、ＬＬ，ＨＬ，ＬＨ，ＨＨの視覚の感度比は、おおよそ１：１／１．３：１／１．３：１／１．８となっている。
【０１３０】
そこで、本実施例では、周波数の違いによるＶＴＦの値の差に加え、サブバンドごとの感度の違いも考慮に入れるよう構成する。
【０１３１】
例えば３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの空間周波数を‘１’とした場合、２ＨＬ，２ＬＨ，２ＨＨの空間周波数は‘２’，１ＨＬ，１ＬＨ，１ＨＨの空間周波数は‘４’となる。
【０１３２】
また、第１の実施例で示したように、例えば上記した（式３），（式４），（式５）をそれぞれＬＬ，（ＨＬ，ＬＨ），ＨＨのＶＴＦとして用いたとすると、その特性は図４に示すようになる。
【０１３３】
よって、上記での空間周波数に対する輝度Ｙ成分のＶＴＦの値は、以下のようになる。
３ＹＬＬ＝０．９９
３ＹＨＬ＝０．７６
３ＹＬＨ＝０．７６
３ＹＨＨ＝０．５５
２ＹＨＬ＝０．５１
２ＹＬＨ＝０．５１
２ＹＨＨ＝０．３７
１ＹＨＬ＝０．１２
１ＹＬＨ＝０．１２
１ＹＨＨ＝０．０９
また、輝度Ｙ成分のＶＴＦの値の逆数は、以下のようになる。
３ＹＬＬ＝１／０．９９
３ＹＨＬ＝１／０．７６
３ＹＬＨ＝１／０．７６
３ＹＨＨ＝１／０．５５
２ＹＨＬ＝１／０．５１
２ＹＬＨ＝１／０．５１
２ＹＨＨ＝１／０．３７
１ＹＨＬ＝１／０．１２
１ＹＬＨ＝１／０．１２
１ＹＨＨ＝１／０．０９
ここで、例えば、ＶＴＦにおける輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との視覚特性の関係が４：２：１であったとすると、ＶＴＦの値の逆数における輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との関係は、その逆数であるから１：２：４となる。
【０１３４】
従って、上記における色差Ｃｒ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｒＬＬ＝２／０．９９
３ＣｒＨＬ＝２／０．７６
３ＣｒＬＨ＝２／０．７６
３ＣｒＨＨ＝２／０．５５
２ＣｒＨＬ＝２／０．５１
２ＣｒＬＨ＝２／０．５１
２ＣｒＨＨ＝２／０．３７
１ＣｒＨＬ＝２／０．１２
１ＣｒＬＨ＝２／０．１２
１ＣｒＨＨ＝２／０．０９
同様に、色差Ｃｂ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｂＬＬ＝４／０．９９
３ＣｂＨＬ＝４／０．７６
３ＣｂＬＨ＝４／０．７６
３ＣｂＨＨ＝４／０．５５
２ＣｂＨＬ＝４／０．５１
２ＣｂＬＨ＝４／０．５１
２ＣｂＨＨ＝４／０．３７
１ＣｂＨＬ＝４／０．１２
１ＣｂＬＨ＝４／０．１２
１ＣｂＨＨ＝４／０．０９
ここで、ある１つのタイルにおける輝度Ｙ成分のロスレスの符号量を、以下のように仮定する。
３ＹＬＬの符号量＝Ａ＿ｙ
３ＹＨＬの符号量＝Ｂ＿ｙ
３ＹＬＨの符号量＝Ｃ＿ｙ
３ＹＨＨの符号量＝Ｄ＿ｙ
２ＹＨＬの符号量＝Ｅ＿ｙ
２ＹＬＨの符号量＝Ｆ＿ｙ
２ＹＨＨの符号量＝Ｇ＿ｙ
１ＹＨＬの符号量＝Ｈ＿ｙ
１ＹＬＨの符号量＝Ｉ＿ｙ
１ＹＨＨの符号量＝Ｊ＿ｙ
これにより、輝度Ｙ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＹＬＬ＝Ａ＿ｙ／０．９９
３ＹＨＬ＝Ｂ＿ｙ／０．７６
３ＹＬＨ＝Ｃ＿ｙ／０．７６
３ＹＨＨ＝Ｄ＿ｙ／０．５５
２ＹＨＬ＝Ｅ＿ｙ／０．５１
２ＹＬＨ＝Ｆ＿ｙ／０．５１
２ＹＨＨ＝Ｇ＿ｙ／０．３７
１ＹＨＬ＝Ｈ＿ｙ／０．１２
１ＹＬＨ＝Ｉ＿ｙ／０．１２
１ＹＨＨ＝Ｊ＿ｙ／０．０９
また、同じタイルにおける色差Ｃｒ成分のロスレスの符号量を、以下のように仮定する。
３ＣｒＬＬの符号量＝Ａ＿Ｃｒ
３ＣｒＨＬの符号量＝Ｂ＿Ｃｒ
３ＣｒＬＨの符号量＝Ｃ＿Ｃｒ
３ＣｒＨＨの符号量＝Ｄ＿Ｃｒ
２ＣｒＨＬの符号量＝Ｅ＿Ｃｒ
２ＣｒＬＨの符号量＝Ｆ＿Ｃｒ
２ＣｒＨＨの符号量＝Ｇ＿Ｃｒ
１ＣｒＨＬの符号量＝Ｈ＿Ｃｒ
１ＣｒＬＨの符号量＝Ｉ＿Ｃｒ
１ＣｒＨＨの符号量＝Ｊ＿Ｃｒ
これにより、色差Ｃｒ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｒＬＬ＝Ａ＿Ｃｒ・２／０．９９
３ＣｒＨＬ＝Ｂ＿Ｃｒ・２／０．７６
３ＣｒＬＨ＝Ｃ＿Ｃｒ・２／０．７６
３ＣｒＨＨ＝Ｄ＿Ｃｒ・２／０．５５
２ＣｒＨＬ＝Ｅ＿Ｃｒ・２／０．５１
２ＣｒＬＨ＝Ｆ＿Ｃｒ・２／０．５１
２ＣｒＨＨ＝Ｇ＿Ｃｒ・２／０．３７
１ＣｒＨＬ＝Ｈ＿Ｃｒ・２／０．１２
１ＣｒＬＨ＝Ｉ＿Ｃｒ・２／０．１２
１ＣｒＨＨ＝Ｊ＿Ｃｒ・２／０．０９
同様に、同じタイルにおける色差Ｃｂ成分のロスレスの符号量を、以下のように仮定する。
３ＣｂＬＬの符号量＝Ａ＿Ｃｂ
３ＣｂＨＬの符号量＝Ｂ＿Ｃｂ
３ＣｂＬＨの符号量＝Ｃ＿Ｃｂ
３ＣｂＨＨの符号量＝Ｄ＿Ｃｂ
２ＣｂＨＬの符号量＝Ｅ＿Ｃｂ
２ＣｂＬＨの符号量＝Ｆ＿Ｃｂ
２ＣｂＨＨの符号量＝Ｇ＿Ｃｂ
１ＣｂＨＬの符号量＝Ｈ＿Ｃｂ
１ＣｂＬＨの符号量＝Ｉ＿Ｃｂ
１ＣｂＨＨの符号量＝Ｊ＿Ｃｂ
これにより、色差Ｃｂ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｂＬＬ＝Ａ＿Ｃｂ・４／０．９９
３ＣｂＨＬ＝Ｂ＿Ｃｂ・４／０．７６
３ＣｂＬＨ＝Ｃ＿Ｃｂ・４／０．７６
３ＣｂＨＨ＝Ｄ＿Ｃｂ・４／０．５５
２ＣｂＨＬ＝Ｅ＿Ｃｂ・４／０．５１
２ＣｂＬＨ＝Ｆ＿Ｃｂ・４／０．５１
２ＣｂＨＨ＝Ｇ＿Ｃｂ・４／０．３７
１ＣｂＨＬ＝Ｈ＿Ｃｂ・４／０．１２
１ＣｂＬＨ＝Ｉ＿Ｃｂ・４／０．１２
１ＣｂＨＨ＝Ｊ＿Ｃｂ・４／０．０９
次に、各コンポーネント毎のサブバンドに対し、視覚特性に基づいた符号量の比と略同じ比率となるような削減すべき符号量を配分する。これは、上述したように、削減した符号量の総和が削減すべき符号量に達するように配分される。
【０１３５】
ここで、上述から導き出せるように、全域における視覚特性に基づいた符号量の比は、以下のようになる。
３ＹＬＬ：３ＹＨＬ：３ＹＬＨ：３ＹＨＨ：２ＹＨＬ：２ＹＬＨ：２ＹＨＨ：１ＹＨＬ：１ＹＬＨ：１ＹＨＨ：３ＣｒＬＬ：３ＣｒＨＬ：３ＣｒＬＨ：３ＣｒＨＨ：２ＣｒＨＬ：２ＣｒＬＨ：２ＣｒＨＨ：１ＣｒＨＬ：１ＣｒＬＨ：１ＣｒＨＨ：３ＣｂＬＬ：３ＣｂＨＬ：３ＣｂＬＨ：３ＣｂＨＨ：２ＣｂＨＬ：２ＣｂＬＨ：２ＣｂＨＨ：１ＣｂＨＬ：１ＣｂＬＨ：１ＣｂＨＨ＝Ａ＿ｙ／０．９９：Ｂ＿ｙ／０．７６：Ｃ＿ｙ／０．７６：Ｄ＿ｙ／０．５５：Ｅ＿ｙ／０．５１：Ｆ＿ｙ／０．５１：Ｇ＿ｙ／０．３７：Ｈ＿ｙ／０．１２：Ｉ＿ｙ／０．１２：Ｊ＿ｙ／０．０９：Ａ＿Ｃｒ・２／０．９９：Ｂ＿Ｃｒ・２／０．７６：Ｃ＿Ｃｒ・２／０．７６：Ｄ＿Ｃｒ・２／０．５５：Ｅ＿Ｃｒ・２／０．５１：Ｆ＿Ｃｒ・２／０．５１：Ｇ＿Ｃｒ・２／０．３７：Ｈ＿Ｃｒ・２／０．１２：Ｉ＿Ｃｒ・２／０．１２：Ｊ＿Ｃｒ・２／０．０９：Ａ＿Ｃｂ・４／０．９９：Ｂ＿Ｃｂ・４／０．７６：Ｃ＿Ｃｂ・４／０．７６：Ｄ＿Ｃｂ・４／０．５５：Ｅ＿Ｃｂ・４／０．５１：Ｆ＿Ｃｂ・４／０．５１：Ｇ＿Ｃｂ・４／０．３７：Ｈ＿Ｃｂ・４／０．１２：Ｉ＿Ｃｂ・４／０．１２：Ｊ＿Ｃｂ・４／０．０９
従って、全ての比率の総和αは、以下のようになる。
α＝Ａ＿ｙ／０．９９＋Ｂ＿ｙ／０．７６＋Ｃ＿ｙ／０．７６＋Ｄ＿ｙ／０．５５＋Ｅ＿ｙ／０．５１＋Ｆ＿ｙ／０．５１＋Ｇ＿ｙ／０．３７＋Ｈ＿ｙ／０．１２＋Ｉ＿ｙ／０．１２＋Ｊ＿ｙ／０．０９＋Ａ＿Ｃｒ・２／０．９９＋Ｂ＿Ｃｒ・２／０．７６＋Ｃ＿Ｃｒ・２／０．７６＋Ｄ＿Ｃｒ・２／０．５５＋Ｅ＿Ｃｒ・２／０．５１＋Ｆ＿Ｃｒ・２／０．５１＋Ｇ＿Ｃｒ・２／０．３７＋Ｈ＿Ｃｒ・２／０．１２＋Ｉ＿Ｃｒ・２／０．１２＋Ｊ＿Ｃｒ・２／０．０９＋Ａ＿Ｃｂ・４／０．９９＋Ｂ＿Ｃｂ・４／０．７６＋Ｃ＿Ｃｂ・４／０．７６＋Ｄ＿Ｃｂ・４／０．５５＋Ｅ＿Ｃｂ・４／０．５１＋Ｆ＿Ｃｂ・４／０．５１＋Ｇ＿Ｃｂ・４／０．３７＋Ｈ＿Ｃｂ・４／０．１２＋Ｉ＿Ｃｂ・４／０．１２＋Ｊ＿Ｃｂ・４／０．０９
また、削減すべき総符号量をβとすると、削減すべき符号量配分はそれぞれ、以下のようになる。
３ＹＬＬ＿γ＝（Ａ＿ｙ／０．９９）／（α／β）
３ＹＨＬ＿γ＝（Ｂ＿ｙ／０．７６）／（α／β）
３ＹＬＨ＿γ＝（Ｃ＿ｙ／０．７６）／（α／β）
３ＹＨＨ＿γ＝（Ｄ＿ｙ／０．５５）／（α／β）
２ＹＨＬ＿γ＝（Ｅ＿ｙ／０．５１）／（α／β）
２ＹＬＨ＿γ＝（Ｆ＿ｙ／０．５１）／（α／β）
２ＹＨＨ＿γ＝（Ｇ＿ｙ／０．３７）／（α／β）
１ＹＨＬ＿γ＝（Ｈ＿ｙ／０．１２）／（α／β）
１ＹＬＨ＿γ＝（Ｉ＿ｙ／０．１２）／（α／β）
１ＹＨＨ＿γ＝（Ｊ＿ｙ／０．０９）／（α／β）
３ＣｒＬＬ＿γ＝（Ａ＿Ｃｒ・２／０．９９）／（α／β）
３ＣｒＨＬ＿γ＝（Ｂ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＬＨ＿γ＝（Ｃ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＨＨ＿γ＝（Ｄ＿Ｃｒ・２／０．５５）／（α／β）
２ＣｒＨＬ＿γ＝（Ｅ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＬＨ＿γ＝（Ｆ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＨＨ＿γ＝（Ｇ＿Ｃｒ・２／０．３７）／（α／β）
１ＣｒＨＬ＿γ＝（Ｈ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＬＨ＿γ＝（Ｉ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＨＨ＿γ＝（Ｊ＿Ｃｒ・２／０．０９）／（α／β）
３ＣｂＬＬ＿γ＝（Ａ＿Ｃｂ・４／０．９９）／（α／β）
３ＣｂＨＬ＿γ＝（Ｂ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＬＨ＿γ＝（Ｃ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＨＨ＿γ＝（Ｄ＿Ｃｂ・４／０．５５）／（α／β）
２ＣｂＨＬ＿γ＝（Ｅ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＬＨ＿γ＝（Ｆ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＨＨ＿γ＝（Ｇ＿Ｃｂ・４／０．３７）／（α／β）
１ＣｂＨＬ＿γ＝（Ｈ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＬＨ＿γ＝（Ｉ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＨＨ＿γ＝（Ｊ＿Ｃｂ・４／０．０９）／（α／β）
ここで、本実施例では第３の実施例と同様に、それぞれ配分された削減すべき符号量を正規化された符号量と比較する。
【０１３６】
この結果、例えば以下のように、１ＣｂＨＨのみ符号量が多く、他のコンポーネント毎のサブバンドでは符号量が少ないという関係が導き出せたとする。
３ＹＬＬ＿γ≧Ａ＿ｙ
３ＹＨＬ＿γ≧Ｂ＿ｙ
３ＹＬＨ＿γ≧Ｃ＿ｙ
３ＹＨＨ＿γ≧Ｄ＿ｙ
２ＹＨＬ＿γ≧Ｅ＿ｙ
２ＹＬＨ＿γ≧Ｆ＿ｙ
２ＹＨＨ＿γ≧Ｇ＿ｙ
１ＹＨＬ＿γ≧Ｈ＿ｙ
１ＹＬＨ＿γ≧Ｉ＿ｙ
１ＹＨＨ＿γ≧Ｊ＿ｙ
３ＣｒＬＬ＿γ≧Ａ＿Ｃｒ
３ＣｒＨＬ＿γ≧Ｂ＿Ｃｒ
３ＣｒＬＨ＿γ≧Ｃ＿Ｃｒ
３ＣｒＨＨ＿γ≧Ｄ＿Ｃｒ
２ＣｒＨＬ＿γ≧Ｅ＿Ｃｒ
２ＣｒＬＨ＿γ≧Ｆ＿Ｃｒ
２ＣｒＨＨ＿γ≧Ｇ＿Ｃｒ
１ＣｒＨＬ＿γ≧Ｈ＿Ｃｒ
１ＣｒＬＨ＿γ≧Ｉ＿Ｃｒ
１ＣｒＨＨ＿γ≧Ｊ＿Ｃｒ
３ＣｂＬＬ＿γ≧Ａ＿Ｃｂ
３ＣｂＨＬ＿γ≧Ｂ＿Ｃｂ
３ＣｂＬＨ＿γ≧Ｃ＿Ｃｂ
３ＣｂＨＨ＿γ≧Ｄ＿Ｃｂ
２ＣｂＨＬ＿γ≧Ｅ＿Ｃｂ
２ＣｂＬＨ＿γ≧Ｆ＿Ｃｂ
２ＣｂＨＨ＿γ≧Ｇ＿Ｃｂ
１ＣｂＨＬ＿γ≧Ｈ＿Ｃｂ
１ＣｂＬＨ＿γ≧Ｉ＿Ｃｂ
１ＣｂＨＨ＿γ＜Ｊ＿Ｃｂ
ここで、配分された符号量と正規化された符号量の符号量差は下記のように表せられる。
Ａ１＿ｙ＝｜３ＹＬＬ＿γ−Ａ＿ｙ｜
Ｂ１＿ｙ＝｜３ＹＨＬ＿γ−Ｂ＿ｙ｜
Ｃ１＿ｙ＝｜３ＹＬＨ＿γ−Ｃ＿ｙ｜
Ｄ１＿ｙ＝｜３ＹＨＨ＿γ−Ｄ＿ｙ｜
Ｅ１＿ｙ＝｜２ＹＨＬ＿γ−Ｅ＿ｙ｜
Ｆ１＿ｙ＝｜２ＹＬＨ＿γ−Ｆ＿ｙ｜
Ｇ１＿ｙ＝｜２ＹＨＨ＿γ−Ｇ＿ｙ｜
Ｈ１＿ｙ＝｜１ＹＨＬ＿γ−Ｈ＿ｙ｜
Ｉ１＿ｙ＝｜１ＹＬＨ＿γ−Ｉ＿ｙ｜
Ｊ１＿ｙ＝｜１ＹＨＨ＿γ−Ｊ＿ｙ｜
Ａ１＿Ｃｒ＝｜３ＣｒＬＬ＿γ−Ａ＿Ｃｒ｜
Ｂ１＿Ｃｒ＝｜３ＣｒＨＬ＿γ−Ｂ＿Ｃｒ｜
Ｃ１＿Ｃｒ＝｜３ＣｒＬＨ＿γ−Ｃ＿Ｃｒ｜
Ｄ１＿Ｃｒ＝｜３ＣｒＨＨ＿γ−Ｄ＿Ｃｒ｜
Ｅ１＿Ｃｒ＝｜２ＣｒＨＬ＿γ−Ｅ＿Ｃｒ｜
Ｆ１＿Ｃｒ＝｜２ＣｒＬＨ＿γ−Ｆ＿Ｃｒ｜
Ｇ１＿Ｃｒ＝｜２ＣｒＨＨ＿γ−Ｇ＿Ｃｒ｜
Ｈ１＿Ｃｒ＝｜１ＣｒＨＬ＿γ−Ｈ＿Ｃｒ｜
Ｉ１＿Ｃｒ＝｜１ＣｒＬＨ＿γ−Ｉ＿Ｃｒ｜
Ｊ１＿Ｃｒ＝｜１ＣｒＨＨ＿γ−Ｊ＿Ｃｒ｜
Ａ１＿Ｃｂ＝｜３ＣｂＬＬ＿γ−Ａ＿Ｃｂ｜
Ｂ１＿Ｃｂ＝｜３ＣｂＨＬ＿γ−Ｂ＿Ｃｂ｜
Ｃ１＿Ｃｂ＝｜３ＣｂＬＨ＿γ−Ｃ＿Ｃｂ｜
Ｄ１＿Ｃｂ＝｜３ＣｂＨＨ＿γ−Ｄ＿Ｃｂ｜
Ｅ１＿Ｃｂ＝｜２ＣｂＨＬ＿γ−Ｅ＿Ｃｂ｜
Ｆ１＿Ｃｂ＝｜２ＣｂＬＨ＿γ−Ｆ＿Ｃｂ｜
Ｇ１＿Ｃｂ＝｜２ＣｂＨＨ＿γ−Ｇ＿Ｃｂ｜
Ｈ１＿Ｃｂ＝｜１ＣｂＨＬ＿γ−Ｈ＿Ｃｂ｜
Ｉ１＿Ｃｂ＝｜１ＣｂＬＨ＿γ−Ｉ＿Ｃｂ｜
Ｊ１＿Ｃｂ＝｜１ＣｂＨＨ＿γ−Ｊ＿Ｃｂ｜
ここで、不足した分である削減すべき符号量Ｊ１＿Ｃｂを、１ＣｂＨＨ以外のコンポーネント毎のサブバンドへ配分する必要がある。配分先のコンポーネント毎のサブバンドの順としては、高域からとした方がよい。これは、低域の符号量は削減しすぎてしまうと、急激な画質劣化をおこしてしまうためである。従って、例えば１ＣｂＨＨ，１ＣｂＬＨ，１ＣｂＨＬ，１ＣｒＨＨ，１ＣｒＬＨ，１ＣｒＨＬ，１ＹＨＨ，１ＹＬＨ，１ＹＨＬ，２ＣｂＨＨ，２ＣｂＬＨ，２ＣｂＨＬ，２ＣｒＨＨ，２ＣｒＬＨ，２ＣｒＨＬ，…の順に配分していく。
【０１３７】
但し、１ＣｂＨＨ，１ＣｂＬＨ，１ＣｂＨＬ，１ＣｒＨＨ，１ＣｒＬＨ，１ＣｒＨＬ，２ＣｂＨＨ，２ＣｂＬＨ，２ＣｂＨＬ，２ＣｒＨＨ，２ＣｒＬＨ，２ＣｒＨＬ，１ＹＨＨ，１ＹＬＨ，１ＹＨＬ，…のような順にしても良い。
【０１３８】
従って、１ＣｂＨＨ以外における最も高域のコンポーネント毎のサブバンドは１ＣｂＬＨであるため、例えばＪ１＿Ｃｂ＜Ｉ１＿Ｃｂであるとすると、１ＣｂＬＨに配分される削減すべき符号量は１ＣｂＬＨ＿γにＪ１＿Ｃｂを加算した符号量となる。
【０１３９】
よって、最終的に１ＣｂＨＨと１ＣｂＬＨの削減すべき符号量の配分は、以下のようになる。
１ＣｂＬＨ＿γ＝（Ｉ＿Ｃｂ・４／０．１２）／（α／β）＋Ｊ１＿Ｃｂ
１ＣｂＨＨ＿γ＝（Ｊ＿Ｃｂ・４／０．０９）／（α／β）−Ｊ１＿Ｃｂ
本実施例では、上記のような処理により求められた削減すべき符号量の配分に基づき、符号量削減を行う。
【０１４０】
以上のような処理を実行することにより、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分の符号量は、図１８から図２０に示すようになる。但し、図６から図８と同様に図１８から図２０において、１本の棒グラフは、全体が正規化された符号量を示し、棒グラフにおける白抜きの部分が削減分の符号量、又、棒グラフにおける黒塗りの部分が削減後の符号量を示している。
【０１４１】
以上のような構成とすることで、本実施例では、２つの削減方法を適宜、使い分けることが可能となり、急激な画質劣化を低減させることができるようになる。
【０１４２】
尚、例えばＪＰＥＧ２０００の様な、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄し、最終的な符号量を制御することは容易である。このため、復号化する際にこの符号量削減を行ってもよい。これによって、復号化時の処理速度が速くなり且つより画質を上げることができる。
【０１４３】
また、本実施例による画像符号化を実現するプログラムは、図１におけるＨＤＤ１３等に予め格納されており、必要に応じて読み出され、ＲＡＭ１２に作業領域が確保されてＣＰＵ１１において実行されるものである。
【０１４４】
また、このプログラムを、ＣＤ−ＲＯＭ（ＣＤ−Ｒ，ＣＤ−ＲＷ等を含む）やＤＶＤ−ＲＡＭ（ＤＣＤ−ＲＷ等を含む）やＭＯ等の持ち運び可能な記録媒体し、任意の端末に組み込めるようにするとよい。
〔他の実施例〕
また、上記した各実施例では、ロスレスのサブバンド全体のエントロピー符号化を行う際の形態について例を挙げて説明したが、本発明ではこれに限定されず、エントロピー符号化の前行程として量子化を含むよう構成することも可能である。但し、この場合の構成は、上記した各実施例より容易に導き出すことができるため、説明を省略する。
【０１４５】
更に、上記した各実施例は、本発明を好適に実施した形態の一例に過ぎず、本発明は、その主旨を逸脱しない限り、種々変形して実施することが可能なものである。
【０１４６】
【発明の効果】
以上、説明したように、請求項１記載の発明によれば、視覚特性を反映させながら、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置を提供することが可能となる。
【０１４７】
また、請求項２記載の発明によれば、圧縮率を保ちつつ、コンポーネント毎に視覚特性を反映することで、より原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置を提供することが可能となる。
【０１４８】
更に、請求項３記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、圧縮率によって符号量削減方法を変えることで、より画質劣化を低減させることが可能となる。
【０１４９】
更に、請求項４記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、急激な画質劣化を低減することが可能となる。
【０１５０】
更に、請求項５記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、よりバランスの取れた画質を得ることが可能となる。
【０１５１】
更に、請求項６記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、急激な画質劣化を低減させることが可能となる。
【０１５２】
更に、請求項７記載の発明によれば、視覚特性を反映させながら、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
【０１５３】
更に、請求項８記載の発明によれば、圧縮率を保ちつつ、コンポーネント毎に視覚特性を反映することで、より原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
【０１５４】
更に、請求項９記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、圧縮率によって符号量削減方法を変えることで、より画質劣化を低減させることが可能となる。
更に、請求項１０記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、急激な画質劣化を低減することが可能となる。
更に、請求項１１記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
更に、請求項１２記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、急激な画質劣化を低減させることが可能となる。
【図面の簡単な説明】
【図１】 本発明の第１の実施例による画像符号化を実現する装置の構成を示すブロック図である。
【図２】 ウェーブレット変換により作成されるサブバンド構造を示す図である。
【図３】 サブバンド毎における知覚可能な量子誤差の最大値と周波数との関係を輝度Ｙ，色差Ｃｂ，色差Ｃｒ毎に示すグラフである。
【図４】 空間周波数に対するＶＴＦの関係をサブバンド毎に示すグラフである。
【図５】 本発明の第１の実施例における動作を示すフローチャートである。
【図６】 本発明の第１の実施例における輝度Ｙ成分の符号量を示すグラフである。
【図７】 本発明の第１の実施例における色差Ｃｒ成分の符号量を示すグラフである。
【図８】 本発明の第１の実施例における色差Ｃｂ成分の符号量を示すグラフである。
【図９】 本発明の第２の実施例における動作を示すフローチャートである。
【図１０】 本発明の第２の実施例における輝度Ｙ成分の符号量を示すグラフである。
【図１１】 本発明の第２の実施例における色差Ｃｒ成分の符号量を示すグラフである。
【図１２】 本発明の第２の実施例における色差Ｃｂ成分の符号量を示すグラフである。
【図１３】 本発明の第３の実施例における動作を示すフローチャートである。
【図１４】 本発明の第３の実施例における輝度Ｙ成分の符号量を示すグラフである。
【図１５】 本発明の第３の実施例における色差Ｃｒ成分の符号量を示すグラフである。
【図１６】 本発明の第３の実施例における色差Ｃｂ成分の符号量を示すグラフである。
【図１７】 本発明の第４の実施例における動作を示すフローチャートである。
【図１８】 本発明の第４の実施例における輝度Ｙ成分の符号量を示すグラフである。
【図１９】 本発明の第４の実施例における色差Ｃｒ成分の符号量を示すグラフである。
【図２０】 本発明の第４の実施例における色差Ｃｂ成分の符号量を示すグラフである。
【符号の説明】
１ データバス
１０ ＰＣ
１１、２１ ＣＰＵ
１２，２２ ＲＡＭ
１３ ＨＤＤ
２０ プリンタ
Ａ、Ａ’ 原画像
Ｂ、Ｂ’ 圧縮画像
Ｃ 伸張画像
【発明の属する技術分野】
本発明は、画像符号化装置に関し、特に視覚的重みに基づいて符号化を行うことで画質を保持する画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、画像符号化を行う際は、一般的に（色変換）→（周波数領域の係数への変換）→（係数の量子化）→（エントロピー符号化）という手順が取られている。またこの際、低域の画像データを多く残し、高域の画像データを多く削ることで、同等量の圧縮をした場合でも比較的良い画質が得られることが知られている。これは、人間の視覚特性によるものである。
【０００３】
上記手順において量子化を行う際には、処理を簡易にするために画像特性（細やかな絵柄が多い画像か、平坦な絵柄の画像か等）を考慮しないで、所定の定数で係数の除算を行うという、一律な量子化が行われていた。
【０００４】
しかし、画像特性を考慮しない一律な量子化では、圧縮率が高い（＝除算時の定数が大きい）場合に、低域に較べて高域の画像データ、即ち符号量を多く削りすぎてしまい、画質が保持できなくなるという問題が生じる。また、圧縮率が低い場合には、高域に較べて低域の符号量を多く削りすぎてしまうという問題も存在する。
【０００５】
このような問題を解決する技術として、符号化時、人間の視覚特性を考慮することによって、削減すべき符号量を精度良く求め、合理的な符号量配分を行う技術が特開平５−８３５６０号公報に開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平５−８３５６０号公報が開示する技術では、削減すべき符号量の算出方法が原画像に基づくものではなく、予め用意された標準的な画像に基づくものであるため、原画像の符号量特性と誤差とが生じる可能性が大きいという問題がある。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
係る目的を達成するために、請求項１記載の発明は、周波数領域に変換された画像データを符号化する画像符号化装置であって、ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減手段を有し、前記エントロピー符号化により得られた周波数領域毎の符号量に、視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴としている。
【０００９】
これにより、請求項１記載の発明では、視覚特性を反映させながら、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置を提供することが可能となる。
【００１０】
また、請求項２記載の発明は、周波数領域に変換された複数のコンポーネントからなる画像データを符号化する画像符号化装置であって、ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減手段を有し、前記エントロピー符号化により得られた周波数領域毎の符号量に対して、前記コンポーネント毎に視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴としている。
【００１１】
これにより、請求項２記載の発明では、圧縮率を保ちつつ、コンポーネント毎に視覚特性を反映することで、より原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置を提供することが可能となる。
【００１２】
更に、請求項３記載の発明は、前記符号量削減手段は、低圧縮率である場合と高圧縮率である場合とで符号量の削減を変えることを特徴としている。
【００１３】
これにより、請求項３記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、圧縮率によって符号量削減方法を変えることで、より画質劣化を低減させることが可能となる。
【００１４】
更に、請求項４記載の発明は、前記符号量削減手段は、ある一定の圧縮率までは全域に渡って平均的に符号量を削減し、前記圧縮率以上からは高域から順に符号量を削減することを特徴としている。
【００１５】
これにより、請求項４記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、急激な画質劣化を低減することが可能となる。
【００１６】
更に、請求項５記載の発明は、前記符号量削減手段は、所定の圧縮率以下である場合、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。
【００１７】
これにより、請求項５記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、よりバランスの取れた画質を得ることが可能となる。
【００１８】
更に、請求項６記載の発明は、前記符号量削減手段は、所定の圧縮率以上である場合、当該圧縮率までは、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。
【００１９】
これにより、請求項６記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、急激な画質劣化を低減させることが可能となる。
【００２０】
更に、請求項７記載の発明は、周波数領域に変換された画像データを符号化する画像符号化方法であって、ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減工程を有し、前記エントロピー符号化により得られた周波数領域毎の符号量に、視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴としている。
【００２１】
これにより、請求項７記載の発明では、視覚特性を反映させながら、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
【００２２】
更に、請求項８記載の発明は、周波数領域に変換された複数のコンポーネントからなる画像データを符号化する画像符号化方法であって、ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減工程を有し、前記エントロピー符号化により得られた周波数領域毎の符号量に対して、前記コンポーネント毎に視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴としている。
【００２３】
これにより、請求項８記載の発明では、圧縮率を保ちつつ、コンポーネント毎に視覚特性を反映することで、より原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
【００２４】
更に、請求項９記載の発明は、前記符号量削減工程は、低圧縮率である場合と高圧縮率である場合とで符号量の削減を変えることを特徴としている。
【００２５】
これにより、請求項９記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、圧縮率によって符号量削減方法を変えることで、より画質劣化を低減させることが可能となる。
更に、請求項１０の発明では、前記符号量削減工程は、ある一定の圧縮率までは全域に渡って平均的に符号量を削減し、前記圧縮率以上からは高域から順に符号量を削減することを特徴としている。
これにより、請求項１０記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、急激な画質劣化を低減することが可能となる。
更に、請求項１１の発明では、前記符号量削減工程は、所定の圧縮率以下である場合、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。
これにより、請求項１１記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、よりバランスの取れた画質を得ることが可能となる。
更に、請求項１２の発明では、前記符号量削減工程は、所定の圧縮率以上である場合、当該圧縮率までは、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。
これにより、請求項１２記載の発明では、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、急激な画質劣化を低減させることが可能となる。
【００２６】
【発明の実施の形態】
〔原理〕
本発明を好適に実施した形態を説明するにあたり、その原理について先に述べる。
【００２７】
上記従来技術の説明で述べたような、「画像データ」と「符号量」とを同等な扱いとしたのには以下に示すような理由がある。
【００２８】
一般的に平均情報量はエントロピーと呼ばれるが、上記で述べた（色変換）→（周波数領域の係数への変換）→（係数の量子化）→（エントロピー符号化）の手順における「エントロピー符号化」とは、「画像データのエントロピー（平均情報量）を反映した形で符号化する」ことを意味する。即ち、通常、エントロピー符号化後の符号量は、その画像のデータ量をある程度反映したものとなる。従って、「画像データ量≒符号量」というモデル化が可能である。
【００２９】
そこで「原画像の特性≒画像のデータ量≒符号量」と考えれば、ロスレスのサブバンド全体でエントロピー符号化を行って符号量（の分布）を得た後、それを考慮して再度の量子化或いは符号の破棄等を行うことにより、原画像の特性に合わせた符号が得られる。本発明では、このようにエントロピー符号化により得られた符号量を考慮することによって、エントロピー符号化で得られる符号量の多い画像と少ない画像とに対する量子化方法（符号量の破棄方法）を変える。
【００３０】
また、通常、画像を周波数変換してから符号化する方式では、サブバンド符号化に代表されるように周波数領域毎に符号化を施す。このため、符号量としては周波数領域毎に参照することが可能である。従って、周波数領域毎の符号量分布を考慮して、より精密な量子化方法（破棄方法）の調整をするよう構成することも可能である。尚、例えばＪＰＥＧ２０００のような、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄することで、最終的な符号量を制御することは容易である。
【００３１】
このように本発明は、周波数領域に変換された画像データを符号化する際に、ロスレスのサブバンド全体のエントロピー符号化後の符号量に基づいて符号量を削減することを特徴としている。これにより本発明では、原画像の特性を考慮した符号化を行うことが可能となる。
【００３２】
また、上記で延べた「符号量」はロスレスのものに限定される必要はない。例えば、均一に量子化された後の符号量は、原画像のデータ量がかなりの程度反映されている。更に、この符号量を生成するにあたり用いた量子化方法が明らかであれば（通常、符号のためには量子化方法は明らかである必要がある）、原画像のデータ量を推測することも可能である。従って、ロスが存在する場合でも、本発明を適用することは可能である。
【００３３】
但し、原画像にはノイズ成分が含まれている場合がある。このため、ロスレスの場合にはノイズ自体も情報量として符号化される。しかしながら、ノイズが含まれる画像は、量子化することでその多くを削減することが可能である。このため、量子化を取り入れることにより、ノイズ成分を除いた原画像の情報量を基に量子化方法（符号破棄方法）を制御することが可能となる。
【００３４】
このように本発明は、周波数領域に変換された画像データを符号化する際に、量子化後のエントロピー符号化により得られた符号量に基づいて削減する符号量を決定することを特徴としている。これにより本発明では、ノイズ成分の影響を低減し、原画像の特性を考慮した符号化を行うことが可能となる。
【００３５】
また、上記では「原画像のデータ量≒符号量」というモデルを採用したが、人間の視覚では、単純に「画像のデータ量＝画質」、即ちデータ量が多い画像程、良い画質と認識されるとは限らない。これは、人間の視覚がローパスフィルタだからであり、高周波成分が強く認識されないためである。このため、同じ符号量でも高周波成分の符号量は、より破棄の対象として良いと言える。
【００３６】
そこで本発明は、上記した特徴の他に、視覚特性に基づきながら符号量を削減することも特徴としている。これにより本発明では、視覚的な重みに基づいて、より良い画質を保つことが可能となる。
【００３７】
ここで、視覚的な重みを表す関数の代表例として、視覚伝達関数（ｖｉｓｕａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ：ＶＴＦ）が存在する。ＶＴＦとは、視覚系の振幅伝搬特性（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＭＴＦ）のことであり、以下の（式１）で表されるものである。
ＶＴＦ＝５．０５（ｅ−０．８４３ｆ）（１−ｅ０．６１１ｆ）：（但し、ｆ＞０．７９）
＝１．０ …（式１）
但し、上記（式１）において、ｆは空間周波数であり、単位は［ｃｙｃｌｅ／ｍｍ］である。
【００３８】
このＶＴＦは、簡単には周波数毎の視覚の感度を示している（詳細は画像写真学会年次大会『Ｊａｐａｎ Ｈａｒｄｃｏｐｙ ’９５』論文集１５５−１５８（：以下、引用文献１という）を参照されたい）。
【００３９】
一般的に、ウェーブレット符号化に代表されるサブバンド符号化は、画像を周波数領域毎のサブバンドに変換するが、これに対してＶＴＦは周波数の関数であるため、サブバンド毎の符号量にＶＴＦの逆数をかければ、いわば「視覚的に鈍感な程度（＝ＶＴＦの逆数）を反映した符号量」即ち「視覚的に削減可能な程度が反映された削減前の符号量」を得ることができる。ここで、サブバンドとは、例えば３回のサブバンド分割を行った場合、図２に示されているような、それぞれの分割によって得られた３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨのことである。
【００４０】
このように本発明は、上記した特徴の他に、ロスレスの符号量に視覚伝達関数（ＶＴＦ）の逆数を乗じたものに基づきながら、符号量を削減していくことを特徴としている。これにより本発明では、視覚特性を反映しながら原画像の特性を考慮した符号化を行うことが可能となる。
【００４１】
更に本発明は、上記した特徴の他に、量子化後の符号量に視覚伝達関数ＶＴＦの逆数を乗じたものに基づきながら、符号量を削減していくことを特徴としている。これにより本発明では、ノイズ成分の影響を低減し、且つ視覚特性を反映しながら、原画像の特性を考慮した符号化を行うことが可能となる。
【００４２】
また、画像が複数のコンポーネント（Ｒ，Ｇ，Ｂの３つのコンポーネントや、輝度Ｙ，色差Ｃｂ，色差Ｃｒの３つのコンポーネント等）から成る場合、上記した視覚特性はコンポーネント毎に異なるものとなる。例えばＷａｔｓｏｎ， Ｇ．Ｙａｎｇ， Ｊ．Ｖｉｌｌａｓｅｎｏｒによる“Ｖｉｓｉｂｉｌｉｔｙ ｏｆ ｗａｖｅｌｅｔ ｑｕａｎｔｉｚａｔｉｏｎ ｎｏｉｓｅ”， ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｉｍａｇｅ Ｐｒｏｃ．， ｖｏｌ．６， ｐｐ．１１６４−１１７５， １９９７（以下、引用文献２という）に記載されているように、知覚可能な量子誤差の最大値が、輝度Ｙ，色差Ｃｂ，色差Ｃｒでおよそ１：２：４の比となる実験結果が存在する。この実験結果のグラフを図３に示す。
【００４３】
図３は、横軸に空間周波数、縦軸に量子化誤差が取られている。また、図３中の「ｏｒ＝１，２，３，４」は順にＬＬ，ＨＬ，ＨＨ，ＬＨと対応する。更に、図３中、下方に位置する曲線から順に輝度Ｙ成分，色差Ｃｒ成分，色差Ｃｂ成分の実験値を示している。この図３からも明らかなように、空間周波数の高い部分においては一部例外があるものの、輝度Ｙ成分，色差Ｃｒ成分，色差Ｃｂ成分の順に量子化誤差が少ないことが解る。
【００４４】
ここでいう量子化誤差とは、認識されない程度の誤差の限界値であり、これ以上量子化を行った場合には認識される程度の誤差が生じると判断する際の指標となるものである。即ち、量子化誤差が少ないということは、それだけ量子化がし難く、人間の目にとって敏感であるということになる。逆に量子化誤差が大きいということは、より量子化がし易く、人間の目にとって鈍感であるということになる。このように、人間の目の見え易さを表す輝度Ｙ，色差Ｃｒ，色差Ｃｂ毎の視覚伝達関数ＶＴＦによる関係は、上述の引用文献２及び図３にも示されているように、４：２：１として扱うことができる。
【００４５】
ここで、輝度Ｙ，色差Ｃｂ，色差Ｃｒとは、ＲＧＢの３つのコンポーネント（Ｒ，Ｇ，Ｂ）を以下に示す（式２）で変換することにより得られるものであり、輝度や色差のコンポーネントのことである。但し、（式２）はＪＰＥＧにおける色変換で広く使用されている用いられる式である。
輝度Ｙ ＝０．２９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
色差Ｃｂ＝０．５Ｒ−０．４１８７Ｇ−０．０１８１３Ｂ
色差Ｃｒ＝−０．１６８７Ｒ−０．３３１３Ｇ＋０．５Ｂ …（式２）
そこで、本発明は、上記した特徴の他に、画像が複数のコンポーネントで構成されている場合、該コンポーネント毎に上記視覚特性又は視覚伝達関数（ＶＴＦ）を反映して、削減する符号量を決定することを特徴とする。これにより本発明では、圧縮率を保ちつつ、コンポーネント毎にＶＴＦが反映され、より画質劣化を防止することが可能となる。
【００４６】
また、本発明では、以上で得られた周波数領域毎の「視覚的に削減可能な程度が反映された削減前の符号量」に基づいて、原画像の特性をどう反映しながら符号量を削減するかが問題となる。これは符号量の削減をどの程度簡易に行うか、又、低域から高域のバランスをどうするか、等によって幾通りかの方法を取ることができる。
【００４７】
上記「視覚的に削減可能な程度が反映された削減前の符号量」は、周波数領域毎のＶＴＦを考慮したものであり、いわゆる正規化したものである。このため、正規化自体が適正に行われていれば、基本的にはどの周波数を削っても同じ程度の画質劣化が生じると期待される。しかしながら、低域の符号を中心に削った場合と、高域の符号を中心に削った場合とでは、認識される画像が違うタイプのものとなる。即ち、前者では全体にシャープではあるが低域のムラが目立つ画像と認識され、後者では低域のムラは生じにくいが全体にぼやけた画像と認識される。このように、高域の符号を削減した場合と、低域の画像を削減した場合とでは、観察者に与える印象が異なる。
【００４８】
画像を圧縮する場合には観察者の嗜好にも依存するため、設計思想等によって上記のような符号の削減方法を選択しなければならない。ここで、原画像の特性を反映する方法としては、周波数領域毎に見た場合に「視覚的に削減可能な程度の符号量が多い」帯域から順に削減する方法や、低域から高域に渡って平均的に符号量を削減する方法等が存在する。前者は処理が簡易であり、低域重視の仕上がりとなる。一方、後者はバランスの取れた画像を得ることができる。
【００４９】
しかしながら、後者の場合、高圧縮率に設定すると、削減する符号量が大幅に増加するため、過剰に低域の符号量が少なくなる傾向にあり、急激な画質劣化を生じる可能性がある。
【００５０】
そこで、高圧縮率の場合でも急激な画質劣化をなるべく抑えるために、本発明では、ある一定の圧縮率までは全域に渡って平均的に符号量を削減し、ある一定の圧縮率以上からは高域から順に符号量を削減する方式を取る。この方式によれば、急激な画質劣化を低減することができる。
【００５１】
このように本発明は、上記した特徴の他に、周波数領域に変換された画像データを符号化する際に、低圧縮率である場合と高圧縮率である場合とで、ロスレスの符号量に視覚伝搬関数（ＶＴＦ）の逆数を乗じたものに基づいて、採用する削減方法を変えることを特徴としている。これにより本発明では、低圧縮でも高圧縮でも高画質を実現することが可能となる。
【００５２】
また、本発明は、上記した特徴の他に、ある一定の圧縮率以下である場合、全域に渡って、符号量又は、視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴としている。これにより本発明では、よりバランスの取れた画質を得ることが可能となる。
【００５３】
また、本発明は、上記した特徴の他に、ある一定の圧縮率以上である場合、この圧縮率までは、全域に渡って、符号量又は、視覚特性に基づいた符号量の比と略同じ比率で符号量を削減し、ある一定の圧縮率以上である場合、高域から順に符号量を削減することを特徴としている。これにより本発明では、２つの削減方法が使い分けられ、急激な画質劣化を低減させることが可能となる。
【００５４】
以下、本発明を好適に実施した形態について、その具体例を挙げて詳細に説明する。
〔第１の実施例〕
まず、本発明の第１の実施例について図面を用いて詳細に説明する。
【００５５】
図１は、本実施例に係る画像符号化を実現する装置の構成例を示すブロック図である。図１を参照すると、本装置は、ＰＣ１０とプリンタ２０とを有して構成されており、これらが例えばシリアル回線やパラレル回線等で構成されたデータバス１を介して接続されている。
【００５６】
ＰＣ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１や，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２や，ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１３等を有して構成される。但し、この構成においてＨＤＤ１３は、シリアル回線やパラレル回線等の所定の通信回線を介してＰＣ１０に対し外付けされたものであっても良い。また、プリンタ２０は、ＣＰＵ２１や，ＲＡＭ２２等を有して構成され、データバス１を介して入力された画像データを伸張し、出力する。
【００５７】
この構成において、例えばＨＤＤ１３内に格納された原画像Ａをプリントアウトする場合、原画像ＡはＰＣ１０において圧縮された後、プリンタ２０へ送信され、プリンタ２０において伸張される。この際、原画像Ａを圧縮する理由は、ＰＣ１０→プリンタ２０間の送信データ量を低減させるためである。これにより、送信時間が短縮され、圧縮・伸張に要する時間を加味してもプリントアウトまでに要する時間が短縮される。
【００５８】
また、ＨＤＤ１３内に格納された原画像Ａをプリントアウトする際の一連の流れは以下の（１）〜（７）のようになる。
（１）ＣＰＵ１１からの命令により、ＨＤＤ１３上に記録された原画像ＡがＲＡＭ１２上に読み込まれる。
（２）ＣＰＵ１１がＲＡＭ１２上の原画像Ａ’を読み込み、これを所定の圧縮方法で圧縮する。
（３）（２）で作成された圧縮画像ＢをＲＡＭ１２上の別領域に書き込む。
（４）ＣＰＵ１１からの命令により、ＲＡＭ１２上の圧縮画像Ｂがデータバス１を介してプリンタ２０へ送信され、プリンタ２０におけるＲＡＭ２２上に書き込まれる。
（５）ＣＰＵ２１がＲＡＭ２２上の圧縮画像Ｂ’を読み込み、これを所定の伸張方法で伸張する。
（６）（５）で作成された伸張画像ＣをＲＡＭ２２上の別領域に書き込む。
（７）ＣＰＵ２１からの命令により、伸張された伸張画像Ｃを所定の手順（変倍がかかる）で印刷エンジンへ出力し、プリントアウトする。
【００５９】
次に、本実施例における処理の流れを説明する。
【００６０】
本実施例では、まず原画像Ａ（以下、説明の都合上、画像データという）を周波数領域に変換する。このように周波数領域に変換すると、これに対してロスレスのサブバンド全体のエントロピー符号化を施す。その後、符号化された画像データに対して、視覚的重みが考慮された符号量の削減を施す。
【００６１】
この流れを図５に示すフローチャートを用いて説明する。但し、本実施例では、サブバンド符号化方式を採用した場合について説明する。
【００６２】
従って、本実施例では、まず、ステップＳ１０１として、画像データを１２８画素×１２８画素のタイルに分割し、それぞれに対して３回のウェーブレット変換を行う。これにより図２に示すようなサブバンド構造を有するタイルが作成される。
【００６３】
次に、ステップＳ１０２において、ステップＳ１０１で作成したタイルに対し、ロスレスのサブバンド全体のエントロピー符号化を行う。また、このエントロピー符号化により得られた符号量を保持する。保持する先としては、エントロピー符号化を行うエンコーダとする。但し、本実施例においてエンコーダはＣＰＵ１１及びＲＡＭ１２によりプログラムを用いて実現されるため、保持先はＲＡＭ１２となる。更に、ステップＳ１０２では、保持した符号量に対して個々に視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで正規化し、これにより得られた値（視覚特性が反映された符号量：以下、正規化された符号量という）をＲＡＭ１２に保持する。
【００６４】
その後、ステップＳ１０３において、正規化された符号量を読み出し、それぞれのコンポーネント毎のサブバンドにおいて符号量の多いものから順に所定の条件を満たすまで符号量を削減する。この際の所定の条件については、以下において詳細に説明する。
【００６５】
また、ステップＳ１０１からステップＳ１０３までの処理は、全てのタイルに対して完了するまで繰り返し行われる（ステップＳ１０４）。
【００６６】
ここで、各サブバンドの周波数は、画像データの解像度と観察距離との関数になる。例えば上記で触れた引用文献２に記載されているように、ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドは異なるフーリエスペクトルを生じる。このため、各サブバンドに生じた誤差に対する視覚の感度は、サブバンド毎に異なると考えられている。上述において触れた引用文献２によれば、ＬＬ，ＨＬ，ＬＨ，ＨＨの視覚の感度比は、おおよそ１：（１／１．３）：（１／１．３）：（１／１．８）となっている。
【００６７】
そこで、本実施例では、周波数の違いによるＶＴＦの値の差に加え、サブバンド毎の感度の違いも考慮に入れる。
【００６８】
例えば３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの空間周波数を‘１’とした場合、２ＨＬ，２ＬＨ，２ＨＨの空間周波数は‘２’となり、１ＨＬ，１ＬＨ，１ＨＨの空間周波数は‘４’となる。
【００６９】
また、例えば下記の（式３）（：（式１）に対応）を、ＬＬのＶＴＦとして用いたとすると、ＨＬ，ＬＨのＶＴＦとＨＨのＶＴＦとの式は、各々下記の（式４），（式５）のようになる。
ＶＴＦ＿ＬＬ＝５．０５（ｅ−０．８４３ｆ）（１−ｅ０．６１１ｆ）：（但し、ｆ＞０．７９）
＝１．０ …（式３）
ＶＴＦ＿（ＨＬ，ＬＨ）＝５．０５（ｅ−０．８４３ｆ）（１−ｅ−０．６１１ｆ）／１．３ …（式４）
ＶＴＦ＿ＨＨ ＝５．０５（ｅ−０．８４３ｆ）（１−ｅ−０．６１１ｆ）／１．８ …（式５）
これにより、（式３），（式４），（式５）により導き出せる、空間周波数に対するＶＴＦの関係は、図４に示すようになる。
【００７０】
よって、上記での空間周波数に対する輝度Ｙ成分のＶＴＦの値は、以下のようになる。
３ＹＬＬ＝０．９９
３ＹＨＬ＝０．７６
３ＹＬＨ＝０．７６
３ＹＨＨ＝０．５５
２ＹＨＬ＝０．５１
２ＹＬＨ＝０．５１
２ＹＨＨ＝０．３７
１ＹＨＬ＝０．１２
１ＹＬＨ＝０．１２
１ＹＨＨ＝０．０９
また、輝度Ｙ成分のＶＴＦの値の逆数は、以下のようになる。
３ＹＬＬ＝１／０．９９
３ＹＨＬ＝１／０．７６
３ＹＬＨ＝１／０．７６
３ＹＨＨ＝１／０．５５
２ＹＨＬ＝１／０．５１
２ＹＬＨ＝１／０．５１
２ＹＨＨ＝１／０．３７
１ＹＨＬ＝１／０．１２
１ＹＬＨ＝１／０．１２
１ＹＨＨ＝１／０．０９
ここで、例えば、ＶＴＦにおける輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との視覚特性の関係が４：２：１であったとすると、ＶＴＦの値の逆数における輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との関係は、その逆数であるから１：２：４となる。
【００７１】
従って、上記における色差Ｃｒ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｒＬＬ＝２／０．９９
３ＣｒＨＬ＝２／０．７６
３ＣｒＬＨ＝２／０．７６
３ＣｒＨＨ＝２／０．５５
２ＣｒＨＬ＝２／０．５１
２ＣｒＬＨ＝２／０．５１
２ＣｒＨＨ＝２／０．３７
１ＣｒＨＬ＝２／０．１２
１ＣｒＬＨ＝２／０．１２
１ＣｒＨＨ＝２／０．０９
同様に、色差Ｃｂ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｂＬＬ＝４／０．９９
３ＣｂＨＬ＝４／０．７６
３ＣｂＬＨ＝４／０．７６
３ＣｂＨＨ＝４／０．５５
２ＣｂＨＬ＝４／０．５１
２ＣｂＬＨ＝４／０．５１
２ＣｂＨＨ＝４／０．３７
１ＣｂＨＬ＝４／０．１２
１ＣｂＬＨ＝４／０．１２
１ＣｂＨＨ＝４／０．０９
ここで、ある１つのタイルにおける輝度Ｙ成分のロスレスの符号量を、以下のように仮定する。
３ＹＬＬの符号量＝Ａ＿ｙ
３ＹＨＬの符号量＝Ｂ＿ｙ
３ＹＬＨの符号量＝Ｃ＿ｙ
３ＹＨＨの符号量＝Ｄ＿ｙ
２ＹＨＬの符号量＝Ｅ＿ｙ
２ＹＬＨの符号量＝Ｆ＿ｙ
２ＹＨＨの符号量＝Ｇ＿ｙ
１ＹＨＬの符号量＝Ｈ＿ｙ
１ＹＬＨの符号量＝Ｉ＿ｙ
１ＹＨＨの符号量＝Ｊ＿ｙ
これにより、輝度Ｙ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＹＬＬ＝Ａ＿ｙ／０．９９
３ＹＨＬ＝Ｂ＿ｙ／０．７６
３ＹＬＨ＝Ｃ＿ｙ／０．７６
３ＹＨＨ＝Ｄ＿ｙ／０．５５
２ＹＨＬ＝Ｅ＿ｙ／０．５１
２ＹＬＨ＝Ｆ＿ｙ／０．５１
２ＹＨＨ＝Ｇ＿ｙ／０．３７
１ＹＨＬ＝Ｈ＿ｙ／０．１２
１ＹＬＨ＝Ｉ＿ｙ／０．１２
１ＹＨＨ＝Ｊ＿ｙ／０．０９
また、同じタイルにおける色差Ｃｒ成分のロスレスの符号量を、以下のように仮定する。
３ＣｒＬＬの符号量＝Ａ＿Ｃｒ
３ＣｒＨＬの符号量＝Ｂ＿Ｃｒ
３ＣｒＬＨの符号量＝Ｃ＿Ｃｒ
３ＣｒＨＨの符号量＝Ｄ＿Ｃｒ
２ＣｒＨＬの符号量＝Ｅ＿Ｃｒ
２ＣｒＬＨの符号量＝Ｆ＿Ｃｒ
２ＣｒＨＨの符号量＝Ｇ＿Ｃｒ
１ＣｒＨＬの符号量＝Ｈ＿Ｃｒ
１ＣｒＬＨの符号量＝Ｉ＿Ｃｒ
１ＣｒＨＨの符号量＝Ｊ＿Ｃｒ
これにより、色差Ｃｒ成分のロスレスの符号量にＶＴＦの逆数を乗じることでで得られてた正規化された符号量は、以下のようになる。
３ＣｒＬＬ＝Ａ＿Ｃｒ・２／０．９９
３ＣｒＨＬ＝Ｂ＿Ｃｒ・２／０．７６
３ＣｒＬＨ＝Ｃ＿Ｃｒ・２／０．７６
３ＣｒＨＨ＝Ｄ＿Ｃｒ・２／０．５５
２ＣｒＨＬ＝Ｅ＿Ｃｒ・２／０．５１
２ＣｒＬＨ＝Ｆ＿Ｃｒ・２／０．５１
２ＣｒＨＨ＝Ｇ＿Ｃｒ・２／０．３７
１ＣｒＨＬ＝Ｈ＿Ｃｒ・２／０．１２
１ＣｒＬＨ＝Ｉ＿Ｃｒ・２／０．１２
１ＣｒＨＨ＝Ｊ＿Ｃｒ・２／０．０９
同様に、同じタイルにおける色差Ｃｂ成分のロスレスの符号量を、以下のように仮定する。
３ＣｂＬＬの符号量＝Ａ＿Ｃｂ
３ＣｂＨＬの符号量＝Ｂ＿Ｃｂ
３ＣｂＬＨの符号量＝Ｃ＿Ｃｂ
３ＣｂＨＨの符号量＝Ｄ＿Ｃｂ
２ＣｂＨＬの符号量＝Ｅ＿Ｃｂ
２ＣｂＬＨの符号量＝Ｆ＿Ｃｂ
２ＣｂＨＨの符号量＝Ｇ＿Ｃｂ
１ＣｂＨＬの符号量＝Ｈ＿Ｃｂ
１ＣｂＬＨの符号量＝Ｉ＿Ｃｂ
１ＣｂＨＨの符号量＝Ｊ＿Ｃｂ
これにより、色差Ｃｂ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｂＬＬ＝Ａ＿Ｃｂ・４／０．９９
３ＣｂＨＬ＝Ｂ＿Ｃｂ・４／０．７６
３ＣｂＬＨ＝Ｃ＿Ｃｂ・４／０．７６
３ＣｂＨＨ＝Ｄ＿Ｃｂ・４／０．５５
２ＣｂＨＬ＝Ｅ＿Ｃｂ・４／０．５１
２ＣｂＬＨ＝Ｆ＿Ｃｂ・４／０．５１
２ＣｂＨＨ＝Ｇ＿Ｃｂ・４／０．３７
１ＣｂＨＬ＝Ｈ＿Ｃｂ・４／０．１２
１ＣｂＬＨ＝Ｉ＿Ｃｂ・４／０．１２
１ＣｂＨＨ＝Ｊ＿Ｃｂ・４／０．０９
次に、全てのコンポーネント毎のサブバンドにおいて最も符号量の多いものから順に、削減すべき値に達する（＝以下に示す所定の条件を満たす）まで符号量を削減していく。
【００７２】
ここで、例えば、符号量の多い順を１ＣｂＨＨ＞１ＣｂＬＨ＞１ＣｂＨＬ＞１ＣｒＨＨ＞１ＹＨＨ＞１ＣｒＬＨ＞…とし、また、上記の所定の条件を削減対象が最も符号量が多い状態から脱することとする。
【００７３】
この場合、符号量削減処理は下記に（１）〜（５）の行程で示すような順序で行われる。尚、以下における各行程では、削減する度に、削減された符号量の合計が、削減すべき符号量に達しているか否かが判断される。
（１）まず、本実施例では、最も符号量の多い１ＣｂＨＨを対象として符号量を削減していく。この処理は、１ＣｂＨＨの符号量が現時点で２番目に符号量の多い１ＣｂＬＨよりも少なくなるまで行う。この結果、符号量の多い順序が１ＣｂＬＨ＞１ＣｂＨＬ＞１ＣｒＨＨ＞１ＹＨＨ＞１ＣｒＬＨ＞１ＣｂＨＨ…のように変化するしたものとする。但し、削減後のＩＣｂＨＨの順位は２番目以降、任意の順位となる。
（２）次に、（１）の結果として最も符号量が多いものとなった１ＣｂＬＨを対象として符号量を削減していく。この処理でも同様に、１ＣｂＬＨの符号量が現時点で２番目に符号量の多い１ＣｂＨＬよりも少なくなるまで行う。この結果、符号量の多い順序が１ＣｂＨＬ＞１ＣｒＨＨ＞１ＹＨＨ＞１ＣｒＬＨ＞１ＣｂＨＨ＞１ＣｂＬＨ…のように変化したものとする。
（３）次に、（２）の結果として最も符号量の多いものとなった１ＣｂＨＬを対象として符号量を削減していく。この処理でも同様に、１ＣｂＨＬの符号量が現時点で２番目に符号量の多い１ＣｒＨＨよりも少なくなるまで行う。この結果、符号量の多い順序が１ＣｒＨＨ＞１ＹＨＨ＞１ＣｒＬＨ＞１ＣｂＨＨ＞１ＣｂＬＨ＞１ＣｂＨＬ…のように変化したものとする。
（４）次に、（３）の結果として最も符号量の多いものとなった１ＣｒＨＨを対象として符号量を削減していく。この処理でも同様に、１ＣｒＨＨの符号量が現時点で２番目に符号量の多い１ＹＨＨよりも少なくなるまで行う。この結果、符号量の多い順序が１ＹＨＨ＞１ＣｒＬＨ＞１ＣｂＨＨ＞１ＣｂＬＨ＞１ＣｒＨＨ＞１ＣｂＨＬ…のように変化したものとする。
（５）最後に、（４）の結果として最も符号量の多いものとなった１ＹＨＨを対象として符号量を削減していく。この処理でも同様に、１ＹＨＨの符号量が現時点で２番目に符号量の多い１ＣｒＬＨよりも少なくなるまで行う。また、本実施例では、この段階までで、削減した符号量の総和が削減すべき符号量に達したものとする。従って、本実施例では、ここで符号量削減の処理が終了され、図５におけるステップＳ１０４へ移行する。
【００７４】
また、以上の処理を実行することにより、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分の符号量は、図６から図８に示すようになる。但し、図６から図８において、１本の棒グラフは、全体が削減する前の正規化された符号量を示し、棒グラフにおける白抜きの部分が削減分の符号量、又、棒グラフにおける黒塗りの部分が削減後の符号量を示している。
【００７５】
このように、本実施例では、視覚特性を考慮した上で、全てのコンポーネント毎のサブバンド中で符号量の多いものから順に削減を行うため、原画像の特性を強く反映させることができる。また、このような構成は、上述したように比較的簡易な構成で実現することが可能である。
【００７６】
尚、例えばＪＰＥＧ２０００のような、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄し、最終的な符号量を制御することは容易であるため、復号化する際に本実施例によるような符号量削減を行ってもよい。これによって、復号化時の処理速度が速くなり且つより画質を上げることができる。
【００７７】
また、本実施例による画像符号化を実現するプログラムは、図１におけるＨＤＤ１３等に予め格納されており、必要に応じて読み出され、ＲＡＭ１２に作業領域が確保されてＣＰＵ１１において実行されるものである。
【００７８】
また、このプログラムを、ＣＤ−ＲＯＭ（ＣＤ−Ｒ，ＣＤ−ＲＷ等を含む）やＤＶＤ−ＲＡＭ（ＤＣＤ−ＲＷ等を含む）やＭＯ等の持ち運び可能な記録媒体し、任意の端末に組み込めるようにするとよい。
〔第２の実施例〕
また、上記した第１の実施例とは異なり、削減する前の符号量と削減した後の符号量との比率をタイル毎に一定とするよう構成することも可能である。これを以下に第２の実施例として図面を用いて詳細に説明する。
【００７９】
本実施例に係る画像符号化を実現する装置の構成例は、第１の実施例で示すもの（図１参照）と同様である。
【００８０】
また、本実施例においても、第１の実施例と同様に、画像データを符号化する際、周波数領域に変換し、ロスレスのサブバンド全体のエントロピー符号化後、符号化後のデータに視覚的重みを考慮し、符号量の削減を実行する。この際の動作を図９を用いて以下に説明する。但し、本実施例でも、サブバンド符号化方式を採用した場合について説明する。
【００８１】
図９を参照すると、本実施例では、まず、ステップＳ１１１として、画像データを１２８画素×１２８画素のタイルに分割し、それぞれに対して３回のウェーブレット変換を行う。これにより、図２に示すようなサブバンド構造を有するタイルが作成される。
【００８２】
次に、ステップＳ１１２において、ステップＳ１１１で作成したタイルに対し、ロスレスのサブバンド全体のエントロピー符号化を行う。また、このエントロピー符号化により得られた符号量を保持する。保持する先としては、エントロピー符号化を行うエンコーダとする。但し、本実施例においてもエンコーダがＣＰＵ１１及びＲＡＭ１２によりプログラムを用いて実現されるために、保持先はＲＡＭ１２となる。更に、ステップＳ１１２では、保持した符号量に対して個々に視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで正規化し、これにより得られた値（正規化された符号量）をＲＡＭ１２に保持する。
【００８３】
その後、ステップＳ１１３において、正規化された符号量を読み出し、これに基づいてコンポーネント毎のサブバンドの符号量比率を求め、削減すべき符号量の合計をそれぞれのコンポーネント毎のサブバンド全てに渡り、所定の条件を満たすまで、略同一の比率で配分し、削減を行う。この際の所定の条件としては、削減した符号量の合計値が、削減すべき符号量の値となることとする。
【００８４】
また、ステップＳ１１１からステップＳ１１３までの処理は、全てのタイルに対して完了するまで繰り返し行われる（ステップＳ１１４）。
【００８５】
この処理において、例えばＪＰＥＧ２０００のような符号化方式を用いた場合、パケットのヘッダ情報としてサブバンド毎のロスレスの符号量を含むため、このヘッダ情報からそれぞれの符号量を特定し、積算したものをパックトパケットヘッダに書きこむ。また正規化は、パックトパケットヘッダからそれぞれの符号量を読み出し、これに視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで行う。
【００８６】
ここで、各サブバンドの周波数は、画像データの解像度と観察距離との関数になる。例えば、上記で触れた引用文献２に記載されているように、ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドは異なるフーリエスペクトルを生じる。このため、各サブバンドに生じた誤差に対する視覚の感度は、サブバンド毎に異なると考えられている。上述において触れた引用文献２によれば、ＬＬ，ＨＬ，ＬＨ，ＨＨの視覚の感度比は、おおよそ１：１／１．３：１／１．３：１／１．８となっている。
【００８７】
そこで、本実施例では、周波数の違いによるＶＴＦの値の差に加え、サブバンド毎の感度の違いも考慮に入れるよう構成する。
【００８８】
例えば３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの空間周波数を‘１’とした場合、２ＨＬ，２ＬＨ，２ＨＨの空間周波数は‘２’となり，１ＨＬ，１ＬＨ，１ＨＨの空間周波数は‘４’となる。
【００８９】
また、第１の実施例で示したように、例えば上記した（式３），（式４），（式５）をそれぞれＬＬ，（ＨＬ，ＬＨ），ＨＨのＶＴＦとして用いたとすると、その特性は図４に示すようになる。
【００９０】
よって、上記での空間周波数に対する輝度Ｙ成分のＶＴＦの値は、以下のようになる。
３ＹＬＬ＝０．９９
３ＹＨＬ＝０．７６
３ＹＬＨ＝０．７６
３ＹＨＨ＝０．５５
２ＹＨＬ＝０．５１
２ＹＬＨ＝０．５１
２ＹＨＨ＝０．３７
１ＹＨＬ＝０．１２
１ＹＬＨ＝０．１２
１ＹＨＨ＝０．０９
また、輝度Ｙ成分のＶＴＦの値の逆数は、以下のようになる。
３ＹＬＬ＝１／０．９９
３ＹＨＬ＝１／０．７６
３ＹＬＨ＝１／０．７６
３ＹＨＨ＝１／０．５５
２ＹＨＬ＝１／０．５１
２ＹＬＨ＝１／０．５１
２ＹＨＨ＝１／０．３７
１ＹＨＬ＝１／０．１２
１ＹＬＨ＝１／０．１２
１ＹＨＨ＝１／０．０９
ここで、例えば、ＶＴＦにおける輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との視覚特性の関係が４：２：１であったとすると、ＶＴＦの値の逆数における輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との関係は、その逆数であるから１：２：４となる。
【００９１】
従って、上記における色差Ｃｒ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｒＬＬ＝２／０．９９
３ＣｒＨＬ＝２／０．７６
３ＣｒＬＨ＝２／０．７６
３ＣｒＨＨ＝２／０．５５
２ＣｒＨＬ＝２／０．５１
２ＣｒＬＨ＝２／０．５１
２ＣｒＨＨ＝２／０．３７
１ＣｒＨＬ＝２／０．１２
１ＣｒＬＨ＝２／０．１２
１ＣｒＨＨ＝２／０．０９
同様に、色差Ｃｂ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｂＬＬ＝４／０．９９
３ＣｂＨＬ＝４／０．７６
３ＣｂＬＨ＝４／０．７６
３ＣｂＨＨ＝４／０．５５
２ＣｂＨＬ＝４／０．５１
２ＣｂＬＨ＝４／０．５１
２ＣｂＨＨ＝４／０．３７
１ＣｂＨＬ＝４／０．１２
１ＣｂＬＨ＝４／０．１２
１ＣｂＨＨ＝４／０．０９
ここで、ある１つのタイルにおける輝度Ｙ成分のロスレスの符号量を、以下のように仮定する。
３ＹＬＬの符号量＝Ａ＿ｙ
３ＹＨＬの符号量＝Ｂ＿ｙ
３ＹＬＨの符号量＝Ｃ＿ｙ
３ＹＨＨの符号量＝Ｄ＿ｙ
２ＹＨＬの符号量＝Ｅ＿ｙ
２ＹＬＨの符号量＝Ｆ＿ｙ
２ＹＨＨの符号量＝Ｇ＿ｙ
１ＹＨＬの符号量＝Ｈ＿ｙ
１ＹＬＨの符号量＝Ｉ＿ｙ
１ＹＨＨの符号量＝Ｊ＿ｙ
これにより、輝度Ｙ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＹＬＬ＝Ａ＿ｙ／０．９９
３ＹＨＬ＝Ｂ＿ｙ／０．７６
３ＹＬＨ＝Ｃ＿ｙ／０．７６
３ＹＨＨ＝Ｄ＿ｙ／０．５５
２ＹＨＬ＝Ｅ＿ｙ／０．５１
２ＹＬＨ＝Ｆ＿ｙ／０．５１
２ＹＨＨ＝Ｇ＿ｙ／０．３７
１ＹＨＬ＝Ｈ＿ｙ／０．１２
１ＹＬＨ＝Ｉ＿ｙ／０．１２
１ＹＨＨ＝Ｊ＿ｙ／０．０９
また、同じタイルにおける色差Ｃｒ成分のロスレスの符号量を、以下のように仮定する。
３ＣｒＬＬの符号量＝Ａ＿Ｃｒ
３ＣｒＨＬの符号量＝Ｂ＿Ｃｒ
３ＣｒＬＨの符号量＝Ｃ＿Ｃｒ
３ＣｒＨＨの符号量＝Ｄ＿Ｃｒ
２ＣｒＨＬの符号量＝Ｅ＿Ｃｒ
２ＣｒＬＨの符号量＝Ｆ＿Ｃｒ
２ＣｒＨＨの符号量＝Ｇ＿Ｃｒ
１ＣｒＨＬの符号量＝Ｈ＿Ｃｒ
１ＣｒＬＨの符号量＝Ｉ＿Ｃｒ
１ＣｒＨＨの符号量＝Ｊ＿Ｃｒ
これにより、色差Ｃｒ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｒＬＬ＝Ａ＿Ｃｒ・２／０．９９
３ＣｒＨＬ＝Ｂ＿Ｃｒ・２／０．７６
３ＣｒＬＨ＝Ｃ＿Ｃｒ・２／０．７６
３ＣｒＨＨ＝Ｄ＿Ｃｒ・２／０．５５
２ＣｒＨＬ＝Ｅ＿Ｃｒ・２／０．５１
２ＣｒＬＨ＝Ｆ＿Ｃｒ・２／０．５１
２ＣｒＨＨ＝Ｇ＿Ｃｒ・２／０．３７
１ＣｒＨＬ＝Ｈ＿Ｃｒ・２／０．１２
１ＣｒＬＨ＝Ｉ＿Ｃｒ・２／０．１２
１ＣｒＨＨ＝Ｊ＿Ｃｒ・２／０．０９
同様に、同じタイルにおける色差Ｃｂ成分のロスレスの符号量を、以下のように仮定する。
３ＣｂＬＬの符号量＝Ａ＿Ｃｂ
３ＣｂＨＬの符号量＝Ｂ＿Ｃｂ
３ＣｂＬＨの符号量＝Ｃ＿Ｃｂ
３ＣｂＨＨの符号量＝Ｄ＿Ｃｂ
２ＣｂＨＬの符号量＝Ｅ＿Ｃｂ
２ＣｂＬＨの符号量＝Ｆ＿Ｃｂ
２ＣｂＨＨの符号量＝Ｇ＿Ｃｂ
１ＣｂＨＬの符号量＝Ｈ＿Ｃｂ
１ＣｂＬＨの符号量＝Ｉ＿Ｃｂ
１ＣｂＨＨの符号量＝Ｊ＿Ｃｂ
これにより、色差Ｃｂ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｂＬＬ＝Ａ＿Ｃｂ・４／０．９９
３ＣｂＨＬ＝Ｂ＿Ｃｂ・４／０．７６
３ＣｂＬＨ＝Ｃ＿Ｃｂ・４／０．７６
３ＣｂＨＨ＝Ｄ＿Ｃｂ・４／０．５５
２ＣｂＨＬ＝Ｅ＿Ｃｂ・４／０．５１
２ＣｂＬＨ＝Ｆ＿Ｃｂ・４／０．５１
２ＣｂＨＨ＝Ｇ＿Ｃｂ・４／０．３７
１ＣｂＨＬ＝Ｈ＿Ｃｂ・４／０．１２
１ＣｂＬＨ＝Ｉ＿Ｃｂ・４／０．１２
１ＣｂＨＨ＝Ｊ＿Ｃｂ・４／０．０９
次に、各コンポーネント毎のサブバンドに対し、視覚特性に基づいた符号量（但し、視覚特性を考慮しない場合であってもよい：以下、視覚特性を考慮しない場合を省いて説明する）の比と略同じ比率で符号量を削減する。これは、上述したように、削減した符号量の総和が削減すべき符号量に達するまで行われる。
【００９２】
ここで、上述から導き出せるように、全域における視覚特性に基づいた符号量の比は、以下のようになる。
３ＹＬＬ：３ＹＨＬ：３ＹＬＨ：３ＹＨＨ：２ＹＨＬ：２ＹＬＨ：２ＹＨＨ：１ＹＨＬ：１ＹＬＨ：１ＹＨＨ：３ＣｒＬＬ：３ＣｒＨＬ：３ＣｒＬＨ：３ＣｒＨＨ：２ＣｒＨＬ：２ＣｒＬＨ：２ＣｒＨＨ：１ＣｒＨＬ：１ＣｒＬＨ：１ＣｒＨＨ：３ＣｂＬＬ：３ＣｂＨＬ：３ＣｂＬＨ：３ＣｂＨＨ：２ＣｂＨＬ：２ＣｂＬＨ：２ＣｂＨＨ：１ＣｂＨＬ：１ＣｂＬＨ：１ＣｂＨＨ＝Ａ＿ｙ／０．９９：Ｂ＿ｙ／０．７６：Ｃ＿ｙ／０．７６：Ｄ＿ｙ／０．５５：Ｅ＿ｙ／０．５１：Ｆ＿ｙ／０．５１：Ｇ＿ｙ／０．３７：Ｈ＿ｙ／０．１２：Ｉ＿ｙ／０．１２：Ｊ＿ｙ／０．０９：Ａ＿Ｃｒ・２／０．９９：Ｂ＿Ｃｒ・２／０．７６：Ｃ＿Ｃｒ・２／０．７６：Ｄ＿Ｃｒ・２／０．５５：Ｅ＿Ｃｒ・２／０．５１：Ｆ＿Ｃｒ・２／０．５１：Ｇ＿Ｃｒ・２／０．３７：Ｈ＿Ｃｒ・２／０．１２：Ｉ＿Ｃｒ・２／０．１２：Ｊ＿Ｃｒ・２／０．０９：Ａ＿Ｃｂ・４／０．９９：Ｂ＿Ｃｂ・４／０．７６：Ｃ＿Ｃｂ・４／０．７６：Ｄ＿Ｃｂ・４／０．５５：Ｅ＿Ｃｂ・４／０．５１：Ｆ＿Ｃｂ・４／０．５１：Ｇ＿Ｃｂ・４／０．３７：Ｈ＿Ｃｂ・４／０．１２：Ｉ＿Ｃｂ・４／０．１２：Ｊ＿Ｃｂ・４／０．０９
従って、全ての比率の総和αは、以下のようになる。
α＝Ａ＿ｙ／０．９９＋Ｂ＿ｙ／０．７６＋Ｃ＿ｙ／０．７６＋Ｄ＿ｙ／０．５５＋Ｅ＿ｙ／０．５１＋Ｆ＿ｙ／０．５１＋Ｇ＿ｙ／０．３７＋Ｈ＿ｙ／０．１２＋Ｉ＿ｙ／０．１２＋Ｊ＿ｙ／０．０９＋Ａ＿Ｃｒ・２／０．９９＋Ｂ＿Ｃｒ・２／０．７６＋Ｃ＿Ｃｒ・２／０．７６＋Ｄ＿Ｃｒ・２／０．５５＋Ｅ＿Ｃｒ・２／０．５１＋Ｆ＿Ｃｒ・２／０．５１＋Ｇ＿Ｃｒ・２／０．３７＋Ｈ＿Ｃｒ・２／０．１２＋Ｉ＿Ｃｒ・２／０．１２＋Ｊ＿Ｃｒ・２／０．０９＋Ａ＿Ｃｂ・４／０．９９＋Ｂ＿Ｃｂ・４／０．７６＋Ｃ＿Ｃｂ・４／０．７６＋Ｄ＿Ｃｂ・４／０．５５＋Ｅ＿Ｃｂ・４／０．５１＋Ｆ＿Ｃｂ・４／０．５１＋Ｇ＿Ｃｂ・４／０．３７＋Ｈ＿Ｃｂ・４／０．１２＋Ｉ＿Ｃｂ・４／０．１２＋Ｊ＿Ｃｂ・４／０．０９
また、削減すべき総符号量をβとすると、削減すべき符号量はそれぞれ、以下のようになる。
３ＹＬＬ＝（Ａ＿ｙ／０．９９）／（α／β）
３ＹＨＬ＝（Ｂ＿ｙ／０．７６）／（α／β）
３ＹＬＨ＝（Ｃ＿ｙ／０．７６）／（α／β）
３ＹＨＨ＝（Ｄ＿ｙ／０．５５）／（α／β）
２ＹＨＬ＝（Ｅ＿ｙ／０．５１）／（α／β）
２ＹＬＨ＝（Ｆ＿ｙ／０．５１）／（α／β）
２ＹＨＨ＝（Ｇ＿ｙ／０．３７）／（α／β）
１ＹＨＬ＝（Ｈ＿ｙ／０．１２）／（α／β）
１ＹＬＨ＝（Ｉ＿ｙ／０．１２）／（α／β）
１ＹＨＨ＝（Ｊ＿ｙ／０．０９）／（α／β）
３ＣｒＬＬ＝（Ａ＿Ｃｒ・２／０．９９）／（α／β）
３ＣｒＨＬ＝（Ｂ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＬＨ＝（Ｃ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＨＨ＝（Ｄ＿Ｃｒ・２／０．５５）／（α／β）
２ＣｒＨＬ＝（Ｅ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＬＨ＝（Ｆ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＨＨ＝（Ｇ＿Ｃｒ・２／０．３７）／（α／β）
１ＣｒＨＬ＝（Ｈ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＬＨ＝（Ｉ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＨＨ＝（Ｊ＿Ｃｒ・２／０．０９）／（α／β）
３ＣｂＬＬ＝（Ａ＿Ｃｂ・４／０．９９）／（α／β）
３ＣｂＨＬ＝（Ｂ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＬＨ＝（Ｃ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＨＨ＝（Ｄ＿Ｃｂ・４／０．５５）／（α／β）
２ＣｂＨＬ＝（Ｅ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＬＨ＝（Ｆ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＨＨ＝（Ｇ＿Ｃｂ・４／０．３７）／（α／β）
１ＣｂＨＬ＝（Ｈ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＬＨ＝（Ｉ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＨＨ＝（Ｊ＿Ｃｂ・４／０．０９）／（α／β）
以上のような処理を実行することにより、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分の符号量は、図１０から図１２に示すようになる。但し、図６から図８と同様に図１０から図１２において、１本の棒グラフは、全体が削減する前の正規化された符号量を示し、棒グラフにおける白抜きの部分が削減分の符号量、又、棒グラフにおける黒塗りの部分が削減後の符号量を示している。
【００９３】
このように、全域に渡り、符号量又は、視覚特性に基づいた符号量の比と略同じ比率によって符号量を削減することで、ノイズ成分による影響が低減される。また、符号量を削減する前の符号量と削減した後の符号量との比率をタイル毎に一定とすることで、タイル毎の画質劣化を一定とすることが可能となり、バランスの取れた画像を得ることができる。
【００９４】
尚、例えばＪＰＥＧ２０００の様な、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄し、最終的な符号量を制御することは容易であるため、復号化する際に本実施例によるような符号量削減を行ってもよい。これによって、復号化時の処理速度が速くなり且つより画質を上げることができる。
【００９５】
また、本実施例による画像符号化を実現するプログラムは、図１におけるＨＤＤ１３等に予め格納されており、必要に応じて読み出され、ＲＡＭ１２に作業領域が確保されてＣＰＵ１１において実行されるものである。
【００９６】
また、このプログラムを、ＣＤ−ＲＯＭ（ＣＤ−Ｒ，ＣＤ−ＲＷ等を含む）やＤＶＤ−ＲＡＭ（ＤＣＤ−ＲＷ等を含む）やＭＯ等の持ち運び可能な記録媒体し、任意の端末に組み込めるようにするとよい。
〔第３の実施例〕
また、第２の実施例において、符号量の削減時に、それぞれ配分された削減すべき符号量と正規化された符号量とを比較し、これに基づいて削減方法を選択するようにも構成することができる。以下、このように構成したものを、第３の実施例として図面を用いて詳細に説明する。
【００９７】
本実施例に係る画像符号化を実現する装置の構成例は、第１の実施例で示すもの（図１参照）と同様である。
【００９８】
また、本実施例においても、第１の実施例と同様に、画像データを符号化する際、周波数領域に変換し、ロスレスのサブバンド全体のエントロピー符号化後、符号化後のデータに視覚的重みを考慮し、符号量の削減を実行する。この際の動作を図１３を用いて詳細に説明する。但し、本実施例でも、サブバンド符号化方式を採用した場合について説明する。
【００９９】
図１３を参照すると、本実施例では、まず、ステップＳ１２１として、画像データを１２８画素×１２８画素のタイルに分割し、それぞれに対して３回のウェーブレット変換を行う。これにより、図２に示すようなサブバンド構造を有するタイルが作成される。
【０１００】
次に、ステップＳ１２２において、ステップＳ１２１で作成したタイルに対し、ロスレスのサブバンド全体のエントロピー符号化を行う。また、このエントロピー符号化により得られた符号量を保持する。保持する先としては、エントロピー符号化を行うエンコーダとする。但し、本実施例においてもエンコーダがＣＰＵ１１及びＲＡＭ１２によりプログラムを用いて実現されるために、保持先はＲＡＭ１２となる。更に、ステップＳ１２２では、保持した符号量に対して個々に視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで正規化し、これにより得られた値（正規化された符号量）をＲＡＭ１２に保持する。
【０１０１】
その後、ステップＳ１２３において、正規化された符号量を読み出し、これに基づいてコンポーネント毎のサブバンドの符号量比率を求め、削減すべき符号量の合計を、同一の比率でコンポーネント毎のサブバンドに分配する。
【０１０２】
このように削減すべき符号量をコンポーネント毎のサブバンドに分配すると、ステップＳ１２４において、各コンポーネント毎のサブバンドに、正規化された符号量が分配した削減すべき符号量以上であるか否かが判定される。
【０１０３】
この判定の結果、全てのコンポーネント毎のサブバンドにおいて正規化された符号量が分配された削減すべき符号量よりも多い場合（ステップＳ１２４のＹｅｓ）、ステップＳ１２５において、分配された削減すべき符号量を正規化された符号量より削減する。これに対し、何れかのサブバンドにおいて正規化された符号量が分配された符号量よりも少ない場合（ステップＳ１２４のＮｏ）、例えば図５のステップＳ１０３や、図９のステップＳ１１３で説明した処理により、各コンポーネント毎のサブバンドの符号量を削減する。
【０１０４】
また、ステップＳ１２１からステップＳ１２７までの処理は、全てのタイルに対して完了するまで繰り返し行われる（ステップＳ１２５）。
【０１０５】
この処理において、例えばＪＰＥＧ２０００のような符号化方式を用いた場合、パケットのヘッダ情報としてサブバンド毎のロスレスの符号量を含むため、このヘッダ情報からそれぞれの符号量を特定し、積算したものをパックトパケットヘッダに書きこむ。また正規化は、パックトパケットヘッダからそれぞれの符号量を読み出し、これに視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで行う。
【０１０６】
ここで、各サブバンドの周波数は、画像データの解像度と観察距離との関数になる。例えば、上記で触れた引用文献２に記載されているように、ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドは異なるフーリエスペクトルを生じる。このため、各サブバンドに生じた誤差に対する視覚の感度は、サブバンド毎に異なると考えられている。上述において触れた引用文献２によれば、ＬＬ，ＨＬ，ＬＨ，ＨＨの視覚の感度比は、おおよそ１：１／１．３：１／１．３：１／１．８となっている。
【０１０７】
そこで、本実施例では、周波数の違いによるＶＴＦの値の差に加え、サブバンド毎の感度の違いも考慮に入れるよう構成する。
【０１０８】
例えば３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの空間周波数を‘１’とした場合、２ＨＬ，２ＬＨ，２ＨＨの空間周波数は‘２’となり，１ＨＬ，１ＬＨ，１ＨＨの空間周波数は‘４’となる。
【０１０９】
また、第１の実施例で示したように、例えば上記した（式３），（式４），（式５）をそれぞれＬＬ，（ＨＬ，ＬＨ），ＨＨのＶＴＦとして用いたとすると、その特性は図４に示すようになる。
【０１１０】
よって、上記での空間周波数に対する輝度Ｙ成分のＶＴＦの値は、以下のようになる。
３ＹＬＬ＝０．９９
３ＹＨＬ＝０．７６
３ＹＬＨ＝０．７６
３ＹＨＨ＝０．５５
２ＹＨＬ＝０．５１
２ＹＬＨ＝０．５１
２ＹＨＨ＝０．３７
１ＹＨＬ＝０．１２
１ＹＬＨ＝０．１２
１ＹＨＨ＝０．０９
また、輝度Ｙ成分のＶＴＦの値の逆数は、以下のようになる。
３ＹＬＬ＝１／０．９９
３ＹＨＬ＝１／０．７６
３ＹＬＨ＝１／０．７６
３ＹＨＨ＝１／０．５５
２ＹＨＬ＝１／０．５１
２ＹＬＨ＝１／０．５１
２ＹＨＨ＝１／０．３７
１ＹＨＬ＝１／０．１２
１ＹＬＨ＝１／０．１２
１ＹＨＨ＝１／０．０９
ここで、例えば、ＶＴＦにおける輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との視覚特性の関係が４：２：１であったとすると、ＶＴＦの値の逆数における輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との関係は、その逆数であるから１：２：４となる。
【０１１１】
従って、上記における色差Ｃｒ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｒＬＬ＝２／０．９９
３ＣｒＨＬ＝２／０．７６
３ＣｒＬＨ＝２／０．７６
３ＣｒＨＨ＝２／０．５５
２ＣｒＨＬ＝２／０．５１
２ＣｒＬＨ＝２／０．５１
２ＣｒＨＨ＝２／０．３７
１ＣｒＨＬ＝２／０．１２
１ＣｒＬＨ＝２／０．１２
１ＣｒＨＨ＝２／０．０９
同様に、色差Ｃｂ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｂＬＬ＝４／０．９９
３ＣｂＨＬ＝４／０．７６
３ＣｂＬＨ＝４／０．７６
３ＣｂＨＨ＝４／０．５５
２ＣｂＨＬ＝４／０．５１
２ＣｂＬＨ＝４／０．５１
２ＣｂＨＨ＝４／０．３７
１ＣｂＨＬ＝４／０．１２
１ＣｂＬＨ＝４／０．１２
１ＣｂＨＨ＝４／０．０９
ここで、ある１つのタイルにおける輝度Ｙ成分のロスレスの符号量を、以下のように仮定する。
３ＹＬＬの符号量＝Ａ＿ｙ
３ＹＨＬの符号量＝Ｂ＿ｙ
３ＹＬＨの符号量＝Ｃ＿ｙ
３ＹＨＨの符号量＝Ｄ＿ｙ
２ＹＨＬの符号量＝Ｅ＿ｙ
２ＹＬＨの符号量＝Ｆ＿ｙ
２ＹＨＨの符号量＝Ｇ＿ｙ
１ＹＨＬの符号量＝Ｈ＿ｙ
１ＹＬＨの符号量＝Ｉ＿ｙ
１ＹＨＨの符号量＝Ｊ＿ｙ
これにより、輝度Ｙ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＹＬＬ＝Ａ＿ｙ／０．９９
３ＹＨＬ＝Ｂ＿ｙ／０．７６
３ＹＬＨ＝Ｃ＿ｙ／０．７６
３ＹＨＨ＝Ｄ＿ｙ／０．５５
２ＹＨＬ＝Ｅ＿ｙ／０．５１
２ＹＬＨ＝Ｆ＿ｙ／０．５１
２ＹＨＨ＝Ｇ＿ｙ／０．３７
１ＹＨＬ＝Ｈ＿ｙ／０．１２
１ＹＬＨ＝Ｉ＿ｙ／０．１２
１ＹＨＨ＝Ｊ＿ｙ／０．０９
また、同じタイルにおける色差Ｃｒ成分のロスレスの符号量を、以下のように仮定する。
３ＣｒＬＬの符号量＝Ａ＿Ｃｒ
３ＣｒＨＬの符号量＝Ｂ＿Ｃｒ
３ＣｒＬＨの符号量＝Ｃ＿Ｃｒ
３ＣｒＨＨの符号量＝Ｄ＿Ｃｒ
２ＣｒＨＬの符号量＝Ｅ＿Ｃｒ
２ＣｒＬＨの符号量＝Ｆ＿Ｃｒ
２ＣｒＨＨの符号量＝Ｇ＿Ｃｒ
１ＣｒＨＬの符号量＝Ｈ＿Ｃｒ
１ＣｒＬＨの符号量＝Ｉ＿Ｃｒ
１ＣｒＨＨの符号量＝Ｊ＿Ｃｒ
これにより、色差Ｃｒ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｒＬＬ＝Ａ＿Ｃｒ・２／０．９９
３ＣｒＨＬ＝Ｂ＿Ｃｒ・２／０．７６
３ＣｒＬＨ＝Ｃ＿Ｃｒ・２／０．７６
３ＣｒＨＨ＝Ｄ＿Ｃｒ・２／０．５５
２ＣｒＨＬ＝Ｅ＿Ｃｒ・２／０．５１
２ＣｒＬＨ＝Ｆ＿Ｃｒ・２／０．５１
２ＣｒＨＨ＝Ｇ＿Ｃｒ・２／０．３７
１ＣｒＨＬ＝Ｈ＿Ｃｒ・２／０．１２
１ＣｒＬＨ＝Ｉ＿Ｃｒ・２／０．１２
１ＣｒＨＨ＝Ｊ＿Ｃｒ・２／０．０９
同様に、同じタイルにおける色差Ｃｂ成分のロスレスの符号量を、以下のように仮定する。
３ＣｂＬＬの符号量＝Ａ＿Ｃｂ
３ＣｂＨＬの符号量＝Ｂ＿Ｃｂ
３ＣｂＬＨの符号量＝Ｃ＿Ｃｂ
３ＣｂＨＨの符号量＝Ｄ＿Ｃｂ
２ＣｂＨＬの符号量＝Ｅ＿Ｃｂ
２ＣｂＬＨの符号量＝Ｆ＿Ｃｂ
２ＣｂＨＨの符号量＝Ｇ＿Ｃｂ
１ＣｂＨＬの符号量＝Ｈ＿Ｃｂ
１ＣｂＬＨの符号量＝Ｉ＿Ｃｂ
１ＣｂＨＨの符号量＝Ｊ＿Ｃｂ
これにより、色差Ｃｂ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｂＬＬ＝Ａ＿Ｃｂ・４／０．９９
３ＣｂＨＬ＝Ｂ＿Ｃｂ・４／０．７６
３ＣｂＬＨ＝Ｃ＿Ｃｂ・４／０．７６
３ＣｂＨＨ＝Ｄ＿Ｃｂ・４／０．５５
２ＣｂＨＬ＝Ｅ＿Ｃｂ・４／０．５１
２ＣｂＬＨ＝Ｆ＿Ｃｂ・４／０．５１
２ＣｂＨＨ＝Ｇ＿Ｃｂ・４／０．３７
１ＣｂＨＬ＝Ｈ＿Ｃｂ・４／０．１２
１ＣｂＬＨ＝Ｉ＿Ｃｂ・４／０．１２
１ＣｂＨＨ＝Ｊ＿Ｃｂ・４／０．０９
次に、各コンポーネント毎のサブバンドに対し、視覚特性に基づいた符号量の比と略同じ比率となるような削減すべき符号量を配分する。これは、上述したように、削減した符号量の総和が削減すべき符号量に達するように配分される。
【０１１２】
ここで、上述から導き出せるように、全域における視覚特性に基づいた符号量の比は、以下のようになる。
３ＹＬＬ：３ＹＨＬ：３ＹＬＨ：３ＹＨＨ：２ＹＨＬ：２ＹＬＨ：２ＹＨＨ：１ＹＨＬ：１ＹＬＨ：１ＹＨＨ：３ＣｒＬＬ：３ＣｒＨＬ：３ＣｒＬＨ：３ＣｒＨＨ：２ＣｒＨＬ：２ＣｒＬＨ：２ＣｒＨＨ：１ＣｒＨＬ：１ＣｒＬＨ：１ＣｒＨＨ：３ＣｂＬＬ：３ＣｂＨＬ：３ＣｂＬＨ：３ＣｂＨＨ：２ＣｂＨＬ：２ＣｂＬＨ：２ＣｂＨＨ：１ＣｂＨＬ：１ＣｂＬＨ：１ＣｂＨＨ＝Ａ＿ｙ／０．９９：Ｂ＿ｙ／０．７６：Ｃ＿ｙ／０．７６：Ｄ＿ｙ／０．５５：Ｅ＿ｙ／０．５１：Ｆ＿ｙ／０．５１：Ｇ＿ｙ／０．３７：Ｈ＿ｙ／０．１２：Ｉ＿ｙ／０．１２：Ｊ＿ｙ／０．０９：Ａ＿Ｃｒ・２／０．９９：Ｂ＿Ｃｒ・２／０．７６：Ｃ＿Ｃｒ・２／０．７６：Ｄ＿Ｃｒ・２／０．５５：Ｅ＿Ｃｒ・２／０．５１：Ｆ＿Ｃｒ・２／０．５１：Ｇ＿Ｃｒ・２／０．３７：Ｈ＿Ｃｒ・２／０．１２：Ｉ＿Ｃｒ・２／０．１２：Ｊ＿Ｃｒ・２／０．０９：Ａ＿Ｃｂ・４／０．９９：Ｂ＿Ｃｂ・４／０．７６：Ｃ＿Ｃｂ・４／０．７６：Ｄ＿Ｃｂ・４／０．５５：Ｅ＿Ｃｂ・４／０．５１：Ｆ＿Ｃｂ・４／０．５１：Ｇ＿Ｃｂ・４／０．３７：Ｈ＿Ｃｂ・４／０．１２：Ｉ＿Ｃｂ・４／０．１２：Ｊ＿Ｃｂ・４／０．０９
従って、全ての比率の総和αは、以下のようになる。
α＝Ａ＿ｙ／０．９９＋Ｂ＿ｙ／０．７６＋Ｃ＿ｙ／０．７６＋Ｄ＿ｙ／０．５５＋Ｅ＿ｙ／０．５１＋Ｆ＿ｙ／０．５１＋Ｇ＿ｙ／０．３７＋Ｈ＿ｙ／０．１２＋Ｉ＿ｙ／０．１２＋Ｊ＿ｙ／０．０９＋Ａ＿Ｃｒ・２／０．９９＋Ｂ＿Ｃｒ・２／０．７６＋Ｃ＿Ｃｒ・２／０．７６＋Ｄ＿Ｃｒ・２／０．５５＋Ｅ＿Ｃｒ・２／０．５１＋Ｆ＿Ｃｒ・２／０．５１＋Ｇ＿Ｃｒ・２／０．３７＋Ｈ＿Ｃｒ・２／０．１２＋Ｉ＿Ｃｒ・２／０．１２＋Ｊ＿Ｃｒ・２／０．０９＋Ａ＿Ｃｂ・４／０．９９＋Ｂ＿Ｃｂ・４／０．７６＋Ｃ＿Ｃｂ・４／０．７６＋Ｄ＿Ｃｂ・４／０．５５＋Ｅ＿Ｃｂ・４／０．５１＋Ｆ＿Ｃｂ・４／０．５１＋Ｇ＿Ｃｂ・４／０．３７＋Ｈ＿Ｃｂ・４／０．１２＋Ｉ＿Ｃｂ・４／０．１２＋Ｊ＿Ｃｂ・４／０．０９
また、削減すべき総符号量をβとすると、削減すべき符号量配分はそれぞれ、以下のようになる。
３ＹＬＬ＝（Ａ＿ｙ／０．９９）／（α／β）
３ＹＨＬ＝（Ｂ＿ｙ／０．７６）／（α／β）
３ＹＬＨ＝（Ｃ＿ｙ／０．７６）／（α／β）
３ＹＨＨ＝（Ｄ＿ｙ／０．５５）／（α／β）
２ＹＨＬ＝（Ｅ＿ｙ／０．５１）／（α／β）
２ＹＬＨ＝（Ｆ＿ｙ／０．５１）／（α／β）
２ＹＨＨ＝（Ｇ＿ｙ／０．３７）／（α／β）
１ＹＨＬ＝（Ｈ＿ｙ／０．１２）／（α／β）
１ＹＬＨ＝（Ｉ＿ｙ／０．１２）／（α／β）
１ＹＨＨ＝（Ｊ＿ｙ／０．０９）／（α／β）
３ＣｒＬＬ＝（Ａ＿Ｃｒ・２／０．９９）／（α／β）
３ＣｒＨＬ＝（Ｂ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＬＨ＝（Ｃ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＨＨ＝（Ｄ＿Ｃｒ・２／０．５５）／（α／β）
２ＣｒＨＬ＝（Ｅ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＬＨ＝（Ｆ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＨＨ＝（Ｇ＿Ｃｒ・２／０．３７）／（α／β）
１ＣｒＨＬ＝（Ｈ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＬＨ＝（Ｉ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＨＨ＝（Ｊ＿Ｃｒ・２／０．０９）／（α／β）
３ＣｂＬＬ＝（Ａ＿Ｃｂ・４／０．９９）／（α／β）
３ＣｂＨＬ＝（Ｂ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＬＨ＝（Ｃ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＨＨ＝（Ｄ＿Ｃｂ・４／０．５５）／（α／β）
２ＣｂＨＬ＝（Ｅ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＬＨ＝（Ｆ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＨＨ＝（Ｇ＿Ｃｂ・４／０．３７）／（α／β）
１ＣｂＨＬ＝（Ｈ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＬＨ＝（Ｉ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＨＨ＝（Ｊ＿Ｃｂ・４／０．０９）／（α／β）
ここで、本実施例では第２の実施例と相違して、それぞれ配分された削減すべき符号量を正規化された符号量と比較する。
【０１１３】
この結果、例えば全てのコンポーネント毎のサブバンドにおいて符号量が少ないという結果が得られた場合、配分された削減すべき符号量に基づき符号量を削減するよう動作する。
【０１１４】
また、何れかのコンポーネント毎のサブバンドにおいて符号量が不足していると判定された場合、本実施例では第１又は第２の実施例で説明したような方法により、各コンポーネント毎のサブバンドより所定の符号量を削減する処理を実行する。
【０１１５】
以上のような処理を実行することにより、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分の符号量は、図１４から図１６に示すようになる。但し、図６から図８と同様に図１４から図１６において、１本の棒グラフは、全体が削減する前の正規化された符号量を示し、棒グラフにおける白抜きの部分が削減分の符号量、又、棒グラフにおける黒塗りの部分が削減後の符号量を示している。
【０１１６】
このように全域に渡り、視覚特性に基づいた符号量の比と略同じ比率によって符号量を削減することで、ノイズ成分による影響が低減される。また、符号量を削減する前の符号量と削減した後の符号量との比率をタイル毎に一定とすることで、タイル毎の画質劣化を一定とすることが可能となり、バランスの取れた画像を得ることができる。更に、削減にあたり不足した分の符号量を、視覚的に鈍感な帯域から順に削減するよう構成することで、より画質劣化を抑えることが可能となる。
【０１１７】
尚、例えばＪＰＥＧ２０００の様な、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄し、最終的な符号量を制御することは容易であるため、復号化する際に本実施例によるような符号量削減を行ってもよい。これによって、復号化時の処理速度が速くなり且つより画質を上げることができる。
【０１１８】
また、本実施例による画像符号化を実現するプログラムは、図１におけるＨＤＤ１３等に予め格納されており、必要に応じて読み出され、ＲＡＭ１２に作業領域が確保されてＣＰＵ１１において実行されるものである。
【０１１９】
また、このプログラムを、ＣＤ−ＲＯＭ（ＣＤ−Ｒ，ＣＤ−ＲＷ等を含む）やＤＶＤ−ＲＡＭ（ＤＣＤ−ＲＷ等を含む）やＭＯ等の持ち運び可能な記録媒体し、任意の端末に組み込めるようにするとよい。
〔第４の実施例〕
また、上記第３の実施例では、それぞれ配分された削減すべき符号量を正規化された符号量と比較した結果、全てのサブバンドにおいて符号量が少ないという結果が得られた場合に全ての周波数領域において同一の比率で符号量を削減するよう構成されている。これに対し、上記比較の結果、符号量が削減する分に対し不足する場合、余った削減すべき符号量を他の周波数領域に割り当てるよう構成することも可能である。以下、これを第４の実施例として図面を用いて詳細に説明する。
【０１２０】
本実施例に係る画像符号化を実現する装置の構成例は、第１の実施例で示すもの（図１参照）と同様であるため、ここでは説明を省略する。
【０１２１】
また、本実施例においても、第１の実施例と同様に、画像データを符号化する際、周波数領域に変化し、ロスレスのサブバンド全体のエントロピー符号化後、符号化後のデータに視覚的重みを考慮し、符号量の削減を実行する。この際の動作を図１７を用いて以下に説明する。但し、本実施例でも、サブバンド符号化方式を採用した場合について説明する。
【０１２２】
図１７を参照すると、本実施例では、まず、ステップＳ１３１として、画像データを１２８画素×１２８画素のタイルに分割し、それぞれに対して３回のウェーブレット変換を行う。これにより、図２に示すようなサブバンド構造を有するタイルが作成される。
【０１２３】
次に、ステップＳ１３２において、ステップＳ１３１で作成したタイルに対し、ロスレスのサブバンド全体のエントロピー符号化を行う。また、このエントロピー符号化により得られた符号量を保持する。保持する先としては、エントロピー符号化を行うエンコーダとする。但し、本実施例においてもエンコーダがＣＰＵ１１及びＲＡＭ１２によりプログラムを用いて実現されるために、保持先はＲＡＭ１２となる。更に、ステップＳ１３２では、保持した符号量に対して個々に視覚右傾のＭＴＦ（ＶＴＦ）の逆数を乗じることで正規化し、これにより得られた値（正規化された符号量）をＲＡＭ１２に保持する。
【０１２４】
その後、ステップＳ１３３において、正規化された符号量を読み出し、これに基づいてコンポーネント毎のサブバンドの符号量比率を求め、削減すべき符号量の合計を、同一の比率でコンポーネント毎のサブバンドに分配する。
【０１２５】
このように削減すべき符号量をコンポーネント毎のサブバンドに分配すると、ステップＳ１３４において、各コンポーネント毎のサブバンドに、正規化された符号量が分配した削減すべき符号量以上であるか否かが判定される。
【０１２６】
この判定の結果、全てのコンポーネント毎のサブバンドにおいて正規化された符号量が分配された削減すべき符号量よりも多い場合（ステップＳ１３４のＹｅｓ）、ステップＳ１３５において、分配された削減すべき符号量を正規化された符号量より削減する。これに対し、何れかのコンポーネント毎のサブバンドにおいて正規化された符号量が分配された符号量よりも少ない場合（ステップＳ１３４のＮｏ）、ステップＳ１３７において不足した削減すべき符号量分を、他のコンポーネント毎のサブバンドから削減する。これは、不足分全てが補われるまで、例えば高域から順に削減するように構成される。
【０１２７】
また、ステップＳ１３１からステップＳ１３７までの処理は、全てのタイルに対して完了するまで、繰り返し行われる（ステップＳ１３６）。
【０１２８】
この処理において、例えばＪＰＥＧ２０００のような符号化方式を用いた場合、パケットのヘッダ情報としてサブバンド毎のロスレスの符号量を含むため、このヘッダ情報からそれぞれの符号量を特定し、積算したものをパックトパケットヘッダに書き込む。また、正規化は、パックトパケットヘッダからそれぞれの符号量を読み出し、これに視覚系のＭＴＦ（ＶＴＦ）の逆数を乗じることで行う。
【０１２９】
ここで、各サブバンドの周波数は、画像データの解像度と観察距離との関数になる。例えば、上記で触れた引用文献２に記載されているように、ＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドは異なるフーリエスペクトルを生じる。このため、各サブバンドに生じた誤差に対する視覚の感度は、サブバンド毎に異なると考えられている。上述において触れた引用文献２によれば、ＬＬ，ＨＬ，ＬＨ，ＨＨの視覚の感度比は、おおよそ１：１／１．３：１／１．３：１／１．８となっている。
【０１３０】
そこで、本実施例では、周波数の違いによるＶＴＦの値の差に加え、サブバンドごとの感度の違いも考慮に入れるよう構成する。
【０１３１】
例えば３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨの空間周波数を‘１’とした場合、２ＨＬ，２ＬＨ，２ＨＨの空間周波数は‘２’，１ＨＬ，１ＬＨ，１ＨＨの空間周波数は‘４’となる。
【０１３２】
また、第１の実施例で示したように、例えば上記した（式３），（式４），（式５）をそれぞれＬＬ，（ＨＬ，ＬＨ），ＨＨのＶＴＦとして用いたとすると、その特性は図４に示すようになる。
【０１３３】
よって、上記での空間周波数に対する輝度Ｙ成分のＶＴＦの値は、以下のようになる。
３ＹＬＬ＝０．９９
３ＹＨＬ＝０．７６
３ＹＬＨ＝０．７６
３ＹＨＨ＝０．５５
２ＹＨＬ＝０．５１
２ＹＬＨ＝０．５１
２ＹＨＨ＝０．３７
１ＹＨＬ＝０．１２
１ＹＬＨ＝０．１２
１ＹＨＨ＝０．０９
また、輝度Ｙ成分のＶＴＦの値の逆数は、以下のようになる。
３ＹＬＬ＝１／０．９９
３ＹＨＬ＝１／０．７６
３ＹＬＨ＝１／０．７６
３ＹＨＨ＝１／０．５５
２ＹＨＬ＝１／０．５１
２ＹＬＨ＝１／０．５１
２ＹＨＨ＝１／０．３７
１ＹＨＬ＝１／０．１２
１ＹＬＨ＝１／０．１２
１ＹＨＨ＝１／０．０９
ここで、例えば、ＶＴＦにおける輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との視覚特性の関係が４：２：１であったとすると、ＶＴＦの値の逆数における輝度Ｙ成分と色差Ｃｒ成分と色差Ｃｂ成分との関係は、その逆数であるから１：２：４となる。
【０１３４】
従って、上記における色差Ｃｒ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｒＬＬ＝２／０．９９
３ＣｒＨＬ＝２／０．７６
３ＣｒＬＨ＝２／０．７６
３ＣｒＨＨ＝２／０．５５
２ＣｒＨＬ＝２／０．５１
２ＣｒＬＨ＝２／０．５１
２ＣｒＨＨ＝２／０．３７
１ＣｒＨＬ＝２／０．１２
１ＣｒＬＨ＝２／０．１２
１ＣｒＨＨ＝２／０．０９
同様に、色差Ｃｂ成分のＶＴＦの値の逆数は、以下のようになる。
３ＣｂＬＬ＝４／０．９９
３ＣｂＨＬ＝４／０．７６
３ＣｂＬＨ＝４／０．７６
３ＣｂＨＨ＝４／０．５５
２ＣｂＨＬ＝４／０．５１
２ＣｂＬＨ＝４／０．５１
２ＣｂＨＨ＝４／０．３７
１ＣｂＨＬ＝４／０．１２
１ＣｂＬＨ＝４／０．１２
１ＣｂＨＨ＝４／０．０９
ここで、ある１つのタイルにおける輝度Ｙ成分のロスレスの符号量を、以下のように仮定する。
３ＹＬＬの符号量＝Ａ＿ｙ
３ＹＨＬの符号量＝Ｂ＿ｙ
３ＹＬＨの符号量＝Ｃ＿ｙ
３ＹＨＨの符号量＝Ｄ＿ｙ
２ＹＨＬの符号量＝Ｅ＿ｙ
２ＹＬＨの符号量＝Ｆ＿ｙ
２ＹＨＨの符号量＝Ｇ＿ｙ
１ＹＨＬの符号量＝Ｈ＿ｙ
１ＹＬＨの符号量＝Ｉ＿ｙ
１ＹＨＨの符号量＝Ｊ＿ｙ
これにより、輝度Ｙ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＹＬＬ＝Ａ＿ｙ／０．９９
３ＹＨＬ＝Ｂ＿ｙ／０．７６
３ＹＬＨ＝Ｃ＿ｙ／０．７６
３ＹＨＨ＝Ｄ＿ｙ／０．５５
２ＹＨＬ＝Ｅ＿ｙ／０．５１
２ＹＬＨ＝Ｆ＿ｙ／０．５１
２ＹＨＨ＝Ｇ＿ｙ／０．３７
１ＹＨＬ＝Ｈ＿ｙ／０．１２
１ＹＬＨ＝Ｉ＿ｙ／０．１２
１ＹＨＨ＝Ｊ＿ｙ／０．０９
また、同じタイルにおける色差Ｃｒ成分のロスレスの符号量を、以下のように仮定する。
３ＣｒＬＬの符号量＝Ａ＿Ｃｒ
３ＣｒＨＬの符号量＝Ｂ＿Ｃｒ
３ＣｒＬＨの符号量＝Ｃ＿Ｃｒ
３ＣｒＨＨの符号量＝Ｄ＿Ｃｒ
２ＣｒＨＬの符号量＝Ｅ＿Ｃｒ
２ＣｒＬＨの符号量＝Ｆ＿Ｃｒ
２ＣｒＨＨの符号量＝Ｇ＿Ｃｒ
１ＣｒＨＬの符号量＝Ｈ＿Ｃｒ
１ＣｒＬＨの符号量＝Ｉ＿Ｃｒ
１ＣｒＨＨの符号量＝Ｊ＿Ｃｒ
これにより、色差Ｃｒ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｒＬＬ＝Ａ＿Ｃｒ・２／０．９９
３ＣｒＨＬ＝Ｂ＿Ｃｒ・２／０．７６
３ＣｒＬＨ＝Ｃ＿Ｃｒ・２／０．７６
３ＣｒＨＨ＝Ｄ＿Ｃｒ・２／０．５５
２ＣｒＨＬ＝Ｅ＿Ｃｒ・２／０．５１
２ＣｒＬＨ＝Ｆ＿Ｃｒ・２／０．５１
２ＣｒＨＨ＝Ｇ＿Ｃｒ・２／０．３７
１ＣｒＨＬ＝Ｈ＿Ｃｒ・２／０．１２
１ＣｒＬＨ＝Ｉ＿Ｃｒ・２／０．１２
１ＣｒＨＨ＝Ｊ＿Ｃｒ・２／０．０９
同様に、同じタイルにおける色差Ｃｂ成分のロスレスの符号量を、以下のように仮定する。
３ＣｂＬＬの符号量＝Ａ＿Ｃｂ
３ＣｂＨＬの符号量＝Ｂ＿Ｃｂ
３ＣｂＬＨの符号量＝Ｃ＿Ｃｂ
３ＣｂＨＨの符号量＝Ｄ＿Ｃｂ
２ＣｂＨＬの符号量＝Ｅ＿Ｃｂ
２ＣｂＬＨの符号量＝Ｆ＿Ｃｂ
２ＣｂＨＨの符号量＝Ｇ＿Ｃｂ
１ＣｂＨＬの符号量＝Ｈ＿Ｃｂ
１ＣｂＬＨの符号量＝Ｉ＿Ｃｂ
１ＣｂＨＨの符号量＝Ｊ＿Ｃｂ
これにより、色差Ｃｂ成分のロスレスの符号量にＶＴＦの逆数を乗じることで得られた正規化された符号量は、以下のようになる。
３ＣｂＬＬ＝Ａ＿Ｃｂ・４／０．９９
３ＣｂＨＬ＝Ｂ＿Ｃｂ・４／０．７６
３ＣｂＬＨ＝Ｃ＿Ｃｂ・４／０．７６
３ＣｂＨＨ＝Ｄ＿Ｃｂ・４／０．５５
２ＣｂＨＬ＝Ｅ＿Ｃｂ・４／０．５１
２ＣｂＬＨ＝Ｆ＿Ｃｂ・４／０．５１
２ＣｂＨＨ＝Ｇ＿Ｃｂ・４／０．３７
１ＣｂＨＬ＝Ｈ＿Ｃｂ・４／０．１２
１ＣｂＬＨ＝Ｉ＿Ｃｂ・４／０．１２
１ＣｂＨＨ＝Ｊ＿Ｃｂ・４／０．０９
次に、各コンポーネント毎のサブバンドに対し、視覚特性に基づいた符号量の比と略同じ比率となるような削減すべき符号量を配分する。これは、上述したように、削減した符号量の総和が削減すべき符号量に達するように配分される。
【０１３５】
ここで、上述から導き出せるように、全域における視覚特性に基づいた符号量の比は、以下のようになる。
３ＹＬＬ：３ＹＨＬ：３ＹＬＨ：３ＹＨＨ：２ＹＨＬ：２ＹＬＨ：２ＹＨＨ：１ＹＨＬ：１ＹＬＨ：１ＹＨＨ：３ＣｒＬＬ：３ＣｒＨＬ：３ＣｒＬＨ：３ＣｒＨＨ：２ＣｒＨＬ：２ＣｒＬＨ：２ＣｒＨＨ：１ＣｒＨＬ：１ＣｒＬＨ：１ＣｒＨＨ：３ＣｂＬＬ：３ＣｂＨＬ：３ＣｂＬＨ：３ＣｂＨＨ：２ＣｂＨＬ：２ＣｂＬＨ：２ＣｂＨＨ：１ＣｂＨＬ：１ＣｂＬＨ：１ＣｂＨＨ＝Ａ＿ｙ／０．９９：Ｂ＿ｙ／０．７６：Ｃ＿ｙ／０．７６：Ｄ＿ｙ／０．５５：Ｅ＿ｙ／０．５１：Ｆ＿ｙ／０．５１：Ｇ＿ｙ／０．３７：Ｈ＿ｙ／０．１２：Ｉ＿ｙ／０．１２：Ｊ＿ｙ／０．０９：Ａ＿Ｃｒ・２／０．９９：Ｂ＿Ｃｒ・２／０．７６：Ｃ＿Ｃｒ・２／０．７６：Ｄ＿Ｃｒ・２／０．５５：Ｅ＿Ｃｒ・２／０．５１：Ｆ＿Ｃｒ・２／０．５１：Ｇ＿Ｃｒ・２／０．３７：Ｈ＿Ｃｒ・２／０．１２：Ｉ＿Ｃｒ・２／０．１２：Ｊ＿Ｃｒ・２／０．０９：Ａ＿Ｃｂ・４／０．９９：Ｂ＿Ｃｂ・４／０．７６：Ｃ＿Ｃｂ・４／０．７６：Ｄ＿Ｃｂ・４／０．５５：Ｅ＿Ｃｂ・４／０．５１：Ｆ＿Ｃｂ・４／０．５１：Ｇ＿Ｃｂ・４／０．３７：Ｈ＿Ｃｂ・４／０．１２：Ｉ＿Ｃｂ・４／０．１２：Ｊ＿Ｃｂ・４／０．０９
従って、全ての比率の総和αは、以下のようになる。
α＝Ａ＿ｙ／０．９９＋Ｂ＿ｙ／０．７６＋Ｃ＿ｙ／０．７６＋Ｄ＿ｙ／０．５５＋Ｅ＿ｙ／０．５１＋Ｆ＿ｙ／０．５１＋Ｇ＿ｙ／０．３７＋Ｈ＿ｙ／０．１２＋Ｉ＿ｙ／０．１２＋Ｊ＿ｙ／０．０９＋Ａ＿Ｃｒ・２／０．９９＋Ｂ＿Ｃｒ・２／０．７６＋Ｃ＿Ｃｒ・２／０．７６＋Ｄ＿Ｃｒ・２／０．５５＋Ｅ＿Ｃｒ・２／０．５１＋Ｆ＿Ｃｒ・２／０．５１＋Ｇ＿Ｃｒ・２／０．３７＋Ｈ＿Ｃｒ・２／０．１２＋Ｉ＿Ｃｒ・２／０．１２＋Ｊ＿Ｃｒ・２／０．０９＋Ａ＿Ｃｂ・４／０．９９＋Ｂ＿Ｃｂ・４／０．７６＋Ｃ＿Ｃｂ・４／０．７６＋Ｄ＿Ｃｂ・４／０．５５＋Ｅ＿Ｃｂ・４／０．５１＋Ｆ＿Ｃｂ・４／０．５１＋Ｇ＿Ｃｂ・４／０．３７＋Ｈ＿Ｃｂ・４／０．１２＋Ｉ＿Ｃｂ・４／０．１２＋Ｊ＿Ｃｂ・４／０．０９
また、削減すべき総符号量をβとすると、削減すべき符号量配分はそれぞれ、以下のようになる。
３ＹＬＬ＿γ＝（Ａ＿ｙ／０．９９）／（α／β）
３ＹＨＬ＿γ＝（Ｂ＿ｙ／０．７６）／（α／β）
３ＹＬＨ＿γ＝（Ｃ＿ｙ／０．７６）／（α／β）
３ＹＨＨ＿γ＝（Ｄ＿ｙ／０．５５）／（α／β）
２ＹＨＬ＿γ＝（Ｅ＿ｙ／０．５１）／（α／β）
２ＹＬＨ＿γ＝（Ｆ＿ｙ／０．５１）／（α／β）
２ＹＨＨ＿γ＝（Ｇ＿ｙ／０．３７）／（α／β）
１ＹＨＬ＿γ＝（Ｈ＿ｙ／０．１２）／（α／β）
１ＹＬＨ＿γ＝（Ｉ＿ｙ／０．１２）／（α／β）
１ＹＨＨ＿γ＝（Ｊ＿ｙ／０．０９）／（α／β）
３ＣｒＬＬ＿γ＝（Ａ＿Ｃｒ・２／０．９９）／（α／β）
３ＣｒＨＬ＿γ＝（Ｂ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＬＨ＿γ＝（Ｃ＿Ｃｒ・２／０．７６）／（α／β）
３ＣｒＨＨ＿γ＝（Ｄ＿Ｃｒ・２／０．５５）／（α／β）
２ＣｒＨＬ＿γ＝（Ｅ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＬＨ＿γ＝（Ｆ＿Ｃｒ・２／０．５１）／（α／β）
２ＣｒＨＨ＿γ＝（Ｇ＿Ｃｒ・２／０．３７）／（α／β）
１ＣｒＨＬ＿γ＝（Ｈ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＬＨ＿γ＝（Ｉ＿Ｃｒ・２／０．１２）／（α／β）
１ＣｒＨＨ＿γ＝（Ｊ＿Ｃｒ・２／０．０９）／（α／β）
３ＣｂＬＬ＿γ＝（Ａ＿Ｃｂ・４／０．９９）／（α／β）
３ＣｂＨＬ＿γ＝（Ｂ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＬＨ＿γ＝（Ｃ＿Ｃｂ・４／０．７６）／（α／β）
３ＣｂＨＨ＿γ＝（Ｄ＿Ｃｂ・４／０．５５）／（α／β）
２ＣｂＨＬ＿γ＝（Ｅ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＬＨ＿γ＝（Ｆ＿Ｃｂ・４／０．５１）／（α／β）
２ＣｂＨＨ＿γ＝（Ｇ＿Ｃｂ・４／０．３７）／（α／β）
１ＣｂＨＬ＿γ＝（Ｈ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＬＨ＿γ＝（Ｉ＿Ｃｂ・４／０．１２）／（α／β）
１ＣｂＨＨ＿γ＝（Ｊ＿Ｃｂ・４／０．０９）／（α／β）
ここで、本実施例では第３の実施例と同様に、それぞれ配分された削減すべき符号量を正規化された符号量と比較する。
【０１３６】
この結果、例えば以下のように、１ＣｂＨＨのみ符号量が多く、他のコンポーネント毎のサブバンドでは符号量が少ないという関係が導き出せたとする。
３ＹＬＬ＿γ≧Ａ＿ｙ
３ＹＨＬ＿γ≧Ｂ＿ｙ
３ＹＬＨ＿γ≧Ｃ＿ｙ
３ＹＨＨ＿γ≧Ｄ＿ｙ
２ＹＨＬ＿γ≧Ｅ＿ｙ
２ＹＬＨ＿γ≧Ｆ＿ｙ
２ＹＨＨ＿γ≧Ｇ＿ｙ
１ＹＨＬ＿γ≧Ｈ＿ｙ
１ＹＬＨ＿γ≧Ｉ＿ｙ
１ＹＨＨ＿γ≧Ｊ＿ｙ
３ＣｒＬＬ＿γ≧Ａ＿Ｃｒ
３ＣｒＨＬ＿γ≧Ｂ＿Ｃｒ
３ＣｒＬＨ＿γ≧Ｃ＿Ｃｒ
３ＣｒＨＨ＿γ≧Ｄ＿Ｃｒ
２ＣｒＨＬ＿γ≧Ｅ＿Ｃｒ
２ＣｒＬＨ＿γ≧Ｆ＿Ｃｒ
２ＣｒＨＨ＿γ≧Ｇ＿Ｃｒ
１ＣｒＨＬ＿γ≧Ｈ＿Ｃｒ
１ＣｒＬＨ＿γ≧Ｉ＿Ｃｒ
１ＣｒＨＨ＿γ≧Ｊ＿Ｃｒ
３ＣｂＬＬ＿γ≧Ａ＿Ｃｂ
３ＣｂＨＬ＿γ≧Ｂ＿Ｃｂ
３ＣｂＬＨ＿γ≧Ｃ＿Ｃｂ
３ＣｂＨＨ＿γ≧Ｄ＿Ｃｂ
２ＣｂＨＬ＿γ≧Ｅ＿Ｃｂ
２ＣｂＬＨ＿γ≧Ｆ＿Ｃｂ
２ＣｂＨＨ＿γ≧Ｇ＿Ｃｂ
１ＣｂＨＬ＿γ≧Ｈ＿Ｃｂ
１ＣｂＬＨ＿γ≧Ｉ＿Ｃｂ
１ＣｂＨＨ＿γ＜Ｊ＿Ｃｂ
ここで、配分された符号量と正規化された符号量の符号量差は下記のように表せられる。
Ａ１＿ｙ＝｜３ＹＬＬ＿γ−Ａ＿ｙ｜
Ｂ１＿ｙ＝｜３ＹＨＬ＿γ−Ｂ＿ｙ｜
Ｃ１＿ｙ＝｜３ＹＬＨ＿γ−Ｃ＿ｙ｜
Ｄ１＿ｙ＝｜３ＹＨＨ＿γ−Ｄ＿ｙ｜
Ｅ１＿ｙ＝｜２ＹＨＬ＿γ−Ｅ＿ｙ｜
Ｆ１＿ｙ＝｜２ＹＬＨ＿γ−Ｆ＿ｙ｜
Ｇ１＿ｙ＝｜２ＹＨＨ＿γ−Ｇ＿ｙ｜
Ｈ１＿ｙ＝｜１ＹＨＬ＿γ−Ｈ＿ｙ｜
Ｉ１＿ｙ＝｜１ＹＬＨ＿γ−Ｉ＿ｙ｜
Ｊ１＿ｙ＝｜１ＹＨＨ＿γ−Ｊ＿ｙ｜
Ａ１＿Ｃｒ＝｜３ＣｒＬＬ＿γ−Ａ＿Ｃｒ｜
Ｂ１＿Ｃｒ＝｜３ＣｒＨＬ＿γ−Ｂ＿Ｃｒ｜
Ｃ１＿Ｃｒ＝｜３ＣｒＬＨ＿γ−Ｃ＿Ｃｒ｜
Ｄ１＿Ｃｒ＝｜３ＣｒＨＨ＿γ−Ｄ＿Ｃｒ｜
Ｅ１＿Ｃｒ＝｜２ＣｒＨＬ＿γ−Ｅ＿Ｃｒ｜
Ｆ１＿Ｃｒ＝｜２ＣｒＬＨ＿γ−Ｆ＿Ｃｒ｜
Ｇ１＿Ｃｒ＝｜２ＣｒＨＨ＿γ−Ｇ＿Ｃｒ｜
Ｈ１＿Ｃｒ＝｜１ＣｒＨＬ＿γ−Ｈ＿Ｃｒ｜
Ｉ１＿Ｃｒ＝｜１ＣｒＬＨ＿γ−Ｉ＿Ｃｒ｜
Ｊ１＿Ｃｒ＝｜１ＣｒＨＨ＿γ−Ｊ＿Ｃｒ｜
Ａ１＿Ｃｂ＝｜３ＣｂＬＬ＿γ−Ａ＿Ｃｂ｜
Ｂ１＿Ｃｂ＝｜３ＣｂＨＬ＿γ−Ｂ＿Ｃｂ｜
Ｃ１＿Ｃｂ＝｜３ＣｂＬＨ＿γ−Ｃ＿Ｃｂ｜
Ｄ１＿Ｃｂ＝｜３ＣｂＨＨ＿γ−Ｄ＿Ｃｂ｜
Ｅ１＿Ｃｂ＝｜２ＣｂＨＬ＿γ−Ｅ＿Ｃｂ｜
Ｆ１＿Ｃｂ＝｜２ＣｂＬＨ＿γ−Ｆ＿Ｃｂ｜
Ｇ１＿Ｃｂ＝｜２ＣｂＨＨ＿γ−Ｇ＿Ｃｂ｜
Ｈ１＿Ｃｂ＝｜１ＣｂＨＬ＿γ−Ｈ＿Ｃｂ｜
Ｉ１＿Ｃｂ＝｜１ＣｂＬＨ＿γ−Ｉ＿Ｃｂ｜
Ｊ１＿Ｃｂ＝｜１ＣｂＨＨ＿γ−Ｊ＿Ｃｂ｜
ここで、不足した分である削減すべき符号量Ｊ１＿Ｃｂを、１ＣｂＨＨ以外のコンポーネント毎のサブバンドへ配分する必要がある。配分先のコンポーネント毎のサブバンドの順としては、高域からとした方がよい。これは、低域の符号量は削減しすぎてしまうと、急激な画質劣化をおこしてしまうためである。従って、例えば１ＣｂＨＨ，１ＣｂＬＨ，１ＣｂＨＬ，１ＣｒＨＨ，１ＣｒＬＨ，１ＣｒＨＬ，１ＹＨＨ，１ＹＬＨ，１ＹＨＬ，２ＣｂＨＨ，２ＣｂＬＨ，２ＣｂＨＬ，２ＣｒＨＨ，２ＣｒＬＨ，２ＣｒＨＬ，…の順に配分していく。
【０１３７】
但し、１ＣｂＨＨ，１ＣｂＬＨ，１ＣｂＨＬ，１ＣｒＨＨ，１ＣｒＬＨ，１ＣｒＨＬ，２ＣｂＨＨ，２ＣｂＬＨ，２ＣｂＨＬ，２ＣｒＨＨ，２ＣｒＬＨ，２ＣｒＨＬ，１ＹＨＨ，１ＹＬＨ，１ＹＨＬ，…のような順にしても良い。
【０１３８】
従って、１ＣｂＨＨ以外における最も高域のコンポーネント毎のサブバンドは１ＣｂＬＨであるため、例えばＪ１＿Ｃｂ＜Ｉ１＿Ｃｂであるとすると、１ＣｂＬＨに配分される削減すべき符号量は１ＣｂＬＨ＿γにＪ１＿Ｃｂを加算した符号量となる。
【０１３９】
よって、最終的に１ＣｂＨＨと１ＣｂＬＨの削減すべき符号量の配分は、以下のようになる。
１ＣｂＬＨ＿γ＝（Ｉ＿Ｃｂ・４／０．１２）／（α／β）＋Ｊ１＿Ｃｂ
１ＣｂＨＨ＿γ＝（Ｊ＿Ｃｂ・４／０．０９）／（α／β）−Ｊ１＿Ｃｂ
本実施例では、上記のような処理により求められた削減すべき符号量の配分に基づき、符号量削減を行う。
【０１４０】
以上のような処理を実行することにより、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分の符号量は、図１８から図２０に示すようになる。但し、図６から図８と同様に図１８から図２０において、１本の棒グラフは、全体が正規化された符号量を示し、棒グラフにおける白抜きの部分が削減分の符号量、又、棒グラフにおける黒塗りの部分が削減後の符号量を示している。
【０１４１】
以上のような構成とすることで、本実施例では、２つの削減方法を適宜、使い分けることが可能となり、急激な画質劣化を低減させることができるようになる。
【０１４２】
尚、例えばＪＰＥＧ２０００の様な、サブバンド毎の符号量をヘッダ情報として含む符号化方式では、一度得た符号から部分的に符号を破棄し、最終的な符号量を制御することは容易である。このため、復号化する際にこの符号量削減を行ってもよい。これによって、復号化時の処理速度が速くなり且つより画質を上げることができる。
【０１４３】
また、本実施例による画像符号化を実現するプログラムは、図１におけるＨＤＤ１３等に予め格納されており、必要に応じて読み出され、ＲＡＭ１２に作業領域が確保されてＣＰＵ１１において実行されるものである。
【０１４４】
また、このプログラムを、ＣＤ−ＲＯＭ（ＣＤ−Ｒ，ＣＤ−ＲＷ等を含む）やＤＶＤ−ＲＡＭ（ＤＣＤ−ＲＷ等を含む）やＭＯ等の持ち運び可能な記録媒体し、任意の端末に組み込めるようにするとよい。
〔他の実施例〕
また、上記した各実施例では、ロスレスのサブバンド全体のエントロピー符号化を行う際の形態について例を挙げて説明したが、本発明ではこれに限定されず、エントロピー符号化の前行程として量子化を含むよう構成することも可能である。但し、この場合の構成は、上記した各実施例より容易に導き出すことができるため、説明を省略する。
【０１４５】
更に、上記した各実施例は、本発明を好適に実施した形態の一例に過ぎず、本発明は、その主旨を逸脱しない限り、種々変形して実施することが可能なものである。
【０１４６】
【発明の効果】
以上、説明したように、請求項１記載の発明によれば、視覚特性を反映させながら、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置を提供することが可能となる。
【０１４７】
また、請求項２記載の発明によれば、圧縮率を保ちつつ、コンポーネント毎に視覚特性を反映することで、より原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置を提供することが可能となる。
【０１４８】
更に、請求項３記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、圧縮率によって符号量削減方法を変えることで、より画質劣化を低減させることが可能となる。
【０１４９】
更に、請求項４記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、急激な画質劣化を低減することが可能となる。
【０１５０】
更に、請求項５記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、よりバランスの取れた画質を得ることが可能となる。
【０１５１】
更に、請求項６記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化装置において、急激な画質劣化を低減させることが可能となる。
【０１５２】
更に、請求項７記載の発明によれば、視覚特性を反映させながら、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
【０１５３】
更に、請求項８記載の発明によれば、圧縮率を保ちつつ、コンポーネント毎に視覚特性を反映することで、より原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
【０１５４】
更に、請求項９記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、圧縮率によって符号量削減方法を変えることで、より画質劣化を低減させることが可能となる。
更に、請求項１０記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、急激な画質劣化を低減することが可能となる。
更に、請求項１１記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法を提供することが可能となる。
更に、請求項１２記載の発明によれば、原画像の符号量特性に基づいて精度良く符号量を削減する画像符号化方法において、急激な画質劣化を低減させることが可能となる。
【図面の簡単な説明】
【図１】 本発明の第１の実施例による画像符号化を実現する装置の構成を示すブロック図である。
【図２】 ウェーブレット変換により作成されるサブバンド構造を示す図である。
【図３】 サブバンド毎における知覚可能な量子誤差の最大値と周波数との関係を輝度Ｙ，色差Ｃｂ，色差Ｃｒ毎に示すグラフである。
【図４】 空間周波数に対するＶＴＦの関係をサブバンド毎に示すグラフである。
【図５】 本発明の第１の実施例における動作を示すフローチャートである。
【図６】 本発明の第１の実施例における輝度Ｙ成分の符号量を示すグラフである。
【図７】 本発明の第１の実施例における色差Ｃｒ成分の符号量を示すグラフである。
【図８】 本発明の第１の実施例における色差Ｃｂ成分の符号量を示すグラフである。
【図９】 本発明の第２の実施例における動作を示すフローチャートである。
【図１０】 本発明の第２の実施例における輝度Ｙ成分の符号量を示すグラフである。
【図１１】 本発明の第２の実施例における色差Ｃｒ成分の符号量を示すグラフである。
【図１２】 本発明の第２の実施例における色差Ｃｂ成分の符号量を示すグラフである。
【図１３】 本発明の第３の実施例における動作を示すフローチャートである。
【図１４】 本発明の第３の実施例における輝度Ｙ成分の符号量を示すグラフである。
【図１５】 本発明の第３の実施例における色差Ｃｒ成分の符号量を示すグラフである。
【図１６】 本発明の第３の実施例における色差Ｃｂ成分の符号量を示すグラフである。
【図１７】 本発明の第４の実施例における動作を示すフローチャートである。
【図１８】 本発明の第４の実施例における輝度Ｙ成分の符号量を示すグラフである。
【図１９】 本発明の第４の実施例における色差Ｃｒ成分の符号量を示すグラフである。
【図２０】 本発明の第４の実施例における色差Ｃｂ成分の符号量を示すグラフである。
【符号の説明】
１ データバス
１０ ＰＣ
１１、２１ ＣＰＵ
１２，２２ ＲＡＭ
１３ ＨＤＤ
２０ プリンタ
Ａ、Ａ’ 原画像
Ｂ、Ｂ’ 圧縮画像
Ｃ 伸張画像
Claims (14)
- 周波数領域に変換された画像データを符号化する画像符号化装置であって、
ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減手段を有し、
前記エントロピー符号化により得られた周波数領域毎の符号量に、視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴とする画像符号化装置。 - 周波数領域に変換された複数のコンポーネントからなる画像データを符号化する画像符号化装置であって、
ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減手段を有し、
前記エントロピー符号化により得られた周波数領域毎の符号量に対して、前記コンポーネント毎に視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴とする画像符号化装置。 - 前記符号量削減手段は、低圧縮率である場合と高圧縮率である場合とで符号量の削減を変えることを特徴とする請求項１又は２に記載の画像符号化装置。
- 前記符号量削減手段は、ある一定の圧縮率までは全域に渡って平均的に符号量を削減し、前記圧縮率以上からは高域から順に符号量を削減することを特徴とする請求項３に記載の画像符号化装置。
- 前記符号量削減手段は、所定の圧縮率以下である場合、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴とする請求項３に記載の画像符号化装置。
- 前記符号量削減手段は、所定の圧縮率以上である場合、当該圧縮率までは、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴とする請求項３に記載の画像符号化装置。
- 周波数領域に変換された画像データを符号化する画像符号化方法であって、
ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減工程を有し、
前記エントロピー符号化により得られた周波数領域毎の符号量に、視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴とする画像符号化方法。 - 周波数領域に変換された複数のコンポーネントからなる画像データを符号化する画像符号化方法であって、
ロスレスのエントロピー符号化により得られた前記画像データの周波数領域毎の符号量の分布に基づき、符号量を削減する符号量削減工程を有し、
前記エントロピー符号化により得られた周波数領域毎の符号量に対して、前記コンポーネント毎に視覚伝達関数の逆数を乗じることで得られる値に基づき、符号量を削減することを特徴とする画像符号化方法。 - 前記符号量削減工程は、低圧縮率である場合と高圧縮率である場合とで符号量の削減を変えることを特徴とする請求項７又は８に記載の画像符号化方法。
- 前記符号量削減工程は、ある一定の圧縮率までは全域に渡って平均的に符号量を削減し、前記圧縮率以上からは高域から順に符号量を削減することを特徴とする請求項９に記載の画像符号化方法。
- 前記符号量削減工程は、所定の圧縮率以下である場合、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴とする請求項９に記載の画像符号化方法。
- 前記符号量削減工程は、所定の圧縮率以上である場合、当該圧縮率までは、全域に渡って、前記符号量又は前記視覚特性に基づいた符号量の比と略同じ比率で符号量を削減することを特徴とする請求項９に記載の画像符号化方法。
- 請求項７乃至１２の何れか１項に記載の画像符号化方法を実行させるようにコンピュータを動作させることを特徴とする画像符号化プログラム。
- 請求項１３に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002024121A JP3771175B2 (ja) | 2002-01-31 | 2002-01-31 | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002024121A JP3771175B2 (ja) | 2002-01-31 | 2002-01-31 | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006007395A Division JP4067550B2 (ja) | 2006-01-16 | 2006-01-16 | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003230162A JP2003230162A (ja) | 2003-08-15 |
| JP2003230162A5 JP2003230162A5 (ja) | 2005-06-23 |
| JP3771175B2 true JP3771175B2 (ja) | 2006-04-26 |
Family
ID=27746651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002024121A Expired - Fee Related JP3771175B2 (ja) | 2002-01-31 | 2002-01-31 | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3771175B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4680112B2 (ja) | 2006-03-30 | 2011-05-11 | 三菱電機株式会社 | 画像符号化装置 |
| US7813564B2 (en) * | 2007-03-30 | 2010-10-12 | Eastman Kodak Company | Method for controlling the amount of compressed data |
-
2002
- 2002-01-31 JP JP2002024121A patent/JP3771175B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003230162A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7321695B2 (en) | Encoder rate control | |
| EP0888689B1 (en) | Data compression using hybrid lossless entropy encoding of run-length codes | |
| US7016545B1 (en) | Reversible embedded wavelet system implementation | |
| US5966465A (en) | Compression/decompression using reversible embedded wavelets | |
| US7751633B1 (en) | Method for compressing an image | |
| JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
| US9025899B2 (en) | Region-based image compression | |
| US20010031094A1 (en) | Image processing apparatus and method, and storage medium used therewith | |
| CN102165760A (zh) | 图像编码装置、数字静态相机、数字摄像机、摄像元件、打印机以及图像编码方法 | |
| US7206458B2 (en) | Method of compressing digital images acquired in CFA format | |
| Akyazi et al. | Learning-based image compression using convolutional autoencoder and wavelet decomposition | |
| JP4017112B2 (ja) | 符号化データ生成装置及び方法、プログラム並びに情報記録媒体 | |
| US20110091121A1 (en) | Coding apparatus and method | |
| KR100317792B1 (ko) | 가역임베디드웨이블릿을이용한데이터압축/복원장치및방법 | |
| JP3771175B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体 | |
| EP1322116A2 (en) | Image compression device, method for image compression, and electronic camera | |
| JP4067550B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像符号化プログラムを記録した記録媒体 | |
| US7327893B2 (en) | Method for compressing digital images | |
| JP4003628B2 (ja) | 画像符号化装置及び方法、並びにプログラム | |
| US20050207659A1 (en) | Image-processing apparatus, program, and recording medium | |
| JP4678814B2 (ja) | 画像処理方法及び装置 | |
| US8311354B2 (en) | DCT-based technique with rhombus scanning for image compression | |
| JP3907505B2 (ja) | ブロックトランケーション符号化装置及び方法 | |
| JP5482177B2 (ja) | 符号化装置、プログラム、記録媒体 | |
| Tanaka et al. | A new combination of 1D and 2D filter banks for effective multiresolution image representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041006 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060208 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140217 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |