JP3717858B2

JP3717858B2 - Image encoding apparatus, image encoding method, program, and computer-readable recording medium

Info

Publication number: JP3717858B2
Application number: JP2002059887A
Authority: JP
Inventors: 謙作蔭地; 尚史齋鹿; 圭介岩崎
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-03-06
Filing date: 2002-03-06
Publication date: 2005-11-16
Anticipated expiration: 2019-09-21
Also published as: JP2002335409A

Description

【０００１】
【発明の属する技術分野】
本発明は、画質劣化を抑えつつ、容量を削減することができる画像符号化装置及びその画像符号化方法に関するものである。
【０００２】
【従来の技術】
インターネットやデジタルカメラ等で、広く用いられている画質圧縮方式のほとんどが、画像のデータ容量を効率的に削減する不可逆圧縮方式である。不可逆圧縮方式により、ネットワークを介した画像データのやり取りや、画像データの蓄積等が容易になった。また、前記の不可逆画像圧縮方式には、たとえばＪＰＥＧ圧縮方式のように圧縮率を圧縮パラメータ設定によって、柔軟に調節することが可能な方式があり、画質を劣化させることによって圧縮率を高めたり、逆に圧縮率を下げることによって画質の劣化を抑えることが可能であるものがある。
【０００３】
また、圧縮パラメータを最適値に自動設定する画像圧縮装置として、たとえば特許第２８０７２２２号公報で開示されているものが挙げられる。ここで開示されている画像圧縮装置は入力画像である原画像と復元画像との間で減算して残差画像を作成し、この残差画像のデータより平均２乗誤差を計算し、これを画質評価値として圧縮パラメータを最適化するものであった。また、従来、表示端末等の特性を考慮せずに全画素領域を同じように圧縮するか、特開平８−２４２３７６号公報で開示されている画像処理装置のように表示端末等の特性を考慮に入れガンマ曲線を用いて表示端末等で詳細のわかりにくい画素領域のダイナミックレンジを拡大する補正をし、復号後の画質を向上させる技術があった。
【０００４】
また、画像を領域別に異なった画像圧縮方式を用いて符号化する画像符号化装置の例として、特開平６−２２５１６０号公報で開示されている画像データ圧縮装置が挙げられる。ここで開示されている画像データ圧縮装置は、入力画像データの所定領域内に含まれる色数の多さにより、画像圧縮方式を変えるものであり、所定領域内の色数が多ければその領域を可逆圧縮方式で圧縮すると圧縮データ容量が大きくなるため、その領域は、不可逆圧縮方式で圧縮し、逆に色数が少なければ可逆圧縮方式で圧縮するという技術を有していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記不可逆画像圧縮方式は、画質と圧縮率を圧縮パラメータにより非常に柔軟に調節可能であるが、前記圧縮方式性能を十分活用しきれていなかった。その主な原因に圧縮パラメータが同じ値であっても、原画像によって圧縮後の画質、圧縮率が大きく異なるため、圧縮パラメータから圧縮後の画質を推測することが困難であったことが挙げられる。また、従来、圧縮パラメータを自動設定する装置もあったが、平均２乗誤差や、ＳＮ比を評価値として用いているので、人間の視覚特性を十分考慮したものではなかった。したがって、ユーザが許容しうる画質の範囲内で最高の圧縮率を必要とする場合は圧縮パラメータは手動で設定しなければならず、また圧縮後の画質を肉眼で確認しながら圧縮パラメータを調節しなければならなかった。
【０００６】
本発明は、視覚上劣化していると感じる画素領域を抽出して、その歪みの度合いのみを画質評価に用いるか又は、ブロックを性質により分類しそれぞれ別の評価基準を置くことで、人間の視覚特性を反映した圧縮パラメータの自動設定を可能とすることを目的とする。特にブロック単位で画像圧縮を行うＪＰＥＧ圧縮方式等のＤＣＴ変換技術を用いた画像圧縮方式では、基本的にはブロック毎に独立して圧縮が行われており、ブロック間で圧縮後の画質に影響があることがない。
【０００７】
そこで、本発明では、圧縮時に用いられるブロック単位で歪みを計算することにより、ブロック単位で画質の優劣を判定する評価法を示しており、局所的な画質劣化を的確に検出する。また、ＤＣＴ変換技術を用いた画像圧縮方式で圧縮した画質を、従来用いられていた平均２乗誤差やＳＮ比を用いると、画素値のアクティビティが小さい画像に対して評価値が小さく、アクティビティが大きい画像に対しては、評価値が大きくなる傾向があった。
【０００８】
ＤＣＴ変換を用いた画像圧縮特有の歪みとして、ブロックノイズ（ブロックの周辺が不連続になるノイズ）とモスキートノイズ（急峻なエッジ部周辺に発生するノイズ）がよく知られているが、ブロックノイズは、画素値のアクティビティが小さい画像に生じるが、前述のとおり、平均２乗誤差やＳＮ比では評価値が小さくなり、ブロックノイズを正確に検出することが難しい。また、ブロックノイズは、平坦化された（ＡＣ成分が０になっている）時に視覚的に目立つ傾向がある。
【０００９】
Ｘ方向Ｙ方向のＡＣ成分が全て０になっているブロックは、ブロック内の全画素値が一致する。また、Ｘ方向の全てのＡＣ成分が０になっているブロックは、ブロック内の全ての行内で画素値が一致し、Ｙ方向の全てのＡＣ成分が０になっているブロックは、ブロック内の全ての列内で画素値が一致する。そこで、本発明の画像符号化装置では、圧縮後の画像のブロックのブロック内の画素値の性質によりブロックを分類し、分類したブロック毎のブロックノイズの生じ易さを考慮にいれて評価基準をそれぞれ設定することでブロックノイズが生じるブロックを検出することが出来る。
【００１０】
また、モスキートノイズが発生するブロックは、従来の最小２乗誤差やＳＮ比の評価値も大きくなるが、アクティビティが大きいブロックは、モスキートノイズが発生しなくてもこれらの評価値は大きくなる場合があり、正しくモスキートノイズを検出することが出来ない。モスキートノイズは、ブロック内の一部の急峻なエッジの影響が、周辺に現れる現象であり、モスキートノイズが発生したブロックは、ブロック内の各画素の歪みにバラツキが大きくなる。
【００１１】
本発明は、原画と圧縮画像との画素値の差のバラツキを計算することにより、モスキートノイズを正しく検出することを可能にしている。また、従来、特開平８−２４２３７６号公報で開示されている画像処理装置のように表示端末等の特性を考慮に入れガンマ曲線を用いて表示端末等で詳細のわかりにくい画素領域のダイナミックレンジを拡大する補正をし、復号後の画質を向上させる技術はあったが、表示端末等の特性により劣化が目立ちにくい低画素領域のダイナミックレンジを削減することにより画素値全域のダイナミックレンジを削減した後、符号化処理をし、画像復号化装置で、復号画素値全域のダイナミックレンジを戻す画像符号化装置および画像復号化装置はなかった。
【００１２】
本発明の画像符号化装置は、たとえば。図８（ａ）のように、画素値が低い領域のダイナミックレンジを削減することにより、画素値全域のダイナミックレンジを削減する変換をした後、符号化処理を施すことにより、圧縮率を大幅にあげることを目的とする。また、本発明の画像符号化装置に対応する画像復号化装置は、復号化処理後、復号画像の画素値全域のダイナミックレンジを符号化前の画像の画素値全域のダイナミックレンジと等しくなるようにダイナミックレンジを拡大するものであり、この画像復号化装置と組み合わせて使うことにより、視覚上の画質を落とさずに圧縮率を大幅に高めることを目的とする。
【００１３】
本発明の画像符号化装置は、複数の画像圧縮方式を組み合わせる方式であり、圧縮性能が高い画像圧縮方式に重点を置き、前述の視覚的に劣化が目立つモスキートノイズ、ブロックノイズを正確に検出できる評価手法を用いて、圧縮性能の高い画像圧縮方式で視覚的に設定した一定以上の画質が確保できる領域は、全て圧縮性能の高い画像圧縮方式で圧縮し、他の領域中で次に圧縮性能の高い画像圧縮方式で同様に画質が保つことの出来る領域を検出し、その画像圧縮方式で圧縮すると圧縮効率の高い方式から順に圧縮する領域を決定していき、視覚的に一定以上の画質を保ち、最高の圧縮率を得ることを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理手段と、前記画像符号化処理手段により作成された符号化データを復号化処理する画像復号化処理手段と、復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理手段と、前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理手段と、前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理手段と、領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理手段と、前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化手段と、前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化手段と、を有し、以下の特徴を備えた画像符号化装置を提供する。
【００１５】
本発明では、前記特徴歪み演算処理手段は、前記入力画像と前記復号画像との各画素値の差の分散に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理することを特徴とする画像符号化装置を提供する。
【００１６】
また、本発明では、前記特徴歪み演算処理手段は、前記入力画像と前記復号画像との各画素値の差と、前記各画素値の差の前記小領域内での平均値を求め、前記各画素値の差と前記平均値との差の絶対値の和に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理することを特徴とする画像符号化装置を提供する。
【００１７】
また、本発明では、前記領域分割処理手段は、前記小領域の画素値に関する性質をブロックのアクティビティまたは分散を基に平坦ブロックか否かに分類する手段を有し、前記小領域の特徴的な歪みを当該分類に応じて設定されている特徴歪みの閾値との比較に基づいて領域分割処理することを特徴とする画像符号化装置を提供する。
【００１８】
また、本発明では、前記小領域がブロック単位であり、前記分類する手段は、平坦ブロックを、全ての画像が一致している完全平坦ブロックと、完全平坦ブロック以外で全ての列内または全ての行内で画素値が一致しているブロックとに、さらに分類し、前記小領域を、全ての画像が一致している完全平坦ブロックと、完全平坦ブロック以外で全ての列内または全ての行内で画素値が一致しているブロックと、それら以外のブロックとに分類することを特徴とする画像符号化装置を提供する。
【００１９】
また、本発明は、入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、前記特徴歪み演算処理ステップは、前記入力画像と前記復号画像との各画素値の差の分散に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理することを特徴とする画像符号化方法を提供する。
【００２０】
また、本発明は、入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、前記特徴歪み演算処理ステップは、前記入力画像と前記復号画像との各画素値の差と、前記各画素値の差の前記小領域内での平均値を求め、前記各画素値の差と前記平均値との差の絶対値の和に基づいて前記小領域単位で前記特徴的な歪みの大きさを演算処理することを特徴とする画像符号化方法を提供する。
【００２１】
また、本発明は、入力画像を不可逆圧縮方式に基づいて画像符号化処理する画像符号化処理ステップと、前記画像符号化処理ステップにより作成された符号化データを復号化処理する画像復号化処理ステップと、復号画像と前記入力画像を小領域単位で比較し、特徴的な歪みを演算処理する特徴歪み演算処理ステップと、前記特徴的な歪みの大きさにより前記小領域単位で、前記特徴的な歪みの小さい第１領域と前記特徴的な歪みの大きい第２領域に領域分割処理して領域分割情報を表した領域分割画像を作成する領域分割処理ステップと、前記入力画像と前記領域分割画像を用いて第１領域画像および第２領域画像を作成処理する領域画像作成処理ステップと、領域分割画像を可逆圧縮方式に基づいて符号化処理し領域分割画像符号化データを作成する領域分割画像符号化処理ステップと、前記第１領域画像を前記不可逆圧縮方式に基づいて画像符号化し第１領域画像符号化データを作成する第１領域画像符号化ステップと、前記第２領域画像を要求する画質で画像符号化し第２領域画像符号化データを作成する第２領域画像符号化ステップと、を有し、前記領域分割処理ステップは、前記小領域の画素値に関する性質をブロックのアクティビティまたは分散を基に平坦ブロックか否かに分類し、前記小領域の特徴的な歪みを当該分類に応じて設定されている特徴歪みの閾値との比較に基づいて領域分割処理することを特徴とする画像符号化方法を提供する。
さらに、本発明は、コンピュータにこれら画像符号化方法をそれぞれ実行させるためのプログラム、およびこれら画像符号化方法をそれぞれ実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図１を用いて、以下で用いる画像のブロックと画素の表記法について説明する。画像０１０１はブロックに分割され、ブロックには左上から右下にかけて番号が付けられている。各ブロックは、ｍ画素×ｎ画素（ｍ，ｎは任意の自然数）であり、ブロック内の画素はブロック０１０２のように座標で表される。
【００２３】
また、図２を用いて、以下で用いる平坦ブロックを定義する。平坦ブロックとは、ブロック内で画素値の変化が小さく高周波成分が所定の閾値よりも少ないブロックのことであるとする。平坦ブロックは、ブロック内のたとえば画素値のアクティビティの大きさや、分散の大きさ等を用いて決定することができる。具体的には、数式１に示すようなブロック内の画素値のアクティビティａや、ブロック内の画素値の分散σ等を計算し、その値の大きさにより平坦ブロックかどうかを判定することができる。
【００２４】
【数１】

【００２５】
図２（ａ），（ｂ），（ｃ）はそれぞれブロックを表している。ブロックの小さな区切りは画素を表している。したがってブロックは８画素×８画素のブロックであることになるが、ｎ画素×ｍ画素のブロックであれば良い。（ｎ，ｍは自然数）また、ブロック内の各画素に付けられた模様は画素値を表している。
【００２６】
ブロック（ａ）は、横方向に隣り合う全ての画素値が一致している。ブロック（ｂ）は、縦方向に隣り合う全ての画素値が一致している。このように、縦方向、横方向の少なくとも一方向の隣り合う画素値が一致しているブロックを以下の説明で言う平坦ブロックの定義とする。また、平坦ブロックの中でもブロック（ｃ）のように、ブロック内の全画素値が一致しているブロックを特に完全平坦ブロックと呼ぶことにする。また、平坦ブロック、完全平坦ブロック以外のブロックを一般ブロックと呼ぶことにする。
【００２７】
（第一の実施の形態）図３は、本発明の第一の実施の形態の画像符号化装置の構成を示す図である。画像符号化装置０３０２は、入力画像バッファ０３０４、画像符号化処理部０３０５、符号化データバッファ０３０６、画像復号化処理部０３０７、復号画像バッファ０３０８、特徴画素抽出処理部０３０９、特徴画素データバッファ０３１０、特徴歪み演算処理部０３１１、符号化パラメータ制御部０３１２から構成されている。また、画像符号化装置０３０２は画像入力装置０３０１から画像データを受け取り、データ出力装置０３０３に符号化データを出力する。
【００２８】
入力画像バッファ０３０４は、画像入力装置０３０１から入力された入力画像データを格納する。画像符号化処理部０３０５は、入力画像バッファ０３０４から入力画像データを読み込み符号化データを出力する。符号化データバッファ０３０６は、画像符号化処理部０３０５から出力された符号化データを格納する。画像復号化処理部０３０７は、符号化データバッファ０３０６から符号化データを読み込み復号画像データを出力する。復号画像バッファ０３０８は、画像復号化処理部０３０７から出力された復号画像データを格納する。
【００２９】
特徴画素抽出処理部０３０９は、入力画像バッファ０３０４と復号画像バッファ０３０８からそれぞれ入力画像データと復号画像データを読み込み、特徴画素を抽出し、抽出した特徴画素データを出力する。特徴画素とは、歪みの計算に用いる画素のことである。特徴ブロックは、ブロック内の全画素が特徴画素であるブロックのことをいう。特徴画素データバッファ０３１０は、特徴画素抽出処理部０３０９から出力された特徴画素データを格納する。特徴歪み演算処理部０３１１は、特徴画素データバッファ０３１０から、特徴画素データを読み込み、特徴歪み演算を行い、特徴歪みデータを出力する
【００３０】
符号化パラメータ制御部０３１２は、特徴歪み演算処理部０３１１から出力された特徴歪みデータを受け取り、データ圧縮の度合いを決定するパラメータ値を決定する。入力画像バッファ０３０４、符号化データバッファ０３０６、復号画像バッファ０３０８、特徴画素データバッファ０３１０は、フラッシュメモリ、ハードディスク等のＲＡＭ（ランダムアクセスメモリ）によって、画像符号化処理部０３０５、画像復号化処理部０３０７、特徴画素抽出処理部０３０９、特徴歪み演算処理部０３１１および符号化パラメータ制御部０３１２は、たとえばそれぞれ独立した回路によって実現される。また、たとえばコンピュータ等の演算処理回路によって実現される仮想回路とされてもよい。画像符号化処理部０３０５と画像復号化処理部０３０７は、任意の小領域単位で処理を行い、かつデータ圧縮の度合いをパラメータで調節できる不可逆圧縮方式であればどのようなものでも良い。
【００３１】
以下、前記不可逆圧縮方式の一例であるＪＰＥＧ圧縮方式を用いて説明を行う。画像符号化装置０３０２の処理の流れを図４に示した。ＪＰＥＧ圧縮方式の量子化パラメータＱとその最大値Ｑmaxと最小値Ｑminの初期値と特徴歪みの度合いＳＮの閾値ＳＮthをステップＳ０４０２で設定する。ステップＳ０４０３で入力画像データをメモリに格納し、必要に応じて参照できるようにする。画像符号化処理部０３０５において、ステップＳ０４０４で、量子化パラメータＱを用いて入力画像データのＪＰＥＧ符号化を行い、ステップＳ０４０５で符号化データを復号化して得られる復号画像をステップＳ０４０６でメモリに格納し、必要に応じて参照できるようにする。
【００３２】
特徴画素抽出処理部０３０９において、ステップＳ０４０７で、入力画像で平坦ブロックになっていない一般ブロックを検索し、対応する復号画像が平坦ブロックになっていれば、そのブロック内の入力画像と復号画像の画素を特徴画素として抽出する。すなわち、圧縮により、一般ブロックから平坦ブロックに変化したブロックの画素を特徴画素として抽出している。特徴歪み演算処理部０３１１において、ステップＳ０４０８で、数式２で示すように抽出された特徴画素に対して、入力画像と復号画像との画素値の差の分散をブロック単位でそれぞれ計算しその最大値をそのブロックの特徴歪みの度合いＳＮとする。なお、数式２のＳＮiの代わりに数式３のＳＮiを用いても良い。
【００３３】
【数２】

【００３４】
【数３】

【００３５】
符号化パラメータ制御部０３１２において、ステップＳ０４０９でＳＮが設定した閾値ＳＮthより大きいかどうかを判定し、大きければステップＳ０４１０でＱmaxに量子化パラメータＱの値を、それ以外の場合はステップＳ０４１１でＱminにＱの値を代入し、Ｑの範囲を絞っていく。ステップＳ０４１２では、量子化パラメータＱの範囲が絞られたことによって収束したかどうか判定する。ＱmaxとＱminの差が２より小さいかどうかを判定し、小さくなければ収束していないとみなされステップＳ０４１３で量子化パラメータＱがＱminとＱmaxとの平均値に設定されステップＳ０４０４からステップＳ０４１２までの処理が再び行われ、小さければ量子化パラメータＱが収束したとみなされステップＳ０４１４でＱに最適値としてＱminが代入されステップＳ０４１５でＪＰＥＧ符号化が行われ出力符号化データがデータ出力装置０３０３に出力される。なお、量子化パラメータＱの最適値をサーチするのに、ステップＳ０４１２、ステップＳ０４１３、ステップＳ０４１４で、バイナリサーチを構成しているが、これは他のどのようなサーチ手法と置き換えても良い。
【００３６】
（第二の実施の形態）第二の実施の形態の画像符号化装置の構成は、第一の実施の形態の画像符号化装置と同様に図３で表されるため、構成図の説明は省略する。画像符号化装置０３０２の処理の流れを図５に示した。ＪＰＥＧ圧縮方式の量子化パラメータＱとその最大値Ｑmaxと最小値Ｑminの初期値と完全平坦ブロック、完全平坦ブロック以外の平坦ブロック、一般ブロックの特徴歪みの度合いをそれぞれＳＮ１、ＳＮ２、ＳＮ３とし、それぞれの閾値をＳＮ１th、ＳＮ２th、ＳＮ３thとして、ステップＳ０５０２で設定する。
【００３７】
ステップＳ０５０３で入力画像データをメモリに格納し、必要に応じて参照できるようにする。画像符号化処理部０３０５において、入力画像データをステップＳ０５０４で量子化パラメータＱを用いてＪＰＥＧ符号化を行い符号化データをステップＳ０５０５で復号化して得られる復号化画像をステップＳ０５０６でメモリに格納し、必要に応じて参照できるようにする。特徴画素抽出処理部０３０９において、ステップＳ０５０７で、復号画像の各ブロックを完全平坦ブロック、完全平坦ブロック以外の平坦ブロック、一般ブロックに分類し、ブロック内の入力画像と復号画像の画素を特徴画素として分類して抽出する。
【００３８】
特徴歪み演算処理部０３１１において、ステップＳ０５０８で、数式４で示すように完全平坦ブロックに分類されて抽出された特徴画素に対して、入力画像と復号画像との画素値の差の分散をブロック単位でそれぞれ計算しその最大値を完全平坦ブロックの特徴歪みの度合いＳＮ１とする。同様にして、完全平坦ブロック以外の平坦ブロックの特徴歪みの度合いＳＮ２と一般ブロックの特徴歪みの度合いＳＮ３を計算する。なお、数式４のＳＮ１iの代わりに数式５のＳＮ１iを用いても良い。
【００３９】
【数４】

【００４０】
【数５】

【００４１】
符号化パラメータ制御部０３１２において、ステップＳ０５０９、ステップＳ０５１０、ステップＳ０５１１で、それぞれＳＮ１、ＳＮ２、ＳＮ３が設定した閾値ＳＮ１th、ＳＮ２th、ＳＮ３thより大きいか判定し、すべて小さければ、ステップＳ０５１２でＱminにＱの値を、それ以外の場合はステップＳ０５１３でＱmaxにＱの値を代入し、Ｑの範囲をしぼっていく。ステップＳ０５１４では、量子化パラメータＱの範囲が絞られたことによって収束したかどうか判定をおこなっており、ＱmaxとＱminの差が２より小さいかどうかを判定し、小さくなければ収束していないとみなされ、ステップＳ０５１５で量子化パラメータＱがＱminとＱmaxとの平均値に設定されてステップＳ０５０４からステップＳ０５１４までの処理が再び行われ、小さければ量子化パラメータＱが収束したとみなされステップＳ０５１６でＱに最適値としてＱminが代入されステップＳ０５１７でＪＰＥＧ符号化が行われ出力符号化データがデータ出力装置０３０３に出力される。なお、量子化パラメータＱの最適値をサーチするのに、ステップＳ０５１４、ステップＳ０５１５、ステップＳ０５１６で、バイナリサーチを構成しているが、これは他のどのようなサーチ手法と置き換えても良い。
【００４２】
（第三の実施の形態）図６、図７はそれぞれ本発明による画像符号化装置と画像復号化装置の構成を示す図である。画像符号化装置０６０２は、入力画像バッファ０６０４、画素値変換テーブル作成部０６０５、画素値変換テーブルバッファ０６０６、画素値変換処理部０６０７、画素値変換画像バッファ０６０８、画像符号化処理部０６０９、符号化データバッファ０６１０から構成されており、画像入力装置０６０１から画像データを受け取り、データ出力装置０６０３に符号化データを出力する。また、画像復号化装置０７０２は入力データバッファ０７０４、画像復号化処理部０７０５、復号画像バッファ０７０６、画素値逆変換テーブル作成部０７０７、画素値逆変換テーブルバッファ０７０８、画素値逆変換処理部０７０９、画素値逆変換画像バッファ０７１０から構成されており、データ入力装置０７０１から符号化データを受け取り、画像出力装置０７０３に復元画像を出力する。
【００４３】
ここで、画像符号化装置０６０２内の各部の説明を行う。入力画像バッファ０６０４は、画像入力装置０６０１から入力された入力画像データを格納する。画素値変換テーブル作成部０６０５は、画素値変換テーブルデータ（図８及び図９で後述する）を作成し出力する。画素値変換テーブルバッファ０６０６は、画素値変換テーブル作成部０６０５から出力された画素値変換テーブルデータを格納する。
【００４４】
画素値変換処理部０６０７は、入力画像バッファ０６０４と画素値変換テーブルバッファ０６０６からそれぞれ入力画像データと画素値変換テーブルデータを読み込み入力画像の画素値変換を行い画素値変換画像データを出力する。画素値変換画像バッファ０６０８は、画素値変換処理部０６０７から出力された画素値変換画像データを格納する。画像符号化処理部０６０９は、画素値変換画像バッファ０６０８から画素値変換画像データを読み込み、符号化を行い符号化データを出力する。符号化データバッファ０６１０は画像符号化処理部０６０９から出力された符号化データを格納する。
【００４５】
ここで、画像復号化装置０７０２の各部について説明する。入力データバッファ０７０４は、データ入力装置０７０１から入力された入力符号化データを格納する。画像復号化処理部０７０５は、入力データバッファ０７０４から入力符号化データを読み込み復号し復号画像データを出力する。復号画像バッファ０７０６は、画像復号化処理部０７０５から出力された復号画像データを格納する。
【００４６】
画素値逆変換テーブル作成部０７０７は、画素値逆変換テーブルデータを作成し出力する。画素値逆変換テーブルバッファ０７０８は、画素値逆変換テーブル作成部０７０７から出力された画素値逆変換テーブルデータを格納する。画素値逆変換処理部０７０９は、復号画像バッファ０７０６と画素値逆変換テーブルバッファ０７０８からそれぞれ復号画像データと画素値逆変換テーブルデータを入力し画素値逆変換を行い画素値逆変換画像を出力する。画素値逆変換画像バッファ０７１０は、画素値逆変換処理部０７０９から出力された画素値逆変換画像データを格納する。
【００４７】
入力画像バッファ０６０４、画素値変換テーブルバッファ０６０６、画素値変換画像バッファ０６０８、符号化データバッファ０６１０、入力データバッファ０７０４、復号画像バッファ０７０６、画素値逆変換テーブルバッファ０７０８、画素値逆変換画像バッファ０７１０は、フラッシュメモリ、ハードディスク等のＲＡＭ（ランダムアクセスメモリ）によって、画素値変換テーブル作成部０６０５、画素値変換処理部０６０７、画像符号化処理部０６０９、画像復号化処理部０７０５、画素値逆変換テーブル作成部０７０７、画素値逆変換処理部０７０９は、たとえばそれぞれ独立した回路によって実現される。また、たとえばコンピュータ等の演算処理回路によって実現される仮想回路とされてもよい。
【００４８】
以下で用いられる画素値変換テーブルと画素値逆変換テーブルは、それぞれ画素値変換関数と画素値逆変換関数から作成される。画素値変換関数は、線形または非線形な関数であり、画素値逆変換関数は、基本的には画素値変換関数の逆関数（ｙ＝ｘに対して対象）である。画素値変換関数と画素値逆変換関数の組み合わせの一例を図８に示す。（ａ）は画素値変換関数、（ｂ）は画素値逆変換関数である。画素値変換関数（ａ）は、ガンマ曲線の傾きが１以下の領域（γ＜１）と傾き１の直線を組み合わせもので、表示端末等の特性を利用し低画素域のダイナミックレンジを効率的に減少させている。画素値逆変換関数（ｂ）は、画素値変換関数（ａ）の逆関数である。画素値変換関数（ａ）から図９の画素値変換テーブルが得られる。
【００４９】
画素値変換テーブルより全体の画素値域が０〜２５５から０〜１９１に削減されたのがわかる。画素値逆関数テーブルは、画素値変換テーブルの入力と出力を入れ替えたものになる。なお、画素値変換関数は任意の関数であり、対応する画素値逆変換関数は画素値変換関数の基本的には逆関数であるが、明るさ改善、ノイズ除去等の目的により逆関数にしなくても良い。画像符号化装置０６０２、画像復号化装置０７０２の処理の流れを図１０に示した。
【００５０】
まず、画像符号化装置０６０２の処理の流れを説明する。ステップＳ１００２で入力画像データをメモリに格納し、必要に応じて参照できるようにする。画素値変換テーブル作成部０６０５において、ステップＳ１００３で画素値変換テーブルを画素値変換関数から作成し、ステップＳ１００４で画素値変換テーブルデータをメモリに格納し、必要に応じて参照できるようにする。
【００５１】
次に画素値変換処理部０６０７において、入力画像データの画素を画素値変換テーブルデータによりステップＳ１００５で画素値変換を行い、画素値変換後の画素値変換画像をステップＳ１００６でメモリに格納する。画像符号化処理部０６０９において、ステップＳ１００７でメモリ内の画素値変換画像を読み込み、ＪＰＥＧ符号化し出力符号化データをデータ出力装置０６０３に出力する。
【００５２】
次に、画像復号化装置０７０２の処理の流れを説明する。データ入力装置０７０１からステップＳ１０１０で入力符号化データをメモリに格納する。画素値逆変換テーブル作成部０７０７において、ステップＳ１０１１で、画素値逆変換テーブルを作成し、ステップＳ１０１２で画素値逆変換テーブルメモリに格納する。画像復号化処理部０７０５においてステップＳ１０１３でＪＰＥＧ復号化を行い、ステップＳ１０１４で復号画像をメモリに格納する。次に、画素値逆変換処理部０７０９においてステップＳ１０１５で、メモリ内から復号画像と画素値逆変換テーブルを読み込み、画素値逆変換画像を復元画像として画像出力装置０７０３に出力する。
【００５３】
（第四の実施の形態）図１１、図１２は、本発明による画像符号化装置の構成を示す図である。入力画像バッファ１１０４は、入力画像バッファ１２０１と、領域分割画像符号化装置１１０６は、領域分割画像符号化装置１２０５と、領域１画像符号化装置１１０８は、領域１画像符号化装置１２０３と、領域２画像符号化装置１１１０は、領域２画像符号化装置１２０４と、それぞれ同一のバッファまたは装置を表している。
【００５４】
画像符号化装置１１０２は、画像入力装置１１０１から入力画像を受け取り、データ出力装置１１０３に接合符号化データを出力する。画像符号化装置１１０２は、入力画像バッファ１１０４（１２０１）、領域分割部１１０５、領域分割画像符号化装置１１０６（１２０５）、領域分割符号化データバッファ１１０７、領域１画像符号化装置１１０８（１２０３）、領域１符号化データバッファ１１０９、領域２画像符号化装置１１１０（１２０４）、領域２符号化データバッファ１１１１、符号化データ接合処理部１１１２、接合符号化データバッファ１１１３、から構成されている。
【００５５】
図１２は、領域分割部１１０５の構成を示している。図１１の領域分割部１１０５は、図１２では、領域分割部１２０２に相当する。領域分割部１１０５（１２０２）は、画像符号化処理部１２０６、符号化データバッファ１２０７、画像復号化処理部１２０８、復号画像バッファ１２０９、ブロック抽出処理部１２１０、抽出ブロックデータバッファ１２１１、特徴歪み演算処理部１２１２、領域分割処理部１２１３、領域分割画像バッファ１２１４、領域画像作成処理部１２１５、領域１画像バッファ１２１６、領域２画像バッファ１２１７から構成されている。
【００５６】
入力画像バッファ１１０４は、画像入力装置１１０１から入力された入力画像データを格納する。画像符号化処理部１２０６は、入力画像バッファ１１０４（１２０１）から入力画像データを受け取り、画像符号化を行い、符号化データを符号化データバッファ１２０７に書き込む。画像復号化処理部１２０８は、符号化データバッファ１２０７から符号化データを読み込み、復号を行い復号化画像を復号画像バッファ１２０９に書き込む。
【００５７】
ブロック抽出処理部１２１０は、入力画像バッファ１１０４（１２０１）から、入力画像データを復号画像バッファから復号画像データを読み込み、ブロック内画素を抽出し、抽出画素を抽出ブロックデータバッファ１２１１に書き込む。特徴歪み演算処理部１２１２は、抽出ブロックデータバッファ１２１１から抽出ブロックデータを読み込み、特徴歪み演算を行い、特徴歪みデータを出力する。領域分割処理部１２１３は、特徴歪みデータの大きさにより、領域分割を行い、領域分割画像データを領域分割画像バッファ１２１４に書き込む。領域画像作成処理部１２１５は、領域分割画像バッファ１２１４、入力画像バッファ１２０１からそれぞれ領域分割画像データと入力画像データを読み込み領域分割画像データにしたがって、領域１画像データ、領域２画像データを作成し、それぞれ領域１画像バッファ１２１６、領域２画像バッファ１２１７に書き込む。
【００５８】
領域分割画像符号化装置１１０６（１２０５）は、領域分割画像データを領域分割画像バッファ１２１４から読み込み符号化を行い、符号化データを領域分割画像符号化データとして領域分割符号化データバッファ１１０７に書き込む。領域１画像符号化装置１１０８（１２０３）は、領域１画像データを領域１画像バッファ１２１６から読み込み、符号化を行い、符号化データを領域１符号化データとして、領域１符号化データバッファ１１０９に書き込む。領域２画像符号化装置１１１０（１２０４）は、領域２画像データを領域２画像バッファ１２１７から読み込み、符号化を行い、符号化データを領域２符号化データとして、領域２符号化データバッファ１１１１に書き込む。
【００５９】
符号化データ接合処理部１１１２は、領域分割画像符号化データ、領域１符号化データ、領域２符号化データをそれぞれ、領域分割符号化データバッファ１１０７、領域１符号化データバッファ１１０９、領域２符号化データバッファ１１１１から読み込み、これら３つの符号化データを１つに接合し、接合符号化データを作り、接合符号化データバッファ１１１３に書き込み、データ出力装置１１０３に出力する。
【００６０】
図１３は、本発明による画像復号化装置の構成を示す図である。画像復号化装置１３０２は、入力データバッファ１３０４、符号化データ分離処理部１３０５、領域分割画像復号化装置１３０６、領域１画像復号化装置１３０８、領域２画像復号化装置１３１０、領域分割復号画像バッファ１３０７、領域１復号画像バッファ１３０９、領域２復号画像バッファ１３１１、復号画像データ接合処理部１３１２、接合復号画像バッファ１３１３から構成されており、データ入力装置１３０１から、符号化データを受け取り接合復号画像データを画像出力装置１３０３に出力する。
【００６１】
入力データバッファ１３０４は、データ入力装置１３０１から入力された入力データを格納する。符号化データ分離処理部１３０５は、入力データバッファ１３０４から、入力データを読み込み、入力データを、領域分割画像符号化データ、領域１画像符号化データ、領域２画像符号化データに分離し、それぞれ領域分割画像復号化装置１３０６、領域１画像復号化装置１３０８、領域２画像復号化装置１３１０に出力する。
【００６２】
領域分割画像復号化装置１３０６は、符号化データ分離処理部１３０５から、領域分割画像符号化データを受け取り、復号して得られた復号画像を領域分割復号画像として、領域分割復号画像バッファ１３０７に書き込む。領域１画像復号化装置１３０８は、符号化データ分離処理部１３０５から、領域１画像符号化データを受け取り、復号して得られた復号画像を領域１復号画像として、領域１復号画像バッファ１３０９に書き込む。領域２画像復号化装置１３１０は、符号化データ分離処理部１３０５から、領域２画像符号化データを受け取り、復号して得られた復号画像を領域２復号画像として、領域２復号画像バッファ１３１１に書き込む。
【００６３】
復号画像データ接合処理部１３１２は、領域分割復号画像バッファ１３０７、領域１復号画像バッファ１３０９、領域２復号画像バッファ１３１１から、それぞれ領域分割復号画像データ、領域１復号画像データ、領域２復号画像データを読み込み、それらを接合して接合復号画像データとして、接合復号画像バッファ１３１３に書き込み、画像出力装置１３０３に出力する。
【００６４】
入力画像バッファ１１０４（１２０１）、領域分割符号化データバッファ１１０７、領域１符号化データバッファ１１０９、領域２符号化データバッファ１１１１、接合符号化データバッファ１１１３、符号化データバッファ１２０７、復号画像バッファ１２０９、抽出ブロックデータバッファ１２１１、領域分割画像バッファ１２１４、領域１画像バッファ１２１６、領域２画像バッファ１２１７、入力データバッファ１３０４、領域分割復号画像バッファ１３０７、領域１復号画像バッファ１３０９、領域２復号画像バッファ１３１１、接合復号画像バッファ１３１３は、フラッシュメモリ、ハードディスク等のＲＡＭ（ランダムアクセスメモリ）によって、領域分割画像符号化装置１１０６（１２０５）、領域１画像符号化装置１１０８（１２０３）、領域２画像符号化装置１１１０（１２０４）、符号化データ接合処理部１１１２、画像符号化処理部１２０６、画像復号化処理部１２０８、ブロック抽出処理部１２１０、特徴歪み演算処理部１２１２、領域分割処理部１２１３、領域画像作成処理部１２１５、符号化データ分離処理部１３０５、領域分割画像復号化装置１３０６、領域１画像復号化装置１３０８、領域２画像復号化装置１３１０、復号画像データ接合処理部１３１２は、たとえばそれぞれ独立した回路によって実現される。また、たとえばコンピュータ等の演算処理回路によって実現される仮想回路とされてもよい。
【００６５】
領域画像作成処理部１２１５で行われる処理は、たとえば図１８に示すように入力画像１８０２の各ブロックを領域分割画像によりどの領域になるのか判断し、ブロックの番号順にブロックをコピーし領域１画像１８０１、領域２画像１８０３を作成する。復号画像データ接合処理部１３１２では、領域分割復号画像にしたがって、逆の作業を行えば良い。このように、領域分割画像は各領域画像の各ブロックが、入力画像のどのブロックに対応するのかわかる形式であれば画像以外も含めてどのようなものでもよい。
【００６６】
領域の分割数は、２となっているが制限はない。領域分割画像復号化装置１３０６、領域１画像復号化装置１３０８、領域２画像復号化装置１３１０は、それぞれ領域分割画像符号化データ、領域１符号化データ、領域２符号化データを復号できなければならない。領域１画像符号化装置１１０８と、画像符号化処理部１２０６の同一の画像符号化方式でなければならず、その画像符号化方式は、たとえば、ＪＰＥＧ圧縮方式のように小領域単位で処理を行うことが可能な不可逆圧縮方式であればどのようなものでも良い。
【００６７】
また、領域分割画像符号化装置１１０６は、可逆符号化方式であれば何を用いても良い。領域１以外の領域の画像符号化は、目的に合った画質を確保できるどのような符号化方式を用いても良い。符号化データ接合処理部１１１２で作成される接合符号化データは、分割符号化データ、各領域符号化データを１つにまとめたもので、接合符号化データは、元の分割符号化データ、各領域符号化データに分離できるだけの情報を含んでいればどのような形式でもよい、たとえば、図１７に示すように、ヘッダ部に元の各符号化データの容量、入力画像の縦横サイズの情報を持たせ、本体部は元の各符号化データを並べたもので良い。
【００６８】
領域１画像符号化装置１１０８、領域２画像符号化装置１１１０は、単に符号化に必要なパラメータをある値にして符号化を行うものでも良い。また、第一の実施の形態、第二の実施の形態で説明した画像符号化装置のように符号化に必要なパラメータを最適化して符号化を行うもの、第三の実施の形態で説明した画像符号化装置のように符号化前に画像処理を施すものなど、符号化以外にどのような特徴を持ったものでもよい。
【００６９】
以下、領域分割画像符号化装置１１０６、領域２画像符号化装置１１１０、領域分割画像復号化装置１３０６、領域２画像復号化装置１３１０は、ハフマン符号化方式を用い、領域１画像符号化装置１１０８は、第二の実施の形態で挙げたＪＰＥＧ圧縮方式を用いた画像符号化装置０３０２を用い、領域１画像復号化処理装置１３０８は、ＪＰＥＧ圧縮方式を用いた例で説明する。
【００７０】
画像符号化装置１１０２の処理の流れを図１４に示した。ＪＰＥＧ圧縮方式の量子化パラメータＱと完全平坦ブロック、平坦ブロック、一般ブロックの特徴歪みＳＮの閾値ＳＮ１th、ＳＮ２th、ＳＮ３thをステップＳ１４０２で設定する。画像入力装置１１０１から入力された画像をステップＳ１４０３で入力画像バッファ１１０４（１２０１）に格納する。
【００７１】
画像符号化処理部１２０６において、ステップＳ１４０４で量子化パラメータＱでＪＰＥＧを行い、画像復号化処理部１２０８において、ステップＳ１４０５でステップＳ１４０４で符号化したデータを復号化する。復号化された復号画像データは、ステップＳ１４０６で復号画像バッファ１２０９に格納される。ステップＳ１４０７で入力画像をブロック（８×８画素）に分けたときの縦横のブロック数すべてに対応する縦横の画素数のための領域分割画像用のメモリ領域を確保する。
【００７２】
ステップＳ１４０８の領域分割を行うが、その詳細な処理の流れを図１５に示した。ステップＳ１５０２で、ブロックの番号を示すｎに０を代入する。ブロック抽出処理部１２１０で、ステップＳ１５０３を行い、入力画像データと復号画像データのｎ番目のブロックを抽出して、抽出ブロックデータバッファ１２１１にブロックの画素値を格納する。特徴歪み演算処理部１２１２で、ステップＳ１５０４を行い、ｎ番目のブロックの数式６で表される特徴歪みＳＮを計算する。
【００７３】
【数６】

【００７４】
領域分割処理部１２１３では、まずステップＳ１５０５、Ｓ１５０７により、復号画像のｎ番目のブロックが完全平坦ブロック、完全平坦ブロック以外の平坦ブロック、一般ブロックにより分岐させ、Ｓ１５０６、Ｓ１５０８、Ｓ１５０９のいずれかで、ブロックの種類に応じた特徴歪みの閾値により評価され、閾値より小さければ、ＪＰＥＧ方式で符号化する領域１となり、ステップＳ１５１０により領域分割画像のｎ番目の画素値を０にする。閾値以上であれば、ハフマン符号化方式で符号化する領域２となり、ステップＳ１５１１により領域分割画像のｎ番目の画素値を１にして領域分割画像バッファ１２１４に書き込む。
【００７５】
ステップＳ１５１２は、ｎをインクリメントし次のブロックの番号に更新している。ステップＳ１５１３は、ブロックの番号ｎが全ブロック数Ｎとの大小を比較し、全てのブロックの評価が終わったかどうか判定している。ステップＳ１５０３からステップＳ１５１３までを繰り返し、全ブロックに対して領域分割が終了すると、領域画像作成処理部１２１５で、ステップＳ１４０９を行い、領域分割画像を用いて、図１８に示すように、領域１の入力画像のブロックを横一列に並べた領域１画像データと、領域２の入力画像のブロックを横一列に並べた領域２画像データを作成する。
【００７６】
領域１画像符号化装置１１０８において、ステップＳ１４１０で領域１画像データをＪＰＥＧ量子化パラメータを最適化して符号化し、符号化データを領域１符号化データとして、Ｓ１４１１で領域１符号化データバッファ１１０９に格納する。なお、領域１画像符号化装置１１０８は、第二の実施の形態で挙げた画像符号化装置０３０２なので、その処理であるステップＳ１４１０の細かい処理の流れは省略した。
【００７７】
次に、領域分割画像符号化装置１１０６と領域２画像符号化装置１１１０において、ステップＳ１４１２で、領域分割画像データおよび領域２画像データをハフマン符号化し、Ｓ１４１３で領域分割画像符号化データを領域分割符号化データバッファ１１０７に、領域２符号化データを領域２符号化データバッファ１１１１に格納する。符号化データ接合処理部１１１２において、ステップＳ１４１４で領域分割画像符号化データ、領域１符号化データ、領域２符号化データを図１７に示すような１つの接合符号化データに接合し、接合符号化データをデータ出力装置１１０３に出力する。
【００７８】
次に、画像復号化装置１３０２の処理の流れを図１６に示した。データ入力装置１３０１から入力された入力データをステップＳ１６０２で入力データバッファ１３０４に格納する。符号化データ分離処理部１３０５において、ステップＳ１６０３により、領域分割画像符号化データ、領域１画像符号化データ、領域２画像符号化データに分離する。領域分割画像復号化装置１３０６と領域２画像復号化装置１３１０において、ステップＳ１６０４のハフマン復号化を行いステップＳ１６０５で領域分割復号画像データを領域分割復号画像バッファ１３０７に、領域２復号画像データを領域２復号画像バッファ１３１１に格納する。
【００７９】
領域１画像復号化装置１３０８において、ステップＳ１６０６で領域１符号化データを復号し、復号された領域２復号画像をステップＳ１６０７で領域２復号画像データバッファに格納する。復号画像データ接合処理部１３１２において、ステップＳ１６０８で領域分割復号画像の画素値により、対応するブロックに領域１復号画像のブロックと領域２復号画像のブロックをコピーしていき、復号画像である接合復号画像データが作成し、画像出力装置１３０３に出力する。ステップＳ１６０９で終了する。なお、本発明は上記実施の形態に限定されるものではない。第三の実施の形態は他の実施の形態と組合せてもよい。
【００８０】
【発明の効果】
本発明の画像符号化装置は、不可逆画像圧縮方式の復号画像の画質評価指標として、復号画像で人間が劣化を感じやすい部分を抽出し解析することにより、復号画像の画質を的確に評価でき、視覚的に一定以上の画質で最高の圧縮率を得ることができる。さらに、ユーザは求める復号画像の画質の度合いを設定すれば、符号化パラメータを最適値に自動設定して求める画質内で最適な圧縮率を得ることができる。また、本発明の画像符号化装置に対応する画像復号化装置は、前記画像符号化装置と組み合わせて使うことにより、視覚上の画質を落とさずに圧縮率を大幅に高めることができる。
【図面の簡単な説明】
【図１】画像のブロックと画素の表記法を説明する図である。
【図２】平坦ブロックを説明する図である。
【図３】本発明の第一の実施の形態の画像符号化装置の構成を示す図である。
【図４】第一の実施の形態の画像符号化装置の処理の流れを示すフロー図である。
【図５】第二の実施の形態の画像符号化装置の処理の流れを示すフロー図である。
【図６】第三の実施の形態の画像符号化装置の構成を示す図である。
【図７】第三の実施の形態の画像復号化装置の構成を示す図である。
【図８】第三の実施の形態の画素値変換関数及び画素値逆変換関数を示す図である。
【図９】第三の実施の形態の画素値変換テーブルを示す図である。
【図１０】（ａ）は第三の実施の形態の画像符号化装置の処理の流れを示すフロー図である。（ｂ）は第三の実施の形態の画像復号化装置の処理の流れを示すフロー図である。
【図１１】第四の実施の形態の画像符号化装置の構成を示す図である。
【図１２】第四の実施の形態の領域分割部の詳細な構成を示す図である。
【図１３】第四の実施の形態の画像復号化装置の構成を示す図である。
【図１４】第四の実施の形態の画像符号化装置の処理の流れを示すフロー図である。
【図１５】第四の実施の形態の領域分割の詳細な処理の流れを示すフロー図である。
【図１６】第四の実施の形態の画像復号化装置の処理の流れを示すフロー図である。
【図１７】第四の実施の形態の接合符号化データの構成を示す図である。
【図１８】第四の実施の形態の領域画像作成処理部で行われる処理を説明する図である。
【符号の説明】
０３０２画像符号化装置
０３０４入力画像バッファ
０３０５画像符号化処理部
０３０６符号化データバッファ
０３０７画像復号化処理部
０３０８復号画像バッファ
０３０９特徴画素抽出処理部
０３１０特徴画素データバッファ
０３１１特徴歪み演算処理部
０３１２符号化パラメータ制御部
０６０２画像符号化装置
０６０４入力画像バッファ
０６０７画素値変換処理部
０６０８画素値変換画像バッファ
０６０９画像符号化処理部
０６１０符号化データバッファ
０７０４入力データバッファ
０７０５画像復号化処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding device and an image encoding method thereof capable of reducing capacity while suppressing image quality deterioration.
[0002]
[Prior art]
Most of the image quality compression methods widely used in the Internet and digital cameras are irreversible compression methods that efficiently reduce the image data capacity. The lossy compression method makes it easy to exchange image data over the network and store image data. In addition, the irreversible image compression method includes a method in which the compression rate can be flexibly adjusted by setting a compression parameter, for example, as in the JPEG compression method, and the compression rate can be increased by deteriorating the image quality. On the other hand, there is a technique that can suppress deterioration in image quality by lowering the compression rate.
[0003]
Further, as an image compression apparatus that automatically sets a compression parameter to an optimum value, for example, one disclosed in Japanese Patent No. 2807222 can be cited. The image compression apparatus disclosed here creates a residual image by subtracting between the original image and the restored image that are input images, calculates a mean square error from the data of this residual image, and calculates this. The compression parameter was optimized as the image quality evaluation value. Conventionally, all pixel regions are compressed in the same manner without considering the characteristics of the display terminal or the like, or the characteristics of the display terminal and the like are considered as in the image processing apparatus disclosed in Japanese Patent Laid-Open No. 8-242376. There is a technique for improving the image quality after decoding by performing correction for expanding the dynamic range of a pixel region whose details are difficult to understand on a display terminal or the like using a gamma curve.
[0004]
An example of an image encoding apparatus that encodes an image using a different image compression method for each region is an image data compression apparatus disclosed in JP-A-6-225160. The image data compression apparatus disclosed herein changes the image compression method depending on the number of colors included in a predetermined area of input image data. If the number of colors in the predetermined area is large, the area is determined. Since the compressed data capacity increases when the compression is performed by the lossless compression method, the area is compressed by the lossy compression method, and conversely, if the number of colors is small, the area is compressed by the lossless compression method.
[0005]
[Problems to be solved by the invention]
However, although the irreversible image compression method can adjust the image quality and the compression rate very flexibly by the compression parameter, the performance of the compression method has not been fully utilized. The main reason for this is that even if the compression parameter has the same value, the image quality after compression and the compression rate differ greatly depending on the original image, so it is difficult to estimate the image quality after compression from the compression parameter. . Conventionally, there is also an apparatus for automatically setting a compression parameter, but since a mean square error or an SN ratio is used as an evaluation value, human visual characteristics are not sufficiently taken into consideration. Therefore, if the highest compression rate within the range of image quality acceptable by the user is required, the compression parameter must be set manually, and the compression parameter is adjusted while visually checking the compressed image quality. I had to.
[0006]
The present invention extracts a pixel area that is visually deteriorated and uses only the degree of distortion for image quality evaluation, or classifies blocks according to their properties and sets different evaluation criteria for humans. The purpose is to enable automatic setting of compression parameters reflecting visual characteristics. In particular, in an image compression method using a DCT conversion technique such as a JPEG compression method that performs image compression in units of blocks, compression is performed independently for each block, which affects the image quality after compression between blocks. There is never.
[0007]
Therefore, the present invention shows an evaluation method for determining superiority or inferiority of image quality in units of blocks by calculating distortion in units of blocks used during compression, and accurately detects local image quality degradation. In addition, when the image quality compressed by the image compression method using the DCT conversion technique is used, the evaluation value is small for an image having a small pixel value activity, and the activity is low. For large images, the evaluation value tends to increase.
[0008]
As distortion peculiar to image compression using DCT transform, block noise (noise where the periphery of the block becomes discontinuous) and mosquito noise (noise generated around a steep edge) are well known. However, as described above, the evaluation value is small in terms of the mean square error and the SN ratio, and it is difficult to accurately detect block noise. Also, block noise tends to be visually noticeable when flattened (AC component is 0).
[0009]
In a block in which all AC components in the X direction and the Y direction are 0, all pixel values in the block match. In addition, a block in which all AC components in the X direction are 0 has the same pixel value in all rows in the block, and a block in which all AC components in the Y direction are 0 Pixel values match in all columns. Therefore, in the image coding apparatus of the present invention, blocks are classified according to the property of pixel values in the blocks of the compressed image block, and evaluation criteria are set in consideration of the likelihood of occurrence of block noise for each classified block. By setting each, it is possible to detect a block in which block noise occurs.
[0010]
In addition, the evaluation value of the conventional least square error and the S / N ratio increases in the block where mosquito noise occurs, but the evaluation value may increase in the block where the activity is large even if mosquito noise does not occur. Yes, mosquito noise cannot be detected correctly. Mosquito noise is a phenomenon in which the influence of a part of a steep edge in a block appears in the periphery, and in a block in which mosquito noise occurs, variation in distortion of each pixel in the block increases.
[0011]
The present invention makes it possible to correctly detect mosquito noise by calculating variations in pixel values between the original image and the compressed image. Conventionally, like the image processing apparatus disclosed in Japanese Patent Application Laid-Open No. 8-242376, taking into account the characteristics of the display terminal and the like, the gamma curve is used to reduce the dynamic range of the pixel region whose details are difficult to understand on the display terminal and the like. Although there was a technology to improve the image quality after decoding by performing enlargement correction, after reducing the dynamic range of the entire pixel value by reducing the dynamic range of the low pixel area where deterioration is not noticeable due to the characteristics of the display terminal etc. There was no image encoding device or image decoding device that performs encoding processing and returns the dynamic range of the entire decoded pixel value in the image decoding device.
[0012]
The image encoding apparatus of the present invention is, for example. As shown in FIG. 8 (a), after converting the dynamic range of the entire pixel value by reducing the dynamic range of the region where the pixel value is low, the compression rate is greatly increased by performing the encoding process. The purpose is to give. In addition, the image decoding apparatus corresponding to the image encoding apparatus of the present invention, after the decoding process, makes the dynamic range of the entire pixel value of the decoded image equal to the dynamic range of the entire pixel value of the image before encoding. The purpose of this is to expand the dynamic range. By using this in combination with this image decoding device, the purpose is to greatly increase the compression ratio without degrading the visual image quality.
[0013]
The image coding apparatus according to the present invention is a method that combines a plurality of image compression methods, and focuses on an image compression method with high compression performance, and can accurately detect mosquito noise and block noise that are visually noticeable. Using the evaluation method, all areas where the image quality higher than a certain level visually set by the image compression method with high compression performance can be secured are compressed with the image compression method with high compression performance, and the compression performance is the next in other regions. The area where the image quality can be maintained in the same way with a high-quality image compression method is detected, and by compressing with that image compression method, the area to be compressed is determined in order from the method with the highest compression efficiency, and visually higher than a certain image quality is determined. The goal is to keep and get the highest compression ratio.
[0014]
[Means for Solving the Problems]
The present invention includes an image encoding processing unit that performs an image encoding process on an input image based on an irreversible compression method, an image decoding processing unit that decodes encoded data created by the image encoding processing unit, Comparing the decoded image and the input image in units of small areas, characteristic distortion calculation processing means for calculating characteristic distortion, and the characteristic distortion of the characteristic distortion in units of the small area according to the size of the characteristic distortion Region division processing means for creating a region divided image representing region division information by performing region division processing on a small first region and a second region having a large characteristic distortion, and using the input image and the region divided image a region image creation processing unit that creates processing the first area image and the second area image region divided image encoding to create a coding process and the area dividing coded image data based on the region-divided image lossless compression method A management unit, a first region image encoding means for creating a first region image encoded data and image encoded based the first region image to the lossy compression method, with a quality requiring a second region image possess a second region image encoding means for creating a second region image coded data and image coding, and to provide an image encoding device with the following features.
[0015]
In the present invention, the characteristic distortion calculation processing means calculates the characteristic distortion in units of the small regions based on a variance of pixel value differences between the input image and the decoded image. An image encoding device is provided.
[0016]
In the present invention , the characteristic distortion calculation processing means obtains a difference between the pixel values of the input image and the decoded image and an average value of the differences between the pixel values in the small region, There is provided an image encoding device characterized in that the characteristic distortion magnitude is calculated for each small region based on a sum of absolute values of differences between pixel values and the average value.
[0017]
In the present invention, the area division processing unit includes means for classifying the property relating to the pixel value of the small area as a flat block based on block activity or variance, and is characterized by the characteristic of the small area There is provided an image encoding device characterized by performing region segmentation processing based on a comparison of distortion with a threshold value of characteristic distortion set according to the classification .
[0018]
Further, in the present invention , the small area is a block unit, and the classifying means includes a flat block, a complete flat block in which all images match, and all columns or all other than the complete flat block. Are further classified into blocks having the same pixel value in each row, and the small area is divided into a completely flat block in which all the images match, in all columns or in all rows except for the completely flat block. Provided is an image encoding device characterized by classifying a block with matching pixel values and a block other than the blocks.
[0019]
In addition, the present invention provides an image encoding processing step for performing image encoding processing on an input image based on an irreversible compression method, and an image decoding processing step for decoding encoded data created by the image encoding processing step. Comparing the decoded image and the input image in units of small regions, and performing a characteristic distortion calculation processing step for calculating characteristic distortion, and in the small region unit according to the characteristic distortion magnitude, An area division processing step of creating an area division image representing area division information by performing area division processing on the first area having a small distortion and the second area having a large characteristic distortion, and the input image and the area division image are A region image creation processing step for creating and processing the first region image and the second region image, and the region-divided image is encoded based on the lossless compression method to perform region-divided image encoded data. An area division image encoding processing step for generating the first area image, an image encoding process for generating the first area image encoded data by encoding the first area image based on the lossy compression method, and the second area image encoding step. A second region image encoding step that encodes the region image with an image quality that requires the region image to generate second region image encoded data, and the feature distortion calculation processing step includes: There is provided an image encoding method characterized in that the characteristic distortion magnitude is arithmetically processed in units of the small regions based on variances of differences between pixel values.
[0020]
In addition, the present invention provides an image encoding processing step for performing image encoding processing on an input image based on an irreversible compression method, and an image decoding processing step for decoding encoded data created by the image encoding processing step. Comparing the decoded image and the input image in units of small regions, and performing a characteristic distortion calculation processing step for calculating characteristic distortion, and in the small region unit according to the characteristic distortion magnitude , An area division processing step of creating an area division image representing area division information by performing area division processing on the first area having a small distortion and the second area having a large characteristic distortion, and the input image and the area division image are the first area image and the area image generation processing step of creating process and the second area image encoding processing based on the region-divided image on the reversible compression method Segmentation image coding data by using And the region-divided image encoding processing steps of creating a first region image encoding step of creating a first region image encoded data and image encoded based the first region image to the lossy compression method, the first A second region image encoding step that encodes the image with a required image quality and generates second region image encoded data, and the feature distortion calculation processing step includes the input image and the decoded image. The difference between the pixel values and the average value of the difference between the pixel values in the small area are obtained, and the small value is calculated based on the sum of the absolute values of the differences between the pixel values and the average value. Provided is an image encoding method characterized in that the characteristic distortion magnitude is calculated on a region basis.
[0021]
In addition, the present invention provides an image encoding processing step for performing image encoding processing on an input image based on an irreversible compression method, and an image decoding processing step for decoding encoded data created by the image encoding processing step. Comparing the decoded image and the input image in units of small regions, and performing a characteristic distortion calculation processing step for calculating characteristic distortion, and in the small region unit according to the characteristic distortion magnitude, An area division processing step of creating an area division image representing area division information by performing area division processing on the first area having a small distortion and the second area having a large characteristic distortion, and the input image and the area division image are A region image creation processing step for creating and processing the first region image and the second region image, and the region-divided image is encoded based on the lossless compression method to perform region-divided image encoded data. An area division image encoding processing step for generating the first area image, an image encoding process for generating the first area image encoded data by encoding the first area image based on the lossy compression method, and the second area image encoding step. A second region image encoding step that encodes an image with an image quality that requires the region image and creates second region image encoded data, and the region division processing step blocks a property related to the pixel value of the small region And classifying the characteristic distortion of the small area based on a comparison with a threshold value of characteristic distortion set according to the classification. A featured image encoding method is provided.
Furthermore, the present invention provides a program for causing a computer to execute each of these image encoding methods, and a computer-readable recording medium storing a program for causing each of these image encoding methods to be executed.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
In the following, an embodiment of the present invention will be described with reference to FIG. 1 for notation of image blocks and pixels used in the following. The image 0101 is divided into blocks, and the blocks are numbered from the upper left to the lower right. Each block is m pixels × n pixels (m and n are arbitrary natural numbers), and the pixels in the block are represented by coordinates like a block 0102.
[0023]
Moreover, the flat block used below is defined using FIG. A flat block is a block in which a change in pixel value is small and a high-frequency component is less than a predetermined threshold in the block. The flat block can be determined by using, for example, the magnitude of the pixel value activity in the block, the magnitude of the variance, and the like. Specifically, the pixel value activity a in the block as shown in Formula 1, the variance σ of the pixel value in the block, and the like are calculated, and it can be determined whether the block is a flat block or not based on the magnitude of the value. .
[0024]
[Expression 1]

[0025]
2A, 2B, and 2C each represent a block. Small block breaks represent pixels. Therefore, the block is a block of 8 pixels × 8 pixels, but may be a block of n pixels × m pixels. (N and m are natural numbers) The pattern given to each pixel in the block represents a pixel value.
[0026]
In the block (a), all pixel values adjacent in the horizontal direction match. In the block (b), all the pixel values adjacent in the vertical direction match. In this way, a block in which adjacent pixel values in at least one direction in the vertical direction and the horizontal direction match is defined as a flat block in the following description. Further, among the flat blocks, a block in which all pixel values in the block are identical, such as the block (c), is particularly referred to as a complete flat block. A block other than the flat block and the completely flat block is called a general block.
[0027]
(First Embodiment) FIG. 3 is a diagram showing the configuration of an image coding apparatus according to the first embodiment of the present invention. The image encoding device 0302 includes an input image buffer 0304, an image encoding processing unit 0305, an encoded data buffer 0306, an image decoding processing unit 0307, a decoded image buffer 0308, a feature pixel extraction processing unit 0309, a feature pixel data buffer 0310, A feature distortion calculation processing unit 0311 and an encoding parameter control unit 0312 are included. The image encoding device 0302 receives image data from the image input device 0301 and outputs the encoded data to the data output device 0303.
[0028]
The input image buffer 0304 stores the input image data input from the image input device 0301. The image encoding processing unit 0305 reads input image data from the input image buffer 0304 and outputs encoded data. The encoded data buffer 0306 stores the encoded data output from the image encoding processing unit 0305. The image decoding processing unit 0307 reads encoded data from the encoded data buffer 0306 and outputs decoded image data. The decoded image buffer 0308 stores the decoded image data output from the image decoding processing unit 0307.
[0029]
The feature pixel extraction processing unit 0309 reads input image data and decoded image data from the input image buffer 0304 and the decoded image buffer 0308, extracts feature pixels, and outputs the extracted feature pixel data. A characteristic pixel is a pixel used for calculation of distortion. A feature block refers to a block in which all pixels in the block are feature pixels. The feature pixel data buffer 0310 stores the feature pixel data output from the feature pixel extraction processing unit 0309. The feature distortion calculation processing unit 0311 reads the feature pixel data from the feature pixel data buffer 0310, performs the feature distortion calculation, and outputs the feature distortion data.
The encoding parameter control unit 0312 receives the feature distortion data output from the feature distortion calculation processing unit 0311, and determines a parameter value that determines the degree of data compression. The input image buffer 0304, the encoded data buffer 0306, the decoded image buffer 0308, and the feature pixel data buffer 0310 are composed of an image encoding processing unit 0305 and an image decoding processing unit 0307 by a RAM (random access memory) such as a flash memory and a hard disk. The feature pixel extraction processing unit 0309, the feature distortion calculation processing unit 0311, and the encoding parameter control unit 0312 are realized by, for example, independent circuits. Further, the virtual circuit may be realized by an arithmetic processing circuit such as a computer. The image encoding processing unit 0305 and the image decoding processing unit 0307 may be any irreversible compression method that performs processing in units of arbitrary small regions and can adjust the degree of data compression with parameters.
[0031]
Hereinafter, description will be made using a JPEG compression method which is an example of the lossy compression method. The processing flow of the image encoding device 0302 is shown in FIG. In step S0402, the quantization parameter Q of the JPEG compression method, the initial value of the maximum value Qmax and the minimum value Qmin, and the threshold value SNth of the feature distortion degree SN are set. In step S0403, the input image data is stored in the memory so that it can be referred to as necessary. In step S0404, the image encoding processing unit 0305 performs JPEG encoding of the input image data using the quantization parameter Q, and stores the decoded image obtained by decoding the encoded data in step S0405 in the memory in step S0406. And be able to refer to it as necessary.
[0032]
In step S0407, the feature pixel extraction processing unit 0309 searches for a general block that is not a flat block in the input image. If the corresponding decoded image is a flat block, the input image and the decoded image in the block are searched. Pixels are extracted as feature pixels. That is, the pixel of the block which changed from the general block to the flat block by the compression is extracted as the feature pixel. In step S 0408, the feature distortion calculation processing unit 0311 calculates the variance of the difference between the pixel values of the input image and the decoded image for each of the feature pixels extracted as shown in Equation 2, and calculates the maximum value. Is a feature distortion degree SN of the block. Note that SNi in Expression 3 may be used instead of SNi in Expression 2.
[0033]
[Expression 2]

[0034]
[Equation 3]

[0035]
In the encoding parameter control unit 0312, it is determined whether or not SN is larger than the threshold value SNth set in step S0409. If it is larger, the value of the quantization parameter Q is set to Qmax in step S0410. Substituting the value of Q and narrowing the range of Q. In step S0412, it is determined whether the quantization parameter Q has converged due to the narrowed range of the quantization parameter Q. It is determined whether or not the difference between Qmax and Qmin is smaller than 2. If the difference is not smaller, it is regarded that the convergence has not occurred. In step S0413, the quantization parameter Q is set to the average value of Qmin and Qmax, and steps S0404 to S0412 are performed. The process is performed again, and if it is smaller, it is considered that the quantization parameter Q has converged. In step S0414, Qmin is substituted for Q as an optimum value, JPEG encoding is performed in step S0415, and output encoded data is output to the data output device 0303. Is done. In order to search for the optimum value of the quantization parameter Q, a binary search is configured in steps S0412, S0413, and S0414. However, this may be replaced with any other search method.
[0036]
(Second Embodiment) The configuration of the image coding apparatus according to the second embodiment is shown in FIG. 3 similarly to the image coding apparatus according to the first embodiment. Omitted. The processing flow of the image encoding device 0302 is shown in FIG. The initial values of the quantization parameter Q of the JPEG compression method, the maximum value Qmax and the minimum value Qmin, and the degree of feature distortion of the complete flat block, the flat block other than the complete flat block, and the general block are SN1, SN2, and SN3, respectively. Are set in step S0502 as SN1th, SN2th, and SN3th.
[0037]
In step S0503, the input image data is stored in the memory so that it can be referred to as necessary. In the image encoding processing unit 0305, the input image data is JPEG encoded using the quantization parameter Q in step S0504, and the decoded image obtained by decoding the encoded data in step S0505 is stored in the memory in step S0506. , So that you can refer to it if necessary. In step S0507, the feature pixel extraction processing unit 0309 classifies each block of the decoded image into a complete flat block, a flat block other than the complete flat block, and a general block, and uses the input image and decoded image pixels in the block as feature pixels. Categorize and extract.
[0038]
In the feature distortion calculation processing unit 0311, in step S 0508, the variance of the difference between the pixel values of the input image and the decoded image is calculated in block units for the feature pixels classified and extracted as complete flat blocks as shown in Equation 4. And the maximum value thereof is set as the characteristic distortion degree SN1 of the completely flat block. Similarly, the characteristic distortion degree SN2 of the flat block other than the complete flat block and the characteristic distortion degree SN3 of the general block are calculated. Note that SN1i in Expression 5 may be used instead of SN1i in Expression 4.
[0039]
[Expression 4]

[0040]
[Equation 5]

[0041]
In step S0509, step S0510, and step S0511, the encoding parameter control unit 0312 determines whether SN1, SN2, and SN3 are larger than the set threshold values SN1th, SN2th, and SN3th, respectively. In other cases, the value of Q is substituted into Qmax in step S0513 to narrow the range of Q. In step S0514, it is determined whether or not the convergence has been achieved by narrowing the range of the quantization parameter Q, and it is determined whether or not the difference between Qmax and Qmin is smaller than 2. In step S0515, the quantization parameter Q is set to the average value of Qmin and Qmax, and the processing from step S0504 to step S0514 is performed again. If it is smaller, it is considered that the quantization parameter Q has converged. Qmin is substituted as an optimum value, JPEG encoding is performed in step S0517, and output encoded data is output to the data output device 0303. In order to search for the optimum value of the quantization parameter Q, a binary search is configured in steps S0514, S0515, and S0516, but this may be replaced with any other search method.
[0042]
(Third Embodiment) FIGS. 6 and 7 are diagrams showing the configuration of an image encoding device and an image decoding device according to the present invention, respectively. The image encoding device 0602 includes an input image buffer 0604, a pixel value conversion table creation unit 0605, a pixel value conversion table buffer 0606, a pixel value conversion processing unit 0607, a pixel value conversion image buffer 0608, an image encoding processing unit 0609, an encoding The data buffer 0610 is configured to receive image data from the image input device 0601 and output encoded data to the data output device 0603. The image decoding device 0702 includes an input data buffer 0704, an image decoding processing unit 0705, a decoded image buffer 0706, a pixel value reverse conversion table creation unit 0707, a pixel value reverse conversion table buffer 0708, a pixel value reverse conversion processing unit 0709, The pixel value reverse conversion image buffer 0710 is configured to receive encoded data from the data input device 0701 and output a restored image to the image output device 0703.
[0043]
Here, each unit in the image encoding device 0602 will be described. The input image buffer 0604 stores input image data input from the image input device 0601. The pixel value conversion table creation unit 0605 creates and outputs pixel value conversion table data (described later in FIGS. 8 and 9). The pixel value conversion table buffer 0606 stores the pixel value conversion table data output from the pixel value conversion table creation unit 0605.
[0044]
The pixel value conversion processing unit 0607 reads input image data and pixel value conversion table data from the input image buffer 0604 and the pixel value conversion table buffer 0606, respectively, performs pixel value conversion of the input image, and outputs pixel value converted image data. The pixel value converted image buffer 0608 stores the pixel value converted image data output from the pixel value conversion processing unit 0607. The image encoding processing unit 0609 reads pixel value converted image data from the pixel value converted image buffer 0608, performs encoding, and outputs encoded data. The encoded data buffer 0610 stores the encoded data output from the image encoding processing unit 0609.
[0045]
Here, each unit of the image decoding device 0702 will be described. The input data buffer 0704 stores input encoded data input from the data input device 0701. The image decoding processing unit 0705 reads input encoded data from the input data buffer 0704, decodes it, and outputs decoded image data. The decoded image buffer 0706 stores the decoded image data output from the image decoding processing unit 0705.
[0046]
The pixel value reverse conversion table creation unit 0707 creates and outputs pixel value reverse conversion table data. The pixel value reverse conversion table buffer 0708 stores the pixel value reverse conversion table data output from the pixel value reverse conversion table creation unit 0707. The pixel value reverse conversion processing unit 0709 receives the decoded image data and the pixel value reverse conversion table data from the decoded image buffer 0706 and the pixel value reverse conversion table buffer 0708, respectively, performs pixel value reverse conversion, and outputs a pixel value reverse conversion image. . The pixel value reverse conversion image buffer 0710 stores the pixel value reverse conversion image data output from the pixel value reverse conversion processing unit 0709.
[0047]
Input image buffer 0604, pixel value conversion table buffer 0606, pixel value conversion image buffer 0608, encoded data buffer 0610, input data buffer 0704, decoded image buffer 0706, pixel value reverse conversion table buffer 0708, pixel value reverse conversion image buffer 0710 Is a pixel value conversion table creation unit 0605, a pixel value conversion processing unit 0607, an image encoding processing unit 0609, an image decoding processing unit 0705, and a pixel value reverse conversion table by a RAM (random access memory) such as a flash memory or a hard disk. The creation unit 0707 and the pixel value inverse conversion processing unit 0709 are realized by, for example, independent circuits. Further, the virtual circuit may be realized by an arithmetic processing circuit such as a computer.
[0048]
The pixel value conversion table and the pixel value reverse conversion table used below are created from the pixel value conversion function and the pixel value reverse conversion function, respectively. The pixel value conversion function is a linear or non-linear function, and the pixel value inverse conversion function is basically an inverse function of the pixel value conversion function (target for y = x). An example of a combination of a pixel value conversion function and a pixel value inverse conversion function is shown in FIG. (A) is a pixel value conversion function, and (b) is a pixel value inverse conversion function. The pixel value conversion function (a) is a combination of an area where the slope of the gamma curve is 1 or less (γ <1) and a straight line of the slope 1 and uses the characteristics of the display terminal or the like to efficiently reduce the dynamic range of the low pixel area. It is reduced to. The pixel value inverse conversion function (b) is an inverse function of the pixel value conversion function (a). The pixel value conversion table of FIG. 9 is obtained from the pixel value conversion function (a).
[0049]
It can be seen from the pixel value conversion table that the entire pixel value range has been reduced from 0 to 255 to 0 to 191. The pixel value inverse function table is obtained by switching the input and output of the pixel value conversion table. Note that the pixel value conversion function is an arbitrary function, and the corresponding pixel value inverse conversion function is basically an inverse function of the pixel value conversion function. However, the pixel value conversion function is not changed to an inverse function for purposes such as brightness improvement and noise removal. May be. The processing flow of the image encoding device 0602 and the image decoding device 0702 is shown in FIG.
[0050]
First, the processing flow of the image encoding device 0602 will be described. In step S1002, the input image data is stored in the memory so that it can be referred to as necessary. In the pixel value conversion table creation unit 0605, a pixel value conversion table is created from the pixel value conversion function in step S1003, and the pixel value conversion table data is stored in the memory in step S1004 so that it can be referred to as necessary.
[0051]
Next, the pixel value conversion processing unit 0607 performs pixel value conversion on the pixels of the input image data based on the pixel value conversion table data in step S1005, and stores the pixel value converted image after the pixel value conversion in the memory in step S1006. In step S1007, the image encoding processing unit 0609 reads the pixel value converted image in the memory, performs JPEG encoding, and outputs the output encoded data to the data output device 0603.
[0052]
Next, a processing flow of the image decoding device 0702 will be described. In step S1010, the input encoded data is stored in the memory from the data input device 0701. The pixel value reverse conversion table creation unit 0707 creates a pixel value reverse conversion table in step S1011 and stores it in the pixel value reverse conversion table memory in step S1012. The image decoding processing unit 0705 performs JPEG decoding in step S1013, and stores the decoded image in the memory in step S1014. Next, in step S1015, the pixel value reverse conversion processing unit 0709 reads the decoded image and the pixel value reverse conversion table from the memory, and outputs the pixel value reverse conversion image to the image output device 0703 as a restored image.
[0053]
(Fourth Embodiment) FIGS. 11 and 12 are diagrams showing the configuration of an image coding apparatus according to the present invention. The input image buffer 1104 is an input image buffer 1201, the region-divided image coding device 1106 is a region-divided image coding device 1205, the region 1 image coding device 1108 is a region 1 image coding device 1203, and a region 2 The image encoding device 1110 represents the same buffer or device as the area 2 image encoding device 1204, respectively.
[0054]
The image encoding device 1102 receives an input image from the image input device 1101 and outputs joint encoded data to the data output device 1103. The image encoding device 1102 includes an input image buffer 1104 (1201), a region dividing unit 1105, a region divided image encoding device 1106 (1205), a region division encoded data buffer 1107, a region 1 image encoding device 1108 (1203), The region 1 encoded data buffer 1109, the region 2 image encoding device 1110 (1204), the region 2 encoded data buffer 1111, the encoded data concatenation processing unit 1112, and the concatenated encoded data buffer 1113 are configured.
[0055]
FIG. 12 shows the configuration of the area dividing unit 1105. The area dividing unit 1105 in FIG. 11 corresponds to the area dividing unit 1202 in FIG. The area dividing unit 1105 (1202) includes an image encoding processing unit 1206, an encoded data buffer 1207, an image decoding processing unit 1208, a decoded image buffer 1209, a block extraction processing unit 1210, an extracted block data buffer 1211, and a feature distortion calculation process. A section 1212, an area division processing section 1213, an area division image buffer 1214, an area image creation processing section 1215, an area 1 image buffer 1216, and an area 2 image buffer 1217.
[0056]
The input image buffer 1104 stores input image data input from the image input device 1101. The image encoding processing unit 1206 receives input image data from the input image buffer 1104 (1201), performs image encoding, and writes the encoded data in the encoded data buffer 1207. The image decoding processing unit 1208 reads the encoded data from the encoded data buffer 1207, performs decoding, and writes the decoded image in the decoded image buffer 1209.
[0057]
The block extraction processing unit 1210 reads the input image data from the input image buffer 1104 (1201), reads the decoded image data from the decoded image buffer, extracts the pixels in the block, and writes the extracted pixels to the extracted block data buffer 1211. The feature distortion calculation processing unit 1212 reads the extracted block data from the extracted block data buffer 1211, performs the feature distortion calculation, and outputs the feature distortion data. The area division processing unit 1213 performs area division according to the size of the feature distortion data, and writes the area division image data in the area division image buffer 1214. The area image creation processing unit 1215 reads area divided image data and input image data from the area divided image buffer 1214 and the input image buffer 1201, respectively, and creates area 1 image data and area 2 image data according to the area divided image data. Write to the area 1 image buffer 1216 and the area 2 image buffer 1217, respectively.
[0058]
The area division image encoding device 1106 (1205) reads and encodes the area division image data from the area division image buffer 1214, and writes the encoded data into the area division encoded data buffer 1107 as area division image encoded data. The area 1 image encoding device 1108 (1203) reads the area 1 image data from the area 1 image buffer 1216, performs encoding, and writes the encoded data as area 1 encoded data in the area 1 encoded data buffer 1109. . The area 2 image encoding device 1110 (1204) reads area 2 image data from the area 2 image buffer 1217, performs encoding, and writes the encoded data as area 2 encoded data in the area 2 encoded data buffer 1111. .
[0059]
Encoded data joining processing unit 1112, the region-divided image coded data, area 1 encoded data, a region 2 encoded data respectively, realm divided coded data buffer 1107, region 1 encoded data buffer 1109, region 2 code The data is read from the encoded data buffer 1111, these three encoded data are combined into one to generate combined encoded data, written to the combined encoded data buffer 1113, and output to the data output device 1103.
[0060]
FIG. 13 is a diagram showing a configuration of an image decoding apparatus according to the present invention. The image decoding apparatus 1302 includes an input data buffer 1304, an encoded data separation processing unit 1305, an area division image decoding apparatus 1306, an area 1 image decoding apparatus 1308, an area 2 image decoding apparatus 1310, and an area division decoded image buffer 1307. , A region 1 decoded image buffer 1309, a region 2 decoded image buffer 1311, a decoded image data joint processing unit 1312, and a joint decoded image buffer 1313. The encoded data is received from the data input device 1301, and the joint decoded image data is received. The image is output to the image output device 1303.
[0061]
The input data buffer 1304 stores input data input from the data input device 1301. The encoded data separation processing unit 1305 reads the input data from the input data buffer 1304, separates the input data into area divided image encoded data, area 1 image encoded data, and area 2 image encoded data. The divided image decoding apparatus 1306, the area 1 image decoding apparatus 1308, and the area 2 image decoding apparatus 1310 are output.
[0062]
The region-divided image decoding apparatus 1306 receives the region-divided image encoded data from the encoded data separation processing unit 1305 and writes the decoded image obtained by decoding into the region-divided decoded image buffer 1307 as a region-divided decoded image. . The region 1 image decoding apparatus 1308 receives the region 1 image encoded data from the encoded data separation processing unit 1305, and writes the decoded image obtained by decoding into the region 1 decoded image buffer 1309 as the region 1 decoded image. . The region 2 image decoding device 1310 receives region 2 image encoded data from the encoded data separation processing unit 1305, and writes the decoded image obtained by decoding into the region 2 decoded image buffer 1311 as a region 2 decoded image. .
[0063]
The decoded image data joint processing unit 1312 receives region divided decoded image data, region 1 decoded image data, and region 2 decoded image data from the region divided decoded image buffer 1307, the region 1 decoded image buffer 1309, and the region 2 decoded image buffer 1311, respectively. They are read, joined, written into the joint decoded image buffer 1313 as joint decoded image data, and output to the image output device 1303.
[0064]
Input image buffer 1104 (1201), region division encoded data buffer 1107, region 1 encoded data buffer 1109, region 2 encoded data buffer 1111, joint encoded data buffer 1113, encoded data buffer 1207, decoded image buffer 1209, Extraction block data buffer 1211, region divided image buffer 1214, region 1 image buffer 1216, region 2 image buffer 1217, input data buffer 1304, region divided decoded image buffer 1307, region 1 decoded image buffer 1309, region 2 decoded image buffer 1311, The joint decoded image buffer 1313 is composed of a RAM (Random Access Memory) such as a flash memory and a hard disk, and the region division image encoding device 1106 (1205) and the region 1 image encoding device 110. (1203), region 2 image encoding device 1110 (1204), encoded data concatenation processing unit 1112, image encoding processing unit 1206, image decoding processing unit 1208, block extraction processing unit 1210, feature distortion calculation processing unit 1212, Region division processing unit 1213, region image creation processing unit 1215, encoded data separation processing unit 1305, region division image decoding device 1306, region 1 image decoding device 1308, region 2 image decoding device 1310, decoded image data joining processing The unit 1312 is realized by, for example, independent circuits. Further, the virtual circuit may be realized by an arithmetic processing circuit such as a computer.
[0065]
For example, as shown in FIG. 18, the processing performed by the region image creation processing unit 1215 determines which region of each block of the input image 1802 is a region-divided image, and copies the blocks in the order of the block number to region 1 image 1801. A region 2 image 1803 is created. The decoded image data joint processing unit 1312 may perform the reverse operation according to the region-division decoded image. As described above, the region-divided image may be any image including a non-image as long as each block of each region image corresponds to which block of the input image.
[0066]
The number of area divisions is 2, but there is no limit. The region division image decoding device 1306, the region 1 image decoding device 1308, and the region 2 image decoding device 1310 must be able to decode the region division image encoded data, the region 1 encoded data, and the region 2 encoded data, respectively. . The region 1 image encoding device 1108 and the image encoding processing unit 1206 must have the same image encoding method, and the image encoding method performs processing in units of small regions such as the JPEG compression method. Any irreversible compression method can be used.
[0067]
Also, the region-divided image encoding device 1106 may use any lossless encoding method. Any coding method that can ensure image quality suitable for the purpose may be used for image coding in regions other than region 1. The joint encoded data created by the encoded data joint processing unit 1112 is a combination of the divided encoded data and each region encoded data. The joint encoded data includes the original divided encoded data, Any format may be used as long as the region-encoded data includes information that can be separated. For example, as shown in FIG. 17, information on the capacity of each original encoded data and the length and width size of the input image is stored in the header portion. The main body may be the original encoded data arranged side by side.
[0068]
The region 1 image encoding device 1108 and the region 2 image encoding device 1110 may simply perform encoding with a parameter required for encoding as a certain value. In addition, as in the image encoding apparatus described in the first embodiment and the second embodiment, the encoding is performed by optimizing the parameters necessary for encoding, as described in the third embodiment. A device having any feature other than encoding, such as an image encoding apparatus that performs image processing before encoding, may be used.
[0069]
Hereinafter, the region division image encoding device 1106, the region 2 image encoding device 1110, the region division image decoding device 1306, and the region 2 image decoding device 1310 use the Huffman encoding method, and the region 1 image encoding device 1108 is The image encoding device 0302 using the JPEG compression method described in the second embodiment is used, and the region 1 image decoding processing device 1308 is described using an example using the JPEG compression method.
[0070]
The processing flow of the image encoding device 1102 is shown in FIG. In step S1402, the quantization parameter Q of the JPEG compression method and the threshold values SN1th, SN2th, and SN3th of the feature distortion SN of the completely flat block, flat block, and general block are set. In step S1403, the image input from the image input device 1101 is stored in the input image buffer 1104 (1201).
[0071]
The image encoding processing unit 1206 performs JPEG with the quantization parameter Q in step S1404, and the image decoding processing unit 1208 decodes the data encoded in step S1404 in step S1405. The decoded image data is stored in the decoded image buffer 1209 in step S1406. In step S1407, an area-divided image memory area is secured for the number of vertical and horizontal pixels corresponding to all the vertical and horizontal block numbers when the input image is divided into blocks (8 × 8 pixels).
[0072]
The area division of step S1408 is performed, and the detailed processing flow is shown in FIG. In step S1502, 0 is substituted for n indicating the block number. The block extraction processing unit 1210 performs step S1503, extracts the nth block of the input image data and the decoded image data, and stores the pixel value of the block in the extraction block data buffer 1211. The feature distortion calculation processing unit 1212 performs step S1504 to calculate the feature distortion SN represented by Expression 6 of the nth block.
[0073]
[Formula 6]

[0074]
In the area division processing unit 1213, first, in steps S1505 and S1507, the n-th block of the decoded image is branched by a complete flat block, a flat block other than the complete flat block, and a general block, and in any of S1506, S1508, and S1509, If it is evaluated by the threshold value of the characteristic distortion corresponding to the block type and is smaller than the threshold value, it becomes the area 1 to be encoded by the JPEG method, and the nth pixel value of the area divided image is set to 0 in step S1510. If it is equal to or greater than the threshold, the region 2 is encoded by the Huffman encoding method, and the n-th pixel value of the region-divided image is set to 1 and written to the region-divided image buffer 1214 in step S1511.
[0075]
In step S1512, n is incremented and updated to the next block number. In step S1513, the block number n is compared with the total number N of blocks, and it is determined whether or not the evaluation of all the blocks has been completed. When Step S1503 to Step S1513 are repeated and the region division is completed for all blocks, the region image creation processing unit 1215 performs Step S1409, and using the region divided image, as shown in FIG. Region 1 image data in which blocks of input images are arranged in a horizontal row and region 2 image data in which blocks of input images in region 2 are arranged in a horizontal row are created.
[0076]
In the region 1 image encoding device 1108, the region 1 image data is encoded by optimizing the JPEG quantization parameter in step S1410, and the encoded data is stored as region 1 encoded data in the region 1 encoded data buffer 1109 in step S1411. To do. Since the region 1 image encoding device 1108 is the image encoding device 0302 described in the second embodiment, the detailed processing flow in step S1410, which is the processing, is omitted.
[0077]
Next, in region segmented image encoding device 1106 and region 2 image encoding device 1110, region segmented image data and region 2 image data are Huffman encoded in step S1412, and region segmented image encoded data is segmented in step S1413. The area 2 encoded data is stored in the area 2 encoded data buffer 1111 in the area data buffer 1107. In step S1414, the encoded data joint processing unit 1112 joins the region-divided image encoded data, region 1 encoded data, and region 2 encoded data to one joint encoded data as shown in FIG. Data is output to the data output device 1103.
[0078]
Next, the processing flow of the image decoding apparatus 1302 is shown in FIG. In step S1602, the input data input from the data input device 1301 is stored in the input data buffer 1304. In step S1603, the encoded data separation processing unit 1305 separates the encoded data into region-divided image encoded data, region 1 image encoded data, and region 2 image encoded data. In the region division image decoding device 1306 and the region 2 image decoding device 1310, the Huffman decoding in step S1604 is performed, and in step S1605, the region division decoded image data is stored in the region division decoded image buffer 1307, and the region 2 decoded image data is stored in the region 2. Store in the decoded image buffer 1311.
[0079]
In the region 1 image decoding apparatus 1308, the region 1 encoded data is decoded in step S1606, and the decoded region 2 decoded image is stored in the region 2 decoded image data buffer in step S1607. In step S <b> 1608, the decoded image data joint processing unit 1312 copies the block of the region 1 decoded image and the block of the region 2 decoded image to the corresponding block based on the pixel value of the region divided decoded image, and performs joint decoding that is a decoded image. Image data is created and output to the image output device 1303. The process ends in step S1609. The present invention is not limited to the above embodiment. The third embodiment may be combined with other embodiments.
[0080]
【The invention's effect】
The image encoding apparatus of the present invention can accurately evaluate the image quality of the decoded image by extracting and analyzing a portion of the decoded image that is likely to be deteriorated by humans, as an image quality evaluation index of the irreversible image compression method. The highest compression ratio can be obtained with a visual quality that is above a certain level. Furthermore, if the user sets the degree of image quality of the decoded image to be obtained, the optimum compression rate can be obtained within the image quality to be obtained by automatically setting the encoding parameter to the optimum value. Further, the image decoding apparatus corresponding to the image encoding apparatus of the present invention can be used in combination with the image encoding apparatus, so that the compression rate can be greatly increased without degrading the visual image quality.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a notation method of image blocks and pixels.
FIG. 2 is a diagram illustrating a flat block.
FIG. 3 is a diagram showing a configuration of an image encoding device according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing a process flow of the image encoding device according to the first embodiment;
FIG. 5 is a flowchart showing a processing flow of the image coding apparatus according to the second embodiment.
FIG. 6 is a diagram illustrating a configuration of an image encoding device according to a third embodiment.
FIG. 7 is a diagram illustrating a configuration of an image decoding apparatus according to a third embodiment.
FIG. 8 is a diagram illustrating a pixel value conversion function and a pixel value inverse conversion function according to the third embodiment.
FIG. 9 is a diagram illustrating a pixel value conversion table according to the third embodiment.
FIG. 10A is a flowchart showing a process flow of the image coding apparatus according to the third embodiment; (B) is a flowchart which shows the flow of a process of the image decoding apparatus of 3rd embodiment.
FIG. 11 is a diagram illustrating a configuration of an image encoding device according to a fourth embodiment.
FIG. 12 is a diagram illustrating a detailed configuration of an area dividing unit according to a fourth embodiment.
FIG. 13 is a diagram illustrating a configuration of an image decoding apparatus according to a fourth embodiment.
FIG. 14 is a flowchart showing the flow of processing of the image coding apparatus according to the fourth embodiment.
FIG. 15 is a flowchart showing a detailed processing flow of area division according to the fourth embodiment;
FIG. 16 is a flowchart showing a processing flow of the image decoding apparatus according to the fourth embodiment;
FIG. 17 is a diagram illustrating a configuration of joint encoded data according to the fourth embodiment;
FIG. 18 is a diagram illustrating processing performed by a region image creation processing unit according to the fourth embodiment.
[Explanation of symbols]
0302 Image coding apparatus 0304 Input image buffer 0305 Image coding processing unit 0306 Encoded data buffer 0307 Image decoding processing unit 0308 Decoded image buffer 0309 Feature pixel extraction processing unit 0310 Feature pixel data buffer 0311 Feature distortion calculation processing unit 0312 Encoding Parameter control unit 0602 Image encoding device 0604 Input image buffer 0607 Pixel value conversion processing unit 0608 Pixel value conversion image buffer 0609 Image encoding processing unit 0610 Encoded data buffer 0704 Input data buffer 0705 Image decoding processing unit

Claims

Image encoding processing means for encoding an input image based on an irreversible compression method;
Image decoding processing means for decoding the encoded data created by the image encoding processing means;
Comparing the decoded image with the input image in units of small regions, and calculating characteristic distortion calculation processing means for calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. Region dividing processing means for creating an image;
Area image creation processing means for creating a first area image and a second area image using the input image and the area divided image;
A region-divided image encoding processing unit that encodes the region-divided image based on a lossless compression method and generates region-divided image encoded data;
A first region image encoding means for creating a first region image encoded data and image encoded on the basis of the lossy compression method the first region image,
A second region image encoding means for encoding the second region image with a required image quality and generating second region image encoded data ,
The characteristic distortion calculation processing means calculates the characteristic distortion in units of the small regions based on variances of pixel value differences between the input image and the decoded image. An image encoding device.

Image encoding processing means for encoding an input image based on an irreversible compression method;
Image decoding processing means for decoding the encoded data created by the image encoding processing means;
Comparing the decoded image with the input image in units of small regions, and calculating characteristic distortion calculation processing means for calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. Region dividing processing means for creating an image;
Area image creation processing means for creating a first area image and a second area image using the input image and the area divided image;
A region-divided image encoding processing unit that encodes the region-divided image based on a lossless compression method and generates region-divided image encoded data;
First area image encoding means for encoding the first area image based on the lossy compression method and creating first area image encoded data;
A second region image encoding means for encoding the second region image with a required image quality and generating second region image encoded data,
The feature distortion calculation processing means calculates a difference between the pixel values of the input image and the decoded image, and an average value of the difference between the pixel values within the small region, and calculates the difference between the pixel values and the difference between the pixel values. Based on the sum of absolute values of the difference from the average value, the characteristic distortion magnitude is calculated for each small area unit.
An image encoding apparatus characterized by that .

Image encoding processing means for encoding an input image based on an irreversible compression method;
Image decoding processing means for decoding the encoded data created by the image encoding processing means;
Comparing the decoded image with the input image in units of small regions, and calculating characteristic distortion calculation processing means for calculating characteristic distortion;
A region segmentation information is obtained by performing region segmentation processing into the first region having a small characteristic distortion and the second region having a large characteristic strain in units of the small region according to the magnitude of the characteristic strain. Area division processing means for creating a split image;
Area image creation processing means for creating a first area image and a second area image using the input image and the area divided image;
A region-divided image encoding processing unit that encodes the region-divided image based on a lossless compression method and generates region-divided image encoded data;
First area image encoding means for encoding the first area image based on the lossy compression method and creating first area image encoded data;
A second region image encoding means for encoding the second region image with a required image quality and generating second region image encoded data,
The area division processing means has means for classifying the property related to the pixel value of the small area as a flat block based on block activity or variance, and the characteristic distortion of the small area is determined according to the classification. Region segmentation based on the comparison with the feature distortion threshold
An image encoding apparatus characterized by that .

The small area is a block unit, and the means for classifying includes a flat block, a completely flat block in which all images match, and a pixel value in all columns or all rows except for the complete flat block. The image coding apparatus according to claim 3 , wherein the image coding apparatus is further classified into blocks that match each other .

Coded data joining processing means for combining the region-divided image encoded data, the first region image encoded data, and the second region image encoded data into one encoded data is further provided. The image encoding device according to claim 1 .

An image encoding processing step for encoding an input image based on an irreversible compression method;
An image decoding process step for decoding the encoded data created by the image encoding process step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. An area division processing step for creating an image;
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
An area division image encoding processing step for encoding an area division image based on a lossless compression method to generate area division image encoded data;
A first region image encoding step of encoding the first region image based on the lossy compression method and creating first region image encoded data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
In the feature distortion calculation processing step, the characteristic distortion magnitude is calculated in units of the small regions based on a variance of differences in pixel values between the input image and the decoded image.
An image encoding method characterized by the above.

An image encoding processing step for encoding an input image based on an irreversible compression method;
An image decoding process step for decoding the encoded data created by the image encoding process step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
The first region with the small characteristic distortion is obtained in units of the small area according to the characteristic distortion. An area division processing step of creating an area division image representing area division information by performing area division processing on the area and the second area having a large characteristic distortion;
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
An area division image encoding processing step for encoding an area division image based on a lossless compression method to generate area division image encoded data;
A first region image encoding step of encoding the first region image based on the lossy compression method and creating first region image encoded data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
The characteristic distortion calculation processing step calculates a difference between the pixel values of the input image and the decoded image and an average value of the differences between the pixel values within the small region, and calculates the difference between the pixel values and the difference between the pixel values. Based on the sum of absolute values of the difference from the average value, the characteristic distortion magnitude is calculated for each small area unit.
An image encoding method characterized by the above.

An image encoding processing step for encoding an input image based on an irreversible compression method;
An image decoding process step for decoding the encoded data created by the image encoding process step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. An area division processing step for creating an image;
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
An area division image encoding processing step for encoding an area division image based on a lossless compression method to generate area division image encoded data;
A first region image encoding step of encoding the first region image based on the lossy compression method and creating first region image encoded data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
The region division processing step classifies the property relating to the pixel value of the small region into whether it is a flat block based on block activity or variance, and the characteristic distortion of the small region is set according to the classification. Region segmentation based on comparison with threshold of feature distortion
An image encoding method characterized by the above.

On the computer,
An image encoding process step for encoding an input image based on an irreversible compression method;
An image decoding processing step for decoding the encoded data created by the image encoding processing step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. Region division processing step for creating an image,
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
A region-divided image encoding processing step for encoding the region-divided image based on a lossless compression method to generate region-divided image encoded data;
The first area image is encoded based on the lossy compression method and the first area image encoding data is decoded. A first region image encoding step for generating data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
And execute
In the feature distortion calculation processing step, the characteristic distortion magnitude is calculated in units of the small regions based on a variance of pixel value differences between the input image and the decoded image.
A program for running

On the computer,
An image encoding process step for encoding an input image based on an irreversible compression method;
An image decoding processing step for decoding the encoded data created by the image encoding processing step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. Region division processing step for creating an image,
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
A region-divided image encoding processing step for encoding the region-divided image based on a lossless compression method to generate region-divided image encoded data;
A first region image encoding step of encoding the first region image based on the lossy compression method and creating first region image encoded data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
And execute
In the characteristic distortion calculation processing step, a difference between the pixel values of the input image and the decoded image and an average value of the difference between the pixel values in the small region are obtained, and the difference between the pixel values and the Computing the characteristic distortion magnitude in units of the small area based on the sum of absolute values of the difference from the average value
A program for running

On the computer,
An image encoding process step for encoding an input image based on an irreversible compression method;
An image decoding processing step for decoding the encoded data created by the image encoding processing step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. Region division processing step for creating an image,
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
A region-divided image encoding processing step for encoding the region-divided image based on a lossless compression method to generate region-divided image encoded data;
A first region image encoding step of encoding the first region image based on the lossy compression method and creating first region image encoded data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
And execute
In the region division processing step, the property related to the pixel value of the small region is classified as a flat block based on block activity or variance, and the characteristic distortion of the small region is set according to the classification. A program for executing region division processing based on a comparison with a threshold value of feature distortion.

On the computer,
An image encoding process step for encoding an input image based on an irreversible compression method;
An image decoding processing step for decoding the encoded data created by the image encoding processing step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. Region division processing step for creating an image,
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
A region-divided image encoding processing step for encoding the region-divided image based on a lossless compression method to generate region-divided image encoded data;
A first region image encoding step of encoding the first region image based on the lossy compression method and creating first region image encoded data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
And execute
In the feature distortion calculation processing step, the characteristic distortion magnitude is calculated in units of the small regions based on a variance of pixel value differences between the input image and the decoded image.
The computer-readable recording medium which recorded the program for performing this.

On the computer,
An image encoding process step for encoding an input image based on an irreversible compression method;
An image decoding processing step for decoding the encoded data created by the image encoding processing step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the size of the characteristic distortion. Region division processing step for creating an image,
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
A region-divided image encoding processing step for encoding the region-divided image based on a lossless compression method to generate region-divided image encoded data;
A first region image encoding step of encoding the first region image based on the lossy compression method and creating first region image encoded data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
And execute
In the characteristic distortion calculation processing step, a difference between the pixel values of the input image and the decoded image and an average value of the difference between the pixel values in the small region are obtained, and the difference between the pixel values and the Computing the characteristic distortion magnitude in units of the small area based on the sum of absolute values of the difference from the average value
The computer-readable recording medium which recorded the program for performing this.

On the computer,
An image encoding process step for encoding an input image based on an irreversible compression method;
An image decoding processing step for decoding the encoded data created by the image encoding processing step;
A characteristic distortion calculation processing step of comparing the decoded image and the input image in units of small regions and calculating characteristic distortion;
Region division representing region division information by performing region division processing into the first region having a small characteristic distortion and the second region having a large characteristic distortion in units of the small region according to the magnitude of the characteristic distortion. Region division processing step for creating an image,
A region image creation processing step of creating a first region image and a second region image using the input image and the region divided image;
A region-divided image encoding processing step for encoding the region-divided image based on a lossless compression method to generate region-divided image encoded data;
A first region image encoding step of encoding the first region image based on the lossy compression method and creating first region image encoded data;
A second region image encoding step of encoding the second region image with a required image quality and generating second region image encoded data;
And execute
In the region division processing step, the property related to the pixel value of the small region is classified as a flat block based on block activity or variance, and the characteristic distortion of the small region is set according to the classification. The computer-readable recording medium which recorded the program for performing an area | region division process based on the comparison with the threshold value of the characteristic distortion which has been recorded.