JP4064168B2

JP4064168B2 - Image processing device

Info

Publication number: JP4064168B2
Application number: JP2002184523A
Authority: JP
Inventors: 淳加賀谷
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-06-25
Filing date: 2002-06-25
Publication date: 2008-03-19
Anticipated expiration: 2022-06-25
Also published as: JP2004032281A

Description

【０００１】
【発明の属する技術分野】
本発明は、圧縮された画像データを復元することにより得られる復元画像データに対して画質補正処理を施す画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、デジタル画像データ（以下略して画像データという）に対してサービスを提供する様々なシステムが出現している。例えば、ネガフィルムをスキャナでスキャンして得たもの、デジタルカメラにより撮影して得たものなどの画像データの保存、管理を行うシステムや、画像データに対して、望ましい画質になるように画質補正処理を行ってプリントするプリントサービスシステムなどがある。
【０００３】
一方、コンピュータなどの端末装置の低価格化およびネットワーク技術の進歩に伴って、インターネットが急激に普及する背景において、上述した様々なシステムの殆どはネットワークを介してサービスを提供している。
【０００４】
例えば、上述したプリントサービスシステムとしては、ユーザが端末装置を用いてサーバ装置にアップロードした画像データに対して画質補正処理を行ってからネットワークにより接続されたミニラボなどのプリンタに出力してプリントアウトさせる構成や、画質補正処理を施した画像データをサーバ装置において保持して、保持場所を示すＵＲＬなどのアドレスだけをミニラボなどに送信し、ミニラボからアクセスされた時に、プリント対象となる画像データをダウンロードさせる構成などはあるが、サーバ装置と端末装置との間、サーバ装置とプリントアウトを行うプリンタとの間の画像データの受渡しは、ネットワークを介して行われている。
【０００５】
また、移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスも盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正、シャープネス処理などの画質補正処理を行ってから受信側の携帯端末に送信したり、受信側の携帯端末が添付ファイルを受信できない場合、画質補正処理を施した画像データを保持して、該画像データの保持場所を示すＵＲＬなどのアドレスだけを受信側の携帯端末に送信して、後に受信側の携帯端末からのアクセスを受け付けたときダウンロードさせたりするなど、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置も、ネットワークを介して携帯端末と画像データの受渡しを行うものである。
【０００６】
一方、ネットワークを介して画像データを受渡しする際に、通信時間の短縮など、端末装置およびネットワークの負担を軽減するように、これらの画像データは圧縮される。特に携帯電話機などの携帯端末の場合、撮影して得た画像データの殆どは他の携帯端末装置またはコンピュータなどに送信されるから、容量制限が厳しく、高圧縮されてから携帯電話機の記憶部に保存されるようになっている。
【０００７】
上述した背景および画像データを記憶する記録媒体の容量制限などの理由から、デジタルカメラによって被写体を撮像することによって得られた画像データや、フィルムをスキャナなどによって読み取ることにより得られた画像データは、通常、圧縮されて記録媒体に記録される。
【０００８】
すなわち、画像データに対して画質補正処理を行う画像処理装置に入力される画像データが、殆ど圧縮されており、画像処理装置は、圧縮された画像データに対して復元（伸長）処理を行ってから画質補正処理を施すようになっている。また、画質補正処理としては、階調補正処理、ホワイトバランス補正処理、濃度補正処理、鮮鋭度強調、すなわちシャープネス強調処理などがあり、そのうちの階調補正処理においては、階調を立てて硬調化することが通常行われている。また、シャープネス強調処理の方法は種々提案されており、例えば、画像データに対して下記の式によりボケマスク処理を施して鮮鋭度を強調するようにした手法が知られている（画像解析ハンドブック，Ｐ．５４９，東京大学出版会，高木幹雄，下田陽久監修）。
【０００９】
Ｓ’＝Ｓｏｒｇ＋ｋ・（Ｓｏｒｇ−Ｓｕｓ）
Ｓｏｒｇ：原画像信号
Ｓｕｓ：ボケマスク信号
また、画像データを圧縮する形式としては、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ等種々の形式が存在するが、近年画像データを解像度また濃度分解能毎に階層的に分解し、各階層毎のデータ（階層データ）を符号化して圧縮保管するファイル形式が提案されている。このファイル形式は、具体的には画像データをウェブレット変換等により複数の解像度毎あるいは濃度分解能毎の階層データに分解し、この分解された各解像度あるいは各濃度分解能毎の階層データを階層順に符号化して１つのファイルとして圧縮して保存するものである。
【００１０】
【発明が解決しようとする課題】
しかし、ＪＰＥＧ圧縮を含む上述の画像圧縮処理は、程度の差はあるものの、圧縮の度合いが高ければ高いほど画像の画質を劣化させるものであり、復元された画像データにおいて、ブロック歪みや、アーチファクトなどが生じるのは、画像ファイルのサイズを小さくするために避けられない代償と考えられている。しかし、画像処理装置において、圧縮画像データに対して画質補正処理、例えば、階調補正処理を行う際に、圧縮の度合いが低い比較的高画質の画像を再現可能な画像データに設定するような程度の階調硬調化処理を、圧縮の度合いが高い画像データに対して施すと、画像のブロック歪みがより目立ってしまい、画質を一層劣化させてしまうという問題がある。
【００１１】
ホワイトバランス補正処理も、濃度補正処理、シャープネス強調処理においても、同様の問題が存在する。
【００１２】
シャープネス強調処理の場合、この問題を解決するために、本願出願人による特開２０００−１４９０１３号に記載されているように、圧縮画像データを復元して得た復元画像データに対して、圧縮画像データの圧縮度合いに基づいてシャープネス強調処理のパラメータを変えることによってアーチファクトの抑制を図る方法が提案されている。しかし、デジタルカメラなどの画像取得デバイスには、画像データを圧縮する前に、シャープネス強調処理を施すものがあり、このシャープネス強調処理の強調度が異なれば、圧縮の度合いが同じでも、圧縮画像データに含まれるアーチファクトの性質や強度も変ってくるので、復元画像データに対して、圧縮の度合いのみに基づいてシャープネス強調処理のパラメータを変えることでは対応しきれない。
【００１３】
本発明は上記事情に鑑みなされたものであり、ＪＰＥＧなどの圧縮画像データを復元することにより取得した復元画像データに対して画質補正を行う際に、画質劣化を軽減することができる画像処理装置を提供することを目的とするものである。
【００１４】
【課題を解決するための手段】
本発明の第１の画像処理装置は、圧縮画像データを復元することにより得られる復元画像データに対して階調硬調化処理、ホワイトバランス補正処理、濃度補正処理のうち少なくとも１つの処理を施して処理済み画像データを得る画像処理装置であって、前記圧縮画像データの圧縮度合いを取得する圧縮度合い取得手段と、該圧縮度合いに基づいて、前記処理に用いられるパラメータを決定するパラメータ決定手段とを備えたことを特徴とするものである。
【００１５】
ここで、「圧縮画像データの圧縮度合い」としては、例えば圧縮画像データのタグ情報などの付属情報に含まれる量子化テーブルや、ＲＧＢ信号を輝度色差信号に変換して圧縮を行った場合におけるクロマのサンプリング情報を参照して判定することができる。
【００１６】
また、「処理に用いられるパラメータ」とは、前記処理を行うために用いられる数値、変換式、変換曲線などを意味し、例えば、階調硬調化処理のための階調カーブ、ホワイトバランス補正処理、濃度補正処理に用いられるホワイトバランス補正値、濃度補正値などである。
【００１７】
従って、「圧縮度合いに基づいて」前記パラメータを決定することとは、圧縮度合いに基づいて階調カーブを変えることや、ホワイトバランス補正値、濃度補正値を修正することなどとすることができる。
【００１８】
本発明の第２の画像処理装置は、圧縮画像データを復元することにより得られる復元画像データに対してシャープネス強調処理を施して処理済み画像データを得る画像処理装置であって、前記圧縮画像データの圧縮度合いを取得する圧縮度合い取得手段と、
前記復元画像データの高周波成分の強度を取得する高周波強度取得手段と、
前記圧縮度合いおよび前記高周波強度に基づいて、前記シャープネス強調処理の強調度を決定する強調度決定手段とを備えたことを特徴とするものである。
【００１９】
ここで、「高周波強度」とは、画像データに含まれる高周波成分の大きさを示す値であり、例えば、画像データの信号から、該画像データに対してボケマスク処理を施して得たボケマスク信号を引いて得た高周波成分の信号から算出することができる。
【００２０】
本発明の第３の画像処理装置は、圧縮画像データを復元することにより得られた復元画像データに対して階調硬調化処理、ホワイトバランス補正処理、濃度補正処理、シャープネス強調処理のうち少なくとも１つの画質補正処理を施して処理済み画像データを得る画像処理装置であって、前記復元画像データに対して前記画質補正処理を施して補正済み画像データを得る画質補正手段と、前記圧縮画像データの圧縮度合いを取得する圧縮度合い取得手段と、該圧縮度合いに基づいて決定された大きさのランダムノイズを発生させるノイズ生成手段と、該ランダムノイズを前記補正済み画像データに合成して前記処理済み画像データを得る合成手段とを備えたことを特徴とするものである。
【００２１】
また、本発明の第１、第２、第３の画像処理装置は、携帯端末付属のデジタルカメラにより撮像して得た画像データに適用することができる。
【００２２】
【発明の効果】
本発明の第１の画像処理装置によれば、ＪＰＥＧなどの形式で圧縮処理された圧縮画像データを復元して得た復元画像データに対して階調硬調化処理、ホワイトバランス補正処理、濃度補正処理を施す際に、圧縮画像データの圧縮度合いに応じて処理のパラメータを決定することによって、ブロック歪みの強調などによる画質劣化を抑制し、高画質な処理済み画像データを得ることを可能とする。
【００２３】
本発明の第２の画像処理装置によれば、ＪＰＥＧなどの形式で圧縮処理された画像データを復元して得た復元画像データに対してシャープネス強調処理を施す際に、圧縮画像データの圧縮度合いに加え、復元画像データの高周波成分の強度に基づいてシャープネス強調処理の強調度を調整することによって、アーチファクトを抑制しつつ、好ましいシャープネス感を有する処理済み画像データを得ることができる。
【００２４】
本発明の第３の画像処理装置によれば、ＪＰＥＧなどの形式で圧縮処理された画像データを復元して得た復元画像データに対して、階調硬調化処理、ホワイトバランス補正処理、濃度補正処理、シャープネス強調処理などの画質補正処理を行って得た補正済み画像データに、圧縮画像データの圧縮度合いに基づいて決定された大きさのランダムノイズを合成して、ブロック歪みを目立たなくすることによって、高画質な処理済み画像データを得ることができる。
【００２５】
また、携帯電話機などの携帯端末付属のデジタルカメラにより取得した画像データが高圧縮されているため、本発明の第１、第２、第３の画像処理装置は、これらの画像データに適用すれば、上述した画質劣化を軽減する効力をより発揮することができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００２７】
図１は、本発明の画像処理装置の実施形態となる画質補正装置Ａの構成を示す概略ブロック図である。図示のように、本実施形態の画質補正装置Ａは、ユーザがデジタルカメラなどにより取得した画像データに対して階調硬調化処理を施してプリント出力するシステムに適用されるものであり、撮像により取得して得た画像データをＪＰＥＧ形式にて圧縮した画像データＳ０が記録された記録媒体１から画像データＳ０を読み出す読出部１０と、種々の圧縮クオリティ係数（以下略して圧縮Ｑ係数という）と量子化テーブルとを対応付けて記憶する量子化テーブル記憶部１４と、読出部１０により読み出された画像データＳ０のタグ情報および量子化テーブル記憶部１４に記憶された圧縮Ｑ係数と量子化テーブルとを参照して、画像データＳ０の圧縮クオリティを算出する圧縮クオリティ算出部１２と、圧縮クオリティ算出部１２により算出された画像データの圧縮クオリティに基づいて階調硬調化処理用の階調カーブを決定する階調カーブ決定手段１６と、画像データＳ０を復元してＲＧＢ画像データとなる復元画像データＳ１を得る復元部１８と、階調カーブ決定手段１６により決定された階調カーブを用いて復元画像データＳ１に対して階調補正処理を行う補正部２０と、処理済みの画像データＳ２をプリンタなどの再生装置に出力するための出力部２２とからなる。
【００２８】
画像データＳ０は例えばデジタルカメラにより被写体を撮像して得たものであり、ＪＰＥＧ形式で圧縮されてメモリカードなどの記録媒体１に記録されて保管されるものである。
【００２９】
画像データＳ０のタグ情報には、圧縮する際に使用された量子化テーブルが含まれており、画質補正装置Ａの読出部１０は、記録媒体１から画像データＳ０を読み出す際に、タグ情報も一緒に読み出して、タグ情報の中に含まれる量子化テーブルＴ０を抽出して圧縮クオリティ算出部１２に提供する。
【００３０】
画像データの圧縮度合いとは、画像データが圧縮された程度を示すことができるいかなる定義に基づいたものであってもよく、例えば、画像データの圧縮Ｑ係数もよければ、画像データのファイルサイズと総画素数の比などでも良いが、本実施形態の画質補正装置Ａは、画像データの圧縮Ｑ係数を画像データの圧縮度合いとして用いるものである。
【００３１】
圧縮クオリティ算出部１２は、読出部１０により提供された画像データＳ０の量子化テーブルＴ０（ここでは、例として、画像データＳ０が８×８のブロックに分割して離散コサイン変換などを経て圧縮されたものとするので、量子化テーブルＴ０は８×８のテーブルとなる）と、量子化テーブル記憶部１４に記憶されたすべての量子化テーブルＴとの類似度Ｆを算出して、最も類似した、すなわち量子化テーブルＴ０との類似度が最も小さい量子化テーブルＴに対応する圧縮Ｑ係数を画像データＳ０の圧縮クオリティＱとする。
【００３２】
なお、圧縮クオリティ算出部１２は、下記の式（１）に従って、画像データＳ０の量子化テーブルＴ０と、量子化テーブル記憶部１４に記憶された各々の量子化テーブルＴとの類似度Ｆを計算する。
【００３３】
【数１】

ここで、例として、画像データＳ０の圧縮クオリティＱが８０であると算出されたとする。
【００３４】
階調カーブ決定部１６は、圧縮クオリティ算出部１２により算出された画像データＳ０の圧縮クオリティＱに基づいて図２に示すような階調カーブを決定するものである。図２に示す階調カーブにおいて、Ａ（０，０）、Ｃ（１２８，１２８）、Ｅ（２５５，２５５）は常に固定であり、階調カーブ決定部１６は、下記の式（２）に従って、ポイントＢ（入力値Ｘは６４のポイント）とポイントＤ（入力値Ｘは１９２のポイント）の夫々における出力値ＢｙとＤｙを算出し、ポイントＡからポイントＥまで滑らかにつなぐスプライン曲線を求めて、階調カーブとする。
【００３５】
【数２】

ここで、画像データＳ０の圧縮クオリティが８０であるので、ポイントＢとポイントＤは夫々（６４，３２）、（１９２，２２４）になり、図２に示すような階調カーブが決定される。
【００３６】
補正部２０は、復元部１８により画像データＳ０を復元して得た復元画像データＳ１に対して、階調カーブ決定部１６により決定された階調カーブを用いて階調補正を行って、処理済み画像データＳ２を得る。
【００３７】
図３は、本実施形態の画質補正装置Ａの動作を示すフローチャートである。図示のように、まず、読出部１０により記録媒体１から画像データＳ０を読み出し（Ｓ２）、圧縮クオリティ算出部１２において画像データＳ０の圧縮クオリティＱを算出する（Ｓ４）。そして階調カーブ決定部１６において、圧縮クオリティＱに基づいた階調カーブが決定される（Ｓ６）。その一方で、復元部１８において画像データＳ０が復元されて復元画像データＳ１が得られる（Ｓ８）。ステップＳ４、Ｓ６とステップＳ８の処理は並列に行ってもよく、ステップＳ８の処理を先に行ってもよい。次いで、補正部２０において、階調カーブ決定部１６により決定された階調カーブを用いて、復元画像データＳ１に対して階調補正処理を行って、処理済み画像データＳ２を得る（Ｓ１０）。処理済み画像データＳ２は出力部２２からプリンタに出力されて、プリント画像として再生される（Ｓ１２）。
【００３８】
図４は、本発明の画像処理装置の実施形態となる画質補正装置Ｂの構成を示す概略ブロック図である。本実施形態の画質補正装置Ｂは、ユーザがデジタルカメラなどにより取得した画像データに対してホワイトバランス補正処理および濃度補正処理を施してプリント出力するシステムに適用されるものであり、撮像により取得して得た画像データをＪＰＥＧ形式にて圧縮した画像データＳ０が記録された記録媒体１から画像データＳ０を読み出す読出部２３と、種々の圧縮クオリティ係数（以下略して圧縮Ｑ係数という）と量子化テーブルとを対応付けて記憶する量子化テーブル記憶部２４と、読出部２３により読み出された画像データＳ０のタグ情報および量子化テーブル記憶部２４に記憶された圧縮Ｑ係数と量子化テーブルとを参照して、画像データＳ０の圧縮クオリティを算出する圧縮クオリティ算出部２５と、画像データＳ０を復元してＲＧＢ画像データとなる復元画像データＳ１を得る復元部２６と、復元画像データＳ１に対するホワイトバランス補正値および濃度補正値を算出する補正値算出部２８と、圧縮クオリティ算出部２２により算出された画像データの圧縮クオリティＱに基づいて補正値算出部２８により算出されたホワイトバランス補正値および濃度補正値を修正する補正値修正部３０と、補正値修正部３０により修正されたホワイトバランス補正値および濃度補正値を用いて、復元画像データＳ１に対してホワイトバランス補正および濃度補正を施す補正部３２と、補正部３２により処理済みの画像データＳ２をプリンタなどの再生装置に出力するための出力部３４とからなる。
【００３９】
ここで、読出部２３、圧縮クオリティ算出部２５、量子化テーブル記憶部２４、復元部２６は、図１に示す画質補正装置Ａの読出部１０と、圧縮クオリティ算出部１２と、量子化テーブル記憶部１４と、復元部１８と同じものであるとするので、ここで説明を省略する。
【００４０】
補正値算出部２８は、復元画像データＳ１のＲＧＢ値を輝度値Ｙに変換すると共に、下記の式（３）と式（４）を用いて夫々ホワイトバランス補正値ΔＲ、ΔＢと濃度補正値ΔＤを算出する。
【００４１】
【数３】

【数４】

なお、式（４）におけるＷｍｉｄは、画像データのビット数と関連した定数であり、８ビットの画像データの場合、１２８とすることができる。
【００４２】
補正値修正部３０は、下記の式（５）に従って、補正値算出部２８により算出した各々の補正値に対して修正を行う。
【００４３】
【数５】

すなわち、圧縮クオリティＱが１００である場合、各々の補正値が修正されないが、圧縮クオリティが１００以下である場合は、補正を弱める方向に補正値が修正される。
【００４４】
補正部３２は、補正値修正部３０により修正されたホワイトバランス補正値と濃度補正値を用いて、下記の式（６）に従って復元画像データＳ１に対してホワイトバランス補正および濃度補正を行って処理済み画像データＳ２を得る。
【００４５】
【数６】

なお、補正部３２は、式（６）に示す計算を画像データＳ１の全ての画素に対して行うものである。
【００４６】
図５は、本実施形態の画質補正装置Ｂの動作を示すフローチャートである。図示のように、まず、読出部２３により記録媒体１から画像データＳ０を読み出し（Ｓ２０）、圧縮クオリティ算出部２５において画像データＳ０の圧縮クオリティＱを算出する（Ｓ２２）。その一方で、復元部２６において画像データＳ０が復元されて復元画像データＳ１が得られ（Ｓ２４）、補正値算出部２８においてホワイトバランス補正値および濃度補正値が算出される（Ｓ２６）。ステップＳ２２と、Ｓ２４、Ｓ２６の処理は並列に行ってもよく、ステップＳ２４、Ｓ２６の処理を先に行ってもよい。そして補正値修正部３０において、画像データの圧縮クオリティＱに応じて各々の補正値が修正される（Ｓ２８）。次いで、補正部３２において、補正値修正部３０により修正された補正値を用いて、復元画像データＳ１に対してホワイトバランス補正処理および濃度補正処理施して、処理済み画像データＳ２を得る（Ｓ３０）。処理済み画像データＳ２は出力部３４からプリンタに出力されて、プリント画像として再生される（Ｓ３２）。
【００４７】
このように、上述した実施形態の画質補正装置Ａおよび画質補正装置Ｂにおいて、圧縮画像データを復元して得た復元画像データに対して階調硬調化処理またはホワイトバランス処理、濃度補正処理を行う際に、圧縮画像データの圧縮クオリティに応じて補正のパラメータを決定して補正を行うようにしているので、高圧縮された画像データの復元画像データに対して上述の画質補正処理を行っても、ブロック歪みなどに起因する画質劣化を軽減することができ、高画質な再生画像を得ることを可能とする。
【００４８】
図６は、本発明の画像処理装置の実施形態となる画質補正装置Ｃの構成を示すブロック図である。本実施形態の画質補正装置Ｃは、ユーザがデジタルカメラなどにより取得した画像データに対してシャープネス強調処理を施してプリント出力するシステムに適用されるものであり、撮像により取得して得た画像データをＪＰＥＧ形式にて圧縮した画像データＳ０が記録された記録媒体１から画像データＳ０を読み出す読出部４０と、種々の圧縮クオリティ係数（以下略して圧縮Ｑ係数という）と量子化テーブルとを対応付けて記憶する量子化テーブル記憶部４４と、読出部４０により読み出された画像データＳ０のタグ情報および量子化テーブル記憶部４４に記憶された圧縮Ｑ係数と量子化テーブルとを参照して、画像データＳ０の圧縮クオリティを算出する圧縮クオリティ算出部４２と、画像データＳ０を復元してＲＧＢ画像データとなる復元画像データＳ１を得る復元部４６と、復元画像データＳ１から高周波成分を抽出すると共に、この高周波成分の強度Ｅを算出する高周波強度算出部４８と、圧縮クオリティ算出部４２により算出された画像データＳ０の圧縮クオリティＱおよび高周波強度算出部４８により算出した画像データＳ１の高周波強度Ｅとに基づいてシャープネス強調処理のパラメータを決定するパラメータ決定部５０と、パラメータ決定部５０により決定されたパラメータを用いて復元画像データＳ１に対してシャープネス強調処理を施す補正部５２と、補正部５２により処理済みの画像データＳ２をプリンタなどの再生装置に出力するための出力部５４とからなる。
【００４９】
ここで、読出部４０、圧縮クオリティ算出部４２、量子化テーブル記憶部４４、復元部４６は、図１に示す画質補正装置Ａの読出部１０と、圧縮クオリティ算出部１２と、量子化テーブル記憶部１４と、復元部１８と同じものであるとするので、ここで説明を省略する。
【００５０】
高周波強度算出部４８は、まず、復元画像データＳ１の画素毎のＲＧＢ値を輝度値Ｙに変換し、下記の式（７）に従って、輝度値Ｙに対してボケマスクを適用してアンシャープマスキング輝度値Ｙｕｓを得る。
【００５１】
【数７】

次いで高周波強度算出部４８は、画素毎に輝度値Ｙとアンシャープマスキング輝度値Ｙｕｓとの差を算出して復元画像データＳ１の高周波成分Ｙｈとし、下記の式（８）に従って、画像データＳ１の高周波成分強度Ｅを算出する。
【００５２】
【数８】

パラメータ決定部５０は、圧縮クオリティ算出部４２により算出された圧縮クオリティＱおよび高周波強度算出部４８により算出された高周波強度Ｅに基づいてシャープネス強調処理のパラメータを決定するものである。なお、本実施形態において補正部５２は、画像データのコントラストに依存してシャープネス処理を行うもの、すなわち図７に示すように、低コントラスト部（所定の低コントラスト閾値Ｃ_ｌ以下のコントラストを有する部分）に対して固定のシャープネスゲインα_ｌを、高コントラスト部（所定の高コントラスト閾値Ｃｈ以上のコントラストを有する部分）に対して固定のシャープネスゲインα_ｈを、中間コントラスト部（Ｃ_ｌとＣｈとの間のコントラストを有する部分）に対しては、α_ｌとα_ｈとの間にコントラストに依存して直線的に変化するシャープネスゲインαを用いるようにしてシャープネス強調処理を行うものであるため、パラメータ決定部５０は、図７に示すように、コントラストＣに依存したシャープネスゲインαを決定するものである。
【００５３】
パラメータ決定部５０には、パラメータ決定テーブルを記憶する、図示しない記憶部を有し、このパラメータ決定テーブルは、画像データの圧縮クオリティＱと高周波強度Ｅとの組合せに対応したα_ｌとα_ｈを決定するもので、図８はその１例を示している。
【００５４】
パラメータ決定部５０は、図８に示すテーブルを参照し、画像データＳ０の圧縮クオリティＱおよび画像データＳ１の高周波強度Ｅとに基づいて、シャープネスゲインα_ｌおよびα_ｈを決定すると共に、図７に示すように、Ｃ_ｌとＣｈの間のコントラストを有する部分のシャープネスゲインαを決定する。
【００５５】
補正部５２は、パラメータ決定部５０により決定されたシャープネスゲインαを用いて、下記の式（９）に従ってシャープネス強調処理を行う。
【００５６】
【数９】

図９は、本実施形態の画質補正装置Ｃの動作を示すフローチャートである。図示のように、まず、読出部４０により記録媒体１から画像データＳ０を読み出し（Ｓ４０）、圧縮クオリティ算出部４２において画像データＳ０の圧縮クオリティＱを算出する（Ｓ４２）。その一方で、復元部４６において画像データＳ０が復元されて復元画像データＳ１が得られ（Ｓ４４）、高周波強度算出部４８において復元画像データＳ１の高周波強度Ｅが算出される（Ｓ４６）。ステップＳ４２と、Ｓ４４、Ｓ４６の処理は並列に行ってもよく、ステップＳ４４、Ｓ４６の処理を先に行ってもよい。そしてパラメータ決定部５０において、画像データＳ０の圧縮クオリティＱおよび画像データＳ１の高周波強度Ｅに応じてシャープネス強調処理のパラメータが決定される（Ｓ４８）。次いで、補正部５２において、パラメータ決定部５０により決定されたパラメータを用いて、復元画像データＳ１に対してシャープネス強調処理を施して、処理済み画像データＳ２を得る（Ｓ５０）。処理済み画像データＳ２は出力部５４からプリンタに出力されて、プリント画像として再生される（Ｓ５２）。
【００５７】
このように、本実施形態の画質補正装置Ｃによれば、圧縮画像データの圧縮クオリティに加え、復元画像データの高周波成分の強度に基づいてシャープネス強調処理のパラメータを決定するようにしているので、圧縮画像データが圧縮される前にシャープネス処理が施されたものであっても、アーチファクトを抑制しつつ、好ましいシャープネス感を有する処理済み画像データを得ることができる。
【００５８】
図１０は、本発明の画像処理装置の実施形態となる画質補正装置Ｄの構成を示すブロック図である。本実施形態の画質補正装置Ｄは、ユーザがデジタルカメラなどにより取得した画像データに対して階調補正処理、ホワイトバランス補正処理、濃度補正処理、シャープネス強調処理を施してプリント出力するシステムに適用されるものであり、撮像により取得して得た画像データをＪＰＥＧ形式にて圧縮した画像データＳ０が記録された記録媒体１から画像データＳ０を読み出す読出部６０と、種々の圧縮クオリティ係数（以下略して圧縮Ｑ係数という）と量子化テーブルとを対応付けて記憶する量子化テーブル記憶部６４と、読出部６０により読み出された画像データＳ０のタグ情報および量子化テーブル記憶部６４に記憶された圧縮Ｑ係数と量子化テーブルとを参照して、画像データＳ０の圧縮クオリティを算出する圧縮クオリティ算出部６２と、圧縮クオリティ算出部６２により算出された圧縮クオリティに基づいてランダムノイズを生成するノイズ生成部６８と、画像データＳ０を復元してＲＧＢ画像データとなる復元画像データＳ１を得る復元部６６と、復元画像データＳ１に対して階調補正処理、ホワイトバランス補正処理、濃度補正処理、シャープネス強調処理を施して補正済み画像データＳ１’を得る補正部７０と、補正済み画像データＳ１’に、ノイズ生成部６８により生成されたランダムノイズを合成して処理済み画像データＳ２を得る合成部７２と、処理済みの画像データＳ２をプリンタなどの再生装置に出力するための出力部７４とからなる。
【００５９】
ここで、読出部６０、圧縮クオリティ算出部６２、量子化テーブル記憶部６４、復元部６６は、図１に示す画質補正装置Ａの読出部１０と、圧縮クオリティ算出部１２と、量子化テーブル記憶部１４と、復元部１８と同じものであるとするので、ここで説明を省略する。
【００６０】
補正部７０は、従来の画質補正方法を用いて復元画像データＳ１に対して画質補正を行うものであってもよいし、上述した画質補正装置Ａ、Ｂ、Ｃに用いられた夫々の画質補正方法を用いて画質補正を行うものであってもよい。
【００６１】
ノイズ生成部７２は、３×ｎ（ｎ：画像データＳ０の総画素数）個のノイズを発生させるものであり、これらのノイズの分布は平均０で、分散は下記の式（１０）に示すように、σのガウス分布に従うものである。
【００６２】
【数１０】

式（１０）から分かるように、画像データＳ０の圧縮クオリティＱが小さいほど分散σが大きく（ノイズのサイズが大きい）、画像データＳ０の圧縮クオリティＱが大きいほど分散σが小さくなる（ノイズのサイズが小さい）。
【００６３】
図１１は、本実施形態の画質補正装置Ｄの動作を示すフローチャートである。図示のように、まず、読出部６０により記録媒体１から画像データＳ０を読み出し（Ｓ６０）、圧縮クオリティ算出部６２において画像データＳ０の圧縮クオリティＱを算出する（Ｓ６２）。ノイズ生成部６８において、圧縮クオリティＱに応じて決められた大きさのランダムノイズが生成される（Ｓ６４）。その一方で、復元部６６において画像データＳ０が復元されて復元画像データＳ１が得られ（Ｓ６６）、補正部７０において復元画像データＳ１に対して画質補正処理を施し補正済み画像データＳ１’を得る（Ｓ６８）。ステップＳ６２、Ｓ６４と、Ｓ６６、Ｓ６８の処理は並列に行ってもよく、ステップＳ６６、Ｓ６８の処理を先に行ってもよい。そして合成部７２において、補正済み画像データＳ１’とノイズ生成部６８により生成されたランダムノイズとが合成され、処理済み画像データＳ２が得られる（Ｓ７０）。処理済み画像データＳ２は出力部７４からプリンタに出力されて、プリント画像として再生される（Ｓ７２）。
【００６４】
このように、本実施形態の画質補正装置Ｄによれば、圧縮画像データを復元して得た復元画像データに対して画質補正を施して得た補正済み画像データに対して、圧縮画像データの圧縮クオリティに応じて決められた大きさのランダムノイズを合成することによって、画質補正から起因するブロック歪みなどの画質劣化を軽減することができ、高画質の処理済み画像データを得ることができる。
【００６５】
上述において、本発明の画像処理の望ましい実施形態について説明したが、本発明の画像処理装置は、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、様々な変更を加えることができる。
【００６６】
例えば、上述した画質補正装置Ａ、Ｂ、Ｃは夫々階調硬調化処理、ホワイトバランス補正および濃度補正処理、シャープネス強調処理を個別に行うものであるが、本発明の画像処理装置は、上記各々の画質補正処理を単独に行うものは勿論、これらの画質補正処理を複数組み合わせて処理を行うものであってもよい。
【００６７】
また、上述した実施形態においては、圧縮画像データとしてＪＰＥＧ形式で圧縮された画像データとしたが、本発明の画像処理装置はＪＰＥＧの他の圧縮方式で圧縮された画像データを復元して得た復元画像データに対して画質補正を行う装置としても適用することができる。
【００６８】
また、上述した実施形態において、圧縮画像データの圧縮度合いとして圧縮Ｑ係数を用いたが、圧縮クオリティの定義、求め方など、これに限られるものではなく、圧縮画像データの圧縮度合いを表すことができるいかなるものであってもよい。
【００６９】
また、上述した実施形態の画質補正装置は、処理済みの画像データがプリンタに出力されるシステムに適用されているが、処理済みの画像データを再圧縮してネットワーク介して送信したり、ハードディスクなどの記憶装置に保存したりするなどのシステムにも適用することができる。
【００７０】
勿論、ネットワークを介して受信した圧縮画像データに対して画質補正処理を行うシステムにも適用することができる。
【図面の簡単な説明】
【図１】本発明の実施形態となる画質補正装置Ａの構成を示すブロック図
【図２】図１に示す画質補正装置Ａの階調カーブ決定部１６の動作を説明するための図
【図３】図１に示す画質補正装置Ａの動作を示すフローチャート
【図４】本発明の実施形態となる画質補正装置Ｂの構成を示すブロック図
【図５】図４に示す画質補正装置Ｂの動作を示すフローチャート
【図６】本発明の実施形態となる画質補正装置Ｃの構成を示すブロック図
【図７】図６に示す画質補正装置Ｃの補正部５２の動作を説明するための図
【図８】図６に示す画質補正装置Ｃのパラメータ決定部５０が有するパラメータ決定テーブルの１例を示す図
【図９】図６に示す画質補正装置Ｃの動作を示すフローチャート
【図１０】本発明の実施形態となる画質補正装置Ｄの構成を示すブロック図
【図１１】図１０に示す画質補正装置Ｄの動作を示すフローチャート
【符号の説明】
１記録媒体
１０，２３，４０，６０読出部
１２，２５，４２，６２圧縮クオリティ算出部
１４，２４，４４，６４量子化テーブル記憶部
１６階調カーブ決定部
１８，２６，４６，６６復元部
２０，３２，５２，７０補正部
２２，３４，５４，７４出力部
２８補正値算出部
３０補正値修正部
４８高周波強度算出部
５０パラメータ決定部
６８ノイズ生成部
７２合成部
Ｓ０圧縮画像データ
Ｓ１，Ｓ１’，Ｓ２ＲＧＢ画像データ
Ｑ圧縮クオリティ
α シャープネスゲイン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that performs image quality correction processing on restored image data obtained by restoring compressed image data.
[0002]
[Prior art]
In recent years, various systems that provide services for digital image data (hereinafter abbreviated as image data) have appeared. For example, a system that stores and manages image data such as those obtained by scanning a negative film with a scanner and those obtained by photographing with a digital camera, and image quality correction to achieve the desired image quality There is a print service system that performs processing and prints.
[0003]
On the other hand, with the background of the rapid spread of the Internet due to the price reduction of terminal devices such as computers and the advancement of network technology, most of the various systems described above provide services via the network.
[0004]
For example, in the above-described print service system, image quality correction processing is performed on image data uploaded by a user to a server device using a terminal device, and then output to a printer such as a minilab connected via a network for printing out. The image data that has undergone configuration and image quality correction processing is held in the server device, and only an address such as a URL indicating the holding location is sent to a minilab, etc., and when accessed from the minilab, the image data to be printed is downloaded. Although there is a configuration in which image data is transferred, image data is transferred between the server apparatus and the terminal apparatus, and between the server apparatus and the printer that performs printout via a network.
[0005]
Also, in the field of mobile communications, image services for mobile terminals are actively performed along with the spread of mobile terminals such as mobile phones and enhancement of functions of mobile terminals. For example, when relaying an e-mail between mobile terminals, tone correction, white balance correction, density correction, and sharpness processing are performed on image data attached to an e-mail transmitted from the transmitting mobile terminal. If image quality correction processing is performed and then sent to the mobile terminal on the receiving side, or if the mobile terminal on the receiving side cannot receive the attached file, the image data that has undergone image quality correction processing is stored and the image data is stored There is a communication relay server device having an image quality correction function such as transmitting only an address such as a URL indicating a place to a receiving-side portable terminal and then downloading it when an access from the receiving-side portable terminal is received later. These server devices also exchange image data with a mobile terminal via a network.
[0006]
On the other hand, when transferring image data via a network, the image data is compressed so as to reduce the burden on the terminal device and the network, such as shortening the communication time. In particular, in the case of a portable terminal such as a cellular phone, most of the image data obtained by photographing is transmitted to another portable terminal device or a computer. Therefore, the capacity limit is severe, and after being highly compressed, it is stored in the storage unit of the cellular phone. It is supposed to be saved.
[0007]
Image data obtained by imaging a subject with a digital camera or image data obtained by reading a film with a scanner or the like for reasons such as the capacity limitation of the recording medium for storing the background and image data described above, Usually, it is compressed and recorded on a recording medium.
[0008]
That is, the image data input to the image processing apparatus that performs image quality correction processing on the image data is almost compressed, and the image processing apparatus performs restoration (decompression) processing on the compressed image data. The image quality correction process is performed from the beginning. In addition, image quality correction processing includes gradation correction processing, white balance correction processing, density correction processing, sharpness enhancement, that is, sharpness enhancement processing. It is usually done. Various methods for sharpness enhancement processing have been proposed. For example, a method is known in which sharpness is enhanced by performing blur mask processing on image data according to the following equation (Image Analysis Handbook, P 549, supervised by the University of Tokyo Press, Mikio Takagi, and Yoshihisa Shimoda).
[0009]
S ′ = Sorg + k · (Sorg−Sus)
Sorg: Original image signal
Sus: Blur mask signal
There are various formats for compressing image data, such as JPEG, GIF, and TIFF. In recent years, image data is hierarchically decomposed for each resolution and density resolution, and data for each layer (hierarchical data). A file format for encoding and compressing and storing has been proposed. Specifically, this file format decomposes image data into hierarchical data for each resolution or density resolution by weblet conversion or the like, and codes the decomposed hierarchical data for each resolution or density resolution in hierarchical order. And compressed and saved as one file.
[0010]
[Problems to be solved by the invention]
However, although the above-described image compression processing including JPEG compression has a degree of difference, the higher the degree of compression, the more the image quality of the image deteriorates. In the restored image data, block distortion and artifacts Such a phenomenon is considered as an inevitable price for reducing the size of the image file. However, when image quality correction processing, for example, gradation correction processing, is performed on compressed image data in an image processing apparatus, a relatively high-quality image with a low degree of compression is set as reproducible image data. If such a high gradation gradation processing is applied to image data with a high degree of compression, there is a problem that block distortion of the image becomes more conspicuous and the image quality is further deteriorated.
[0011]
Similar problems exist in white balance correction processing, density correction processing, and sharpness enhancement processing.
[0012]
In the case of sharpness enhancement processing, in order to solve this problem, as described in Japanese Patent Application Laid-Open No. 2000-149013 by the applicant of the present application, the compressed image data obtained by restoring the compressed image data is compressed. There has been proposed a method for suppressing artifacts by changing parameters of sharpness enhancement processing based on the degree of data compression. However, some image acquisition devices such as digital cameras perform sharpness enhancement processing before compressing the image data. If the degree of enhancement of this sharpness enhancement processing is different, the compressed image data can be compressed even if the degree of compression is the same. Since the nature and intensity of the artifacts included in the image are also changed, it is not possible to cope with the restored image data by changing the parameters of the sharpness enhancement processing based only on the degree of compression.
[0013]
The present invention has been made in view of the above circumstances, and is an image processing apparatus capable of reducing image quality degradation when performing image quality correction on restored image data acquired by restoring compressed image data such as JPEG. Is intended to provide.
[0014]
[Means for Solving the Problems]
The first image processing apparatus according to the present invention performs at least one of gradation contrast enhancement processing, white balance correction processing, and density correction processing on restored image data obtained by restoring compressed image data. An image processing apparatus for obtaining processed image data, comprising: a compression degree acquisition unit that acquires a compression degree of the compressed image data; and a parameter determination unit that determines a parameter used for the processing based on the compression degree. It is characterized by having.
[0015]
Here, as the “compression degree of compressed image data”, for example, the quantization table included in the attached information such as the tag information of the compressed image data, or the chroma when the RGB signal is converted into the luminance color difference signal and compressed. It can be determined with reference to the sampling information.
[0016]
Further, “parameters used for processing” mean numerical values, conversion formulas, conversion curves, etc. used for performing the above-described processing. For example, gradation curves for white gradation processing, white balance correction processing The white balance correction value, the density correction value, etc. used for the density correction processing.
[0017]
Therefore, determining the parameter “based on the degree of compression” can be changing the gradation curve based on the degree of compression, correcting the white balance correction value, the density correction value, or the like.
[0018]
A second image processing apparatus of the present invention is an image processing apparatus that obtains processed image data by performing sharpness enhancement processing on restored image data obtained by restoring compressed image data, wherein the compressed image data A compression level acquisition means for acquiring the compression level of
High-frequency intensity acquisition means for acquiring the intensity of the high-frequency component of the restored image data;
Emphasis degree determining means for determining the degree of enhancement of the sharpness enhancement process based on the degree of compression and the high frequency intensity is provided.
[0019]
Here, the “high frequency intensity” is a value indicating the magnitude of the high frequency component included in the image data. For example, a blur mask signal obtained by subjecting the image data to blur mask processing on the image data is obtained. It can be calculated from the signal of the high frequency component obtained by subtraction.
[0020]
According to the third image processing apparatus of the present invention, at least one of gradation high contrast processing, white balance correction processing, density correction processing, and sharpness enhancement processing is performed on the restored image data obtained by restoring the compressed image data. An image processing apparatus that obtains processed image data by performing two image quality correction processes, an image quality correction unit that performs the image quality correction process on the restored image data to obtain corrected image data, and the compressed image data A compression degree acquisition means for acquiring a compression degree; a noise generation means for generating random noise of a magnitude determined based on the compression degree; and the processed image by combining the random noise with the corrected image data And a synthesis means for obtaining data.
[0021]
The first, second, and third image processing apparatuses of the present invention can be applied to image data obtained by imaging with a digital camera attached to a portable terminal.
[0022]
【The invention's effect】
According to the first image processing apparatus of the present invention, gradation high-contrast processing, white balance correction processing, and density correction are performed on restored image data obtained by restoring compressed image data compressed in a format such as JPEG. When processing, by determining processing parameters according to the degree of compression of the compressed image data, it is possible to suppress image quality deterioration due to enhancement of block distortion and obtain processed image data with high image quality. .
[0023]
According to the second image processing apparatus of the present invention, when the sharpness enhancement process is performed on the restored image data obtained by restoring the image data compressed in a format such as JPEG, the degree of compression of the compressed image data In addition, by adjusting the enhancement degree of the sharpness enhancement process based on the intensity of the high-frequency component of the restored image data, processed image data having a preferable sharpness feeling can be obtained while suppressing artifacts.
[0024]
According to the third image processing apparatus of the present invention, gradation high contrast processing, white balance correction processing, and density correction are performed on the restored image data obtained by restoring the image data compressed in a format such as JPEG. The block distortion is made inconspicuous by combining the corrected image data obtained by performing image quality correction processing such as processing and sharpness enhancement processing with random noise of a size determined based on the degree of compression of the compressed image data. Thus, processed image data with high image quality can be obtained.
[0025]
In addition, since image data acquired by a digital camera attached to a mobile terminal such as a mobile phone is highly compressed, the first, second, and third image processing apparatuses of the present invention can be applied to these image data. The effect of reducing the above-described image quality degradation can be further exhibited.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0027]
FIG. 1 is a schematic block diagram showing a configuration of an image quality correction apparatus A that is an embodiment of an image processing apparatus of the present invention. As shown in the figure, the image quality correction apparatus A of the present embodiment is applied to a system that performs gradation high contrast processing on image data acquired by a user using a digital camera or the like and prints it out. A reading unit 10 that reads out image data S0 from the recording medium 1 on which image data S0 obtained by compressing the acquired image data in JPEG format is recorded, and various compression quality factors (hereinafter referred to as compression Q factors). The quantization table storage unit 14 that stores the quantization table in association with each other, the tag information of the image data S0 read by the reading unit 10, and the compression Q coefficient and the quantization table stored in the quantization table storage unit 14 The compression quality calculation unit 12 that calculates the compression quality of the image data S0 and the compression quality calculation unit 12 A gradation curve determining means 16 for determining a gradation curve for gradation high contrast processing based on the compression quality of the obtained image data, and a restoration unit for restoring image data S0 and obtaining restored image data S1 to be RGB image data 18, a correction unit 20 that performs gradation correction processing on the restored image data S 1 using the gradation curve determined by the gradation curve determination unit 16, and the processed image data S 2 to a reproduction device such as a printer. And an output unit 22 for outputting.
[0028]
The image data S0 is obtained by imaging a subject with a digital camera, for example, and is compressed and recorded in the recording medium 1 such as a memory card after being compressed in the JPEG format.
[0029]
The tag information of the image data S0 includes the quantization table used for compression, and the reading unit 10 of the image quality correction apparatus A also reads the tag information when reading the image data S0 from the recording medium 1. The data is read together, and the quantization table T0 included in the tag information is extracted and provided to the compression quality calculation unit 12.
[0030]
The degree of compression of the image data may be based on any definition that can indicate the degree to which the image data is compressed. For example, if the compression Q coefficient of the image data is good, the file size of the image data Although the ratio of the total number of pixels may be used, the image quality correction apparatus A of the present embodiment uses the compression Q coefficient of the image data as the degree of compression of the image data.
[0031]
The compression quality calculation unit 12 quantizes the quantization table T0 of the image data S0 provided by the reading unit 10 (here, as an example, the image data S0 is divided into 8 × 8 blocks and subjected to discrete cosine transform or the like). The quantization table T0 is an 8 × 8 table) and the similarity F between all the quantization tables T stored in the quantization table storage unit 14 is calculated, and the most similar That is, the compression Q coefficient corresponding to the quantization table T having the smallest similarity to the quantization table T0 is set as the compression quality Q of the image data S0.
[0032]
The compression quality calculation unit 12 calculates the similarity F between the quantization table T0 of the image data S0 and each quantization table T stored in the quantization table storage unit 14 according to the following equation (1). To do.
[0033]
[Expression 1]

Here, as an example, it is assumed that the compression quality Q of the image data S0 is calculated to be 80.
[0034]
The gradation curve determination unit 16 determines a gradation curve as shown in FIG. 2 based on the compression quality Q of the image data S0 calculated by the compression quality calculation unit 12. In the gradation curve shown in FIG. 2, A (0, 0), C (128, 128), and E (255, 255) are always fixed, and the gradation curve determination unit 16 follows the following equation (2). The output values By and Dy at point B (input value X is 64 points) and point D (input value X is 192 points) are calculated, and a spline curve that smoothly connects point A to point E is obtained. The gradation curve is used.
[0035]
[Expression 2]

Here, since the compression quality of the image data S0 is 80, the points B and D are (64, 32) and (192, 224), respectively, and a gradation curve as shown in FIG. 2 is determined.
[0036]
The correction unit 20 performs gradation correction on the restored image data S1 obtained by restoring the image data S0 by the restoration unit 18 using the gradation curve determined by the gradation curve determination unit 16, and performs processing. Obtained image data S2.
[0037]
FIG. 3 is a flowchart showing the operation of the image quality correction apparatus A of the present embodiment. As shown in the figure, first, the reading unit 10 reads the image data S0 from the recording medium 1 (S2), and the compression quality calculation unit 12 calculates the compression quality Q of the image data S0 (S4). Then, the gradation curve determination unit 16 determines a gradation curve based on the compression quality Q (S6). On the other hand, the restoration unit 18 restores the image data S0 to obtain restored image data S1 (S8). The processes of steps S4, S6 and step S8 may be performed in parallel, or the process of step S8 may be performed first. Next, the correction unit 20 performs gradation correction processing on the restored image data S1 using the gradation curve determined by the gradation curve determination unit 16 to obtain processed image data S2 (S10). The processed image data S2 is output from the output unit 22 to the printer and reproduced as a print image (S12).
[0038]
FIG. 4 is a schematic block diagram showing the configuration of an image quality correction apparatus B that is an embodiment of the image processing apparatus of the present invention. The image quality correction apparatus B according to the present embodiment is applied to a system that performs white balance correction processing and density correction processing on image data acquired by a user using a digital camera or the like and prints out the image data. A reading unit 23 for reading the image data S0 from the recording medium 1 on which the image data S0 obtained by compressing the image data obtained in JPEG format is recorded, various compression quality factors (hereinafter referred to as compression Q factors) and quantization The quantization table storage unit 24 that stores the table in association with each other, the tag information of the image data S0 read by the reading unit 23, the compression Q coefficient and the quantization table stored in the quantization table storage unit 24, The compression quality calculation unit 25 that calculates the compression quality of the image data S0 and the image data S0 are restored. Image data calculated by a restoration unit 26 that obtains restored image data S1 that is RGB image data, a correction value calculation unit 28 that calculates a white balance correction value and a density correction value for the restored image data S1, and a compression quality calculation unit 22 The correction value correcting unit 30 for correcting the white balance correction value and the density correction value calculated by the correction value calculating unit 28 based on the compression quality Q of the white balance, and the white balance correction value and the density correction corrected by the correction value correcting unit 30 A correction unit 32 for performing white balance correction and density correction on the restored image data S1 using the values, and an output unit 34 for outputting the image data S2 processed by the correction unit 32 to a reproduction apparatus such as a printer. Consists of.
[0039]
Here, the reading unit 23, the compression quality calculation unit 25, the quantization table storage unit 24, and the restoration unit 26 are the reading unit 10, the compression quality calculation unit 12, and the quantization table storage of the image quality correction apparatus A shown in FIG. Since it is the same as the unit 14 and the restoration unit 18, the description thereof is omitted here.
[0040]
The correction value calculation unit 28 converts the RGB value of the restored image data S1 into a luminance value Y, and also uses white balance correction values ΔR and ΔB and density correction value ΔD using the following equations (3) and (4). Is calculated.
[0041]
[Equation 3]

[Expression 4]

Note that Wmid in equation (4) is a constant related to the number of bits of image data, and can be 128 in the case of 8-bit image data.
[0042]
The correction value correction unit 30 corrects each correction value calculated by the correction value calculation unit 28 according to the following equation (5).
[0043]
[Equation 5]

That is, when the compression quality Q is 100, each correction value is not corrected, but when the compression quality is 100 or less, the correction value is corrected in a direction of weakening the correction.
[0044]
The correction unit 32 uses the white balance correction value and density correction value corrected by the correction value correction unit 30 to perform white balance correction and density correction on the restored image data S1 according to the following equation (6). Obtained image data S2.
[0045]
[Formula 6]

The correction unit 32 performs the calculation shown in Expression (6) for all the pixels of the image data S1.
[0046]
FIG. 5 is a flowchart showing the operation of the image quality correction apparatus B of the present embodiment. As shown in the figure, first, the reading unit 23 reads the image data S0 from the recording medium 1 (S20), and the compression quality calculation unit 25 calculates the compression quality Q of the image data S0 (S22). On the other hand, the restoration unit 26 restores the image data S0 to obtain restored image data S1 (S24), and the correction value calculation unit 28 calculates the white balance correction value and the density correction value (S26). Steps S22, S24, and S26 may be performed in parallel, or steps S24 and S26 may be performed first. Then, the correction value correction unit 30 corrects each correction value according to the compression quality Q of the image data (S28). Next, the correction unit 32 performs the white balance correction process and the density correction process on the restored image data S1 using the correction value corrected by the correction value correction unit 30 to obtain processed image data S2 (S30). . The processed image data S2 is output from the output unit 34 to the printer and reproduced as a print image (S32).
[0047]
As described above, in the image quality correction apparatus A and the image quality correction apparatus B according to the above-described embodiment, the gradation contrast process or the white balance process and the density correction process are performed on the restored image data obtained by restoring the compressed image data. At this time, since the correction parameters are determined according to the compression quality of the compressed image data and the correction is performed, the above-described image quality correction processing is performed on the restored image data of the highly compressed image data. Further, it is possible to reduce image quality deterioration due to block distortion and the like, and to obtain a high-quality reproduced image.
[0048]
FIG. 6 is a block diagram showing a configuration of an image quality correction apparatus C which is an embodiment of the image processing apparatus of the present invention. The image quality correction apparatus C according to the present embodiment is applied to a system that prints out image data acquired by a user using a digital camera or the like by performing sharpness enhancement processing. Image data acquired by imaging is obtained. Is associated with a reading unit 40 that reads out image data S0 from the recording medium 1 on which image data S0 compressed in JPEG format is recorded, various compression quality coefficients (hereinafter referred to as compression Q coefficients), and quantization tables. Referring to the quantization table storage unit 44 to be stored and the tag information of the image data S0 read by the reading unit 40 and the compression Q coefficient and quantization table stored in the quantization table storage unit 44, the image The compression quality calculation unit 42 for calculating the compression quality of the data S0, and the image data S0 is restored to become RGB image data. Image data calculated by a restoration unit 46 that obtains restored image data S1, a high-frequency component that extracts a high-frequency component from the restored image data S1, and calculates an intensity E of the high-frequency component, and a compression quality calculation unit 42 Based on the compression quality Q of S0 and the high frequency intensity E of the image data S1 calculated by the high frequency intensity calculation unit 48, a parameter determination unit 50 that determines parameters for sharpness enhancement processing, and the parameters determined by the parameter determination unit 50 are used. The correction unit 52 performs sharpness enhancement processing on the restored image data S1, and the output unit 54 outputs the image data S2 processed by the correction unit 52 to a reproducing apparatus such as a printer.
[0049]
Here, the reading unit 40, the compression quality calculation unit 42, the quantization table storage unit 44, and the restoration unit 46 are the reading unit 10, the compression quality calculation unit 12, and the quantization table storage of the image quality correction apparatus A shown in FIG. Since it is the same as the unit 14 and the restoration unit 18, the description thereof is omitted here.
[0050]
The high-frequency intensity calculation unit 48 first converts the RGB value for each pixel of the restored image data S1 into a luminance value Y, and applies a blur mask to the luminance value Y according to the following equation (7) to apply unsharp masking luminance. Get the value Yus.
[0051]
[Expression 7]

Next, the high-frequency intensity calculation unit 48 calculates the difference between the luminance value Y and the unsharp masking luminance value Yus for each pixel to obtain the high-frequency component Yh of the restored image data S1, and the image data S1 according to the following equation (8) The high frequency component intensity E is calculated.
[0052]
[Equation 8]

The parameter determination unit 50 determines parameters for sharpness enhancement processing based on the compression quality Q calculated by the compression quality calculation unit 42 and the high frequency intensity E calculated by the high frequency intensity calculation unit 48. In the present embodiment, the correction unit 52 performs sharpness processing depending on the contrast of the image data, that is, as shown in FIG. 7, a low-contrast part (a predetermined low-contrast threshold value C). _l Fixed sharpness gain α for parts with the following contrast) _l Is fixed to the high contrast portion (the portion having a contrast equal to or higher than the predetermined high contrast threshold Ch). _h In the middle contrast area (C _l For the part having the contrast between the _l And α _h The parameter determination unit 50 depends on the contrast C as shown in FIG. 7 because the sharpness enhancement processing is performed by using the sharpness gain α that linearly changes depending on the contrast between The sharpness gain α is determined.
[0053]
The parameter determination unit 50 includes a storage unit (not shown) that stores a parameter determination table. The parameter determination table is an α corresponding to a combination of the compression quality Q and the high frequency intensity E of the image data. _l And α _h FIG. 8 shows an example thereof.
[0054]
The parameter determining unit 50 refers to the table shown in FIG. 8, and based on the compression quality Q of the image data S0 and the high frequency intensity E of the image data S1, the sharpness gain α _l And α _h , And as shown in FIG. _l And a sharpness gain α of a portion having a contrast between Ch and Ch.
[0055]
The correction unit 52 uses the sharpness gain α determined by the parameter determination unit 50 to perform sharpness enhancement processing according to the following equation (9).
[0056]
[Equation 9]

FIG. 9 is a flowchart showing the operation of the image quality correction apparatus C of the present embodiment. As shown in the figure, first, the reading unit 40 reads the image data S0 from the recording medium 1 (S40), and the compression quality calculation unit 42 calculates the compression quality Q of the image data S0 (S42). On the other hand, the restoration unit 46 restores the image data S0 to obtain restored image data S1 (S44), and the high frequency intensity calculation unit 48 calculates the high frequency intensity E of the restored image data S1 (S46). Steps S42, S44, and S46 may be performed in parallel, or steps S44 and S46 may be performed first. Then, the parameter determination unit 50 determines parameters for sharpness enhancement processing according to the compression quality Q of the image data S0 and the high frequency intensity E of the image data S1 (S48). Next, the correction unit 52 performs sharpness enhancement processing on the restored image data S1 using the parameters determined by the parameter determination unit 50 to obtain processed image data S2 (S50). The processed image data S2 is output from the output unit 54 to the printer and reproduced as a print image (S52).
[0057]
Thus, according to the image quality correction apparatus C of the present embodiment, the sharpness enhancement parameter is determined based on the strength of the high frequency component of the restored image data in addition to the compression quality of the compressed image data. Even if the sharpness processing is performed before the compressed image data is compressed, processed image data having a preferable sharpness feeling can be obtained while suppressing artifacts.
[0058]
FIG. 10 is a block diagram showing the configuration of an image quality correction apparatus D that is an embodiment of the image processing apparatus of the present invention. The image quality correction apparatus D according to the present embodiment is applied to a system that performs gradation correction processing, white balance correction processing, density correction processing, and sharpness enhancement processing on image data acquired by a user using a digital camera or the like, and prints it out. A reading unit 60 that reads image data S0 from a recording medium 1 on which image data S0 obtained by compressing image data obtained by imaging in JPEG format is recorded, and various compression quality factors (hereinafter abbreviated). The compression Q coefficient) and the quantization table are stored in association with each other and the tag information of the image data S0 read by the reading unit 60 and the quantization table storage unit 64. Compression quality calculation for calculating the compression quality of the image data S0 with reference to the compression Q coefficient and the quantization table 62, a noise generation unit 68 that generates random noise based on the compression quality calculated by the compression quality calculation unit 62, and a restoration unit 66 that restores the image data S0 to obtain restored image data S1 that is RGB image data. The restored image data S1 is subjected to gradation correction processing, white balance correction processing, density correction processing, and sharpness enhancement processing to obtain corrected image data S1 ′, and noise is added to the corrected image data S1 ′. It comprises a synthesizing unit 72 for synthesizing random noise generated by the generating unit 68 to obtain processed image data S2, and an output unit 74 for outputting the processed image data S2 to a reproducing apparatus such as a printer.
[0059]
Here, the reading unit 60, the compression quality calculation unit 62, the quantization table storage unit 64, and the restoration unit 66 are the reading unit 10, the compression quality calculation unit 12, and the quantization table storage of the image quality correction apparatus A shown in FIG. Since it is the same as the unit 14 and the restoration unit 18, the description thereof is omitted here.
[0060]
The correction unit 70 may perform image quality correction on the restored image data S1 using a conventional image quality correction method, or the respective image quality corrections used in the image quality correction apparatuses A, B, and C described above. Image quality correction may be performed using a method.
[0061]
The noise generating unit 72 generates 3 × n (n: total number of pixels of the image data S0) pieces of noise, the distribution of these noises is 0 on average, and the variance is expressed by the following equation (10). Thus, it follows the Gaussian distribution of σ.
[0062]
[Expression 10]

As can be seen from equation (10), the smaller the compression quality Q of the image data S0, the larger the variance σ (the larger the noise size), and the larger the compression quality Q of the image data S0, the smaller the variance σ (the noise size). Is small).
[0063]
FIG. 11 is a flowchart showing the operation of the image quality correction apparatus D of the present embodiment. As shown in the figure, first, the reading unit 60 reads the image data S0 from the recording medium 1 (S60), and the compression quality calculation unit 62 calculates the compression quality Q of the image data S0 (S62). In the noise generation unit 68, random noise having a size determined according to the compression quality Q is generated (S64). On the other hand, the restoration unit 66 restores the image data S0 to obtain restored image data S1 (S66), and the correction unit 70 performs image quality correction processing on the restored image data S1 to obtain corrected image data S1 ′. (S68). The processes of steps S62 and S64 and S66 and S68 may be performed in parallel, or the processes of steps S66 and S68 may be performed first. In the combining unit 72, the corrected image data S1 ′ and the random noise generated by the noise generating unit 68 are combined to obtain processed image data S2 (S70). The processed image data S2 is output from the output unit 74 to the printer and reproduced as a print image (S72).
[0064]
As described above, according to the image quality correction apparatus D of the present embodiment, the compressed image data is corrected with respect to the corrected image data obtained by performing the image quality correction on the restored image data obtained by restoring the compressed image data. By synthesizing random noise of a size determined according to the compression quality, image quality deterioration such as block distortion resulting from image quality correction can be reduced, and high-quality processed image data can be obtained.
[0065]
In the above description, the preferred embodiments of the image processing of the present invention have been described. However, the image processing apparatus of the present invention is not limited to the above-described embodiments, and various modifications are made unless the gist of the present invention is changed. be able to.
[0066]
For example, the image quality correction apparatuses A, B, and C described above individually perform tone gradation processing, white balance correction and density correction processing, and sharpness enhancement processing, respectively. As a matter of course, the image quality correction process may be performed by combining a plurality of these image quality correction processes.
[0067]
In the above-described embodiment, image data compressed in JPEG format is used as compressed image data. However, the image processing apparatus of the present invention is obtained by restoring image data compressed in another JPEG compression method. The present invention can also be applied as a device that performs image quality correction on restored image data.
[0068]
In the above-described embodiment, the compression Q coefficient is used as the compression degree of the compressed image data. However, the compression quality is not limited to this, such as the definition and calculation method of the compression quality, and represents the degree of compression of the compressed image data. It can be anything you can.
[0069]
The image quality correction apparatus according to the above-described embodiment is applied to a system in which processed image data is output to a printer. However, the processed image data is recompressed and transmitted via a network, a hard disk, or the like. The present invention can also be applied to a system such as saving in a storage device.
[0070]
Of course, the present invention can also be applied to a system that performs image quality correction processing on compressed image data received via a network.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image quality correction apparatus A according to an embodiment of the present invention.
2 is a diagram for explaining the operation of a gradation curve determination unit 16 of the image quality correction apparatus A shown in FIG.
FIG. 3 is a flowchart showing the operation of the image quality correction apparatus A shown in FIG.
FIG. 4 is a block diagram showing a configuration of an image quality correction apparatus B according to an embodiment of the present invention.
FIG. 5 is a flowchart showing the operation of the image quality correction apparatus B shown in FIG.
FIG. 6 is a block diagram showing a configuration of an image quality correction apparatus C according to an embodiment of the present invention.
7 is a diagram for explaining the operation of the correction unit 52 of the image quality correction apparatus C shown in FIG. 6;
8 is a diagram illustrating an example of a parameter determination table included in the parameter determination unit 50 of the image quality correction apparatus C illustrated in FIG. 6;
FIG. 9 is a flowchart showing the operation of the image quality correction apparatus C shown in FIG.
FIG. 10 is a block diagram showing a configuration of an image quality correction apparatus D according to an embodiment of the present invention.
FIG. 11 is a flowchart showing the operation of the image quality correction apparatus D shown in FIG.
[Explanation of symbols]
1 Recording medium
10, 23, 40, 60 Reading section
12, 25, 42, 62 Compression quality calculator
14, 24, 44, 64 Quantization table storage unit
16 Tone curve determination unit
18, 26, 46, 66 restoration unit
20, 32, 52, 70 Correction unit
22, 34, 54, 74 Output section
28 Correction value calculator
30 Correction value correction unit
48 High-frequency intensity calculator
50 Parameter determination part
68 Noise generator
72 Synthesizer
S0 compressed image data
S1, S1 ', S2 RGB image data
Q compression quality
α Sharpness gain

Claims

An image processing apparatus that obtains processed image data by performing sharpness enhancement processing on restored image data obtained by restoring compressed image data, and a compression degree acquisition unit that acquires a degree of compression of the compressed image data; High-frequency intensity acquisition means for acquiring the intensity of the high-frequency component of the restored image data indicating the enhancement degree of the sharpness enhancement processing performed on the compressed image data ;
An image processing apparatus comprising: an enhancement degree determination unit that determines an enhancement degree of a sharpness enhancement process performed on the restored image data according to a combination of the compression degree and the high frequency intensity.

The compressed image data, the image processing apparatus according to claim 1, wherein the by the mobile terminal included digital cameras are those obtained by imaging.