JP4012801B2 - 圧縮画像データの画像強調 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、圧縮画像データの画像強調に関する。
【０００２】
【従来の技術】
過去に、コピー機あるいは走査して印刷する画像処理システムのための一般的な適用は、入力画像を、出来るだけ正確に再製すること、即ち、コピーを与えることであった。従って、元画像のきずを含めて、コピーは出来るだけ正確に為されてきた。しかし、顧客の文書再製要求について顧客がより洗練されて来るにつれて、彼らは、正確なコピーは時として所望されるものではないことを悟った。代わりに、より高い品質の画像と考えられる不正確なコピーが、より所望のものとなってきた。
【０００３】
最近まで、コピー機あるいは走査して印刷するシステムの出力からの画像品質は、入力画像の品質に直接関連した。テキストあるいは線図の画像の再製にとってこれは満足できるものであった一方、それは、写真と他のより複雑な画像の再製の目的にとっては、次善のことであることが分かってきた。写真については、特に、原理，装置の変動，写真の経年変化，等の不正確な性質を考えると、再製は複雑である。入力画像がしばしば貧弱な品質であることを考えると、正確なコピーよりはむしろ、可能な限り“ベスト”な画像（あるいは少なくとも、入力画像に比べてより優れた）であると考えられる出力画像をもたらすことが所望されるようになってきた。
【０００４】
自動化された画像強調（ＡＩＥ：Automated Image Enhancement）システムが、従来技術の中で開発され開示されてきた。ＡＩＥシステムの一つのタイプは、オプションで、サブサンプルされた入力画像の記述を受け取り、トーン再製曲線（ＴＲＣ:Tone Reproduction Curve）（強調の目的での、入力画像信号から出力画像信号へのの関係を規定する曲線）を変更し、及び／又は、結果としての出力画像が受け取られて入力画像に勝るように、画像毎に適切なように、その画像のためにシャープネスフィルタを導くか、あるいは変更する。例えば、知覚された露光，輝度，シャ−プネス，飽和，色バランス，等を変更して、入力画像に対して好ましい出力画像を提供するためにＡＩＥが用いられる。例えそれが、全体画像を統計的に分析するために、サブサンプルされた画像に依存する必要があっても、ＡＩＥが良く動作することに注意することが重要である。ＡＩＥは、各々及びいずれの画像情報のアイテムもが分析されることを必要としない。勿論、このサブサンプリングは、画像強調動作を促進し、ＡＩＥシステムの実施に必要とされるメモリバッファのサイズ／数を減少させる。
【０００５】
より詳細には、例えば特許文献１に開示されるように、（ａ）赤緑青（ＲＧＢ）信号で規定された入力画像を受け取り，（ｂ）ＲＧＢ信号を対応する輝度−クロミナンス信号（全体の画像輝度を表す、少なくとも一つあるいはそれ以上のの信号を含む）に変換し，（ｃ）輝度信号を、画像の明るさと暗さの受容可能なレベルを規定する上限下限の輝度スレッシュホールド信号と比較し，（ｄ）もしスレッシュホールドの一つが越えられれば、画像輝度を表す画像信号が選択方程式によって処理され、結果としての出力画像の露光特性が、入力画像に対して優れていると知覚されるように、画像と対応付けられたＴＲＣが調整される，ステップを含む、入力画像から生成された出力画像の知覚された露光を変更する従来技術に方法が開示されている。
【０００６】
また、従来技術に開示されたものとして、（ａ）色空間によって規定された入力画像データを受け取り，（ｂ）もし必要なら、入力画像データを輝度−クロミナンス色空間に変換し（ここで少なくとも一つの項（term）が入力画像の全体の輝度に対する関係を持つ），（ｃ）全体入力画像に対するグローバルの輝度ヒストグラムを引出し，（ｄ）その比較的兵站な部分を変更すること無しに、ヒストグラム信号にフィルタをかけて高いピークと低い谷を平坦化し，（ｅ）フィルタをかけられたヒストグラム信号を利用して、装置（これによって画像がレンダーされる（rendered））でＴＲＣマッピングを制御する，ステップを含む、入力画像から生成された出力画像の知覚された輝度を変更する方法が挙げられる。開示された輝度強調法の他の面によると、入力画像は、複数の領域に分割され得、局所輝度ヒストグラム信号が、各領域のために導き出され得る。もし、局所ヒストグラム信号のいずれかが、グローバルのヒストグラム信号に比べてより平坦ならば、局所信号は合計されて、グローバルヒストグラム（global histogram）平坦化フィルタの代わりに使用される。
【０００７】
記載されたこの方法は、非圧縮画像データに関連する。しかし、多くの画像処理オペレーションにおいて、画像データは、画像記憶装置あるいは他の位置から受け取られるか、あるいは、画像記憶空間を最小化するために圧縮された様式で供給される。
【０００８】
よって、今迄画像強調オペレーションは一般的に、画像強調オペレーションのために、圧縮された画像が第１に圧縮解除されるか、あるいは“復号される”ことを要求してきた。これは、圧縮解除オペレーションが、全体の強調オペレーションを遅らせる点，多量の非圧縮画像データを収容するために画像処理装置が付加的なメモリとともに提供されなければならない点，及び、各圧縮オペレーション自体がデータロスによって画像データを更に劣化させる点，で望ましく無い。
【０００９】
よって、上述の困難さ等を克服する方法及び／又はシステムを提供することが望ましい。
【００１０】
【特許文献１】
米国特許第5，414，538号
【００１１】
【発明の概要】
本発明の一つの実施例によって、画像処理方法は、圧縮された画像データのパケットを受け取ることを含む。圧縮されたデータの第１レベルのサブバンドは圧縮解除され、画像データに適用されるべき第１レベルのサブバンドから強調パラメータが決定される。
【００１２】
本発明の他の実施例によって、画像処理方法は、デジタル画像を規定するウェーブレット・ドメイン・データ（これは、Ｎレベルの分解を含む）を受け取ることを含む。Ｍレベル（ＭはＮより少ない）がその後、少なくとも一つのトーン再製曲線と入力デジタル画像データの強調のためのシャープネス・フィルタを引き出す、自動化された画像強調システムに入力される。画像データはより完全に圧縮解除され（同時にあるいは後に、のいずれかで）、選択された分解（decomposition）のレベルでのデジタル画像を表す圧縮解除された（decompressed）画像データが得られる。最終再製曲線あるいはシャープネス・フィルタのいずれか、あるいは双方を用いて、圧縮解除された画像データは強調される。
【００１３】
本発明の他の実施例によって、ウェブレット・ドメイン画像データを処理するゼログラフィー装置は、入力デジタル画像を表すウェブレット・ドメイン画像データを受け取るための手段を含む。ウェブレット・ドメイン画像データは、Ｎレベルのウェーブレット分解を含む。Ｍレベルの抽出器が、ウェーブレット・ドメイン画像データからＭ番目のウェーブレット分解を抽出する（ここでＭ＜Ｎである。）。抽出されたＭ番目のレベルのウェーブレット分解は、入力デジタル画像の低い解像度表現である。画像強調システムは、抽出されたＭ番目のレベルのウェーブレット分解を受け取り、抽出されたウェーブレット分解から強調プロセスを引き出して、デジタル入力画像のより高い解像度表現を調整する。
【００１４】
【発明の実施の形態】
図面を参照するが、図面は本発明の模範的実施例の図示の目的のためのみのものであって、いかなる意味でも本発明を限定するものではない。図１は、画像端末12，画像処理ユニット（ＩＰＵ：image processing unit）14，及び画像出力端末16を備える画像処理装置を示す。入力端末12は、スキャナ，デジタルカメラを含む、いかなるデジタル画像データのソース、あるいは記憶された画像データソースでも有り得る。ここに記述されるようなデジタル画像処理を実行するための、マイクロプロセッサ等を含む、いかなる適切な電子計算装置によっても、画像処理ユニット14が提供される。入力端末12からの画像データは、処理のためにＩＰＵ14に供給される。データの処理後、ＩＰＵ14は、処理済みのデータを、非衝撃プリンタ，ビデオディスプレー，画像記憶装置等を含み得る画像出力端末16に出力する。
【００１５】
離散ウェーブレット変換を用いた、デジタル画像の、異なる周波数サブバンド、あるいはサブバンド画像への分解が知られている。離散ウェーブレット変換とその逆変換は良く知られ、Wavelets and Subband Coding, Vetterli and Kovacevic, Prentice Hall PTR (1995); Wavelets and Filter Banks, Strang and Nguyen, Wellesley-Cambridge Press (1996), 及び, Wavwlet Basics, Chan, Kluwer Academic Publishers (1995) に完全に記載される。
【００１６】
図２を参照する。ここにオリジナルのデジタル画像に対応する１レベルウェーブレット分解が示される。知られるように、デジタル画像のウェーブレット分解は、４つのサブバンドＬＬ，ＬＨ，ＨＬ，ＨＨを含む。ローパスサブバンドＬＬは、オリジナル画像の、ローパスで、サブサンプルされたバージョン（即ち、オリジナルの画像の垂直と水平方向の双方のための低周波数情報によって）、によって規定される。垂直サブバンドＬＨは、オリジナル画像の低周波数垂直情報と高周波数水平情報によって規定される。垂直サブバンドＨＬは、オリジナル画像の高周波数垂直情報と低周波数水平情報によって規定される。そして対角のサブバンドＨＨは、オリジナル画像の高周波数対角情報によって（即ち、オリジナル画像の垂直と水平方向の双方に対する高周波数情報）規定される。
【００１７】
今図３を参照する。オリジナル画像の第１のレベルのウェーブレット分解は、上述のように、水平サブバンドＨ０，垂直サブバンドＶ０，及び対角サブバンドＤ０を含む。第２レベルのサブバンドＨ１，Ｖ１，Ｄ１が規定されるように、ローパスサブバンド自身が、ウェーブレット分解に曝されてきた（has been subject to）。第３レベルのウェーブレットサブバンドが第３レベルのローパスサブバンドＬＬ２，第３レベル水平サブバンドＨ２，第３レベル垂直サブバンドＶ２，及び第３レベル対角サブバンドＤ２によって規定されるように、ここで再度、第２レベルのローパスサブバンドが、ウェーブレット分解に曝されてきた。ウェーブレット分解は、必要なら更に反復され得る。
【００１８】
ここで図４を参照する。ウェーブレット圧縮画像データ30が、ＩＰＵ14に送出される。ウェーブレット圧縮された画像データがストリームされた（streamed）ときに、一般的に最も圧縮されたサブバンドが最初に到着し、その後のバンド（subsequent bands）によって増加された解像度が得られる。通常、分解の数は一般的に文字Ｎによって識別され、特定の分解レベルは一般的に文字Ｍとともに言及される（ここで１≦Ｍ≦Ｎ）。ＩＰＵ14は、ストリームを受け取り、画像データを所望の解像度レベルＭ32に圧縮解除する。しかし、比較的低い解像度レベルＭが、全体の圧縮解除された画像を強調するために有用なパラメータの強調分析と開発のために適切である。よって、ＩＰＵ14は、ローパスサブバンドＬＬ内で解像度レベルＭ34において画像データの強調分析を実行する。一つの実施例において、画像データは引き続き、ＩＰＵ14内にストリームし、このデータは、全てのレベルが圧縮されるまで、あるいは圧縮解除が停止するまで（38）、継続的に圧縮解除される。圧縮解除された画像40と強調パラメータ42が、強調パラメータを圧縮解除された画像に適用する画像処理アルゴリズム44に供給される。
【００１９】
ここで図５を参照する。ウェーブレット圧縮された画像データ30は、ＩＰＵ14Ｙを入れ、解像度レベルＭに圧縮解除される（32）。解像度レベルＭのローパスサブバンドＬＬ上で、ＡＩＥ分析がその後実行される（50）。ＡＩＥ分析は、以前に言及した特許に対応する。ＡＩＥ分析の結果は、データとパラメータバインダ（parameter binder）（これが圧縮されたデータストリームと、ＡＩＥから決定された強調を表すデータ、を結合する）に提供される。この結合された（bound）データのデータストリームと強調パラメータはその後、ＩＰＵ14に，サーバ上に，プリンタ等に，位置する強調された画像データを記憶する記憶装置56に記憶される。
【００２０】
図６を参照する。結合されたデータと強調パラメータを用いる例において、データは
強調された画像データを記憶する記憶装置56から抽出され、ＩＰＵ14ＹＹ内の抽出アルゴリズムが、データから強調分析パラメータ54を抽出する。でーたは継続して、所望のレベル60まで圧縮解除する（これが達成されたとき、強調パラメータ54を圧縮解除された画像に適用する画像処理アルゴリズム62に送られる）。ＩＰＵ14ＹＹはその後、レンダー（render）し、記憶し、及び／又は、他の更なる画像処理あるいは出力を行うために、強調された圧縮解除された画像を出力する。
【００２１】
図７を参照する。ＡＩＥ分析と処理のより詳細な図示が為される。例えばＪＰＥＧ2000のウェーブレット圧縮された画像データ30が受け取られ、Ｍ−レベルの抽出器32が、ＪＰＥＧ2000圧縮データから、決定された圧縮レベルのローパスサブバンドＬＬを抽出する。ＪＰＥＧ2000圧縮されたデータストリームは、Ｍ−レベル抽出器32によって変更されず、それは、データチャンネル100を介してバインダユニット（binder unit）52に入力される。
【００２２】
Ｍ番目からのローパスサブバンドＬＬは、データチャンネル102を介して、自動化された画像強調（ＡＩＥ）ユニット50に入力される。特に、Ｍ番目のレベルからのローパスサブバンドＬＬは、情報チャンネル108（これが代わりに動作可能に複数のＡＩＥモジュール（例えばＡＩＥ露光モジュ−ル112），ＡＩＥカラーバランスモジュール122，及びＡＩＥコントラストモジュール132に、そして、ＡＩＥ輝度モジュール182とＡＩＥシャープネスモジュール192に、それぞれバス110，120，130，180，190によって接続される）内に配置される。当業者は、他のＡＩＥモジュールが、ＡＩＥユニット50の一部分であり得ることを理解するであろう。そして、本発明が、示された特定のＡＩＥモジュールに限定されることは意図されない。ＡＩＥモジュールはまた、他のＡＩＥモジュールによる使用のために、情報を情報チャンネル108に戻し得る。ＡＩＥユニット50内のＡＩＥモジュール112，122，132，182，192，は、記述のEschbach et al.and Fuss et al. の米国特許でより詳細に説明される。
【００２３】
露光，色バランス，コントラスト，及び輝度ＡＩＥモジュール112，122，132，182の各々は、情報チャンネル108の上で供給されたデータを用いて、各モジュール112，122，132，182によって決定された要求された画像修正、に影響を与えるために必要とされる中間ＴＲＣを生成する、それぞれのＴＲＣ生成器114，124，134，184のために入力信号を計算する。ＴＲＣ生成器114，124，134，184の各々は、生成された中間ＴＲＣを、それぞれの中間ＴＲＣを一つの最終ＴＲＣ160（ルックアップテーブル（ＬＵＴ）によって規定される）に結合する（combines）ＴＲＣコンバイナ（combiner）140に向ける。最終ＴＲＣはその後、ＴＲＣ／フィルタバインダ52のバインドＴＲＣユニット150に向けられる。ここで、それは、その後の使用のために、ＪＰＥＧ2000圧縮画像データに束ねられ（bound to）る。同様に、シャープネス・モジュール192は、情報チャンネル108からのＭ番目のレベルからローパスサブバンドＬＬを受け取り、同じものを使用して、シャープネスフィルタ194（これもまた、ＴＲＣ／フィルタバインダ52に、特にそのバインダフィルタユニット200に向けられる）を生成する。ここで、フィルタは、圧縮されたデータ（既に、バインドＴＲＣユニット150によって圧縮されたデータに束ねられた、いかなるＴＲＣとともに）に束ねられる。結合されたＴＲＣ／フィルタとＪＰＥＧ2000圧縮画像データは、250で出力され、画像処理モジュール66をダウンストリームする（図６に最も良く示される）。当業者によって、最終ＴＲＣ160及び／又はシャープネスフィルタ194は、秒あるいは月、年あるいはそれより長い期間（長期間アーカイブ記憶のためのように）の一部分を含むいかなる時間長の間も、束ねられ得ること、あるいは動作状態でＪＰＥＧ2000圧縮画像データと対応付けられることが理解されるはずである。更に、最終ＴＲＣ160及び／又はフィルタ194は、一旦引き出されれば、圧縮された画像データが適切に圧縮解除されたことを仮定して、即座に使用され得る。
【００２４】
当業者は、束ねられたデータから抽出されたＭ番目のレベルからのローパスサブバンドＬＬが、画像データが全体的に圧縮解除されることを要求すること無しに、サブサンプリング、あるいは、非圧縮入力画像データのより低い解像度の変形（variant）、を提供することを理解するであろう。よって、Ｍ番目のレベルからのローパスサブバンドＬＬは、既述のＡＩＥシステムによって（これらのシステムに対する大きな修正無しに）使用され得る。更に、どのレベルのローパス・バス−バンド（bus-band）が使用されるかを選択的に変更することは、関連して、計算された強調パラメータの正確さを変更する。
【図面の簡単な説明】
【図１】本発明によるデジタル画像処理装置の概略図。
【図２】デジタル画像の信号−レベルウェーブレット分解の概略図。
【図３】デジタル画像のマルチプル−レベル（即ち３レベル）ウェーブレット分解の概略図。
【図４】本発明の一つの面を適切に実施するシステムの概略図。
【図５】本発明の他の面を適切に実施するシステムの概略図。
【図６】図５に示された実施例によって本発明を適切に実施するシステムの概略図。
【図７】本発明を適切に実施する強調機構の詳細概略図。
【符号の説明】
12 画像端末
14 画像処理ユニット
16 画像出力端末
30 ウェーブレット圧縮画像データ
56 記憶装置
66 画像処理モジュール

Claims (3)

1. 圧縮された画像データのパケットを受け取り、
   当該圧縮された画像データの第１レベルのサブバンドを圧縮解除し、当該第１レベルのサブバンドが複数の第１レベルのサブバンドの全体より小さく、
   当該サブバンドから、当該画像データへの強調パラメータを判断する、
   ステップを含み、更に、
   当該圧縮された画像データ内に強調パラメータを取り込み、そして、
   当該強調パラメータを取り込んだ圧縮された画像データを記憶するステップを含み、そして、
   当該圧縮された画像データ内に強調パラメータを取り込むステップが、当該画像データに、少なくとも、当該画像データのために生成された、トーン再製曲線及びシャープネス・フィルタをバインド（ bind ）するステップを含む、
   画像処理方法。
2. デジタル画像を規定するウェーブレット・ドメインのデータを受け取り、当該ウェーブレット・ドメインのデータが、Ｎレベルの分解を備え、
   Ｍレベルの分解を自動化された画像強調システムに入力し、当該Ｍが、Ｎより小さいものであり、
   Ｍレベルの分解から、入力デジタル画像データを強調するために、訂正トーン再製曲線とシャープネス・フィルタの少なくとも一つを引出し、
   当該画像データを圧縮解除して、圧縮解除の選択されたレベルでの当該入力デジタル画像を表す圧縮解除された画像データを得、そして、
   上記最終トーン再製曲線と上記シャープネス・フィルタの当該少なくとも一つを用いて、当該圧縮解除された画像データを強調する、
   ステップを含み、更に、
   当該デジタル画像を強調するための後の使用のために、当該当該最終トーン再製曲線と当該シャープネス・フィルタの少なくとも１つを記憶する、
   ステップを含み、そして、
   後の使用のために、当該当該最終トーン再製曲線と当該シャープネス・フィルタの少なくとも１つを記憶するステップが、トーン再製曲線及びシャープネス・フィルタの少なくとも１つを、当該受信された画像データにバインドするステップを含む、
   画像処理方法。
3. 入力デジタル画像を表すウェーブレット・ドメインの画像データを受け取るための手段であって、当該ウェーブレット・ドメイン画像データがＮレベルのウェーブレット分解を含む当該手段、
   当該ウェーブレット・ドメインの画像データからＭ番目のレベルのウェーブレット分解を抽出するＭレベルの抽出器であって、ＭがＮより小さく、当該抽出されたＭ番目のレベルのウェーブレット分解が、当該入力デジタル画像の低い解像度表現である当該抽出器、及び、
   当該抽出されたＭ番目のレベルのウェーブレット分解を受け取る画像強調システムであって、当該システムが、当該抽出されたＭ番目のレベルのウェーブレット分解から強調プロセスを引き出して、当該入力デジタル画像の高い解像度の表現を調整する当該システム、
   を備え、更に、
   当該ウェーブレット・ドメインの画像データを、当該入力デジタル画像の高解像度の表現に変換するための手段、 及び、
   当該強調プロセスを、当該変換手段によって提供された当該入力デジタル画像の当該高解像度の表現に適用するプロセッサ、
   を備える、ウェーブレット・ドメインの画像データを処理するゼログラフィー装置。

Images