JP4347625B2

JP4347625B2 - 限られたディスプレイ用にディジタル画像ファイルを発生する方法及びシステム

Info

Publication number: JP4347625B2
Application number: JP2003207569A
Authority: JP
Inventors: ルオジエボ; ブラウンガスタヴ; パパンクリストフ
Original assignee: イーストマンコダックカンパニー
Priority date: 2002-09-27
Filing date: 2003-08-14
Publication date: 2009-10-21
Anticipated expiration: 2023-08-14
Also published as: JP2004140792A; DE60302311T2; EP1403823B1; DE60302311D1; EP1403823A1; US7130474B2; US20040062437A1

Description

【０００１】
【発明の属する技術分野】
本発明はディジタルイメージングの分野に係り、更に特定的には色値の限られたパレットを用いてディジタルカラー画像を表現するためのディジタルファイルを発生する方法に関する。
【０００２】
【従来の技術】
多くのカラー画像出力装置は、入力ディジタル画像中の全ての色が限られたビット深度を有するメモリバッファに格納されねばならないため、入力ディジタル画像中の全ての色を表示することは可能ではない。同様に、画像の送信に必要な帯域幅の量、又は画像を格納するのに必要なメモリの量を減少させるために、より少ないビット深度を用いて画像を表現することが望ましいことがある。例えば、多くのコンピュータは、例えばＣＲＴ又はＬＣＤ画面といったソフトコピーディスプレイ上に表示されるべき画像を格納するために８ビット又は１６ビットの色表現を使用しうる。このような表現は、それぞれ、２５６又は６５５３６の固有の色値のみを許す。これは、多くのディジタルイメージング適用において従来使用されてきた典型的な２４ビットのカラー画像に関連する１６７７７２１６の可能な色値よりもかなり少ない。
【０００３】
より少ない数の色を用いて入力画像を表現することが必要な適用では、より少ない色の組に含まれるべき色の組を決定することが必要である。幾つかの場合、より少ない色の組は、符号化されている特定の画像とは独立に時間的に先行して決定されうる。例えば、３ビットの色情報（８つの異なるレベル）は、画像の赤チャネル及び緑チャネルのために使用されえ、２ビットの色情報（４つの異なるレベル）は画像の青チャネルのために使用されうる。これにより、８ビット表現を用いて入力画像を表現するために使用されうる８×８×４＝２５６の異なる色値の格子が生成される。入力ディジタル画像は、対応するＲＧＢチャネルの夫々の最上位の２ビット又は３ビットをとることにより、８ビット表現へ単純に変換されうる。結果として、多くの状況において画像中に可視の輪郭を生じさせうる量子化誤差を有する画像が発生する。この色パレットは、３−３−２パレットと称され、例えばエリクソンＴ６８携帯型電話機といった多くの無線装置で用いられる。
【０００４】
ビット深度が低くされた画像において量子化誤差の可視性を最小限とするための１つの方法は、色値の局所平均を保つためにマルチレベル・ハーフトーニング・アルゴリズムを用いるものである。非特許文献１には、カラー画像の量子化及びマルチレベル・ハーフトーニングのための様々な方法が記載されている。一つの一般的に用いられるマルチレベル・ハーフトーニング方法は、誤差拡散と称されるものである。誤差拡散の詳細については後述する。
【０００５】
無線通信では、通常は、空気を通じて伝送され目標とされる無線装置によって受信されるべきファイルのサイズについての制限がある。例えば、現在の無線通信規格は、ファイルサイズが３キロバイトを超えてはならないことが要求される。エリクソンＴ６８携帯電話機の場合に、９６×６４画素のサイズの画像をカラー画面上に表示させようとする場合について想定する。ディジタルカラー画像が３−３−３カラーパレットによって表現され画素当たり１バイトに縮小された後でも、単純にインデックスをカラーパレットに格納するのに９６×６４＝６１４４バイトを用いる。一般的には、インデックス値の誤差はインデキシング誤りによる顕著な色歪みを生じさせうるため、インデックスを不可逆的（lossy）に圧縮することは望ましくない。従って、インデックスは通常は、画像構造中の相関によるデータ冗長性を利用することにより、例えばCompuServe GIF又はPortable Network Graphics(ＰＮＧ)（非特許文献２参照）、又はこれから登場するJPEG2000（非特許文献３参照）と称されるJoint Photographic Network Group推奨形式といった可逆的（lossless）ファイル形式を用いて圧縮される。更に、誤差拡散（非特許文献４参照）といったディザ処理は、視覚的により満足のいく画像を生じさせるために、表示パレットの使用による色量子化効果を軽減するために使用されることが多い。画像は小さいサイズへ縮小されているため、また、更に重要なことには、周波数応答に関しては高域通過特性を有する相関の量は誤差拡散処理によってかなり減少されているため、所望の３キロバイトよりも低いファイルサイズを得るために必要な圧縮を達成することは非常に難しくなる。一方で、帯域幅の制限を満たすために圧縮が必要である。他方で、圧縮（量子化及びリサイズを含む）は、画質を必然的に低下させる。つまり、小さいファイルサイズに対する要件と良い画質に対する要件は競合する制約条件である。
【０００６】
従来のシステムは、一般的に、同様の競合する制約条件が与えられているときに良い解決策を与えることができない。２００２年２月７日に公開された「異なる装置のための電子メール添付の配送を最適化するシステム及び方法（System and Methodology for Optimizing Delivery of Email Attachments for Disparate Devices）」なる名称のキラニ（Kirani）及びウィッティングトン（Wittington）による特許文献１では、異なる装置のための電子メール添付の配送を最適化するシステム及び方法を開示している。特許文献１では、受信者側クライアント装置の種類の能力に対して添付画像のサイズを比較し、添付物が特定の使用されている受信者側装置には負担が重いか、圧倒的に大きいかと判断されると、これらの添付物の元の形式の配送を阻止する。これらの添付物が受信者側装置の無線帯域及び／又は表示特徴の能力を過度に使用する場合、元の添付物は単にメッセージから取り除かれ、ネットワークメディア共用レポジトリに保存され、このレポジトリはその記憶アドレスを参照するリンク（例えばＵＲＬ）を介してアクセスされうる。受信者は、自分たちのハンドヘルド型装置の種類を指定し、この種類の添付物の変形物を受信することを選びうる。受信者が以前に多数の種類のクライアント装置を使用し指定していた場合、特許文献１では、これらの一組の多数の装置のうち最も能力の低いものに対応する現在の添付物に対して変形を適用する。明らかに、この処理は厄介であり、最も能力の低い装置が全ての装置についての画質を決定することとなる。
【０００７】
【特許文献１】
米国特許出願公開第２００２／００１６８１８号明細書
【特許文献２】
米国特許第５，７１０，８３３号明細書
【特許文献３】
米国特許第５，９０１，２４５号明細書
【非特許文献１】
アール・エス・ジェンタイル（R.S.Gentile）、イー・ワロウィット（E.Walowit）及びジェイ・ピー・アレバック（J.P.Allebach）著、「オリジナルに近い画質のためのカラー画像の量子化及びマルチレベルハーフトーニング（Quantization and multilevel halftoning of color images for near original image quality）」、米国光学会誌（J. Opt. Soc. Am.）、１９９０年、Ａ７，ｐ．１０１９−１０２６
【非特許文献２】
ポータブル・ネットワーク・グラフィックス（Portable Network Graphics）（ＰＮＧ）、[online]、インターネット<http://www/w3/org/Graphics/PNG>
【非特許文献３】
ＪＰＥＧ２０００、[online]、インターネット<http://www/jpeg.org>
【非特許文献４】
ピー・ジー・ロートリング（P.G.Roetling）及びアール・ピー・ロース（R.P.Loce）、「ディジタル画像平滑化及びシグマフィルタ（Digital Image Smoothing and the Sigma Filter）」、イー・ドウアティー（E.Dougherty）編「ディジタル画像処理方法（Digital Image Processing Methods）」、（米国、ニューヨーク）、マーセル・デッカー（Marcel Dekker）出版、１９９４年
【非特許文献５】
エル・リー（L.Lee）著、「ディジタル画像平滑化及びシグマフィルタ（Digital Image Smoothing and Sigma Filter）」、コンピュータビジョン・グラフィックス・画像処理（Computer Vision, Graphics, Image processing）第２４巻、ｐ．１８９−１９８，１９８３年４月
【非特許文献６】
ジェイ・ルオ（J. Luo）、シー・ダブリュ・チェン（C.W.Chen）、ケイ・ジェイ・パーカー（K.J.Parker）及びティー・エス・ファン（T.S.Huan）著、「低ビットレート圧縮画像のアーティファクト除去（Artifacts removal in low bit rate compressed images）」、IEEE画像処理に関する議事録（IEEE Trans. Image Processing）、第５号、１９９６年、ｐ．１３６３−１３６８
【非特許文献７】
ビー・ヘイセル（B.Heisele）、ティー・ポッジオ（T.Poggio）、エム・ポンティル（M.Pontil）著、「静止グレー画像における顔検出（Face Detection in Still Gray Imges）」、MIT 人工知能研究所（MIT Artificial Intelligence Lab）、メモ１６８７、２０００年５月
【発明が解決しようとする課題】
表示パレットを用いる、元の画像解像度よりも低い表示解像度を有する表示装置であって、伝送路もまた最大ファイルサイズに制限を課す表示装置上での表示のために、ディジタル画像を表現及び圧縮する方法を提供することが必要とされている。
【０００８】
【課題を解決するための手段】
本発明は、上述の１つ又はそれ以上の問題を解決することを目的とする。概して、本発明の１つの面によれば、本発明は、ディジタル画像の解像度よりも低い表示解像度を有し、ディジタル画像を表現するために表示パレットを用い、最大ファイルサイズに制限を与える伝送路に接続される表示装置上での表示のためにディジタル画像を表現し圧縮する方法に関連する。方法は、（ａ）ディスプレイのサイズとされたディスプレイサイズ画像を生成するためにディジタル画像を表示解像度にリサイズする段階と、（ｂ）誤差拡散されたディスプレイサイズ画像を生成する、初期誤差拡散率を有する誤差拡散処理により、ディスプレイサイズ画像を表示パレットへ量子化する段階と、（ｃ）特定のファイルサイズを有する圧縮されたディスプレイサイズ画像を生成するために、誤差拡散されたディスプレイサイズ画像を可逆的に圧縮する段階と、（ｄ）特定のファイルサイズを最大ファイルサイズと比較し、ファイルサイズが最大ファイルサイズよりも小さければ、ディスプレイサイズ画像をディスプレイへ送信する段階と、（ｅ）特定のファイルサイズが最大ファイルサイズよりも大きいが最大ファイルサイズよりも大きい他の所定のファイルサイズよりも小さい場合、ファイルサイズを縮小するために誤差拡散率を所定の量だけ低くし、低くされた誤差拡散率でリサイズされた画像に対して段階（ａ）に続く段階を繰り返す段階と、（ｆ）特定のファイルサイズが最大ファイルサイズと所定のファイルサイズのいずれよりも大きい場合、単純化された画像を生成するために画像細部を減少させることによってリサイズされた画像を単純化し、特定のファイルサイズが最大ファイルサイズよりも小さくなるまで単純化された画像に対して段階（ａ）に続く段階を繰り返す段階とを含む。
【０００９】
本発明の上述の及び他の面、目的、特徴、及び利点については、以下の望ましい実施例の詳細な説明及び請求の範囲を読むこと、及び添付の図面を参照することによって更に明らかに理解され認められるであろう。
【００１０】
【発明の実施の形態】
表示装置で使用されるディジタルファイルを発生するアルゴリズムを用いる画像処理システムは周知であるため、本発明による方法及び装置の一部を形成するか又は本発明による方法及び装置とより直接的に協働する特性について説明する。本願で特に図示又は説明しない特性については、従来技術で知られているものから選択されうる。以下の説明では、本発明の望ましい実施例は、通常通りソフトウエアプログラムとして実施されるが、当業者はかかるソフトウエアと等価のものがハードウエア中に構築されうることを容易に認識するであろう。以下に説明する本発明による方法及びシステムが与えられているとき、本発明の実施に有用な本願に特に図示、示唆、若しくは記載されていないソフトウエアは従来通りであり、通常の技術の範囲内にある。
【００１１】
本発明がコンピュータプログラムとして実施される場合、プログラムは従来のコンピュータ読み取り可能な記憶媒体に記憶されえ、記憶媒体は例えば、磁気ディスク（例えばフレキシブルディスク又はハードドライブ）又は磁気テープといった磁気記憶媒体；光ディスク、光テープ又は機械読み取り可能なバーコードといった光記憶媒体；ランダムアクセスメモリ（ＲＡＭ）又は読み取り専用メモリ（ＲＯＭ）といった固体電子記憶装置；又はコンピュータプログラムを記憶するために使用される任意の他の物理的な装置又は媒体を含みうる。
【００１２】
表示装置で使用されるディジタルファイルを発生する１つの公知の技術は、マルチレベル・ハーフトーニングである。マルチレベル・ハーフトーニング・アルゴリズムは、局所的な平均色値が保たれるよう出力ディジタルカラー画像の画素に割り当てられたパレット値を変化させることによりパレットの色の中間である色値の見かけを作成するために使用されうる。使用されうる公知のマルチレベル・ハーフトーニング方法の例は、マルチレベルベクトル誤差拡散である。典型的なマルチレベルベクトル誤差拡散アルゴリズムを示すフローチャートを図３に示す。図３中、入力ディジタルカラー画像１５のｉ番目の列及びｊ番目の行からの入力画素色値Ｉ_i,jは、出力ディジタルカラー画像１８の対応する出力画素色値Ｏ_i,jを形成するためにパレット色を各画素に割り当てる（ステップ１７）ことにより処理する。ステップ１７においてパレット色を各画素に割り当てることにより、量子化誤差が生ずる。この誤差は、出力画素値が所定の一組のパレット色１６中のパレット色のうちの１つから選択されることによるものである。差分演算３０は、入力画素色値Ｉ_i,jと出力画素色値Ｏ_i,jの間のベクトル差を表わす色誤差Ｅ_i,jを計算するために用いられる。重み誤差段階３２は、結果として得られる色誤差Ｅ_i,jに一連の誤差重みＷ_i,jを適用するために用いられる。
【００１３】
図４に、一組の誤差重みＷ_i,jの例を示す。この例では、列と行のアドレスが（ｉ，ｊ）である現在画素４０の色値Ｅ_i,jは、係数１／４で重み付けされ、列と行のアドレスが（ｉ＋１，ｊ）である画像の現在の行の中の右の次の画素に分配される（４２）。同様に、色値Ｅ_i,jはまた係数１／４で重み付けされ、列と行のアドレスが（ｉ−１，ｊ＋１）、（ｉ，ｊ＋１）及び（ｉ＋１，ｊ＋１）である画像の次の行の３つの画素に分配される（４４）。このようにして、現在の画素４０を処理するときに生ずる量子化誤差は、まだ処理されていない近傍の入力画素へ分配される。その結果、局所的な平均色値が略保たれる。
【００１４】
上述のように、誤差拡散が量子化効果と共に適用されると、近傍画素への量子化誤差の再分配により量子化アーティファクトは軽減される。一般的に、１００％に近い量子化誤差が再分配されたときに画像は最も良く見える。誤差拡散の率が全ての重みの和を１００で乗じたものと定義される場合、望ましい目標は、できるかぎり１００％に近い、例えば９０％といった高い誤差拡散率を用いることである。他方、誤差拡散は、画像に対して高周波数成分を導入し、従って画像中のデータ相関の量を減少させ、結果として得られる画像を圧縮すること（即ち最大ファイルサイズの要件を満たすこと）をより困難とする。１つのトレードオフは、近傍の画素に対して拡散された誤差の割合を減少させ、それにより導入される高周波数成分の量を減少し、次にファイルサイズ要件を満たすことを可能とするためにデータ相関の量を増加させることである。所与の誤差拡散率Ｒにおける誤差拡散重みＷ_i,jは、１００％の率における重みを現在の誤差拡散率で乗ずることによって容易に決定されうる。しかしながら、経験則的には、量子化誤差の５０％未満が分配される場合、誤差拡散の効果は単に量子化された画像にノイズを加えることへと減らされる。従って、誤差拡散率が５０％へ減少され、対応するファイルサイズがそれでもなお最大ファイルサイズに対する限界を超えている場合は、データ相関を増加させる他の方法が必要である。
【００１５】
画像中のあまり重要でない細部が犠牲とされ目立つ画像構造が保たれる場合は、データ相関は高められ得る。本発明は、この目的を達成するために画像単純化と称される手順を用いる。特に、多少は平坦な領域中は、低マグニチュードの空間的な変化は、それらの周波数内容とは無関係に、知覚的にはあまり重要でないと想定される。従って、例えばシグマフィルタといったエッジを保つ空間平滑化フィルタは、画像単純化に適している。シグマフィルタの詳細については、非特許文献５を参照のこと。従来通り、シグマフィルタは画像中の雑音を除去するために用いられる。シグマフィルタといった非線形フィルタは、線形フィルタと比較すると、ノイズを除去するときに画像の細部をより良く保つという利点を有する。現在画素値のσの差の範囲内の近傍画素値の局所平均は、現在画素値を置き換えるのに用いられる。明らかに、マグニチュードの大きいエッジはこのようにして保たれ、低マグニチュードのノイズは除去される。シグマフィルタは、そのエッジ保存能力により、あまり重要でない画像細部を除去するためにはよい選択肢であるが、有用でありうるエッジ保存フィルタはシグマフィルタだけではない。他のエッジ保存空間平滑化フィルタは、非特許文献６に記載のフーバー・マルコフ・ランダム・フィールド（Huber Markov Random Field）フィルタを含むが、これに限られるものではない。
【００１６】
図１に示す本発明の方法を参照するに、入力ディジタル画像１５は送信される出力ディジタル画像を作成するために処理される（１９０）。処理は、入力ディジタル画像１５をコンピュータプログラムへロードすること（１００）を含む。画像は、前処理された画像を形成するために何らかの所望の処理計画に従って前処理される（１１０）。この前処理（１１０）計画は、シーンバランス、コントラスト強調、鮮鋭化、及び回転を含みうるが、これらに限られるものではない。
【００１７】
方法中のこの点において、前処理された画像の複製は、リサイズ処理（１２０）、関心領域（ＲＯＩ）識別部（２６０）、及びオープンスペース識別部（２７０）へ送られる。ＲＯＩ識別部（２６０）及びオープンスペース（ＯＳ）識別部（２７０）へ送られた前処理された画像は、後述する処理に従って処理される。これらの２つの識別部は、ＲＯＩの更なる保護と画像中の平滑な領域の極端な単純化を与えるために用いられる。これらの２つの識別部、従って本発明は、ディジタル画像理解技術に関連し、この技術は、ディジタル画像をディジタル式に処理することにより人間が理解可能な対象、属性、又は条件を認識し有用な意味を割り当て、ディジタル画像の更なる処理において得られる結果を用いる技術を意味すると理解される。
【００１８】
リサイズ演算部（１２０）は、前処理された画像をリサイズして（元の画像のアスペクト比及び装置の画素比の両方に従って）リサイズされた画像を作成する。一般的に、ディスプレイ解像度は入力画像の解像度よりもかなり低い場合が多いため、リサイズ演算部（１２０）は画像のサイズを縮小する。リサイズ演算部としての良い選択肢は、従来技術で周知のバイリニア（bi-linear）及びバイキュービック（bi-cubic）補間器を含む。ステップ１３０を参照するに、誤差拡散（ＥＤ）重み（Ｒ）は色量子化誤差の１００％に近い拡散に対応する所定の初期値に設定される。リサイズされた画像（ステップ１２０から得られる）、誤差拡散重み（Ｒ）、及び表示パレット（Ｐ）（ステップ１５０によって与えられる）は、量子化及び誤差拡散処理（１４０）へ入力される。リサイズされた画像は、ステップ１４０において量子化された画像を生成するために、表示パレット（Ｐ）へ量子化され、量子化誤差は図３で参照した拡散重み（Ｒ）及び処理に従って拡散される。量子化された画像は、圧縮された画像を作成するために圧縮処理を用いて圧縮される（１６０）。この圧縮処理は、例えばＰＮＧ仕様の場合にようなロスレス圧縮器に基づく。次に圧縮されたファイルサイズ（Ｆ）が計算される（１７０）。圧縮されたファイルサイズ（Ｆ）は比較段階１８０において第１の閾値サイズ（Ｓ１）、例えば、３キロバイトの閾値サイズ、と比較される。圧縮されたファイルサイズ（Ｆ）が第１の閾値サイズ（Ｓ１）よりも小さければ、圧縮された画像は表示装置へ送信される（１９０）。圧縮されたファイルサイズ（Ｆ）が（Ｓ１）よりも大きければ、圧縮されたファイルサイズ（Ｆ）は第２の比較段階２００において第２の閾値サイズ（Ｓ２）、例えば３．５キロバイト、と比較される。圧縮されたファイルサイズ（Ｆ）が第２の閾値サイズ（Ｓ２）よりも小さければ、誤差拡散率（Ｒ）は一定の割合、例えば１０％だけ減少される（２１０）。
【００１９】
次に、誤差拡散率は、最小誤差拡散率閾値Ｔ、例えば５０％の閾値、と比較される（２２０）。誤差拡散率（Ｒ）がＴよりも小さいとき、画像単純化処理（２３０）が開始される。誤差拡散率（Ｒ）がＴよりも大きい場合、Ｒ０＝１００％のときの重み値を現在の率Ｒで乗ずることによって計算される誤差拡散重みＷ_i,jの現在の値を用いて、リサイズされた画像を誤差拡散で量子化する処理が開始され（１４０）、方法のステップ１６０乃至２００が繰り返される。
【００２０】
図７を参照するに、画像単純化処理（２３０）はその入力として、リサイズされた画像（１２０）と、関心領域（ＲＯＩ）マスク（２４０）及び／又はオープンスペース（ＯＳ）マスク（２５０）を含む、破線によって示される幾つかの任意の入力とを必要とする。画像単純化処理（２３０）は、多少は平坦な領域に現れ大きいマグニチュードのエッジよりも知覚的に重要でない低マグニチュードの空間的な変化を、それらの周波数成分にかかわらず除去又は平滑化する、例えば上述のシグマフィルタといった画像フィルタをリサイズされた画像に適用することにより単純化された画像（２８０）を戻す。ＲＯＩ（２４０）マスク及びＯＳ（２５０）マスクは、以下のようにして画像単純化処理において用いられる。ＲＯＩマスク（２４０）は、例えばシグマフィルタリングといった画像フィルタリングからＲＯＩマスク中で識別される幾つかの画像領域を遮蔽するために使用され、更に特定的には、マスク中で１に等しい値を有する領域は画像フィルタリングから遮蔽される。ＯＳマスクは、１に等しいマスク値でＯＳマスク中で識別された画像領域を、例えば領域の平均色値といった単一の色値へ変換するために使用される。
【００２１】
比較段階１８０及び２００において、圧縮された画像ファイルサイズＦを一組の閾値（Ｓ１及びＳ２）と比較し、低下段階２１０において誤差拡散率（Ｒ）を選択的に低下させることを繰り返す処理は、ＦがＳ１よりも小さくなり量子化された画像がディスプレイへ送信される（１９０）まで、又は、ＲがまだＴよりも大きくＦがＳ２よりも小さくなるまで、繰り返される。
【００２２】
やはり図１を参照するに、リサイズされた画像がいったん画像単純化処理（２３０）へ送られると、誤差拡散率（Ｒ）は開始値（Ｒ０）にリセットされ、リサイズされ単純化された画像を表示パレットへ量子化する処理（１４０）が再び開始される。誤差拡散率（Ｒ）を低下させ（２１０）画像を単純化する（２３０）処理は、ＦがＳ１よりも小さくなり量子化された画像が表示装置へ送信される（１９０）まで繰り返される。
【００２３】
図２に、本発明の方法及び効果を示す。人物が木と共に前景に立っており、空、雲、及び芝生がシーンの背景を構成する入力画像２０が示されている。固定の装置パレットを用いた場合、量子化は、例えば認識できない顔特徴や空領域中の濃い輪郭といった視覚的に好ましくない量子化アーティファクトを生じさせる。本発明を用いると、空、葉、及び芝生に対応する領域はあまり重要ではない領域２２として扱われ、これらの領域中の細部は、例えば人物、地平線、木の輪郭等といったより顕著な画像画像構造を高い画質で表現することを可能とするために単純化される。
【００２４】
更に、重要な画像構造のより効果的な保存は、対象検出によって達成されうる。幾つかの場合、例えば人間の顔２４といった重要な画像構造は、特に画像が小さいサイズへ縮小されたときは比較的わずかな特徴を有する。
【００２５】
再び図１を参照するに、本発明の望ましい実施例では、顔検出器は、画像単純化（２３０）から保護されるべき関心領域（ＲＯＩ）を識別する（２６０）ために使用される。この画像領域は、適当であると認められる或る最大値に等しい誤差拡散率（Ｒ）を用いて表示パレットへ量子化される。顔検出器を用いて画成されるＲＯＩは、ＲＯＩマスク（２４０）を作成することにより残る画像領域から孤立される。図６を参照するに、図２に示される画像の例から作成されるＲＯＩマスクが示されている。このマスクは、顔検出処理により画成されたＲＯＩ中では１に等しい画素値（白い領域で示される）を有しその他の領域ではゼロに等しい画素値（黒い領域で示される）を有する入力画像と同じ寸法を有する。従って、このマスク（２４０）は、画像単純化処理（２３０）により単純化されるべきでない画像領域を識別するために使用され、誤差拡散処理（１４０）により関心領域に対して１００％の又は１００％に近い率の誤差拡散を適用するために使用される。
【００２６】
図８を参照するに、画像量子化処理（１４０）は、３つの必要とされる入力、即ち、誤差拡散率（Ｒ）、表示パレット（１５０）、及びリサイズされた画像（１２０）又は単純化された画像（２８０）のいずれかを有する。ＯＳマスク（２４０）とＲＯＩマスク（２５０）は、画像量子化処理に対して任意であり、アルゴリズムの通常の流れで作成された場合にのみ使用される。ＲＯＩマスク（２４０）が存在する場合、量子化及び拡散画像処理（１４０）において、ＲＯＩマスクの中のものに対応するリサイズされた画像（１２０）中の又は単純化された画像（２８０）中の領域は、拡散率（Ｒ）を適当と認められる最大値に設定して誤差拡散処理を用いて表示パレット（１５０）へと量子化される。ＯＳマスク（２５０）が存在する場合、単純化された画像（２８０）の領域は、例えばゼロといった最小値に設定された誤差拡散率（Ｒ）を用いて表示パレットへと量子化される。画像中の残る領域は、方法中で現在使用されている誤差拡散率（Ｒ）を用いて表示パレットへと量子化される。
【００２７】
人間の顔検出は従来技術で周知である。例えば、ここに参照として組み入れられる非特許文献７又は、モガダム（Moghaddam）及びペントランド（Pentland）による特許文献２（"Detection, recognition and coding of complex objects using probablistic eigenspace analysis"）を参照のこと。
【００２８】
更に、あまり重要でない構造のより効果的な単純化は対象検出によって達成されうる。例えば、平坦な領域、即ち空や床といったオープンスペース領域が設定され、後に誤差拡散を適用することなく単一の色へと量子化されれば、画像圧縮のために非常に効率的である。オープンスペース検出の詳細については、共通に譲渡されたウォーニック（Warnick）外に対して１９９９年５月４日に発行された
特許文献３に記載されている。
【００２９】
図１を参照するに、本発明の望ましい実施例では、オープンスペース検出器は画像中の平滑な領域を識別する（２７０）ために使用される。これらの領域の夫々は、表示パレットの範囲内の単一の固有の色値へ変換（又は量子化）される。この処理は、例えば誤差拡散に関連する輪郭縞やディザ雑音といった量子化アーティファクトなしにこれらの領域を生成する効果を有する。結果として、所与のオープンスペース特徴に対して、領域は、領域内の色を最もよく表わす共通の色で平滑に表現される。上述の顔検出及び保護処理について記載されたのと同様に、図５を参照して、オープンスペース領域３００を画像の残る領域から区別するマスク（２５０）が発生される。本例では、図２に示される空領域（２６）はＯＳ領域３００として識別される。従って、図５に示すマスクは、空領域であったところに１を有し、その他の領域にゼロを有する。このマスクは、画像単純化（２３０）と誤差拡散処理（１４０）の両方においてオープンスペース領域の特別な処理をさせるために使用される。換言すれば、オープンスペース領域中の画素は最も極端な単純化を受け、即ち単一の色へ設定され、次にオープンスペース領域全体に適用される０％の誤差拡散で単一のパレット色へと量子化される。
【００３０】
本発明による処理及び方法の効果の例を図式的に示す再び図２を参照するに、顔領域２４は検出され、顔特徴の最善の表現を確実とするために画像単純化から除外される。更に、空領域はオープンスペース領域２６として識別され、続いて単一の青色へ量子化され、誤差拡散処理から除外される。
【００３１】
上述の手順によりＳ１よりも小さい画像ファイルを生成することが出来なかった場合、表現された画像は、クロッピングされた画像のファイルサイズがＳ１よりも小さくなる程度に画像境界においてクロッピングされうる。
【００３２】
【発明の効果】
本発明は、固定の装置パレットによる量子化による視覚的な歪みが最小限とされ、顕著な画像構造が保たれる意味で、最大ファイルサイズに最も近いサイズのディジタル画像ファイルによって表現される画像の視覚的な質ができるだけ高く保たれるという利点がある。
【図面の簡単な説明】
【図１】限られたディスプレイ用にディジタル画像ファイルを発生するための本発明の方法を示すフローチャートである。
【図２】本発明の処理及び効果を示すのに役立つ図である。
【図３】公知のマルチレベルベクトル誤差拡散処理を示す図である。
【図４】図３に示すマルチレベルベクトル誤差拡散処理に使用されうる一組の誤差の重みの例を示す図である。
【図５】オープンスペース（ＯＳ）マスクの例を示す図である。
【図６】特に顔のための関心領域（ＲＯＩ）マスクの例を示す図である。
【図７】図１に示す方法で用いられる画像単純化処理の入力及び出力を示す図である。
【図８】図１に示す方法で用いられる量子化及び誤差拡散処理の入力及び出力を示す図である。
【符号の説明】
１５入力ディジタルカラー画像
１６一組のパレット色
１７パレットカラーを次に割り当てる段階
１８出力ディジタルカラー画像
２０入力画像
２２最も単純化を受けるべき画像領域
２４人間の顔領域
２６オープンスペース領域（空）
３０差分演算
３２重み誤差段階
３４加算演算
４０現在画素
４２次の右の画素
４４画像の次の行の画素
１００入力ディジタル画像ロード段階
１１０前処理段階
１２０リサイズ処理
１３０誤差拡散重み設定段階
１４０量子化及び誤差拡散段階
１５０表示パレット
１６０画像圧縮段階
１７０圧縮されたファイルサイズ計算処理
１８０第１の閾値サイズ比較
１９０画像送信段階
２００第２の閾値サイズ比較
２１０誤差拡散率低下段階
２２０最小誤差拡散率比較
２３０画像単純化処理
２４０関心領域マスク
２５０オープンスペースマスク
２６０関心領域識別器
２７０オープンスペース識別器
２８０単純化された画像
３００オープンスペース領域

Claims

ディジタル画像の解像度よりも低い表示解像度を有し、ディジタル画像を表現するために表示パレットを用い、最大ファイルサイズに制限を与える伝送路に接続される表示装置上での表示のためにディジタル画像を表現し圧縮する方法であって、
（ａ）ディスプレイのサイズとされたディスプレイサイズ画像を生成するために前記ディジタル画像を前記表示解像度にリサイズする段階と、
（ｂ）前記ディスプレイサイズ画像を前記表示パレットへ量子化した後、量子化誤差を所定の誤差拡散率に従って誤差拡散処理することで誤差拡散されたディスプレイサイズ画像を生成する段階と、
（ｃ）あるファイルサイズを有する圧縮されたディスプレイサイズ画像を生成するために、前記誤差拡散されたディスプレイサイズ画像を可逆的に圧縮する段階と、
（ｄ）前記ファイルサイズを前記最大ファイルサイズと比較し、前記ファイルサイズが前記最大ファイルサイズよりも小さければ、前記圧縮されたディスプレイサイズ画像を前記ディスプレイへ送信する段階と、
（ｅ）前記ファイルサイズが前記最大ファイルサイズよりも大きいが前記最大ファイルサイズよりも大きい他の所定のファイルサイズよりも小さい場合、前記ファイルサイズを縮小するために前記誤差拡散率を所定の量だけ低くし、前記低くされた誤差拡散率で前記リサイズされた画像に対して前記段階（ａ）に続く段階を繰り返す段階と、
（ｆ）前記ファイルサイズが前記最大ファイルサイズと前記所定のファイルサイズのいずれよりも大きい場合、単純化された画像を生成するために画像細部を減少させることによって前記リサイズされた画像を単純化し、前記ファイルサイズが前記最大ファイルサイズよりも小さくなるまで前記単純化された画像に対して前記段階（ａ）に続く段階を繰り返す段階とを含む方法。
前記ディジタル画像中の関心領域を検出する段階と、前記段階（ｆ）において前記関心領域中の顕著な特徴を単純化することを防止する段階とを更に含む、請求項１記載の方法。
前記関心領域は人間の顔に対応し、前記関心領域を検出する段階は顔検出アルゴリズムを用いる、請求項２記載の方法。