JP4088370B2 - 画像圧縮方法 - Google Patents
画像圧縮方法 Download PDFInfo
- Publication number
- JP4088370B2 JP4088370B2 JP16722598A JP16722598A JP4088370B2 JP 4088370 B2 JP4088370 B2 JP 4088370B2 JP 16722598 A JP16722598 A JP 16722598A JP 16722598 A JP16722598 A JP 16722598A JP 4088370 B2 JP4088370 B2 JP 4088370B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- decompressed
- compression
- compressed
- data plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Color Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像プロセスに関し、さらに詳細にはモザイク化画像用の圧縮プロセスに関する。
【０００２】
【従来の技術】
ディジタル・カメラによって獲得されたカラー・ディジタル画像は、一般にモザイク化されている。画像をカメラに記憶する場合、原データ値を記憶するか、ある損失のない圧縮技法を使用して記憶すべきデータを圧縮し記憶するか、ＪＰＥＧ（Joint Photographic Experts Group）など損失のある方式を使用して記憶すべきデータを圧縮し記憶する。たとえば、ＪＰＥＧアルゴリズムのベースライン・バージョン（ITU-T Rec.T.81/ISO/IEC 10918-1「Digital Compression and Coding of Digital Still Images」）を参照されたい。原データ、または損失のない圧縮方式を使用して圧縮されたデータを記憶するのに必要な画像記憶用のメモリは、損失のある圧縮方式を使用した場合に必要なメモリよりも大きい。しかし、ＪＰＥＧアルゴリズムから最大の利益を得るためには、まず第一に、ＹＵＶやＹＣｒＣｂなど輝度／クロミナンス空間に変換するのが通例である。この輝度／クロミナンス空間変換を実施するために、まず画像をモザイク復元して完全２４ビット画像を得ることが必要である。このカラー補間を実施する様々なアルゴリズムがある。
【０００３】
モザイク復元された後、２４ビット画像はカラー変換され、ＪＰＥＧ圧縮されるが、これはもちろん若干の損失を伴う。しかし、損失はすべての位置においてすべてのカラー中に拡がり、圧縮復元された画像に、望ましくないアーチファクトをもたらす。
【０００４】
したがって、画像においての損失のある画像圧縮技法によって、モザイク化画像装置に画像の忠実度の限界が課せられ、多くの用途において、これらの損失のある圧縮技法装置の使用が妨げられることが理解できよう。
【０００５】
【発明が解決しようとする課題】
上述の問題に対し、所与の圧縮比に対してもたらされる誤差を低減することにより、モザイク復元された圧縮画像の忠実度を改善できる損失のある画像圧縮技法が必要である。
【０００６】
本発明は、所与の圧縮比に対してもたらされた誤差を低減することによってモザイク復元された圧縮画像の忠実度を改善することが可能な画像圧縮プロセスを提供することを目的とする。
【０００７】
【課題を解決するための手段】
所与の圧縮比に対してもたらされた誤差を低減することによって、モザイク復元された圧縮画像の忠実度を改善するプロセスおよび装置について説明する。一般にモザイク復元された画像の任意の位置における３つのカラー値のうちの２つのカラー値が補間されるので、損失の大部分はこれらの２つのカラー値に集中し、その結果実際のデータ値または測定データ値にはほとんど損失が発生しない。これは、元の測定値には、損失のある圧縮の際に最小限の損失が発生するが、一方で他の補間値に対する損失が、任意に大きくなるデータの補間を見つけることによって達成される。したがって、まず最初に、補間を実施し、圧縮方式（たとえば、ＪＰＥＧ）が与える損失がどのようなものであっても容認するのではなく、補間すべき値を「指定なし」として処理し、測定値に対する損失を最小にするように供給される。
【０００８】
カラー補間プロセスの一実施形態では、原データは平面Ｒである。２つの補間平面Ｉ0 およびＩ1 を加えて、２４ビット画像を形成する。圧縮および圧縮復元の後、この補間平面Ｉ0 ，Ｉ1 が加えられた平面は、それぞれＲ'、Ｉ0 '、Ｉ1 'になる。圧縮後誤差は（Ｒ−Ｒ'、Ｉ0 −Ｉ0 '、Ｉ1 −Ｉ1 '）になる。第１の成分Ｒ−Ｒ'は、データ位置における誤差を表すので、繰返しにより小さくなる。これは、Ｒ'をＲに置き換えてから、得られた画像を圧縮し、圧縮復元することによって達成される。このプロセスは、Ｒ−Ｒ'が十分小さくなるまで、または所定の回数の繰返しが行われるまで、反復して行われる。
【０００９】
提示されたアルゴリズムは、追加のメモリを必要とせず、動作時間の適度の延長を必要とする。
本発明は、添付の図面と共に以下の詳細な説明を読めばより容易に理解できよう。同じ参照番号が同じ構成要素を示す。
【００１０】
【発明の実施の形態】
本発明の実施形態について、図１〜図７を参照しながら以下で論じる。しかし、本発明はこれらの限定された実施形態の範囲を越えるので、これらの図面に関して本明細書に記載した詳細な説明は例示的なものであることを当業者なら容易に理解できよう。
【００１１】
図１は、本発明による画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式を使用してモザイク化ディジタル画像を処理する装置１００を示すブロック図である。図１において、原ディジタル・カラー画像１２０を獲得する（１１０）。原ディジタル・カラー画像１２０をカラー空間変換および補間（１３０）にかけた後、圧縮して（１４０）、圧縮画像１５０を得る。圧縮画像１５０を圧縮復元し（１６０）、最終画像１７０を得て、最終画像１７０を出力する（１８０）。
【００１２】
以下の説明はディジタル・カメラの状況で行われるものであるが、画像圧縮アーチファクト低減はどのようなモザイク化ディジタル画像に対しても実施できる。たとえば、代替実施形態では、ファクシミリまたは走査装置によって画像獲得１１０を行うことができる。同様に、最終画像１７０の出力は、どのような既知の画像出力装置（たとえば、プリンタまたは表示装置）でも行うことができる。さらに、以下の説明では一例として２４ビットのディジタル・カラー画像を使用するが、他のカラー解像度のピクセルを有する画像も使用できることを理解されたい。しかも、この例では、損失のある圧縮に対するアルゴリズムとしてＪＰＥＧアルゴリズムを使用するが、画像圧縮アーチファクト低減は同様のどのような損失のある圧縮に対しても実施できることを理解されたい。
【００１３】
ＪＰＥＧアルゴリズムから最大利益を得るためには、ＹＵＶまたはＹＣｒＣｂなどの輝度／クロミナンスに変換することが有用である。この輝度／クロミナンス変換を実行するためには、まず完全２４ビット画像を有するようにその画像をモザイク復元することが必要である。このカラー補間を実施する様々なアルゴリズムが存在する。
【００１４】
モザイク復元後、２４ビット画像はカラー変換され、ＪＰＥＧ圧縮される。これはもちろんいくらかの損失を伴う。しかし、この損失は、一般にすべての位置におけるすべてのカラー中に広がり、圧縮復元された画像中に不要なアーチファクトをもたらす。しかし、以下で詳述するように、モザイク化ディジタル画像を処理するための装置１００の圧縮技法は、本発明による画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式を使用するために変更されたものである。
【００１５】
任意の位置における３つのカラー値のうちの２つのカラー値が補間されるので、本発明の画像圧縮アーチファクト低減は、大部分の損失がこれらの２つのカラー値に集中し、その結果実際のデータ値または測定データ値がほとんど損失を有しないようになされている。このモザイク化画像圧縮方式の目的は、元の測定値が、損失のあるＪＰＥＧ圧縮において受ける損失が最少となり、一方で他の補間値に対する損失が任意に大きくなるようなデータの補間を見つけることである。したがって、まず最初に、補間を実施し、ＪＰＥＧ圧縮が与えるどんな損失をも容認するのではなく、補間すべき値を「指定なし」として処理し、測定値に対する損失が最小になるように与える。
【００１６】
[圧縮ブロック： ＪＰＥＧ]
ＪＰＥＧは多数のブロックを有する複雑なアルゴリズムであるが、この説明では、アルゴリズムの損失（または不可逆）部分にのみに注目する。
エンコーダでは、これは
ＹＣｒＣｂ（または同様な空間）へのカラー変換
ＤＣＴ（離散コサイン変換）変換
所与のＱテーブルおよびＱ因数によるＤＣＴ係数の量子化
を含む。
デコーダでは、これは
所与のＱテーブルおよびＱ因数による逆量子化
逆ＤＣＴ変換
ＲＧＢへの逆カラー変換
を含む。
【００１７】
ＤＣＴ係数の量子化の際に損失が発生する。各ＤＣＴ係数は、所定のＱテーブル内の適切な項目およびＱ因数によって決定されるステップサイズを有する均一量子化装置によって量子化される。したがって、量子化されたＤＣＴ係数は、必ず対応するステップサイズの整数倍になる。
【００１８】
ＤＣＴ係数のすべてが量子化装置の再構築レベルに偶然等しくなった場合には、損失が一切発生しないことに留意されたい。これは、量子化装置が単一再構築レベルによって可能な係数値の範囲を表すためである。すでに同じようにＪＰＥＧ圧縮されている画像は、（同じ量子化レベルを使用して）２度目に圧縮された場合に、その画像が変わらないという特性を有することに留意されたい。
【００１９】
[カラー補間ブロック]
上述のように、原データは、３つのカラー平面からのデータ・サンプルのモザイクを有する。ＪＰＥＧアルゴリズムなどの圧縮方式のアルゴリズムを使用する前に、２４ビット画像に補間しなければならない。すなわち、図２に示す原データ画像Ｒに対して、図３および図４に示す２つの補間画像Ｉ0 およびＩ1 をそれぞれ加え、完全２４ビット・カラー画像を作成しなければならない。明らかに、この最後の２つの補間画像Ｉ0 およびＩ1 は原データ画像Ｒから計算され、新しい測定データを含まない。この完全２４ビット画像は３つの平面で示す。すなわち、この画像を（Ｒ，Ｉ0 ，Ｉ1 ）と示すものとする。
【００２０】
したがって、図２は、本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した原データ（Ｒ）モザイクを示す図である。図３および図４は、本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した第１および第２の補間データ（Ｉ0 およびＩ1 ）モザイクをそれぞれ示す対応図である。図２では、赤センサ（２０１、２０３、２２１、２２３）、緑センサ（２００、２０２、２１１、２１３、２２０、２２２、２３１、２３３）、青センサ（２１０、２１２、２３０、２３２）が４×４のモザイク状に配置されている。
次に、モザイクのセンサが測定した値を補間して、欠落値を供給する。
【００２１】
たとえば、双一次補間方式によれば、赤センサ２０１および赤センサ２２１が測定した赤値を平均することにより、緑センサ２１１の位置に関する赤値を形成することができる。これは、図３の補間された赤値３１１として示す。同様に、青センサ２１０および青センサ２１２が測定した青値を平均することにより、緑センサ２１１の位置に関する青値を形成することができる。これは、図４の補間された青値４１１として示す。
【００２２】
したがって、図３では、赤値（３００、３０２、３１１、３１３、３２０、３２２、３３１、３３３）、緑値（３１０、３１２、３３０、３３２）、青値（３０１、３０３、３２１、３２２）が図２の４×４のセンサ・モザイクに対応する４×４の補間されたモザイク状に配置されている。同様に、図４では、赤値（４１０、４１２、４３０、４３２）、緑値（４０１、４０３、４２１、４２２）、青値（４００、４０２、４１１、４１３、４２０、４２２、４３１、４３３）が図２の４×４のセンサ・モザイクに対応する４×４の補間されたモザイク状に配置されている。
【００２３】
[圧縮およびカラー補間]
一般にカラー補間アルゴリズムは画像品質に対して最適化され、そしてよいカラー補間アルゴリズムは、カラー・エイリアシングおよびカラー・フリンジング（fringing）の影響を最小限に抑えるようになる。たとえば、１９９２年１２月のＥａｓｔｍａｎ Ｋｏｄａｋ社のプログラマ・リファレンス・マニュアル・モデルＤＣＳ２００ｃｉ、ＤＣＳ２００ｍｉ、ＤＣＳ２００ｃ、ＤＣＳ２００ｍを参照されたい。
【００２４】
しかし、よいカラー補間アルゴリズムの出力は、圧縮しにくいことがある。よい画像品質が得るように調整されたアルゴリズムを使用する代わりに、復号された画像中の誤差を最小限に抑える（または少なくとも小さくする）形でカラー補間を実施する。カラー補間された画像はデータ平面Ｒおよび２つの補間平面Ｉ0およびＩ1 から構成されることを想起されたい。この考えは、復号の後、データ平面Ｒの復号された値中の誤差が小さい限り、２つの補間平面Ｉ0 およびＩ1の復号された値の誤差を気にする必要がないことである。次に、これを行うアルゴリズムを示す。この手法は、名称が「Artifact Reduction Decompression Method and Apparatus for Interpolated Images」で、発明者がCormac Herleyである１９９７年６月１８日米国出願の米国特許出願第０８／８７８、１６９号（対応日本国公開特許公報：特開平１１−５５５２７号公報）に記載されている後処理手法に対して、ある意味で補完的なものであるが、全く異なるものであることに留意されたい。
【００２５】
[モザイク位置の誤差を最小限に抑えるためのカラー補間アルゴリズム]
各ＤＣＴ係数が、その係数に対するステップサイズの整数倍に近くなるように画像をカラー補間する。したがって、完全２４ビット・カラー画像の２つの要件がある。すなわち、
（１．）画像のＤＣＴ係数は量子化装置再構築レベルに等しくなければならない。
（２．）画像はモザイク位置において測定データと等しくなければならない。
【００２６】
もちろん実際には、両方の制約を満足することはおそらくできないので、第１の制約をほぼ満足するだけでよしとする。しかし、この第１の制約がどのようにして満足されるかは、すぐには明らかにならない。
【００２７】
まず、カラー補間し、ＪＰＥＧ圧縮し、圧縮復元すると仮定する。この画像を（Ｒ'、Ｉ0 '、Ｉ1 '）と呼ぶ。得られた画像は、確かに第１の特性を満足する（すべてのＪＰＥＧ圧縮復元画像はこの特性を有することを想起されたい）が、圧縮雑音が加わったので第２の特性（すなわち、Ｒ'≠Ｒ）を満足しない。この画像の誤差は
（Ｒ−Ｒ'、Ｉ0 −Ｉ0 '、Ｉ1 −Ｉ1 '）である。
【００２８】
復号されたデータ画像Ｒ'のモザイク位置の値を元のデータ値Ｒで上書きする場合、（Ｒ、Ｉ0 '、Ｉ1 '）が第２の制約を満足し、かつ第１の制約を満足する際に、元の推測（Ｒ'、Ｉ0 '、Ｉ1 '）よりも近いことは明らかであろう。ＪＰＥＧ圧縮による符号化および復号を繰り返し、反復して行うことができ、その後デコーダの出力に元のモザイク・データ値を上書きする。これは、第２の要件を常に満足する画像を生成し、かつ第１の要件に対する誤差が最小値に達するまで繰り返す度に低減される。
【００２９】
図５は、本発明の一実施形態によって実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式を示すフローチャートである。図５において、補間画像５００をまず圧縮し（５１０）、次いで圧縮復元する（５２０）。次いで、圧縮および圧縮復元後に得られた画像が圧縮前の画像に十分近似しているかどうかを判定するテストを実施する（５３０）。圧縮雑音からの誤差が許容できない場合、原データは圧縮復元画像に再び与えられ（５４０）、得られた画像を再び圧縮し（５１０）、圧縮復元する（５２０）。
【００３０】
この繰返しプロセスは、圧縮雑音が許容されるレベルまで低減するか、またはそれ以上の改善が達成できないと判定されるまで繰り返し（５３０）、その判定時点で最終圧縮画像（５５０）を出力する。
【００３１】
図６は、本発明の一実施形態によって実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮装置６００を示すブロック図である。入力画像６１０は非圧縮画像記憶装置６２０に与えられ、次いで圧縮器６３０によって圧縮される。圧縮画像は圧縮画像記憶装置６４０に与えられ、次いで圧縮復元装置６５０によって圧縮復元される。
【００３２】
コンパレータ６６０は、非圧縮画像記憶装置６２０中に記憶された画像を、圧縮され圧縮復元装置６５０から圧縮復元された画像と比較する。２つの画像が互いに十分近似していない場合、Ｒ平面復元器６７０は入力画像６１０からの生データＲを、前記圧縮され圧縮復元装置６５０から圧縮復元された画像中に挿入し、得られた画像を非圧縮画像記憶装置６２０に与え、圧縮し（６３０）、圧縮復元し（６４０）、比較する（６６０）。
【００３３】
このプロセスは、非圧縮画像記憶装置６２０中に記憶された画像が圧縮復元装置６５０からの圧縮復元された画像に十分近似しているとコンパレータ６６０が判定するまで繰り返される。２つの画像が十分近似している場合、コンパレータ６６０は圧縮画像記憶装置６４０にその中に記憶された圧縮画像を解放させ、圧縮出力画像６８０にする。あるいは、画像の収束を必要とするのではなくて、数回の繰返しが行われた後で繰返しを停止することもできる。
【００３４】
[繰返しを援助する手法]
上述のコンパレータによる繰返しアルゴリズムでは、局所的最小値しか見つからない。第２の制約を満足する一組の画像は、ある空間に対応する。しかし、第１の制約を満足する一組の画像は、孤立点の格子である。使用される量子化ステップが細かくなればなるほど、格子間隔が狭くなる。第２の制約を満足する点から開始する場合、上述のアルゴリズムは、最も近い格子点ないし出発推測点に単に収束するだけである。両方の制約を満足する画像が存在する場合でも、このアルゴリズムは必ずしもこの画像を見つけられないという意味で最適状態なものに及ばない。
【００３５】
量子化プロセスを理解することによってこの状況をいくらか改善することができる。第１の制約の量子化装置ステップサイズが第２の制約の量子化装置ステップサイズの整数倍である場合、１つの量子化行列を使用しているＪＰＥＧ格子は、別の量子化行列を使用している格子の完全な部分集合である。したがって、たとえば、任意の量子化行列を使用しているＪＰＥＧ格子は、常にすべてのステップサイズが１（標準で許容される最小値）に設定されている行列を使用している際に見つけられる格子の完全な部分集合である。すべてのステップサイズが１に設定されている繰返しアルゴリズムを適用する場合、Ｑ行列に対して局所的最小値に収束する。次いで、所望のＱファクタを用いて最後の１回の繰返しを行う場合、今見つけられた局所的最小値の最も近くにあるさらに大きい格子上の格子点において終了する。実験では、この手法は残留雑音を少なくするのに非常に有効であることが分かった。
【００３６】
[実験結果]
図７は、本発明の一実施形態により実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式と従来のモザイク化画像圧縮方式との間の圧縮比の関数としての二乗平均誤差（ＲＳＭＥ）の代表的な比較を示す。
【００３７】
アルゴリズムの効力をテストするために、Ｋｏｄａｋ ＤＣＳ-２００ディジタル・カメラから得られたディジタル・カメラ・データに対してモザイク化画像圧縮方式の手順を実施した。１９９２年１２月にＥａｓｔｍａｎ Ｋｏｄａｋ社が提案したプログラマ・リファレンス・マニュアル・モデルＤＣＳ２００ｃｉ、ＤＣＳ２００ｍｉ、ＤＣＳ２００ｃ、ＤＣＳ２００ｍのアルゴリズムを使用して、このデータをまずカラー補間した。これは、繰返し前処理アルゴリズムに対する出発点として使用し、得られた二乗平均誤差を圧縮比の関数として図７の下側ラインによって示す。比較のために、Ｋｏｄａｋアルゴリズムのみを使用してＲＭＳＥをプロットし、これを図７の上側ラインとしてプロットする。圧縮比が大きくなるにつれて残留雑音はいくらか低減するが、すべての圧縮比において残留雑音が著しく低減することがわかる。
【００３８】
このアルゴリズムの特に興味深い態様は、本質的には繰返しであるが、最初の数回の繰返し中で改善の大部分が認識され、１回の繰返しでも雑音が大幅に改善されることである。完全符号化／復号化１サイクルが２パス・レート制御アルゴリズム中の第１のパス上で使用されるので、前処理アルゴリズムの１回の繰返しを組み込むために実質上コストがかからない。そのような２パス・レート制御アルゴリズムは、１９９５年８月３１日出願の米国特許出願第０８／５２１，７８９号G.YovanofおよびA.Drukarevの「Fixed Rate JPEG Compliant Still Image Compression」に記載されている。
【００３９】
品質の点で、前処理アルゴリズムによって処理された画像からの詳細を通常のＪＰＥＧパイプラインを使用して形成されるものと比較した（同じ圧縮率による）。一般に、前処理された画像がより鮮明であり、また従来のモザイク化画像圧縮方式に処理されたカラー・エイリアシング問題がほとんどなくなることが分かっている。
【００４０】
本発明の多数の特徴および利点に、記載の説明から明らかであり、したがって前記の請求の範囲は、本発明のそのようなすべての特徴および利点をカバーする。さらに、多数の修正および変更が当業者なら容易に思い付くので、本発明を図示し、説明したのと全く同じ構築および動作に限定することを望まない。したがって、すべての適切な修正および同案は、本発明の範囲に入るものとする。
【００４１】
以下に本発明の実施の形態を要約する。
１． 原データ平面および補間平面を有するモザイク化画像用の損失のある画像圧縮プロセスであって、
ａ）モザイク化画像を圧縮して、圧縮された圧縮画像をもたらすステップと、
ｂ）前記圧縮画像を圧縮復元して、圧縮復元されたデータ平面および圧縮復元された補間平面を有する圧縮復元された画像をもたらすステップと、
ｃ）前記モザイク化画像の原データ平面を前記圧縮復元データ平面と比較するステップと、
ｄ）前記圧縮復元データ平面が前記原データ平面と十分異なる場合、前記圧縮復元データ平面の代わりに前記原データ平面を前記圧縮復元画像中に挿入するステップと、
を含む画像圧縮プロセス。
２． 前記ステップｄ）の結果として生じる圧縮復元画像に対して前記ステップａ）およびステップｂ）を実施するステップを含む上記１に記載の画像圧縮プロセス。
３． 前記ステップｄ）、ステップａ）、ステップｂ）を完了した後、前記ステップｂ）の結果として生じる圧縮復元画像上に前記ステップｃ）を実行するステップを含む上記２に記載の画像圧縮プロセス。
４． 前記ステップａ）〜ｃ）を所定の回数実施した後に停止するステップを含む上記３に記載の画像圧縮プロセス。
５． 前記モザイク化画像が複数の補間平面を含む上記１に記載の画像圧縮プロセス。
６． 前記圧縮復元されたモザイク化画像が複数の圧縮復元された補間平面を含む上記１に記載の画像圧縮プロセス。
７． 原データ平面および補間平面を有するモザイク化画像用の損失のある画像圧縮プロセッサであって、
モザイク化画像を圧縮して、圧縮された圧縮画像をもたらす圧縮手段と、
前記圧縮画像を圧縮復元して、圧縮復元されたデータ平面および圧縮復元された補間平面を有する圧縮復元された画像をもたらす圧縮復元手段と、
前記モザイク化画像の原データ平面を前記圧縮復元データ平面に比較する比較手段と、
前記圧縮復元データ平面が前記原データ平面と十分異なる場合に、前記圧縮復元データ平面の代わりに前記原データ平面を前記圧縮復元画像中に挿入する復元手段と、
を含む画像圧縮プロセッサ。
８． 前記復元手段からもたらされた前記圧縮復元画像が、前記圧縮手段によって圧縮されて前記圧縮復元手段によって圧縮復元される圧縮された画像をもたらす上記７に記載の画像圧縮プロセッサ。
９． 前記比較手段が前記圧縮および復元の繰返し後に原データ平面を圧縮復元されたデータ平面と比較する上記８に記載の画像圧縮プロセッサ。
１０． 当該画像圧縮プロセッサが、所定回数の前記圧縮および復元の繰返し後で最終圧縮画像として前記圧縮手段から圧縮画像をもたらす上記９に記載の画像圧縮プロセッサ。
１１． 前記モザイク化画像が複数の補間平面を含むことを特徴とする上記７に記載の画像圧縮プロセッサ。
１２． 前記圧縮復元されたモザイク化画像が複数の圧縮復元された補間平面を含むことを特徴とする上記７に記載の画像圧縮プロセッサ。
１３． 原データ平面および補間平面を有するモザイク化画像用の損失のある画像圧縮プロセッサであって、
モザイク化画像を圧縮して、圧縮された圧縮画像をもたらす圧縮装置と、
前記圧縮画像を圧縮復元して、圧縮復元されたデータ平面および圧縮復元された補間平面を有する圧縮復元された画像をもたらす圧縮復元装置と、
前記モザイク化画像の原データ平面を前記圧縮復元データ平面と比較するためのコンパレータと、
前記圧縮復元データ平面が前記原データ平面と十分異なる場合に、前記圧縮復元データ平面の代わりに前記原データ平面を前記圧縮復元画像中に挿入する復元装置と、
を含む画像圧縮プロセッサ。
１４． 前記復元装置からもたらされた前記圧縮復元画像が前記圧縮装置によって圧縮されて、前記圧縮復元装置によって圧縮復元される圧縮された画像をもたらす上記１３に記載の画像圧縮プロセッサ。
１５． 前記コンパレータが前記圧縮および復元の繰返し後に原データ平面を圧縮復元されたデータ平面に比較する上記１４に記載の画像圧縮プロセッサ。
１６． 当該画像圧縮プロセッサが所定回数の前記圧縮および復元の繰返し後で最終圧縮画像として前記圧縮装置から圧縮画像をもたらす上記１５に記載の画像圧縮プロセッサ。
１７． 前記モザイク化画像が複数の補間平面を含むことを特徴とする上記１３に記載の画像圧縮プロセッサ。
１８． 前記圧縮復元されたモザイク化画像が複数の圧縮復元された補間平面を含むことを特徴とする上記１３に記載の画像圧縮プロセッサ。
【００４２】
【発明の効果】
本発明によれば、所与の圧縮比に対してもたらされた誤差を小さくすることによってモザイク復元された圧縮画像の忠実度を改善できる。
【図面の簡単な説明】
【図１】本発明による画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式を使用してモザイク化ディジタル画像を処理する装置を示すブロック図である。
【図２】本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した原データ（Ｒ）モザイクを示す図である。
【図３】本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した第１の補間データ（Ｉ0 ）モザイクを示す対応図である。
【図４】本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した第２の補間データ（Ｉ1 ）モザイクを示す対応図である。
【図５】本発明の一実施形態によって実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮プロセスを示すフローチャートである。
【図６】本発明の一実施形態によって実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮装置を示すブロック図である。
【図７】本発明の一実施形態により実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式と従来のモザイク化画像圧縮方式との間の圧縮比の関数としての二乗平均誤差（ＲＳＭＥ）の代表的な比較を示す図である。
【符号の説明】
６１０ 入力画像
６２０ 非圧縮画像記憶装置
６３０ 圧縮器
６４０ 圧縮画像記憶装置
６５０ 圧縮復元装置
６６０ コンパレータ
６７０ Ｒ平面復元器
６８０ 圧縮画像出力
【発明の属する技術分野】
本発明は、ディジタル画像プロセスに関し、さらに詳細にはモザイク化画像用の圧縮プロセスに関する。
【０００２】
【従来の技術】
ディジタル・カメラによって獲得されたカラー・ディジタル画像は、一般にモザイク化されている。画像をカメラに記憶する場合、原データ値を記憶するか、ある損失のない圧縮技法を使用して記憶すべきデータを圧縮し記憶するか、ＪＰＥＧ（Joint Photographic Experts Group）など損失のある方式を使用して記憶すべきデータを圧縮し記憶する。たとえば、ＪＰＥＧアルゴリズムのベースライン・バージョン（ITU-T Rec.T.81/ISO/IEC 10918-1「Digital Compression and Coding of Digital Still Images」）を参照されたい。原データ、または損失のない圧縮方式を使用して圧縮されたデータを記憶するのに必要な画像記憶用のメモリは、損失のある圧縮方式を使用した場合に必要なメモリよりも大きい。しかし、ＪＰＥＧアルゴリズムから最大の利益を得るためには、まず第一に、ＹＵＶやＹＣｒＣｂなど輝度／クロミナンス空間に変換するのが通例である。この輝度／クロミナンス空間変換を実施するために、まず画像をモザイク復元して完全２４ビット画像を得ることが必要である。このカラー補間を実施する様々なアルゴリズムがある。
【０００３】
モザイク復元された後、２４ビット画像はカラー変換され、ＪＰＥＧ圧縮されるが、これはもちろん若干の損失を伴う。しかし、損失はすべての位置においてすべてのカラー中に拡がり、圧縮復元された画像に、望ましくないアーチファクトをもたらす。
【０００４】
したがって、画像においての損失のある画像圧縮技法によって、モザイク化画像装置に画像の忠実度の限界が課せられ、多くの用途において、これらの損失のある圧縮技法装置の使用が妨げられることが理解できよう。
【０００５】
【発明が解決しようとする課題】
上述の問題に対し、所与の圧縮比に対してもたらされる誤差を低減することにより、モザイク復元された圧縮画像の忠実度を改善できる損失のある画像圧縮技法が必要である。
【０００６】
本発明は、所与の圧縮比に対してもたらされた誤差を低減することによってモザイク復元された圧縮画像の忠実度を改善することが可能な画像圧縮プロセスを提供することを目的とする。
【０００７】
【課題を解決するための手段】
所与の圧縮比に対してもたらされた誤差を低減することによって、モザイク復元された圧縮画像の忠実度を改善するプロセスおよび装置について説明する。一般にモザイク復元された画像の任意の位置における３つのカラー値のうちの２つのカラー値が補間されるので、損失の大部分はこれらの２つのカラー値に集中し、その結果実際のデータ値または測定データ値にはほとんど損失が発生しない。これは、元の測定値には、損失のある圧縮の際に最小限の損失が発生するが、一方で他の補間値に対する損失が、任意に大きくなるデータの補間を見つけることによって達成される。したがって、まず最初に、補間を実施し、圧縮方式（たとえば、ＪＰＥＧ）が与える損失がどのようなものであっても容認するのではなく、補間すべき値を「指定なし」として処理し、測定値に対する損失を最小にするように供給される。
【０００８】
カラー補間プロセスの一実施形態では、原データは平面Ｒである。２つの補間平面Ｉ0 およびＩ1 を加えて、２４ビット画像を形成する。圧縮および圧縮復元の後、この補間平面Ｉ0 ，Ｉ1 が加えられた平面は、それぞれＲ'、Ｉ0 '、Ｉ1 'になる。圧縮後誤差は（Ｒ−Ｒ'、Ｉ0 −Ｉ0 '、Ｉ1 −Ｉ1 '）になる。第１の成分Ｒ−Ｒ'は、データ位置における誤差を表すので、繰返しにより小さくなる。これは、Ｒ'をＲに置き換えてから、得られた画像を圧縮し、圧縮復元することによって達成される。このプロセスは、Ｒ−Ｒ'が十分小さくなるまで、または所定の回数の繰返しが行われるまで、反復して行われる。
【０００９】
提示されたアルゴリズムは、追加のメモリを必要とせず、動作時間の適度の延長を必要とする。
本発明は、添付の図面と共に以下の詳細な説明を読めばより容易に理解できよう。同じ参照番号が同じ構成要素を示す。
【００１０】
【発明の実施の形態】
本発明の実施形態について、図１〜図７を参照しながら以下で論じる。しかし、本発明はこれらの限定された実施形態の範囲を越えるので、これらの図面に関して本明細書に記載した詳細な説明は例示的なものであることを当業者なら容易に理解できよう。
【００１１】
図１は、本発明による画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式を使用してモザイク化ディジタル画像を処理する装置１００を示すブロック図である。図１において、原ディジタル・カラー画像１２０を獲得する（１１０）。原ディジタル・カラー画像１２０をカラー空間変換および補間（１３０）にかけた後、圧縮して（１４０）、圧縮画像１５０を得る。圧縮画像１５０を圧縮復元し（１６０）、最終画像１７０を得て、最終画像１７０を出力する（１８０）。
【００１２】
以下の説明はディジタル・カメラの状況で行われるものであるが、画像圧縮アーチファクト低減はどのようなモザイク化ディジタル画像に対しても実施できる。たとえば、代替実施形態では、ファクシミリまたは走査装置によって画像獲得１１０を行うことができる。同様に、最終画像１７０の出力は、どのような既知の画像出力装置（たとえば、プリンタまたは表示装置）でも行うことができる。さらに、以下の説明では一例として２４ビットのディジタル・カラー画像を使用するが、他のカラー解像度のピクセルを有する画像も使用できることを理解されたい。しかも、この例では、損失のある圧縮に対するアルゴリズムとしてＪＰＥＧアルゴリズムを使用するが、画像圧縮アーチファクト低減は同様のどのような損失のある圧縮に対しても実施できることを理解されたい。
【００１３】
ＪＰＥＧアルゴリズムから最大利益を得るためには、ＹＵＶまたはＹＣｒＣｂなどの輝度／クロミナンスに変換することが有用である。この輝度／クロミナンス変換を実行するためには、まず完全２４ビット画像を有するようにその画像をモザイク復元することが必要である。このカラー補間を実施する様々なアルゴリズムが存在する。
【００１４】
モザイク復元後、２４ビット画像はカラー変換され、ＪＰＥＧ圧縮される。これはもちろんいくらかの損失を伴う。しかし、この損失は、一般にすべての位置におけるすべてのカラー中に広がり、圧縮復元された画像中に不要なアーチファクトをもたらす。しかし、以下で詳述するように、モザイク化ディジタル画像を処理するための装置１００の圧縮技法は、本発明による画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式を使用するために変更されたものである。
【００１５】
任意の位置における３つのカラー値のうちの２つのカラー値が補間されるので、本発明の画像圧縮アーチファクト低減は、大部分の損失がこれらの２つのカラー値に集中し、その結果実際のデータ値または測定データ値がほとんど損失を有しないようになされている。このモザイク化画像圧縮方式の目的は、元の測定値が、損失のあるＪＰＥＧ圧縮において受ける損失が最少となり、一方で他の補間値に対する損失が任意に大きくなるようなデータの補間を見つけることである。したがって、まず最初に、補間を実施し、ＪＰＥＧ圧縮が与えるどんな損失をも容認するのではなく、補間すべき値を「指定なし」として処理し、測定値に対する損失が最小になるように与える。
【００１６】
[圧縮ブロック： ＪＰＥＧ]
ＪＰＥＧは多数のブロックを有する複雑なアルゴリズムであるが、この説明では、アルゴリズムの損失（または不可逆）部分にのみに注目する。
エンコーダでは、これは
ＹＣｒＣｂ（または同様な空間）へのカラー変換
ＤＣＴ（離散コサイン変換）変換
所与のＱテーブルおよびＱ因数によるＤＣＴ係数の量子化
を含む。
デコーダでは、これは
所与のＱテーブルおよびＱ因数による逆量子化
逆ＤＣＴ変換
ＲＧＢへの逆カラー変換
を含む。
【００１７】
ＤＣＴ係数の量子化の際に損失が発生する。各ＤＣＴ係数は、所定のＱテーブル内の適切な項目およびＱ因数によって決定されるステップサイズを有する均一量子化装置によって量子化される。したがって、量子化されたＤＣＴ係数は、必ず対応するステップサイズの整数倍になる。
【００１８】
ＤＣＴ係数のすべてが量子化装置の再構築レベルに偶然等しくなった場合には、損失が一切発生しないことに留意されたい。これは、量子化装置が単一再構築レベルによって可能な係数値の範囲を表すためである。すでに同じようにＪＰＥＧ圧縮されている画像は、（同じ量子化レベルを使用して）２度目に圧縮された場合に、その画像が変わらないという特性を有することに留意されたい。
【００１９】
[カラー補間ブロック]
上述のように、原データは、３つのカラー平面からのデータ・サンプルのモザイクを有する。ＪＰＥＧアルゴリズムなどの圧縮方式のアルゴリズムを使用する前に、２４ビット画像に補間しなければならない。すなわち、図２に示す原データ画像Ｒに対して、図３および図４に示す２つの補間画像Ｉ0 およびＩ1 をそれぞれ加え、完全２４ビット・カラー画像を作成しなければならない。明らかに、この最後の２つの補間画像Ｉ0 およびＩ1 は原データ画像Ｒから計算され、新しい測定データを含まない。この完全２４ビット画像は３つの平面で示す。すなわち、この画像を（Ｒ，Ｉ0 ，Ｉ1 ）と示すものとする。
【００２０】
したがって、図２は、本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した原データ（Ｒ）モザイクを示す図である。図３および図４は、本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した第１および第２の補間データ（Ｉ0 およびＩ1 ）モザイクをそれぞれ示す対応図である。図２では、赤センサ（２０１、２０３、２２１、２２３）、緑センサ（２００、２０２、２１１、２１３、２２０、２２２、２３１、２３３）、青センサ（２１０、２１２、２３０、２３２）が４×４のモザイク状に配置されている。
次に、モザイクのセンサが測定した値を補間して、欠落値を供給する。
【００２１】
たとえば、双一次補間方式によれば、赤センサ２０１および赤センサ２２１が測定した赤値を平均することにより、緑センサ２１１の位置に関する赤値を形成することができる。これは、図３の補間された赤値３１１として示す。同様に、青センサ２１０および青センサ２１２が測定した青値を平均することにより、緑センサ２１１の位置に関する青値を形成することができる。これは、図４の補間された青値４１１として示す。
【００２２】
したがって、図３では、赤値（３００、３０２、３１１、３１３、３２０、３２２、３３１、３３３）、緑値（３１０、３１２、３３０、３３２）、青値（３０１、３０３、３２１、３２２）が図２の４×４のセンサ・モザイクに対応する４×４の補間されたモザイク状に配置されている。同様に、図４では、赤値（４１０、４１２、４３０、４３２）、緑値（４０１、４０３、４２１、４２２）、青値（４００、４０２、４１１、４１３、４２０、４２２、４３１、４３３）が図２の４×４のセンサ・モザイクに対応する４×４の補間されたモザイク状に配置されている。
【００２３】
[圧縮およびカラー補間]
一般にカラー補間アルゴリズムは画像品質に対して最適化され、そしてよいカラー補間アルゴリズムは、カラー・エイリアシングおよびカラー・フリンジング（fringing）の影響を最小限に抑えるようになる。たとえば、１９９２年１２月のＥａｓｔｍａｎ Ｋｏｄａｋ社のプログラマ・リファレンス・マニュアル・モデルＤＣＳ２００ｃｉ、ＤＣＳ２００ｍｉ、ＤＣＳ２００ｃ、ＤＣＳ２００ｍを参照されたい。
【００２４】
しかし、よいカラー補間アルゴリズムの出力は、圧縮しにくいことがある。よい画像品質が得るように調整されたアルゴリズムを使用する代わりに、復号された画像中の誤差を最小限に抑える（または少なくとも小さくする）形でカラー補間を実施する。カラー補間された画像はデータ平面Ｒおよび２つの補間平面Ｉ0およびＩ1 から構成されることを想起されたい。この考えは、復号の後、データ平面Ｒの復号された値中の誤差が小さい限り、２つの補間平面Ｉ0 およびＩ1の復号された値の誤差を気にする必要がないことである。次に、これを行うアルゴリズムを示す。この手法は、名称が「Artifact Reduction Decompression Method and Apparatus for Interpolated Images」で、発明者がCormac Herleyである１９９７年６月１８日米国出願の米国特許出願第０８／８７８、１６９号（対応日本国公開特許公報：特開平１１−５５５２７号公報）に記載されている後処理手法に対して、ある意味で補完的なものであるが、全く異なるものであることに留意されたい。
【００２５】
[モザイク位置の誤差を最小限に抑えるためのカラー補間アルゴリズム]
各ＤＣＴ係数が、その係数に対するステップサイズの整数倍に近くなるように画像をカラー補間する。したがって、完全２４ビット・カラー画像の２つの要件がある。すなわち、
（１．）画像のＤＣＴ係数は量子化装置再構築レベルに等しくなければならない。
（２．）画像はモザイク位置において測定データと等しくなければならない。
【００２６】
もちろん実際には、両方の制約を満足することはおそらくできないので、第１の制約をほぼ満足するだけでよしとする。しかし、この第１の制約がどのようにして満足されるかは、すぐには明らかにならない。
【００２７】
まず、カラー補間し、ＪＰＥＧ圧縮し、圧縮復元すると仮定する。この画像を（Ｒ'、Ｉ0 '、Ｉ1 '）と呼ぶ。得られた画像は、確かに第１の特性を満足する（すべてのＪＰＥＧ圧縮復元画像はこの特性を有することを想起されたい）が、圧縮雑音が加わったので第２の特性（すなわち、Ｒ'≠Ｒ）を満足しない。この画像の誤差は
（Ｒ−Ｒ'、Ｉ0 −Ｉ0 '、Ｉ1 −Ｉ1 '）である。
【００２８】
復号されたデータ画像Ｒ'のモザイク位置の値を元のデータ値Ｒで上書きする場合、（Ｒ、Ｉ0 '、Ｉ1 '）が第２の制約を満足し、かつ第１の制約を満足する際に、元の推測（Ｒ'、Ｉ0 '、Ｉ1 '）よりも近いことは明らかであろう。ＪＰＥＧ圧縮による符号化および復号を繰り返し、反復して行うことができ、その後デコーダの出力に元のモザイク・データ値を上書きする。これは、第２の要件を常に満足する画像を生成し、かつ第１の要件に対する誤差が最小値に達するまで繰り返す度に低減される。
【００２９】
図５は、本発明の一実施形態によって実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式を示すフローチャートである。図５において、補間画像５００をまず圧縮し（５１０）、次いで圧縮復元する（５２０）。次いで、圧縮および圧縮復元後に得られた画像が圧縮前の画像に十分近似しているかどうかを判定するテストを実施する（５３０）。圧縮雑音からの誤差が許容できない場合、原データは圧縮復元画像に再び与えられ（５４０）、得られた画像を再び圧縮し（５１０）、圧縮復元する（５２０）。
【００３０】
この繰返しプロセスは、圧縮雑音が許容されるレベルまで低減するか、またはそれ以上の改善が達成できないと判定されるまで繰り返し（５３０）、その判定時点で最終圧縮画像（５５０）を出力する。
【００３１】
図６は、本発明の一実施形態によって実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮装置６００を示すブロック図である。入力画像６１０は非圧縮画像記憶装置６２０に与えられ、次いで圧縮器６３０によって圧縮される。圧縮画像は圧縮画像記憶装置６４０に与えられ、次いで圧縮復元装置６５０によって圧縮復元される。
【００３２】
コンパレータ６６０は、非圧縮画像記憶装置６２０中に記憶された画像を、圧縮され圧縮復元装置６５０から圧縮復元された画像と比較する。２つの画像が互いに十分近似していない場合、Ｒ平面復元器６７０は入力画像６１０からの生データＲを、前記圧縮され圧縮復元装置６５０から圧縮復元された画像中に挿入し、得られた画像を非圧縮画像記憶装置６２０に与え、圧縮し（６３０）、圧縮復元し（６４０）、比較する（６６０）。
【００３３】
このプロセスは、非圧縮画像記憶装置６２０中に記憶された画像が圧縮復元装置６５０からの圧縮復元された画像に十分近似しているとコンパレータ６６０が判定するまで繰り返される。２つの画像が十分近似している場合、コンパレータ６６０は圧縮画像記憶装置６４０にその中に記憶された圧縮画像を解放させ、圧縮出力画像６８０にする。あるいは、画像の収束を必要とするのではなくて、数回の繰返しが行われた後で繰返しを停止することもできる。
【００３４】
[繰返しを援助する手法]
上述のコンパレータによる繰返しアルゴリズムでは、局所的最小値しか見つからない。第２の制約を満足する一組の画像は、ある空間に対応する。しかし、第１の制約を満足する一組の画像は、孤立点の格子である。使用される量子化ステップが細かくなればなるほど、格子間隔が狭くなる。第２の制約を満足する点から開始する場合、上述のアルゴリズムは、最も近い格子点ないし出発推測点に単に収束するだけである。両方の制約を満足する画像が存在する場合でも、このアルゴリズムは必ずしもこの画像を見つけられないという意味で最適状態なものに及ばない。
【００３５】
量子化プロセスを理解することによってこの状況をいくらか改善することができる。第１の制約の量子化装置ステップサイズが第２の制約の量子化装置ステップサイズの整数倍である場合、１つの量子化行列を使用しているＪＰＥＧ格子は、別の量子化行列を使用している格子の完全な部分集合である。したがって、たとえば、任意の量子化行列を使用しているＪＰＥＧ格子は、常にすべてのステップサイズが１（標準で許容される最小値）に設定されている行列を使用している際に見つけられる格子の完全な部分集合である。すべてのステップサイズが１に設定されている繰返しアルゴリズムを適用する場合、Ｑ行列に対して局所的最小値に収束する。次いで、所望のＱファクタを用いて最後の１回の繰返しを行う場合、今見つけられた局所的最小値の最も近くにあるさらに大きい格子上の格子点において終了する。実験では、この手法は残留雑音を少なくするのに非常に有効であることが分かった。
【００３６】
[実験結果]
図７は、本発明の一実施形態により実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式と従来のモザイク化画像圧縮方式との間の圧縮比の関数としての二乗平均誤差（ＲＳＭＥ）の代表的な比較を示す。
【００３７】
アルゴリズムの効力をテストするために、Ｋｏｄａｋ ＤＣＳ-２００ディジタル・カメラから得られたディジタル・カメラ・データに対してモザイク化画像圧縮方式の手順を実施した。１９９２年１２月にＥａｓｔｍａｎ Ｋｏｄａｋ社が提案したプログラマ・リファレンス・マニュアル・モデルＤＣＳ２００ｃｉ、ＤＣＳ２００ｍｉ、ＤＣＳ２００ｃ、ＤＣＳ２００ｍのアルゴリズムを使用して、このデータをまずカラー補間した。これは、繰返し前処理アルゴリズムに対する出発点として使用し、得られた二乗平均誤差を圧縮比の関数として図７の下側ラインによって示す。比較のために、Ｋｏｄａｋアルゴリズムのみを使用してＲＭＳＥをプロットし、これを図７の上側ラインとしてプロットする。圧縮比が大きくなるにつれて残留雑音はいくらか低減するが、すべての圧縮比において残留雑音が著しく低減することがわかる。
【００３８】
このアルゴリズムの特に興味深い態様は、本質的には繰返しであるが、最初の数回の繰返し中で改善の大部分が認識され、１回の繰返しでも雑音が大幅に改善されることである。完全符号化／復号化１サイクルが２パス・レート制御アルゴリズム中の第１のパス上で使用されるので、前処理アルゴリズムの１回の繰返しを組み込むために実質上コストがかからない。そのような２パス・レート制御アルゴリズムは、１９９５年８月３１日出願の米国特許出願第０８／５２１，７８９号G.YovanofおよびA.Drukarevの「Fixed Rate JPEG Compliant Still Image Compression」に記載されている。
【００３９】
品質の点で、前処理アルゴリズムによって処理された画像からの詳細を通常のＪＰＥＧパイプラインを使用して形成されるものと比較した（同じ圧縮率による）。一般に、前処理された画像がより鮮明であり、また従来のモザイク化画像圧縮方式に処理されたカラー・エイリアシング問題がほとんどなくなることが分かっている。
【００４０】
本発明の多数の特徴および利点に、記載の説明から明らかであり、したがって前記の請求の範囲は、本発明のそのようなすべての特徴および利点をカバーする。さらに、多数の修正および変更が当業者なら容易に思い付くので、本発明を図示し、説明したのと全く同じ構築および動作に限定することを望まない。したがって、すべての適切な修正および同案は、本発明の範囲に入るものとする。
【００４１】
以下に本発明の実施の形態を要約する。
１． 原データ平面および補間平面を有するモザイク化画像用の損失のある画像圧縮プロセスであって、
ａ）モザイク化画像を圧縮して、圧縮された圧縮画像をもたらすステップと、
ｂ）前記圧縮画像を圧縮復元して、圧縮復元されたデータ平面および圧縮復元された補間平面を有する圧縮復元された画像をもたらすステップと、
ｃ）前記モザイク化画像の原データ平面を前記圧縮復元データ平面と比較するステップと、
ｄ）前記圧縮復元データ平面が前記原データ平面と十分異なる場合、前記圧縮復元データ平面の代わりに前記原データ平面を前記圧縮復元画像中に挿入するステップと、
を含む画像圧縮プロセス。
２． 前記ステップｄ）の結果として生じる圧縮復元画像に対して前記ステップａ）およびステップｂ）を実施するステップを含む上記１に記載の画像圧縮プロセス。
３． 前記ステップｄ）、ステップａ）、ステップｂ）を完了した後、前記ステップｂ）の結果として生じる圧縮復元画像上に前記ステップｃ）を実行するステップを含む上記２に記載の画像圧縮プロセス。
４． 前記ステップａ）〜ｃ）を所定の回数実施した後に停止するステップを含む上記３に記載の画像圧縮プロセス。
５． 前記モザイク化画像が複数の補間平面を含む上記１に記載の画像圧縮プロセス。
６． 前記圧縮復元されたモザイク化画像が複数の圧縮復元された補間平面を含む上記１に記載の画像圧縮プロセス。
７． 原データ平面および補間平面を有するモザイク化画像用の損失のある画像圧縮プロセッサであって、
モザイク化画像を圧縮して、圧縮された圧縮画像をもたらす圧縮手段と、
前記圧縮画像を圧縮復元して、圧縮復元されたデータ平面および圧縮復元された補間平面を有する圧縮復元された画像をもたらす圧縮復元手段と、
前記モザイク化画像の原データ平面を前記圧縮復元データ平面に比較する比較手段と、
前記圧縮復元データ平面が前記原データ平面と十分異なる場合に、前記圧縮復元データ平面の代わりに前記原データ平面を前記圧縮復元画像中に挿入する復元手段と、
を含む画像圧縮プロセッサ。
８． 前記復元手段からもたらされた前記圧縮復元画像が、前記圧縮手段によって圧縮されて前記圧縮復元手段によって圧縮復元される圧縮された画像をもたらす上記７に記載の画像圧縮プロセッサ。
９． 前記比較手段が前記圧縮および復元の繰返し後に原データ平面を圧縮復元されたデータ平面と比較する上記８に記載の画像圧縮プロセッサ。
１０． 当該画像圧縮プロセッサが、所定回数の前記圧縮および復元の繰返し後で最終圧縮画像として前記圧縮手段から圧縮画像をもたらす上記９に記載の画像圧縮プロセッサ。
１１． 前記モザイク化画像が複数の補間平面を含むことを特徴とする上記７に記載の画像圧縮プロセッサ。
１２． 前記圧縮復元されたモザイク化画像が複数の圧縮復元された補間平面を含むことを特徴とする上記７に記載の画像圧縮プロセッサ。
１３． 原データ平面および補間平面を有するモザイク化画像用の損失のある画像圧縮プロセッサであって、
モザイク化画像を圧縮して、圧縮された圧縮画像をもたらす圧縮装置と、
前記圧縮画像を圧縮復元して、圧縮復元されたデータ平面および圧縮復元された補間平面を有する圧縮復元された画像をもたらす圧縮復元装置と、
前記モザイク化画像の原データ平面を前記圧縮復元データ平面と比較するためのコンパレータと、
前記圧縮復元データ平面が前記原データ平面と十分異なる場合に、前記圧縮復元データ平面の代わりに前記原データ平面を前記圧縮復元画像中に挿入する復元装置と、
を含む画像圧縮プロセッサ。
１４． 前記復元装置からもたらされた前記圧縮復元画像が前記圧縮装置によって圧縮されて、前記圧縮復元装置によって圧縮復元される圧縮された画像をもたらす上記１３に記載の画像圧縮プロセッサ。
１５． 前記コンパレータが前記圧縮および復元の繰返し後に原データ平面を圧縮復元されたデータ平面に比較する上記１４に記載の画像圧縮プロセッサ。
１６． 当該画像圧縮プロセッサが所定回数の前記圧縮および復元の繰返し後で最終圧縮画像として前記圧縮装置から圧縮画像をもたらす上記１５に記載の画像圧縮プロセッサ。
１７． 前記モザイク化画像が複数の補間平面を含むことを特徴とする上記１３に記載の画像圧縮プロセッサ。
１８． 前記圧縮復元されたモザイク化画像が複数の圧縮復元された補間平面を含むことを特徴とする上記１３に記載の画像圧縮プロセッサ。
【００４２】
【発明の効果】
本発明によれば、所与の圧縮比に対してもたらされた誤差を小さくすることによってモザイク復元された圧縮画像の忠実度を改善できる。
【図面の簡単な説明】
【図１】本発明による画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式を使用してモザイク化ディジタル画像を処理する装置を示すブロック図である。
【図２】本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した原データ（Ｒ）モザイクを示す図である。
【図３】本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した第１の補間データ（Ｉ0 ）モザイクを示す対応図である。
【図４】本発明によるモザイク化画像圧縮アーチファクト低減を適用するのに適した第２の補間データ（Ｉ1 ）モザイクを示す対応図である。
【図５】本発明の一実施形態によって実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮プロセスを示すフローチャートである。
【図６】本発明の一実施形態によって実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮装置を示すブロック図である。
【図７】本発明の一実施形態により実施される画像圧縮アーチファクト低減を実施するモザイク化画像圧縮方式と従来のモザイク化画像圧縮方式との間の圧縮比の関数としての二乗平均誤差（ＲＳＭＥ）の代表的な比較を示す図である。
【符号の説明】
６１０ 入力画像
６２０ 非圧縮画像記憶装置
６３０ 圧縮器
６４０ 圧縮画像記憶装置
６５０ 圧縮復元装置
６６０ コンパレータ
６７０ Ｒ平面復元器
６８０ 圧縮画像出力
Claims (4)
- 原データ平面および補間平面を有するモザイク化画像を圧縮出力画像に圧縮するための損失のある画像圧縮方法であって、
ａ）前記モザイク化画像を圧縮して圧縮画像をもたらすステップと、
ｂ）前記圧縮画像を圧縮復元して、圧縮復元されたデータ平面および圧縮復元された補間平面を有する圧縮復元された画像をもたらすステップと、
ｃ）前記モザイク化画像の前記原データ平面を前記圧縮復元されたデータ平面と比較するステップと、
ｄ）前記圧縮復元されたデータ平面が前記原データ平面から十分異なる場合、前記圧縮復元されたデータ平面の代わりに前記原データ平面を前記圧縮復元された画像中に挿入してステップａ）から順次前記ステップを繰り返えさせるようにし、
前記圧縮復元されたデータ平面が前記原データ平面から十分異ならない場合は、前記圧縮画像を前記圧縮出力画像とするステップと、
を含む画像圧縮方法。 - 前記ステップａ）を所定の回数実施した後に停止するステップを含む請求項１に記載の画像圧縮方法。
- 前記モザイク化画像が複数の前記補間平面を含む請求項１に記載の画像圧縮方法。
- 前記圧縮復元されたモザイク化画像が複数の前記圧縮復元された補間平面を含む請求項１に記載の画像圧縮方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/878,170 US5838818A (en) | 1997-06-18 | 1997-06-18 | Artifact reduction compression method and apparatus for mosaiced images |
| US08/878-170 | 1997-06-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1155670A JPH1155670A (ja) | 1999-02-26 |
| JP4088370B2 true JP4088370B2 (ja) | 2008-05-21 |
Family
ID=25371525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16722598A Expired - Fee Related JP4088370B2 (ja) | 1997-06-18 | 1998-06-15 | 画像圧縮方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5838818A (ja) |
| EP (1) | EP0886436B1 (ja) |
| JP (1) | JP4088370B2 (ja) |
| KR (1) | KR19990006985A (ja) |
| DE (1) | DE69826928T2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990030882A (ko) * | 1997-10-07 | 1999-05-06 | 이해규 | 초점 위치 조절이 가능한 디지탈 스틸 카메라 및 그 제어 방법 |
| US6392699B1 (en) | 1998-03-04 | 2002-05-21 | Intel Corporation | Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space |
| US6356276B1 (en) * | 1998-03-18 | 2002-03-12 | Intel Corporation | Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space |
| KR100557180B1 (ko) * | 1998-10-12 | 2006-06-22 | 삼성전자주식회사 | 음향간섭개선휴대폰 |
| GB2348334A (en) * | 1999-03-22 | 2000-09-27 | Videologic Ltd | A method of compressing digital image data |
| US6625305B1 (en) * | 1999-08-16 | 2003-09-23 | Hewlett-Packard Development Company, L.P. | Image demosaicing method |
| US7953671B2 (en) * | 1999-08-31 | 2011-05-31 | American Express Travel Related Services Company, Inc. | Methods and apparatus for conducting electronic transactions |
| US7343351B1 (en) * | 1999-08-31 | 2008-03-11 | American Express Travel Related Services Company, Inc. | Methods and apparatus for conducting electronic transactions |
| US7505941B2 (en) * | 1999-08-31 | 2009-03-17 | American Express Travel Related Services Company, Inc. | Methods and apparatus for conducting electronic transactions using biometrics |
| WO2002023469A1 (en) * | 2000-09-13 | 2002-03-21 | Newstakes, Inc. | A robust and fast method for colour image size reduction with fine structure preservation |
| US7155066B2 (en) * | 2001-05-31 | 2006-12-26 | Agilent Technologies, Inc. | System and method for demosaicing raw data images with compression considerations |
| US6819801B2 (en) | 2001-06-19 | 2004-11-16 | Agilent Technologies, Inc. | System and method for processing demosaiced images to reduce color aliasing artifacts |
| US9454752B2 (en) | 2001-07-10 | 2016-09-27 | Chartoleaux Kg Limited Liability Company | Reload protocol at a transaction processing entity |
| US8284025B2 (en) | 2001-07-10 | 2012-10-09 | Xatra Fund Mx, Llc | Method and system for auditory recognition biometrics on a FOB |
| US20030193567A1 (en) * | 2002-04-12 | 2003-10-16 | Hubel Paul M. | Digital camera media scanning methods, digital image processing methods, digital camera media scanning systems, and digital imaging systems |
| US6805287B2 (en) | 2002-09-12 | 2004-10-19 | American Express Travel Related Services Company, Inc. | System and method for converting a stored value card to a credit card |
| US20040114047A1 (en) * | 2002-12-13 | 2004-06-17 | Vora Poorvi L. | Method for transforming an offset sensor array |
| US7551787B2 (en) | 2003-01-28 | 2009-06-23 | International Business Machines Corporation | Adaptive compression quality |
| US20050031222A1 (en) * | 2003-08-09 | 2005-02-10 | Yacov Hel-Or | Filter kernel generation by treating algorithms as block-shift invariant |
| US7314165B2 (en) | 2004-07-01 | 2008-01-01 | American Express Travel Related Services Company, Inc. | Method and system for smellprint recognition biometrics on a smartcard |
| US7314164B2 (en) | 2004-07-01 | 2008-01-01 | American Express Travel Related Services Company, Inc. | System for biometric security using a smartcard |
| US7318550B2 (en) | 2004-07-01 | 2008-01-15 | American Express Travel Related Services Company, Inc. | Biometric safeguard method for use with a smartcard |
| US7363504B2 (en) | 2004-07-01 | 2008-04-22 | American Express Travel Related Services Company, Inc. | Method and system for keystroke scan recognition biometrics on a smartcard |
| US7341181B2 (en) | 2004-07-01 | 2008-03-11 | American Express Travel Related Services Company, Inc. | Method for biometric security using a smartcard |
| US7325724B2 (en) | 2004-07-01 | 2008-02-05 | American Express Travel Related Services Company, Inc. | Method for registering a biometric for use with a smartcard |
| JP4775202B2 (ja) * | 2006-09-15 | 2011-09-21 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| US9607189B2 (en) | 2015-01-14 | 2017-03-28 | Tactilis Sdn Bhd | Smart card system comprising a card and a carrier |
| US10037528B2 (en) | 2015-01-14 | 2018-07-31 | Tactilis Sdn Bhd | Biometric device utilizing finger sequence for authentication |
| US10395227B2 (en) | 2015-01-14 | 2019-08-27 | Tactilis Pte. Limited | System and method for reconciling electronic transaction records for enhanced security |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61125293A (ja) * | 1984-11-20 | 1986-06-12 | Fujitsu Ltd | モザイクコ−ド化装置 |
| JPH065889B2 (ja) * | 1986-04-18 | 1994-01-19 | 富士写真フイルム株式会社 | 画像デ−タ圧縮処理方法 |
| JPH04284087A (ja) * | 1991-03-13 | 1992-10-08 | Canon Inc | 電子スチルカメラ |
| JPH05183441A (ja) * | 1992-01-06 | 1993-07-23 | Canon Inc | 画像処理装置及びその方法 |
| US5287420A (en) * | 1992-04-08 | 1994-02-15 | Supermac Technology | Method for image compression on a personal computer |
| JP3627291B2 (ja) * | 1995-05-25 | 2005-03-09 | ソニー株式会社 | ブロック歪み除去装置および方法 |
-
1997
- 1997-06-18 US US08/878,170 patent/US5838818A/en not_active Expired - Lifetime
-
1998
- 1998-06-15 JP JP16722598A patent/JP4088370B2/ja not_active Expired - Fee Related
- 1998-06-15 KR KR1019980022285A patent/KR19990006985A/ko active IP Right Grant
- 1998-06-16 EP EP98304741A patent/EP0886436B1/en not_active Expired - Lifetime
- 1998-06-16 DE DE69826928T patent/DE69826928T2/de not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0886436A2 (en) | 1998-12-23 |
| KR19990006985A (ko) | 1999-01-25 |
| EP0886436A3 (en) | 1999-10-13 |
| EP0886436B1 (en) | 2004-10-13 |
| US5838818A (en) | 1998-11-17 |
| JPH1155670A (ja) | 1999-02-26 |
| DE69826928D1 (de) | 2004-11-18 |
| DE69826928T2 (de) | 2005-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4088370B2 (ja) | 画像圧縮方法 | |
| KR100351654B1 (ko) | 현상 표시 변환 데이터의 디지털 처리 방법 및 시스템 | |
| KR100360013B1 (ko) | 현상 표시 변환 데이터의 디지털 처리 방법 및 시스템 | |
| US6825876B1 (en) | Digital camera device with methodology for efficient color conversion | |
| US7656561B2 (en) | Image compression for rapid high-quality imaging | |
| US7440631B2 (en) | Method of compressing digital images acquired in CFA format | |
| US6044177A (en) | Artifact reduction decompression method and apparatus for interpolated images | |
| US6819801B2 (en) | System and method for processing demosaiced images to reduce color aliasing artifacts | |
| US20020076115A1 (en) | JPEG packed block structure | |
| KR100357658B1 (ko) | 현상 표시 변환 데이터의 디지털 처리 방법 및 시스템 | |
| US6445829B1 (en) | Joint cosine transforming and quantizing device and joint inverse quantizing and inverse cosine transforming device | |
| WO2005116927A1 (en) | Image compression for rapid high-quality imaging | |
| JP3469438B2 (ja) | 画像信号の処理方法及び装置、記録媒体 | |
| US7146055B2 (en) | Image processing decompression apparatus and method of using same different scaling algorithms simultaneously | |
| JPH1075450A (ja) | 画像圧縮装置 | |
| JPH0654208A (ja) | 画像処理方法および画像処理装置 | |
| JP3709106B2 (ja) | 画像圧縮および伸張装置 | |
| JP3979020B2 (ja) | 圧縮画像のサンプリングを実行する画像処理装置 | |
| Herley | A post-processing algorithm for compressed digital camera images | |
| TWI436649B (zh) | 處理原始高解析影像資料之影像處理裝置及其影像處理晶片和方法 | |
| WO2009130540A1 (en) | Method for high definition video encoding/decoding suitable for real-time video streaming | |
| JP2004274143A (ja) | 画像処理装置およびその方法 | |
| Klassen et al. | Color correcting JPEG compressed images | |
| JP2005286710A (ja) | 画像処理装置および画像処理方法 | |
| JP2000149013A (ja) | 画像処理方法および装置並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050610 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071003 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071009 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |