JP4391641B2 - 画像が圧縮されているかどうかを検出する方法 - Google Patents
画像が圧縮されているかどうかを検出する方法 Download PDFInfo
- Publication number
- JP4391641B2 JP4391641B2 JP31111799A JP31111799A JP4391641B2 JP 4391641 B2 JP4391641 B2 JP 4391641B2 JP 31111799 A JP31111799 A JP 31111799A JP 31111799 A JP31111799 A JP 31111799A JP 4391641 B2 JP4391641 B2 JP 4391641B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- compressed
- block
- difference
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 51
- 238000007906 compression Methods 0.000 description 34
- 230000006835 compression Effects 0.000 description 34
- 230000000903 blocking effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
- H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
- H04N1/00026—Methods therefor
- H04N1/00037—Detecting, i.e. determining the occurrence of a predetermined state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
- H04N1/00026—Methods therefor
- H04N1/00047—Methods therefor using an image not specifically designed for the purpose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
- H04N1/00026—Methods therefor
- H04N1/0005—Methods therefor in service, i.e. during normal operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
- H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
- H04N1/00074—Indicating or reporting
- H04N1/00076—Indicating or reporting locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
- H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
- H04N1/00082—Adjusting or controlling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
- H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/333—Mode signalling or mode changing; Handshaking therefor
- H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
- H04N2201/33342—Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode
- H04N2201/33357—Compression mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/333—Mode signalling or mode changing; Handshaking therefor
- H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
- H04N2201/33378—Type or format of data, e.g. colour or B/W, halftone or binary, computer image file or facsimile data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、従来のＪＰＥＧ画像圧縮規格に従って圧縮された画像を検出する方法に関し、特に、画像のブロッキングシグナチャ(blocking signature)を検出して、ＪＰＥＧ圧縮画像を識別する方法に関する。
【０００２】
【従来の技術】
データを用いる実際のアプリケーションには非常に多くのデータがあり、データ処理プロセスにおいてデータの圧縮が必要とされる。一般的に圧縮は、転送時間の長い又は帯域幅の限られた通信リンクに用いられる。この他に圧縮はデータの記憶に用いられ、データが記憶される媒体スペースの量を、記憶するデータを圧縮することによって実質的に減少させることができる。これらのケースのいずれか又は両方が当てはまるデバイスはデジタルコピー機であり、中間記憶領域が照合、再印刷、又はデジタルコピー機のあらゆる他の機能に用いられる。さらに、デジタルコピー機は大抵、外部から受信したデータを印刷することができる。概して、走査された画像及び印刷マスタ、即ちハードコピー原稿の電子表現は一般的に大きいので、圧縮対象として望ましい。
【０００３】
ＪＰＥＧ委員会により広められた静止画像圧縮方法については、１９９２年にヴァン ノストランド レインホールド(Van Nostrand Reinhold)により出版された、Ｗ．ペンネベイカー(Pennebaker)及びＪ．ミッチェル(Mitchell)による“ＪＰＥＧ：Still Image Compression Standard”に詳細に記載されている。ここでは、離散コサイン変換に基づく減衰圧縮モードに関して言及するが、本件においてはこれをＪＰＥＧ圧縮と呼ぶ。ＪＰＥＧ圧縮は、ピクセルとピクセルとの相関に基づいてデータの冗長性を減少させる減衰システムである。通常、ピクセル−ピクセルベースの画像においては、画像はあまり変化しない。従って画像は、いわゆる「自然空間相関」を有する。自然シーンにおいて、相関は帰納されるが、正確ではない。ノイズにより各ピクセルは、隣接したピクセルと多少異なる。
【０００４】
図１には、ＪＰＥＧ圧縮及び圧縮解除（復号化）システムが概略的に示されている。より完全な論議は、エシュバッハ(Eschbach)による米国特許第５，３２１，５２２号、及びファン(Fan)による米国特許第５，３５９，６７６号を参照することにより得ることができる。この米国特許第５，３２１，５２２号及び米国特許第５，３５９，６７６号の内容全体は、参照により本明細書中に援用される。
【０００５】
まず、画像のＭ×Ｍ部分を記憶するタイルメモリ１０が備えられている。タイルメモリに記憶された画像の部分から、離散コサイン変換（ＤＣＴ）、つまり変換器１２は、その画像を空間周波数に変換して、ＤＣＴ係数の行列を得る。Ｃ−キューブ マイクロシステムズ(C-Cube Microsystems) ＣＬ５５０Ａ ＪＰＥＧ 画像圧縮プロセッサのような、提案されたＪＰＥＧ規格に従って圧縮或いは圧縮解除モードで作動するハードウェアへの導入は有益である。後述するように、本発明は、ソフトウェア或いはハードウェアのいずれにも導入することができる。
【０００６】
除算器／量子化デバイス１４により、Ｑテーブルメモリ１６に記憶されたＱテーブル（量子化テーブル）と呼ばれる１セットの値から、異なるＱテーブル値（量子化単位）でＤＣＴ値（ＤＣＴ係数）は割り算され、その値の整数部分が量子化ＤＣＴ値として戻される。ハフマンコードを大抵用いる統計エンコーダ２０により、この量子化ＤＣＴ値はコード化され、記憶、転送などのための出力である圧縮画像が生成される。
【０００７】
離散コサイン変換は公知であり、また画像データの変換を行うためのハードウェアがある。これについては例えば、ニイハラ(Niihara)による米国特許第５，０４９，９９１号、ゴンザレス(Gonzales)等による米国特許第５，００１，５５９号、及びピュリ(Puri)による米国特許第４，９９９，７０５号に記載されている。
【０００８】
今圧縮した画像を圧縮解除するには、図１に示したように、前述したプロセスとは逆の一連の機能又はステップを続けて行う。ハフマンコードは、デコーダ５０で解除される。この時点では画像信号は量子化ＤＣＴ係数を表しており、この量子化ＤＣＴ係数は、圧縮プロセスとは逆のプロセスにおいて、信号乗算器５２でメモリ５４のＱテーブル値と掛け算される。逆変換器５６で、離散コサイン変換の逆変換が行われ、空間定義域における出力画像が画像バッファ５８で記憶される。
【０００９】
エシュバッハによる米国特許第５，３２１，５２２号及び米国特許第５，３７９，１２２号、並びにファンによる米国特許第５，３５９，６７６号においては、図１に示した標準プロセスとは異なる。オリジナル画像が圧縮され、この圧縮表現が圧縮解除される。この圧縮解除画像は、外観を向上させるためにさらにフィルタリングされるが、このフィルタリングの際に、オリジナル画像から得ることのできる画像の範囲をはみ出してしまうことがある。従って、このような画像を画像の許容範囲内に納めるために、画像のＤＣＴ表現が変更される。このプロセスは繰り返して行われてもよい。
【００１０】
ＪＰＥＧを用いるような圧縮を含む画像フォーマットの中には、画像を劣化させてしまうものもある。システムがこれらの圧縮画像のうちの１つを印刷しようとする際に、その入力画像にそのようなアーチファクトを取り除く特別な処理を施すことができる。しかしまず、その画像が前に圧縮されたかどうかを決定しなければならない。
【００１１】
【発明が解決しようとする課題】
本発明は、その画像がこれまでに圧縮されたかどうかを識別する方法を提案する。さらに本発明は、その画像がこれまでにＪＰＥＧ圧縮されたかどうかを識別する方法を提案する。圧縮画像の識別が可能になることによって、本発明により印刷システムは、圧縮画像をクリーニング画像処理行程へ進めることができるようになり、これにより印刷システムは、その画像から望ましくないあらゆるアーチファクトを取り除くことができるようになる。
【００１２】
本発明の方法は、圧縮画像にあり且つすぐにわかるわずかなブロッキング不連続部分の分析に基づいている。例えばＪＰＥＧ圧縮画像の生成において、画像は、実質的には個別に変換され且つ量子化されると共に圧縮される複数のブロックに分けられる。従って、不連続部分がブロック境界（ブロッキング効果）と交差すると、ＪＰＥＧ圧縮により生じる最も目立つ圧縮アーチファクトとなる。圧縮比が高ければ高いほど、ブロッキング効果も高い。本発明は、圧縮歴の指標としてのブロッキング不連続部分の分析を行う。
【００１３】
【課題を解決するための手段】
本発明の１つの態様は、画像が圧縮されているかどうかを検出する方法である。この方法では、画像の所定数のピクセルに関して、画像の水平に及び垂直に隣接した２つのピクセル間における差の絶対値を計算し、その結果を、ブロック境界と交差する領域（Ｉ）に相当する第１の差（第１の差はブロック境界との交差を表す）と、ブロック境界と交差しない領域（ＩＩ）に相当する第２の差（第２の差はブロック境界との非交差を表す）とに分け、Ｉ及びＩＩにおけるサンプルからヒストグラムを計算し、各ヒストグラムを正規化し、この正規化された２つのヒストグラム間における相違に基づいて、その画像が圧縮されているかどうかを決定する。
【００１４】
本発明の第２の態様は、画像が圧縮されているかどうかを検出する方法である。この方法では、画像内にブロック格子を決定し、この決定された格子からブロックを設定し、この設定されたブロックの内部にあるサンプル同志間における差を計算し、この設定されたブロックと交差したサンプル同志間における差を計算し、この計算された差の統計値から得られた特性に基づいて、その画像が圧縮されているかどうかを決定する。
【００１５】
本発明の第３の態様は、画像が圧縮されているかどうかを決定する方法である。この方法では、画像内にブロック格子を決定し、この決定された格子からブロックを設定し、各ブロックに対して、ブロック内に位置する４つの隣接したピクセルから第１のセットの差を計算し、各ブロックに対して、各ピクセルが４つの隣接したブロックの角に位置する４つの隣接したピクセルから第２のセットの差を計算し、この第１のセットの差に関するヒストグラムＨ(ｎ)及びこの第２のセットの差に関するヒストグラムＨ'(ｎ)を計算し、これらのヒストグラムを正規化し、この正規化された２つのヒストグラム間における相違に基づいて、その画像が圧縮されているかどうかを決定する。
【００１６】
本発明の第４の態様は、画像が圧縮されているかどうかを決定する方法である。この方法では、画像内にブロック格子を決定し、この決定された格子からブロックを設定し、各ブロックに対して、ブロック内に位置する第１のセットの４つの隣接したピクセルから第１のセットの差を計算し、各ブロックに対して、ブロック内に位置する第２のセットの４つの隣接したピクセルから第２のセットの差を計算し、各ブロックに対して、各ピクセルが４つの隣接したブロックの角に位置する第３のセットの４つの隣接したピクセルから第３のセットの差を計算し、この第１のセットの差に関するヒストグラムＨ0(ｎ)、この第２のセットの差に関するヒストグラムＨ1(ｎ)、及びこの第３のセットの差に関するヒストグラムＨ'(ｎ)を計算し、これらのヒストグラムを正規化し、この正規化された３つのヒストグラム間における相違に基づいて、その画像が圧縮されているかどうかを決定する。
【００１７】
本発明の第５の態様は、画像内に格子を決定する方法である。この方法では、所定数のピクセル分離れたサンプルのみから成る水平方向における差の絶対値の第１の合計を計算し、所定数のピクセル分離れたサンプルのみから成る垂直方向における差の絶対値の第２の合計を計算し、この第１の合計及び第２の合計と所定の閾値との関係に基づいて、その画像が格子を含んでいるかどうかを決定する。
【００１８】
本発明の第６の態様は、画像内に格子位置を決定する方法である。画像内の位置(ｉ,ｊ)における画像ピクセルの光強度をＰ(ｉ,ｊ)とする。この方法では、所定数のピクセルＲ分離れたサンプルのみから成る水平方向における差の絶対値の第１の合計ＥHを次のように計算し、
【数１】
所定数のピクセルＲ分離れたサンプルのみから成る垂直方向における差の絶対値の第２の合計ＥVを次のように計算し、
【数２】
この第１の合計及び第２の合計と所定の閾値との関係に基づいて、その画像が格子を含んでいるかどうかを決定し、Ｒピクセル分離間した格子に、起点から垂直方向にＤVピクセル分移動し起点から水平方向にＤHピクセル分移動した点として、境界を設定する。ここでＤV及びＤHはそれぞれ、ＥV及びＥHを最大値とする値である。
【００１９】
本発明のもう１つ別の態様は、画像が圧縮されているかどうかを検出する方法である。この方法では、画像の所定数のピクセルに関して、画像の水平に及び垂直に隣接した２つのピクセル間における差の絶対値を計算し、その結果を、ブロック境界と交差する領域（Ｉ）に相当する第１の差と、ブロック境界と交差しない領域（ＩＩ）に相当する第２の差とに分け、この第１の差と第２の差とのシーケンスの統計値間における相違に基づいて、その画像が圧縮されているかどうかを決定する。
【００２０】
本発明のさらなる態様は、画像が圧縮されているかどうかを検出する方法である。この方法では、圧縮を示す画像におけるブロッキングアーチファクトを検出し、このブロッキングアーチファクトの検出に基づいて、圧縮を示す出力をもたらす。
【００２１】
本発明のさらなる目的及び利点は、以下の説明及び本発明のさまざまな特徴から明らかになるであろう。
【００２２】
【発明の実施の形態】
まず図２を参照すれば、本発明は、本明細書中に述べる方法を実行するプログラムに従って作動する、６０で概略的に示されたワークステーション又はパーソナルコンピュータに、都合良く組み込むことができる、ということがわかるであろう。好都合なことに圧縮画像は、伝送路６２からモデム６４を介してパーソナルコンピュータ６０で受像される。受像され圧縮解除された画像は、ワークステーション６０と連結したディスプレイ６６で再生することができる、又は、パーソナルコンピュータと連結したメモリにおいてワークステーションによりさらに処理して若しくは処理せずにプリンタ６８で再生することができる。或いは、非圧縮画像として再転送するために再生することができる。
【００２３】
上述したように、ＪＰＥＧ圧縮を含む画像フォーマットの中には、画像を劣化させてしまうものもある。この劣化させるものの例としては、画像内の基本格子のような、画像の構造組織が挙げられる。この格子組織は、レンダリングされた画像を非常に乱すことがある。さらに、テキスト及びグラフィックを含む画像にあるような鋭端もまた、ＪＰＥＧ圧縮により平滑化されゆがめられることがある。従って、圧縮入力画像を印刷する場合、画像はこれらのアーチファクトを取り除く特別な処理を必要とする。例えばあるプリンタにおいては、画像はシグマフィルタリング処理が施されて、圧縮アーチファクトが取り除かれる。
【００２４】
しかし、印刷システムはまず、その入力非圧縮画像が前に圧縮されたかどうかを決定しなければならない。本発明の好適な実施の形態は、わずかなブロッキング不連続部分の分析に基づいて、その画像がこれまでにＪＰＥＧ圧縮されたかどうかを識別する方法を提案する。
【００２５】
ＪＰＥＧにおいて画像は、実質的には個別に変換され且つ量子化されると共に圧縮される複数のブロックに分けられる。従って、不連続部分がブロック境界（ブロッキング効果）と交差すると、ＪＰＥＧ圧縮により生じる最も目立つ圧縮アーチファクトとなる。圧縮比が高ければ高いほど、レンダリングされた画像におけるブロッキング効果の影響も大きい。
【００２６】
前述したように、これらのアーチファクトを取り除くために、印刷システムは、圧縮された又はブロッキングされた画像を認識する効果的な方法を必要とする。本発明は、圧縮歴の指標としてのブロッキング不連続部分の分析を行う。前に圧縮された画像は、圧縮されなかった画像よりも、不連続部分がより多く８×８ブロックの境界と交差する、ということは注目される。
【００２７】
このことを想定して、本発明の好適な実施の形態は、図３に示すような方法を用いる。図３において、ステップＳ１で、全てのピクセルに関して、水平に及び垂直に隣接した２つのピクセル間における差の絶対値が計算される。ステップＳ２で、本発明はその結果を、ブロック境界と交差する領域（Ｉ）の差とブロック境界と交差しない領域（ＩＩ）の差とに分ける。ステップＳ３で、本発明はＩ及びＩＩにおけるサンプルのヒストグラムを計算し、次にステップＳ４で、合計が１になるように各ヒストグラムを正規化する。ステップＳ５で、本発明はこの正規化された２つのヒストグラム間における相違を分析する。
【００２８】
図４は、圧縮されなかった画像の（境界と交差した）領域Ｉ及び（ブロックの内部にある）領域ＩＩに関する、正規化されたヒストグラムを示している。図５は、標準ＪＰＥＧにおいてＱ７５を用いて圧縮された同じ画像の（境界と交差した）領域Ｉ及び（ブロックの内部にある）領域ＩＩに関する、正規化されたヒストグラムを示している。このＱ７５であると、優れた画質が維持され、本件においては５．６対１というあまり高くない圧縮比がもたらされる。
【００２９】
図５及び６は、圧縮によるヒストグラムの大きな変化を示している。まず、ごくわずかにしか差が増加していないことからわかるように、ブロック内部の差は平坦である。これに対して、ブロック境界と交差した差は増加している。
【００３０】
図６は、図４及び５のヒストグラム間における相違を示しており、画像が圧縮された後の領域Ｉ及びＩＩ間における差が大きく増加していることを示している。
【００３１】
圧縮画像の検出を行う本発明の１つの好適な実施の形態では、領域Ｉ及びＩＩの正規化されたヒストグラム間における差の絶対値の合計、即ちＫ＝sum(abs(norm hist I(0:50)-norm hist II(0:50)))を求めるものである。ヒストグラムの最初の５０エレメントのみが含まれているが、これは、隣接したピクセル間の差は圧縮後でさえもそれほど高くなるとは思われず、この点を超えるとヒストグラム項目は実質的にゼロであるからである。言い換えれば、残りのノイズを有するヒストグラムサンプルは、識別に積極的には貢献しない。
【００３２】
得られた数値Ｋは、ハード決定に対する所定の閾値と比較することができる。このハード決定閾値は、画像出力に影響を及ぼす特別な処理動作のＯＮ又はＯＦＦ、つまりユーザの個人的好みに基づいた非常に主観的な決定をもたらすにすぎないので、ユーザ選択の実験を通して設定することができる。一方、得られた数値Ｋは、ソフト決定に対する信頼数値にマッピングすることができる。
【００３３】
本発明の１つの実施の形態において、この方法は次のパラメータ又は閾値を用いる。
Ａ．Ｋ≦０．０５の場合、その画像は圧縮されなかったと思われる。
Ｂ．０．０５＜Ｋ＜０．１５の場合、その画像は圧縮されたと思われる。
Ｃ．Ｋ≧０．１５の場合、その画像は圧縮されたと強く思われる。
【００３４】
上述した検出方法を用いる前に、８×８ブロックの格子の適切な位置を見出すために（その画像が前にもう１つ別の８×８ブロックで切り取られた場合）、その格子がどこにあるのかをまず決定しなければならない。
【００３５】
本発明は、８ピクセル離れたサンプルのみから成る一方向における差の絶対値の合計を計算し、ブロッキングアーチファクトがより大きく現れているところを探すことにより、格子の適切な位置を見出す。次に、このプロセスはもう一方の方向に関して繰り返される。即ち、次のとおりである。
【数３】
ＤV及びＤHはそれぞれ、ＥV及びＥHの方がより大きくなるような値として選択される。
【００３６】
このプロセスにおいて、画像におけるブロック格子は、起点からＤV×ＤHピクセル分移動すると仮定される。結果はエネルギー計算とヒストグラム計算との両方に用いることができるが、差の見積もりは一度だけ行えばよい、ということに注意されたい。
【００３７】
本発明はサブセットの画像ピクセルに対して実行することができる、ということは当業者には明らかである。前記サブセットは、画像の一部分に、又は、あらゆる適当な基準に従って画像から選択された多数組の隣接していないピクセルに相当し得る。
【００３８】
この方法は、いくつかの画像においてテストされた。１０のモノクローム画像に対する結果が、表１に示されている。ここでＱＸＸはＸＸのＱを示しており、模範（デフォルト）ＪＰＥＧ量子化器テーブル、及び、インディペンデント ＪＰＥＧ グループ(Independent JPEG Group)のＪＰＥＧ圧縮ソフトウェアにより実行されるような倍率（Ｑ）を用いている。Ｑ１００はほぼ完全な画像（量子化最小）を表しているが、圧縮比が非常に低く、この設定であるとＪＰＥＧがもたらすことのできる最高の質となるので、オリジナル画像と見分けがつかない再構成画像が得られる。Ｑ９０には目に見えないアーチファクトがあるが、その質は全てのアプリケーションに関して優れており、圧縮比は典型的には５：１よりも低い。Ｑ５０以下は、あらゆるアーチファクト除去処理が行われることとなる可能性がより高い。
【表１】
【００３９】
Ｋを解釈するのに、他のマッピング方法を用いることもできる。例えば、０．０１〜０．６の範囲のＫを０〜１００の倍率にマッピングして、その画像がＪＰＥＧを用いて圧縮された可能性を示すことができる。
【００４０】
本発明のもう１つ別の実施の形態においては、その画像が前に圧縮されたかどうかを検出するのに、８×８ピクセルの１ブロックあたりさらに約６つのピクセルと、簡単なヒストグラム操作とを必要とする。この方法による結果は上述した方法による結果と類似しているが、この方法の方が実施コストが安い。
【００４１】
前述したように、上記の方法（図３）では、ブロック境界と交差する隣接したサンプル間の差対ブロック境界と交差しないサンプル間の差のヒストグラムを分析する。前に圧縮された画像は、圧縮されなかった画像よりも、不連続部分がより多く８×８ブロックの境界と交差するので、本発明の第２の実施の形態において、この方法でもやはり、圧縮歴の指標としてのブロッキング不連続部分の分析を行う。
【００４２】
第２の実施の形態による検出方法の例が、図７に示されている。図７には、画像の８×８ブロックが示されている。なお、このブロックは、前述したように格子の位置が決定され、決定された格子から設定されたものである。図７に関して、この第２の実施の形態は５つのステップを用いる。第１のステップでは、各ブロックに対して、Ｑ＝｜Ａ−Ｂ−Ｃ＋Ｄ｜及びＱ'＝｜Ａ'−Ｂ'−Ｃ'＋Ｄ'｜が計算され、測度Ｑ(ｉ,ｊ)及びＱ'(ｉ,ｊ)のシーケンス（１ブロックあたり１つのサンプル）が実際に形成される。なお、ピクセルＡ、Ｂ、Ｃ、Ｄが第１のセット、ピクセルＡ’、Ｂ’、Ｃ’、Ｄ’が第２のセットに対応する。第２のステップでは、ヒストグラム、全てのＱ(ｉ,ｊ)のＨ(ｎ)及び全てのＱ'(ｉ,ｊ)のＨ'(ｎ)が計算される。次に、これらのヒストグラムは、各ヒストグラムの項目の合計が均一になるように正規化される。ヒストグラム差の絶対値の合計は、次のように計算される。
【数４】
【００４３】
最後に、値Ｅは上述したように、主観的な又は客観的な指標値にマッピングされる。
【００４４】
Ｅが圧縮関数としてどのように作用するのかを実証するために、上の表１と同じ画像をこの第２の実施の形態にも用いた。結果は下の表２に示されている。
【表２】
【００４５】
この実証により、Ｅのパラメータは次のようになる。
Ｅ＜０．３ 圧縮されておらず非常に高い質である。
０．３≦Ｅ≦０．５ 圧縮されたと思われる。
Ｅ＞０．５ 圧縮されたと強く思われる。
【００４６】
この検出方法の第３の実施の形態が、図８により示されている。この実施の形態では、ブロック内部における基準差を用いる。なお、このブロックも、前述したように設定されたものである。図８に関して、この方法ではまず、各ブロックに対して、Ｑ0＝｜Ａ−Ｂ−Ｃ＋Ｄ｜、Ｑ1＝｜Ｗ−Ｘ−Ｙ＋Ｚ｜、及びＱ'＝｜Ａ'−Ｂ'−Ｃ'＋Ｄ'｜が計算され、測度Ｑ0(ｉ,ｊ)、Ｑ1(ｉ,ｊ)、及びＱ'(ｉ,ｊ)のシーケンス（１ブロックあたり１つのサンプル）が実際に形成される。なお、ピクセルＡ、Ｂ、Ｃ、Ｄが第１のセット、ピクセルＷ、Ｘ、Ｙ、Ｚが第２のセット、ピクセルＡ’、Ｂ’、Ｃ’、Ｄ’が第３のセットに対応する。次にこの方法では、ヒストグラム、全てのＱ0(ｉ,ｊ)のＨ0(ｎ)、全てのＱ1(ｉ,ｊ) のＨ1(ｎ)、及び全てのＱ'(ｉ,ｊ)のＨ'(ｎ)が計算される。これらのヒストグラムは、各ヒストグラムの項目の合計が均一になるように正規化され、ヒストグラム差の絶対値の合計は、次のように計算される。
【数５】
【００４７】
最後に、比Ｅ0／Ｅ1は上述したのと同じ方法で、主観的な又は客観的な指標値にマッピングされる。この実施の形態においては、閾値３又は４（例えば、Ｅ0／Ｅ1＞３）が、圧縮画像を検出する確実な指標である。少し多くの計算が必要であるが、この変化量の方が第２の実施の形態よりも確実である。Ｅを解釈するのに、他のマッピング方法を用いることもでき、例えば、Ｅを連続した信頼数値にマッピングするという方法がある。Ｅは単に画像におけるブロッキングの指標にすぎないので、画像がどの程度圧縮されたのかを決定するのにＥを用いないように、非常に注意する必要がある、ということは注目される。この結果、８×８ブロック格子の位置を仮定或いは検出することができる。
【００４８】
本発明はサブセットの画像ピクセルに対して実行することができる、ということは当業者には明らかである。前記サブセットは、画像の一部分に、又は、あらゆる適当な基準に従って画像から選択された多数組の隣接していないピクセルに相当し得る。
【００４９】
ここに開示した方法は、ソフトウェアに容易に導入することができる。或いはまた、ここに開示した方法は、標準論理回路を用いているハードウェア、即ち具体的にはＶＬＳＩを用いているシングルチップにも、部分的に又は完全に導入することができる。この方法を導入するのにソフトウェアを用いるかハードウェアを用いるかは、そのシステムに要求される速度や効率によって、また、用いられるそれぞれの機能、それぞれのソフトウェア又はハードウェアシステム、それぞれのマイクロプロセッサ又はマイクロコンピュータシステムによっても変わる。
【００５０】
本発明を、その好適な実施の形態に関して説明してきたが、多数の代替、変更、及び変化が当業者には明らかである、ということは明白である。従って、上記特許請求の範囲（広い範囲）及びその趣旨に当てはまるような、代替、変更、及び変化を全て含むことが意図される。
【００５１】
以下は、本発明を説明するのに用いた各図面の簡単な説明である。これらの図面は、単に例示目的で示したにすぎず、本発明の範囲を限定するものではない。
【図面の簡単な説明】
【図１】従来技術であるＡＤＣＴ圧縮／圧縮解除プロセスを示す機能ブロック図である。
【図２】提案された実施の形態の典型的なアプリケーションを示す図である。
【図３】本発明の１つの実施の形態を示すフローチャートである。
【図４】非圧縮画像の正規化されたヒストグラムを示すグラフである。
【図５】圧縮画像の正規化されたヒストグラムを示すグラフである。
【図６】図４及び図５間の相違を示すグラフである。
【図７】本発明の第２の実施の形態に関するピクセル選択を示す図である。
【図８】本発明の第３の実施の形態に関するピクセル選択を示す図である。
【符号の説明】
６０ ワークステーション（パーソナルコンピュータ）
６２ 伝送路
６６ ディスプレイ
６８ プリンタ
【発明の属する技術分野】
本発明は、従来のＪＰＥＧ画像圧縮規格に従って圧縮された画像を検出する方法に関し、特に、画像のブロッキングシグナチャ(blocking signature)を検出して、ＪＰＥＧ圧縮画像を識別する方法に関する。
【０００２】
【従来の技術】
データを用いる実際のアプリケーションには非常に多くのデータがあり、データ処理プロセスにおいてデータの圧縮が必要とされる。一般的に圧縮は、転送時間の長い又は帯域幅の限られた通信リンクに用いられる。この他に圧縮はデータの記憶に用いられ、データが記憶される媒体スペースの量を、記憶するデータを圧縮することによって実質的に減少させることができる。これらのケースのいずれか又は両方が当てはまるデバイスはデジタルコピー機であり、中間記憶領域が照合、再印刷、又はデジタルコピー機のあらゆる他の機能に用いられる。さらに、デジタルコピー機は大抵、外部から受信したデータを印刷することができる。概して、走査された画像及び印刷マスタ、即ちハードコピー原稿の電子表現は一般的に大きいので、圧縮対象として望ましい。
【０００３】
ＪＰＥＧ委員会により広められた静止画像圧縮方法については、１９９２年にヴァン ノストランド レインホールド(Van Nostrand Reinhold)により出版された、Ｗ．ペンネベイカー(Pennebaker)及びＪ．ミッチェル(Mitchell)による“ＪＰＥＧ：Still Image Compression Standard”に詳細に記載されている。ここでは、離散コサイン変換に基づく減衰圧縮モードに関して言及するが、本件においてはこれをＪＰＥＧ圧縮と呼ぶ。ＪＰＥＧ圧縮は、ピクセルとピクセルとの相関に基づいてデータの冗長性を減少させる減衰システムである。通常、ピクセル−ピクセルベースの画像においては、画像はあまり変化しない。従って画像は、いわゆる「自然空間相関」を有する。自然シーンにおいて、相関は帰納されるが、正確ではない。ノイズにより各ピクセルは、隣接したピクセルと多少異なる。
【０００４】
図１には、ＪＰＥＧ圧縮及び圧縮解除（復号化）システムが概略的に示されている。より完全な論議は、エシュバッハ(Eschbach)による米国特許第５，３２１，５２２号、及びファン(Fan)による米国特許第５，３５９，６７６号を参照することにより得ることができる。この米国特許第５，３２１，５２２号及び米国特許第５，３５９，６７６号の内容全体は、参照により本明細書中に援用される。
【０００５】
まず、画像のＭ×Ｍ部分を記憶するタイルメモリ１０が備えられている。タイルメモリに記憶された画像の部分から、離散コサイン変換（ＤＣＴ）、つまり変換器１２は、その画像を空間周波数に変換して、ＤＣＴ係数の行列を得る。Ｃ−キューブ マイクロシステムズ(C-Cube Microsystems) ＣＬ５５０Ａ ＪＰＥＧ 画像圧縮プロセッサのような、提案されたＪＰＥＧ規格に従って圧縮或いは圧縮解除モードで作動するハードウェアへの導入は有益である。後述するように、本発明は、ソフトウェア或いはハードウェアのいずれにも導入することができる。
【０００６】
除算器／量子化デバイス１４により、Ｑテーブルメモリ１６に記憶されたＱテーブル（量子化テーブル）と呼ばれる１セットの値から、異なるＱテーブル値（量子化単位）でＤＣＴ値（ＤＣＴ係数）は割り算され、その値の整数部分が量子化ＤＣＴ値として戻される。ハフマンコードを大抵用いる統計エンコーダ２０により、この量子化ＤＣＴ値はコード化され、記憶、転送などのための出力である圧縮画像が生成される。
【０００７】
離散コサイン変換は公知であり、また画像データの変換を行うためのハードウェアがある。これについては例えば、ニイハラ(Niihara)による米国特許第５，０４９，９９１号、ゴンザレス(Gonzales)等による米国特許第５，００１，５５９号、及びピュリ(Puri)による米国特許第４，９９９，７０５号に記載されている。
【０００８】
今圧縮した画像を圧縮解除するには、図１に示したように、前述したプロセスとは逆の一連の機能又はステップを続けて行う。ハフマンコードは、デコーダ５０で解除される。この時点では画像信号は量子化ＤＣＴ係数を表しており、この量子化ＤＣＴ係数は、圧縮プロセスとは逆のプロセスにおいて、信号乗算器５２でメモリ５４のＱテーブル値と掛け算される。逆変換器５６で、離散コサイン変換の逆変換が行われ、空間定義域における出力画像が画像バッファ５８で記憶される。
【０００９】
エシュバッハによる米国特許第５，３２１，５２２号及び米国特許第５，３７９，１２２号、並びにファンによる米国特許第５，３５９，６７６号においては、図１に示した標準プロセスとは異なる。オリジナル画像が圧縮され、この圧縮表現が圧縮解除される。この圧縮解除画像は、外観を向上させるためにさらにフィルタリングされるが、このフィルタリングの際に、オリジナル画像から得ることのできる画像の範囲をはみ出してしまうことがある。従って、このような画像を画像の許容範囲内に納めるために、画像のＤＣＴ表現が変更される。このプロセスは繰り返して行われてもよい。
【００１０】
ＪＰＥＧを用いるような圧縮を含む画像フォーマットの中には、画像を劣化させてしまうものもある。システムがこれらの圧縮画像のうちの１つを印刷しようとする際に、その入力画像にそのようなアーチファクトを取り除く特別な処理を施すことができる。しかしまず、その画像が前に圧縮されたかどうかを決定しなければならない。
【００１１】
【発明が解決しようとする課題】
本発明は、その画像がこれまでに圧縮されたかどうかを識別する方法を提案する。さらに本発明は、その画像がこれまでにＪＰＥＧ圧縮されたかどうかを識別する方法を提案する。圧縮画像の識別が可能になることによって、本発明により印刷システムは、圧縮画像をクリーニング画像処理行程へ進めることができるようになり、これにより印刷システムは、その画像から望ましくないあらゆるアーチファクトを取り除くことができるようになる。
【００１２】
本発明の方法は、圧縮画像にあり且つすぐにわかるわずかなブロッキング不連続部分の分析に基づいている。例えばＪＰＥＧ圧縮画像の生成において、画像は、実質的には個別に変換され且つ量子化されると共に圧縮される複数のブロックに分けられる。従って、不連続部分がブロック境界（ブロッキング効果）と交差すると、ＪＰＥＧ圧縮により生じる最も目立つ圧縮アーチファクトとなる。圧縮比が高ければ高いほど、ブロッキング効果も高い。本発明は、圧縮歴の指標としてのブロッキング不連続部分の分析を行う。
【００１３】
【課題を解決するための手段】
本発明の１つの態様は、画像が圧縮されているかどうかを検出する方法である。この方法では、画像の所定数のピクセルに関して、画像の水平に及び垂直に隣接した２つのピクセル間における差の絶対値を計算し、その結果を、ブロック境界と交差する領域（Ｉ）に相当する第１の差（第１の差はブロック境界との交差を表す）と、ブロック境界と交差しない領域（ＩＩ）に相当する第２の差（第２の差はブロック境界との非交差を表す）とに分け、Ｉ及びＩＩにおけるサンプルからヒストグラムを計算し、各ヒストグラムを正規化し、この正規化された２つのヒストグラム間における相違に基づいて、その画像が圧縮されているかどうかを決定する。
【００１４】
本発明の第２の態様は、画像が圧縮されているかどうかを検出する方法である。この方法では、画像内にブロック格子を決定し、この決定された格子からブロックを設定し、この設定されたブロックの内部にあるサンプル同志間における差を計算し、この設定されたブロックと交差したサンプル同志間における差を計算し、この計算された差の統計値から得られた特性に基づいて、その画像が圧縮されているかどうかを決定する。
【００１５】
本発明の第３の態様は、画像が圧縮されているかどうかを決定する方法である。この方法では、画像内にブロック格子を決定し、この決定された格子からブロックを設定し、各ブロックに対して、ブロック内に位置する４つの隣接したピクセルから第１のセットの差を計算し、各ブロックに対して、各ピクセルが４つの隣接したブロックの角に位置する４つの隣接したピクセルから第２のセットの差を計算し、この第１のセットの差に関するヒストグラムＨ(ｎ)及びこの第２のセットの差に関するヒストグラムＨ'(ｎ)を計算し、これらのヒストグラムを正規化し、この正規化された２つのヒストグラム間における相違に基づいて、その画像が圧縮されているかどうかを決定する。
【００１６】
本発明の第４の態様は、画像が圧縮されているかどうかを決定する方法である。この方法では、画像内にブロック格子を決定し、この決定された格子からブロックを設定し、各ブロックに対して、ブロック内に位置する第１のセットの４つの隣接したピクセルから第１のセットの差を計算し、各ブロックに対して、ブロック内に位置する第２のセットの４つの隣接したピクセルから第２のセットの差を計算し、各ブロックに対して、各ピクセルが４つの隣接したブロックの角に位置する第３のセットの４つの隣接したピクセルから第３のセットの差を計算し、この第１のセットの差に関するヒストグラムＨ0(ｎ)、この第２のセットの差に関するヒストグラムＨ1(ｎ)、及びこの第３のセットの差に関するヒストグラムＨ'(ｎ)を計算し、これらのヒストグラムを正規化し、この正規化された３つのヒストグラム間における相違に基づいて、その画像が圧縮されているかどうかを決定する。
【００１７】
本発明の第５の態様は、画像内に格子を決定する方法である。この方法では、所定数のピクセル分離れたサンプルのみから成る水平方向における差の絶対値の第１の合計を計算し、所定数のピクセル分離れたサンプルのみから成る垂直方向における差の絶対値の第２の合計を計算し、この第１の合計及び第２の合計と所定の閾値との関係に基づいて、その画像が格子を含んでいるかどうかを決定する。
【００１８】
本発明の第６の態様は、画像内に格子位置を決定する方法である。画像内の位置(ｉ,ｊ)における画像ピクセルの光強度をＰ(ｉ,ｊ)とする。この方法では、所定数のピクセルＲ分離れたサンプルのみから成る水平方向における差の絶対値の第１の合計ＥHを次のように計算し、
【数１】
【数２】
【００１９】
本発明のもう１つ別の態様は、画像が圧縮されているかどうかを検出する方法である。この方法では、画像の所定数のピクセルに関して、画像の水平に及び垂直に隣接した２つのピクセル間における差の絶対値を計算し、その結果を、ブロック境界と交差する領域（Ｉ）に相当する第１の差と、ブロック境界と交差しない領域（ＩＩ）に相当する第２の差とに分け、この第１の差と第２の差とのシーケンスの統計値間における相違に基づいて、その画像が圧縮されているかどうかを決定する。
【００２０】
本発明のさらなる態様は、画像が圧縮されているかどうかを検出する方法である。この方法では、圧縮を示す画像におけるブロッキングアーチファクトを検出し、このブロッキングアーチファクトの検出に基づいて、圧縮を示す出力をもたらす。
【００２１】
本発明のさらなる目的及び利点は、以下の説明及び本発明のさまざまな特徴から明らかになるであろう。
【００２２】
【発明の実施の形態】
まず図２を参照すれば、本発明は、本明細書中に述べる方法を実行するプログラムに従って作動する、６０で概略的に示されたワークステーション又はパーソナルコンピュータに、都合良く組み込むことができる、ということがわかるであろう。好都合なことに圧縮画像は、伝送路６２からモデム６４を介してパーソナルコンピュータ６０で受像される。受像され圧縮解除された画像は、ワークステーション６０と連結したディスプレイ６６で再生することができる、又は、パーソナルコンピュータと連結したメモリにおいてワークステーションによりさらに処理して若しくは処理せずにプリンタ６８で再生することができる。或いは、非圧縮画像として再転送するために再生することができる。
【００２３】
上述したように、ＪＰＥＧ圧縮を含む画像フォーマットの中には、画像を劣化させてしまうものもある。この劣化させるものの例としては、画像内の基本格子のような、画像の構造組織が挙げられる。この格子組織は、レンダリングされた画像を非常に乱すことがある。さらに、テキスト及びグラフィックを含む画像にあるような鋭端もまた、ＪＰＥＧ圧縮により平滑化されゆがめられることがある。従って、圧縮入力画像を印刷する場合、画像はこれらのアーチファクトを取り除く特別な処理を必要とする。例えばあるプリンタにおいては、画像はシグマフィルタリング処理が施されて、圧縮アーチファクトが取り除かれる。
【００２４】
しかし、印刷システムはまず、その入力非圧縮画像が前に圧縮されたかどうかを決定しなければならない。本発明の好適な実施の形態は、わずかなブロッキング不連続部分の分析に基づいて、その画像がこれまでにＪＰＥＧ圧縮されたかどうかを識別する方法を提案する。
【００２５】
ＪＰＥＧにおいて画像は、実質的には個別に変換され且つ量子化されると共に圧縮される複数のブロックに分けられる。従って、不連続部分がブロック境界（ブロッキング効果）と交差すると、ＪＰＥＧ圧縮により生じる最も目立つ圧縮アーチファクトとなる。圧縮比が高ければ高いほど、レンダリングされた画像におけるブロッキング効果の影響も大きい。
【００２６】
前述したように、これらのアーチファクトを取り除くために、印刷システムは、圧縮された又はブロッキングされた画像を認識する効果的な方法を必要とする。本発明は、圧縮歴の指標としてのブロッキング不連続部分の分析を行う。前に圧縮された画像は、圧縮されなかった画像よりも、不連続部分がより多く８×８ブロックの境界と交差する、ということは注目される。
【００２７】
このことを想定して、本発明の好適な実施の形態は、図３に示すような方法を用いる。図３において、ステップＳ１で、全てのピクセルに関して、水平に及び垂直に隣接した２つのピクセル間における差の絶対値が計算される。ステップＳ２で、本発明はその結果を、ブロック境界と交差する領域（Ｉ）の差とブロック境界と交差しない領域（ＩＩ）の差とに分ける。ステップＳ３で、本発明はＩ及びＩＩにおけるサンプルのヒストグラムを計算し、次にステップＳ４で、合計が１になるように各ヒストグラムを正規化する。ステップＳ５で、本発明はこの正規化された２つのヒストグラム間における相違を分析する。
【００２８】
図４は、圧縮されなかった画像の（境界と交差した）領域Ｉ及び（ブロックの内部にある）領域ＩＩに関する、正規化されたヒストグラムを示している。図５は、標準ＪＰＥＧにおいてＱ７５を用いて圧縮された同じ画像の（境界と交差した）領域Ｉ及び（ブロックの内部にある）領域ＩＩに関する、正規化されたヒストグラムを示している。このＱ７５であると、優れた画質が維持され、本件においては５．６対１というあまり高くない圧縮比がもたらされる。
【００２９】
図５及び６は、圧縮によるヒストグラムの大きな変化を示している。まず、ごくわずかにしか差が増加していないことからわかるように、ブロック内部の差は平坦である。これに対して、ブロック境界と交差した差は増加している。
【００３０】
図６は、図４及び５のヒストグラム間における相違を示しており、画像が圧縮された後の領域Ｉ及びＩＩ間における差が大きく増加していることを示している。
【００３１】
圧縮画像の検出を行う本発明の１つの好適な実施の形態では、領域Ｉ及びＩＩの正規化されたヒストグラム間における差の絶対値の合計、即ちＫ＝sum(abs(norm hist I(0:50)-norm hist II(0:50)))を求めるものである。ヒストグラムの最初の５０エレメントのみが含まれているが、これは、隣接したピクセル間の差は圧縮後でさえもそれほど高くなるとは思われず、この点を超えるとヒストグラム項目は実質的にゼロであるからである。言い換えれば、残りのノイズを有するヒストグラムサンプルは、識別に積極的には貢献しない。
【００３２】
得られた数値Ｋは、ハード決定に対する所定の閾値と比較することができる。このハード決定閾値は、画像出力に影響を及ぼす特別な処理動作のＯＮ又はＯＦＦ、つまりユーザの個人的好みに基づいた非常に主観的な決定をもたらすにすぎないので、ユーザ選択の実験を通して設定することができる。一方、得られた数値Ｋは、ソフト決定に対する信頼数値にマッピングすることができる。
【００３３】
本発明の１つの実施の形態において、この方法は次のパラメータ又は閾値を用いる。
Ａ．Ｋ≦０．０５の場合、その画像は圧縮されなかったと思われる。
Ｂ．０．０５＜Ｋ＜０．１５の場合、その画像は圧縮されたと思われる。
Ｃ．Ｋ≧０．１５の場合、その画像は圧縮されたと強く思われる。
【００３４】
上述した検出方法を用いる前に、８×８ブロックの格子の適切な位置を見出すために（その画像が前にもう１つ別の８×８ブロックで切り取られた場合）、その格子がどこにあるのかをまず決定しなければならない。
【００３５】
本発明は、８ピクセル離れたサンプルのみから成る一方向における差の絶対値の合計を計算し、ブロッキングアーチファクトがより大きく現れているところを探すことにより、格子の適切な位置を見出す。次に、このプロセスはもう一方の方向に関して繰り返される。即ち、次のとおりである。
【数３】
【００３６】
このプロセスにおいて、画像におけるブロック格子は、起点からＤV×ＤHピクセル分移動すると仮定される。結果はエネルギー計算とヒストグラム計算との両方に用いることができるが、差の見積もりは一度だけ行えばよい、ということに注意されたい。
【００３７】
本発明はサブセットの画像ピクセルに対して実行することができる、ということは当業者には明らかである。前記サブセットは、画像の一部分に、又は、あらゆる適当な基準に従って画像から選択された多数組の隣接していないピクセルに相当し得る。
【００３８】
この方法は、いくつかの画像においてテストされた。１０のモノクローム画像に対する結果が、表１に示されている。ここでＱＸＸはＸＸのＱを示しており、模範（デフォルト）ＪＰＥＧ量子化器テーブル、及び、インディペンデント ＪＰＥＧ グループ(Independent JPEG Group)のＪＰＥＧ圧縮ソフトウェアにより実行されるような倍率（Ｑ）を用いている。Ｑ１００はほぼ完全な画像（量子化最小）を表しているが、圧縮比が非常に低く、この設定であるとＪＰＥＧがもたらすことのできる最高の質となるので、オリジナル画像と見分けがつかない再構成画像が得られる。Ｑ９０には目に見えないアーチファクトがあるが、その質は全てのアプリケーションに関して優れており、圧縮比は典型的には５：１よりも低い。Ｑ５０以下は、あらゆるアーチファクト除去処理が行われることとなる可能性がより高い。
【表１】
Ｋを解釈するのに、他のマッピング方法を用いることもできる。例えば、０．０１〜０．６の範囲のＫを０〜１００の倍率にマッピングして、その画像がＪＰＥＧを用いて圧縮された可能性を示すことができる。
【００４０】
本発明のもう１つ別の実施の形態においては、その画像が前に圧縮されたかどうかを検出するのに、８×８ピクセルの１ブロックあたりさらに約６つのピクセルと、簡単なヒストグラム操作とを必要とする。この方法による結果は上述した方法による結果と類似しているが、この方法の方が実施コストが安い。
【００４１】
前述したように、上記の方法（図３）では、ブロック境界と交差する隣接したサンプル間の差対ブロック境界と交差しないサンプル間の差のヒストグラムを分析する。前に圧縮された画像は、圧縮されなかった画像よりも、不連続部分がより多く８×８ブロックの境界と交差するので、本発明の第２の実施の形態において、この方法でもやはり、圧縮歴の指標としてのブロッキング不連続部分の分析を行う。
【００４２】
第２の実施の形態による検出方法の例が、図７に示されている。図７には、画像の８×８ブロックが示されている。なお、このブロックは、前述したように格子の位置が決定され、決定された格子から設定されたものである。図７に関して、この第２の実施の形態は５つのステップを用いる。第１のステップでは、各ブロックに対して、Ｑ＝｜Ａ−Ｂ−Ｃ＋Ｄ｜及びＱ'＝｜Ａ'−Ｂ'−Ｃ'＋Ｄ'｜が計算され、測度Ｑ(ｉ,ｊ)及びＱ'(ｉ,ｊ)のシーケンス（１ブロックあたり１つのサンプル）が実際に形成される。なお、ピクセルＡ、Ｂ、Ｃ、Ｄが第１のセット、ピクセルＡ’、Ｂ’、Ｃ’、Ｄ’が第２のセットに対応する。第２のステップでは、ヒストグラム、全てのＱ(ｉ,ｊ)のＨ(ｎ)及び全てのＱ'(ｉ,ｊ)のＨ'(ｎ)が計算される。次に、これらのヒストグラムは、各ヒストグラムの項目の合計が均一になるように正規化される。ヒストグラム差の絶対値の合計は、次のように計算される。
【数４】
最後に、値Ｅは上述したように、主観的な又は客観的な指標値にマッピングされる。
【００４４】
Ｅが圧縮関数としてどのように作用するのかを実証するために、上の表１と同じ画像をこの第２の実施の形態にも用いた。結果は下の表２に示されている。
【表２】
この実証により、Ｅのパラメータは次のようになる。
Ｅ＜０．３ 圧縮されておらず非常に高い質である。
０．３≦Ｅ≦０．５ 圧縮されたと思われる。
Ｅ＞０．５ 圧縮されたと強く思われる。
【００４６】
この検出方法の第３の実施の形態が、図８により示されている。この実施の形態では、ブロック内部における基準差を用いる。なお、このブロックも、前述したように設定されたものである。図８に関して、この方法ではまず、各ブロックに対して、Ｑ0＝｜Ａ−Ｂ−Ｃ＋Ｄ｜、Ｑ1＝｜Ｗ−Ｘ−Ｙ＋Ｚ｜、及びＱ'＝｜Ａ'−Ｂ'−Ｃ'＋Ｄ'｜が計算され、測度Ｑ0(ｉ,ｊ)、Ｑ1(ｉ,ｊ)、及びＱ'(ｉ,ｊ)のシーケンス（１ブロックあたり１つのサンプル）が実際に形成される。なお、ピクセルＡ、Ｂ、Ｃ、Ｄが第１のセット、ピクセルＷ、Ｘ、Ｙ、Ｚが第２のセット、ピクセルＡ’、Ｂ’、Ｃ’、Ｄ’が第３のセットに対応する。次にこの方法では、ヒストグラム、全てのＱ0(ｉ,ｊ)のＨ0(ｎ)、全てのＱ1(ｉ,ｊ) のＨ1(ｎ)、及び全てのＱ'(ｉ,ｊ)のＨ'(ｎ)が計算される。これらのヒストグラムは、各ヒストグラムの項目の合計が均一になるように正規化され、ヒストグラム差の絶対値の合計は、次のように計算される。
【数５】
最後に、比Ｅ0／Ｅ1は上述したのと同じ方法で、主観的な又は客観的な指標値にマッピングされる。この実施の形態においては、閾値３又は４（例えば、Ｅ0／Ｅ1＞３）が、圧縮画像を検出する確実な指標である。少し多くの計算が必要であるが、この変化量の方が第２の実施の形態よりも確実である。Ｅを解釈するのに、他のマッピング方法を用いることもでき、例えば、Ｅを連続した信頼数値にマッピングするという方法がある。Ｅは単に画像におけるブロッキングの指標にすぎないので、画像がどの程度圧縮されたのかを決定するのにＥを用いないように、非常に注意する必要がある、ということは注目される。この結果、８×８ブロック格子の位置を仮定或いは検出することができる。
【００４８】
本発明はサブセットの画像ピクセルに対して実行することができる、ということは当業者には明らかである。前記サブセットは、画像の一部分に、又は、あらゆる適当な基準に従って画像から選択された多数組の隣接していないピクセルに相当し得る。
【００４９】
ここに開示した方法は、ソフトウェアに容易に導入することができる。或いはまた、ここに開示した方法は、標準論理回路を用いているハードウェア、即ち具体的にはＶＬＳＩを用いているシングルチップにも、部分的に又は完全に導入することができる。この方法を導入するのにソフトウェアを用いるかハードウェアを用いるかは、そのシステムに要求される速度や効率によって、また、用いられるそれぞれの機能、それぞれのソフトウェア又はハードウェアシステム、それぞれのマイクロプロセッサ又はマイクロコンピュータシステムによっても変わる。
【００５０】
本発明を、その好適な実施の形態に関して説明してきたが、多数の代替、変更、及び変化が当業者には明らかである、ということは明白である。従って、上記特許請求の範囲（広い範囲）及びその趣旨に当てはまるような、代替、変更、及び変化を全て含むことが意図される。
【００５１】
以下は、本発明を説明するのに用いた各図面の簡単な説明である。これらの図面は、単に例示目的で示したにすぎず、本発明の範囲を限定するものではない。
【図面の簡単な説明】
【図１】従来技術であるＡＤＣＴ圧縮／圧縮解除プロセスを示す機能ブロック図である。
【図２】提案された実施の形態の典型的なアプリケーションを示す図である。
【図３】本発明の１つの実施の形態を示すフローチャートである。
【図４】非圧縮画像の正規化されたヒストグラムを示すグラフである。
【図５】圧縮画像の正規化されたヒストグラムを示すグラフである。
【図６】図４及び図５間の相違を示すグラフである。
【図７】本発明の第２の実施の形態に関するピクセル選択を示す図である。
【図８】本発明の第３の実施の形態に関するピクセル選択を示す図である。
【符号の説明】
６０ ワークステーション（パーソナルコンピュータ）
６２ 伝送路
６６ ディスプレイ
６８ プリンタ
Claims (2)
- 画像が圧縮されているかどうかを検出する方法であって、
（ａ）画像の所定数のピクセルに関して、画像の水平に及び垂直に隣接した２つのピクセル間における差の絶対値を計算するステップと、
（ｂ）前記ステップ（ａ）の結果を、ブロック境界と交差する領域（Ｉ）に相当する第１の差と、ブロック境界と交差しない領域（ＩＩ）に相当する第２の差とに分けるステップと、
（ｃ）Ｉ及びＩＩにおけるサンプルからヒストグラムを計算するステップと、
（ｄ）各ヒストグラムを正規化するステップと、
（ｅ）前記正規化された２つのヒストグラム間における相違に基づいて、その画像が圧縮されているかどうかを決定するステップと、
から成る上記方法。 - 画像が圧縮されているかどうかを検出する方法であって、
（ａ）画像内にブロック格子を決定するステップと、
（ｂ）前記決定された格子からブロックを設定するステップと、
（ｃ）前記設定されたブロックの内部にあるサンプル同志間における差を計算するステップと、
（ｄ）前記設定されたブロックと交差したサンプル同志間における差を計算するステップと、
（ｅ）前記計算された差の統計値から得られた特性に基づいて、その画像が圧縮されているかどうかを決定するステップと、
から成る上記方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/191,245 US6385342B1 (en) | 1998-11-13 | 1998-11-13 | Blocking signature detection for identification of JPEG images |
| US191245 | 1998-11-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000151418A JP2000151418A (ja) | 2000-05-30 |
| JP4391641B2 true JP4391641B2 (ja) | 2009-12-24 |
Family
ID=22704700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31111799A Expired - Fee Related JP4391641B2 (ja) | 1998-11-13 | 1999-11-01 | 画像が圧縮されているかどうかを検出する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US6385342B1 (ja) |
| EP (1) | EP1001608A3 (ja) |
| JP (1) | JP4391641B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6385342B1 (en) * | 1998-11-13 | 2002-05-07 | Xerox Corporation | Blocking signature detection for identification of JPEG images |
| IL131092A (en) * | 1999-07-25 | 2006-08-01 | Orbotech Ltd | Optical inspection system |
| US6643410B1 (en) | 2000-06-29 | 2003-11-04 | Eastman Kodak Company | Method of determining the extent of blocking artifacts in a digital image |
| US7003174B2 (en) | 2001-07-02 | 2006-02-21 | Corel Corporation | Removal of block encoding artifacts |
| KR20060028645A (ko) * | 2003-07-02 | 2006-03-30 | 소니 가부시끼 가이샤 | 블록왜곡 검출장치 및 블록왜곡 검출방법과 영상신호처리장치 |
| US7720924B2 (en) * | 2003-12-12 | 2010-05-18 | Syniverse Icx Corporation | System providing methodology for the restoration of original media quality in messaging environments |
| EP1700491A4 (en) * | 2003-12-16 | 2009-01-21 | Agency Science Tech & Res | MEASURE THE IMAGE AND VIDEO QUALITY |
| US7266246B2 (en) * | 2004-04-29 | 2007-09-04 | Hewlett-Packard Development Company, L.P. | System and method for estimating compression noise in images |
| US7356195B2 (en) * | 2004-04-29 | 2008-04-08 | Hewlett-Packard Development Company, L.P. | System and method for estimating image sharpness |
| US7570831B2 (en) * | 2004-04-29 | 2009-08-04 | Hewlett-Packard Development Company, L.P. | System and method for estimating image noise |
| JP3827162B2 (ja) * | 2004-06-25 | 2006-09-27 | ソニー株式会社 | データ記録装置 |
| US7477785B2 (en) * | 2004-11-19 | 2009-01-13 | Microsoft Corporation | Fuzzy image comparator |
| US7620248B2 (en) * | 2004-11-19 | 2009-11-17 | Microsoft Corporation | System and method for validating graphical components of images |
| US7747082B2 (en) * | 2005-10-03 | 2010-06-29 | Xerox Corporation | JPEG detectors and JPEG image history estimators |
| JP2007189657A (ja) * | 2005-12-16 | 2007-07-26 | Fuji Xerox Co Ltd | 画像評価装置、画像評価方法及びプログラム |
| TWI314300B (en) * | 2006-03-16 | 2009-09-01 | Realtek Semiconductor Corp | Method and related apparatus for scaling image |
| US7532767B2 (en) * | 2006-05-31 | 2009-05-12 | Xerox Corporation | Removing ringing and blocking artifacts from JPEG compressed document images |
| JP2010205067A (ja) * | 2009-03-04 | 2010-09-16 | Fujifilm Corp | 領域抽出装置、領域抽出方法及び領域抽出プログラム |
| US9105106B2 (en) | 2010-05-11 | 2015-08-11 | Zoran (France) S.A. | Two-dimensional super resolution scaling |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5209220A (en) | 1989-10-05 | 1993-05-11 | Olympus Optical Co., Ltd. | Endoscope image data compressing apparatus |
| US5337088A (en) * | 1991-04-18 | 1994-08-09 | Matsushita Electric Industrial Co. Ltd. | Method of correcting an image signal decoded in block units |
| US5787207A (en) * | 1991-12-30 | 1998-07-28 | Golin; Stuart J. | Method and apparatus for minimizing blockiness in reconstructed images |
| US5574503A (en) * | 1992-03-31 | 1996-11-12 | Rockwell International | Adaptive interframe video data compression and start-up techniques |
| EP0679313A1 (en) * | 1993-11-16 | 1995-11-02 | International Business Machines Corporation | Method and apparatus for alignment of images for template elimination |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| US5818364A (en) * | 1996-06-19 | 1998-10-06 | Hewlett-Packard Company | High bit-rate huffman decoding |
| EP0917357A4 (en) | 1997-05-28 | 2009-05-06 | Sony Corp | BLOCK DECELERATION METHOD AND DEVICE, AND CODING METHOD AND DEVICE |
| GB9712645D0 (en) | 1997-06-18 | 1997-08-20 | Nds Ltd | Improvements in or relating to image processing |
| US6795580B1 (en) | 1998-09-10 | 2004-09-21 | Tektronix, Inc. | Picture quality measurement using blockiness |
| US6385342B1 (en) * | 1998-11-13 | 2002-05-07 | Xerox Corporation | Blocking signature detection for identification of JPEG images |
| US6195457B1 (en) * | 1998-11-13 | 2001-02-27 | Xerox Corporation | Blocking signature detection for identification of JPEG images |
| US6256416B1 (en) * | 1998-11-13 | 2001-07-03 | Xerox Corporation | Blocking signature detection for identification of JPEG images |
| US6219450B1 (en) * | 1998-11-13 | 2001-04-17 | Xerox Corporation | Blocking signature detection for identification JPEG images |
-
1998
- 1998-11-13 US US09/191,245 patent/US6385342B1/en not_active Expired - Lifetime
-
1999
- 1999-11-01 JP JP31111799A patent/JP4391641B2/ja not_active Expired - Fee Related
- 1999-11-08 EP EP99308884A patent/EP1001608A3/en not_active Withdrawn
-
2001
- 2001-11-09 US US10/037,905 patent/US20020097911A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| EP1001608A2 (en) | 2000-05-17 |
| US6385342B1 (en) | 2002-05-07 |
| JP2000151418A (ja) | 2000-05-30 |
| US20020097911A1 (en) | 2002-07-25 |
| EP1001608A3 (en) | 2001-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4391641B2 (ja) | 画像が圧縮されているかどうかを検出する方法 | |
| US5432870A (en) | Method and apparatus for compressing and decompressing images of documents | |
| EP1781041B1 (en) | JPEG detectors and JPEG image history estimators | |
| JP2960386B2 (ja) | 信号適応フィルタリング方法及び信号適応フィルター | |
| JP4041683B2 (ja) | 圧縮された画像の画質の向上 | |
| US6975742B2 (en) | Rate-distortion optimization system and method for image compression | |
| EP1420363A2 (en) | Method and apparatus for removing artifacts in compressed images | |
| JPH10327334A (ja) | リンギングノイズの減少のための信号適応フィルタリング方法及び信号適応フィルター | |
| JP2000059634A (ja) | 可変量子化装置 | |
| US6980693B2 (en) | Method and apparatus for image coding | |
| JP4257202B2 (ja) | 画像ブロック内のエッジを検出する装置 | |
| JP2004533181A (ja) | デジタルイメージに対する選択的なクロミナンスデシメーション | |
| JP4002599B2 (ja) | 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置 | |
| EP0974932A2 (en) | Adaptive video compression | |
| JP2004521554A (ja) | 埋め込まれたコントラスト向上機能を有するｍｐｅｇ−２復号器及びその方法 | |
| KR20040065573A (ko) | 이미지 신호에 워터마크 임베딩 방법 및 장치 | |
| US6219450B1 (en) | Blocking signature detection for identification JPEG images | |
| JP2005184086A (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JPH08116450A (ja) | 画像圧縮装置および画像伸長装置 | |
| JP3953183B2 (ja) | 画像通信方法および画像通信装置 | |
| US6256416B1 (en) | Blocking signature detection for identification of JPEG images | |
| JP3722169B2 (ja) | 画像処理装置及び画像処理方法 | |
| US6195457B1 (en) | Blocking signature detection for identification of JPEG images | |
| JP3775180B2 (ja) | 画像処理方法及び装置 | |
| Memon et al. | Method for variable quantization in JPEG for improved perceptual quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091008 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |