JP4771906B2 - Ｊｐｅｇ圧縮履歴に関して画像を分類する方法 - Google Patents

Description

以下は、デジタル画像技術に関する。以下は、詳細には、画像履歴にＪＰＥＧ圧縮段階が含まれているかどうかを識別することに関し、特にこのことについて説明する。しかしながら、以下は、ＪＰＥＧ品質、即ち、画像履歴のＪＰＥＧ圧縮段階中に用いられたＪＰＥＧ圧縮度を判別すること、及び、その他同様の用途にも適用可能である。

デジタル画像は、例えば、ＧＩＦ、ＪＰＥＧ、ＴＩＦＦ、ＰＣＸ、ＢＭＰ、ＰＮＧなどを含む、様々なフォーマットで格納される。各フォーマットには、それぞれの利点及び欠点がある。例えば、フォーマットの中には、所有権を有し、使用許可が必要であり得るものもある。デジタル画像フォーマットは、可逆圧縮又は不可逆圧縮を用いてもよいし、全く圧縮を用いなくてもよい。従って、デジタル画像フォーマットを選択するには、画質とファイル・サイズとのバランスを取ることも必要とされる。画像は、そのライフサイクルに沿って、そのフォーマットを変更することもできる。例えば、あるフォーマットで得られた画像を別のフォーマットに変換して、格納したり、印刷データ・ストリームに挿入したりすることができる。

ＪＰＥＧとは、ジョイント・フォトグラフィック・エキスパーツ・グループ(Joint Photographic Experts Group)によって開発されたオープン・フォーマットである（このＪＰＥＧ画像フォーマットは、その作成グループの頭文字を取って名付けられている）。このＪＰＥＧフォーマットは、デジタル画像の格納及び配布に用いられる最も一般的な画像フォーマットである。例えば、インターネット上の画像のおよそ６０％はＪＰＥＧフォーマットであると推定されている。デジタル・カメラ、スキャナ、携帯電話のカメラ、及び、デジタル画像を生成するその他の家庭用電化製品の大半は、ＪＰＥＧフォーマットで出力する。

ＪＰＥＧは、不可逆圧縮を用いる。一般的なＪＰＥＧ圧縮シーケンスには、以下のようなステップが含まれる。（１）画像をルミナンス／クロミナンス色空間（例えば、ＹＵＶ、ＹＩＱなど）に変換する。（２）一般的にはクロミナンス成分を必要に応じてダウンサンプリングする。（３）ピクセルを８×８ピクセル・ブロック又はその他のサイズのブロックにブロック化する。（４）離散コサイン変換（ＤＣＴ：discrete cosine transform）を用いて、各ブロック内の各成分を空間周波数に変換する。（５）周波数を整数の縮尺値に量子化して、第１の不可逆レベルの圧縮を行う。（６）ハフマン符号化方式や算術符号化方式などを用いて、第２の一般的には可逆レベルの圧縮を行う。（７）後の画像圧縮解除の際に用いられる量子化表、ハフマン符号化表、又はその他の情報を含む、適切なファイルヘッダーを構成する。

ＪＰＥＧ圧縮における損失量は、通常、量子化の粗さ又は細かさに関係する。大きな量子化係数を用い、丸めて最も近い整数にすると、大きな丸め誤差及び多くの情報損失が生じる。これに比べ、同じ画像を圧縮するのに、より小さな量子化係数を用い、丸めると、より小さな丸め誤差及びより少ない情報損失が生じる。目に見える画質は一般的にクロミナンスよりもルミナンスに強く影響されるので、一般的にルミナンス成分よりもクロミナンス成分の量子化に大きな量子化係数が用いられる。一般的に、写真編集ソフト及び消費者製品は、量子化係数を選択するための「画質」パラメータをユーザに提供する。例えば、「高画質」モードは、通常、「低画質」モードよりも小さな量子化係数を用いる。

ＪＰＥＧ圧縮後、その画像は、ＪＰＥＧファイルとして格納されてもよいし、別の画像フォーマットに変換されてもよい。このような画像フォーマットの変換においても、不可逆ＪＰＥＧ圧縮により生じた情報損失は残される。さらに、デジタル画像は、ＪＰＥＧ圧縮された後、解凍されて、印刷パイプライン又はその他のデータ伝送路を通じてやり取りされてもよく、ここでは、ＪＰＥＧタイプの名前付きファイルとしての識別子を失う。このような場合、このデジタル画像がその履歴のどこかの時点でＪＰＥＧ圧縮されたことがあるかどうかは明らかでない。

デジタル画像がその履歴のどこかの時点でＪＰＥＧ圧縮されたことがあるかどうか分かることには、利点がある。例えば、不可逆ＪＰＥＧ圧縮により生じた画像アーチファクトを平滑化する又はその他の方法で軽減することによって、画質を向上させることができる。しかしながら、ＪＰＥＧアーチファクトを軽減するのに有益な画像処理法は、ＪＰＥＧ圧縮されたことのない画像に対して用いると、画質を劣化させる可能性がある。

画像がＪＰＥＧ圧縮されたことがあるかどうか分かることの別の利点は、圧縮されたＪＰＥＧフォーマットの画質が後の圧縮及び画像格納作業に対する基本画質を提供する、という点である。あるＪＰＥＧ品質で画像がＪＰＥＧ圧縮されたことがあると分かれば、実質的に画質を更に劣化させることなく、少なくともそのＪＰＥＧ品質レベルに、その画像を再圧縮することができる。従って、ＪＰＥＧ圧縮履歴が分かることによって、後の画像処理に最適な圧縮レベルを選択することが可能となる。

デジタル画像のＪＰＥＧ圧縮履歴がもしあればそれが分かることの更に別の利点は、画像履歴推定に関する。画像履歴の推定は、効率的な画像の格納及び検索に有益であると共に、知的所有権の観点からも有益である。

画像がＪＰＥＧ圧縮されたことがあるかどうか分かることは有効であるが、デジタル画像がＪＰＥＧでないフォーマットである場合、印刷データ・ストリームの一部である場合など、特定のデジタル画像に対しては、このような判別が困難であり得る。現在ＪＰＥＧでない画像が過去にＪＰＥＧ圧縮されたことがあるかどうかを判別するのは難しい。その画像が変換後処理（例えば、トリミング、サイズ変更、印刷後の光学走査など）されている場合には、このような判別が更に困難となる。このような変換された（且つ変換後処理された可能性のある）デジタル画像は、ＪＰＥＧフォーマットではなくなるが、通常、ＪＰＥＧ圧縮により生じた画像アーチファクトを残している。

本明細書中に例示した態様によれば、ＪＰＥＧ圧縮履歴に関して画像を分類する方法が提供される。画像署名が画像から導出される。この画像署名は、ＪＰＥＧ圧縮に関連する空間周波数成分を含む、画像のクロミナンス成分の空間周波数成分を示す。この画像署名の分析に基づいて、ＪＰＥＧ圧縮されたことがあるかどうかに関して画像が分類される。

本明細書中に例示した態様によれば、ＪＰＥＧ圧縮されたことがあるかどうかに関して画像を分類する装置が提供される。画像署名導出器は、空間周波数に基づいた画像署名を画像から導出する。分類器は、この空間周波数に基づいた画像署名の分析に基づいて、ＪＰＥＧ圧縮されたことがあるかどうかに関して画像を分類する。

本明細書中に例示した態様によれば、画像分類法が提供される。空間周波数に基づいた画像署名が画像から導出される。この空間周波数に基づいた画像署名に基づいて、ＪＰＥＧ圧縮されたことがあるかどうかに関して画像が分類される。

図１を参照すると、デジタル署名導出器６は、デジタル画像８を処理して、その画像がＪＰＥＧ圧縮されたことがあるかどうかを示す画像署名１０を導出する。このデジタル署名導出器６は、必要に応じ、ＪＰＥＧ圧縮アーチファクト以外の画像特徴に起因する空間周波数を抑制した状態で、画像クロミナンス・チャネルの空間周波数を表すデジタル署名を導出する。特定の動作理論に制限されていなければ、画像がＪＰＥＧ圧縮されたことのある場合、一般的に、このような周波数に基づいた画像署名は、ＪＰＥＧ圧縮処理の一環として定義される、８×８ピクセル・ブロック又はその他のサイズのピクセル・ブロックに対応する識別可能なスペクトル的特徴を示すと考えられる。このような特徴の強さは、ＪＰＥＧ圧縮の積極性、ゆえに情報損失度を示していると思われる。

さらに、ＪＰＥＧ圧縮後のどこかの時点で、画像がサイズ変更されているか、トリミングされているか、或いは、ピクセル濃度を修正するその他の方法で処理されている場合、画像署名におけるＪＰＥＧアーチファクト特徴の周波数は、８×８ピクセル・ブロック又はその他のサイズのＪＰＥＧピクセル・ブロック以外のものに対応する。従って、画像署名におけるＪＰＥＧアーチファクト特徴の周波数値は、ＪＰＥＧ圧縮時におけるピクセル単位で測定された画像サイズを示していると考えられる。ＪＰＥＧブロッキング・アーチファクトは、通常、２ⁿ（ｎは整数）に対応する周波数において生じる。従って、ＪＰＥＧブロッキング・アーチファクトが他の周波数において生じている場合、これにより、ＪＰＥＧ圧縮後にサイズ変更が行われたということを示すことができる。

続けて図１を参照すると、デジタル画像８がＪＰＥＧ以外の圧縮方法を用いた圧縮フォーマットである場合、画像圧縮解除器１２がこのデジタル画像８をそこで用いられている圧縮方式に基づいて圧縮解除することにより、非圧縮画像がもたらされる。

この非圧縮画像は、ルミナンス／クロミナンス色空間ではないＲＧＢ、ＣＭＹＫ、又はその他の色空間において表現されている場合、ルミナンス／クロミナンス変換器１４によって処理されるのが好ましく、このルミナンス／クロミナンス変換器１４は、非圧縮画像をルミナンス／クロミナンス色空間（例えば、ＹＵＶ、ＹＩＱなど）に変換する。一般的なルミナンス／クロミナンス色空間では、１つの色空間成分がルミナンス若しくは輝度成分（例えば、ＹＵＶ又はＹＩＱ色空間における「Ｙ」成分）に対応すると同時に、更なる２つの色空間成分がクロミナンス成分（例えば、ＹＵＶ色空間における「Ｕ」及び「Ｖ」成分、又は、ＹＩＱ色空間における「Ｉ」及び「Ｑ」成分）に対応する。例えば、ＲＧＢは、ルミナンス（「Ｙ」）成分をＲＧＢ色空間の「Ｒ」、「Ｇ」、及び「Ｂ」成分の加重和として計算し、クロミナンス（「Ｕ」及び「Ｖ」）成分を選択された「Ｒ」、「Ｇ」、及び「Ｂ」成分間の加重差として計算することにより、適切にＹＵＶに変換される。

ＪＰＥＧ圧縮は、一般的に、ルミナンス／クロミナンス色空間において行われると共に、ルミナンス成分よりもクロミナンス成分を積極的に、ゆえに不可逆的に圧縮するため、ルミナンス／クロミナンス色空間への変換は有益である。従って、ＪＰＥＧ圧縮アーチファクトは、ルミナンス成分よりもクロミナンス成分において顕著であると考えられる。しかしながら、ルミナンス／クロミナンス色空間への変換を省略することも考えられ、この場合、デジタル署名導出器６は、別のタイプの色空間（例えば、ＲＧＢ又はＣＭＹＫ色空間）において適切に作動する。

ルミナンス／クロミナンス色空間における非圧縮画像は、必要に応じ、空間平滑器１６によって処理され、この空間平滑器１６は、ルミナンス成分における大きな空間的勾配に起因するクロミナンス成分の特徴を抑制する。ルミナンス成分の大きな空間的勾配と空間的に一致するクロミナンス成分の特徴は、ＪＰＥＧ圧縮アーチファクトではなく画像特徴である可能性が高い。ある実施形態では、空間平滑器１６は、ルミナンス勾配の高い値に沿って各クロミナンス成分を平滑化する。別の実施形態では、空間平滑器１６は、対応するルミナンス勾配の逆数に対応し空間的に変動する重み係数を用いてクロミナンス成分を重み付けすることにより、平滑化を行う。これらの平滑化法において、クロミナンス成分に対するルミナンス・エッジの影響は一般的に抑制される一方、ＪＰＥＧ圧縮処理中にピクセルを８×８ピクセル・グループ又はその他のサイズのピクセル・グループにグループ化することによって生じるブロッキング・アーチファクトのようなＪＰＥＧアーチファクトに起因するクロミナンス特徴は実質的に保持される。

クロミナンス投影器２０は、画像の垂直方向及び水平方向に沿って、第１クロミナンス成分勾配（本明細書中では「ｃ₁」で示し、例えば、ＹＵＶ色空間の「Ｕ」成分又はＹＩＱ色空間の「Ｉ」成分に対応する）を投影することによって、それぞれ、垂直方向の第１クロミナンス成分投影ベクトルＰ（ｖ，ｃ₁）２２及び水平方向の第１クロミナンス成分投影ベクトルＰ（ｈ，ｃ₁）２３をもたらす。同様に、このクロミナンス投影器２０は、画像の垂直方向及び水平方向に沿って、第２クロミナンス成分勾配（本明細書中では「ｃ₂」で示し、例えば、ＹＵＶ色空間の「Ｖ」成分又はＹＩＱ色空間の「Ｑ」成分に対応する）を投影することによって、それぞれ、垂直方向の第２クロミナンス成分投影ベクトルＰ（ｖ，ｃ₂）２４及び水平方向の第２クロミナンス成分投影ベクトルＰ（ｈ，ｃ₂）２５をもたらす。ＪＰＥＧ圧縮されたことのある画像に関しては、これらの投影ベクトル２２、２３、２４、２５が、ＪＰＥＧ圧縮で用いられた８×８ピクセル・ブロッキング又はその他のサイズのピクセル・ブロッキングに対応するスペクトル的特徴を示すと考えられる。ＪＰＥＧ圧縮後のどこかの時点で画像がサイズ変更されているか或いは画像のピクセル濃度が修正されている場合、ＪＰＥＧアーチファクトの空間周波数は、ＪＰＥＧ圧縮で用いられたピクセル・ブロッキング・サイズに対応していることも対応していないこともある。

投影ベクトル２２、２３、２４、２５の空間周波数を抽出するために、高速フーリエ変換（ＦＦＴ：fast Fourier transform）３０を用いて、投影ベクトル２２、２３、２４、２５に対応するＮ点パワー・スペクトル３２、３３、３４、３５が計算される。投影ベクトルＰ（ｖ，ｃ₁）２２が変換されることによって、パワー・スペクトルＳ（ｖ，ｃ₁）３２がもたらされる。投影ベクトルＰ（ｈ，ｃ₁）２３が変換されることによって、パワー・スペクトルＳ（ｈ，ｃ₁）３３がもたらされる。投影ベクトルＰ（ｖ，ｃ₂）２４が変換されることによって、パワー・スペクトルＳ（ｖ，ｃ₂）３４がもたらされる。投影ベクトルＰ（ｈ，ｃ₂）２５が変換されることによって、パワー・スペクトルＳ（ｈ，ｃ₂）３５がもたらされる。一般的には、計算されたＮ点パワー・スペクトル３２、３３、３４、３５のそれぞれの最初のＮ／２点を保存すれば十分である。これらのパワー・スペクトル３２、３３、３４、３５のうちの１つ以上は、成分別乗算器４０によって、成分別に乗算される。別の方法では、投影ベクトル２２、２３、２４、２５のうちの１つ以上は、まずコンボリューションされ、次にＦＦＴ処理される。しかしながら、一般的には、（実空間におけるコンボリューションと周波数空間における乗算との等価を利用して、）まずＦＦＴ（３０）を行い、次にパワー・スペクトルを成分別乗算（４０）した方が、計算的に効率が良い。投影ベクトルをコンボリューションすると（或いは、同等に、パワー・スペクトルを成分別乗算すると）、コンボリューション・ノイズが抑制され、ＪＰＥＧブロッキング・アーチファクト周波数の指数が増加すると考えられる。ある実施形態では、成分別乗算器４０の出力が画像署名として使用される。しかしながら、図１に示した実施形態では、成分別乗算器４０の出力に対し対数処理器４２が用いられることによって、ダイナミック・レンジの小さい画像署名１０がもたらされる。

図１は、デジタル画像８のスペクトル表現をもたらすデジタル署名を導出するための、一例としての方法を示している。他の方法を用いることもできる。例えば、コンボリューションする又は点毎の成分別乗算を用いるのではなく、パワー・スペクトルを連結させることによって、画像署名を形成してもよい。また、ＦＦＴを、離散コサイン変換、離散サイン変換、又はその他の周波数タイプ変換と差し替えて、画像スペクトルをもたらしてもよい。さらに、スペクトル表現に対し、例えば、主成分分析（ＰＣＡ：principal components analysis）、又は、次元の小さいスペクトル・ベースのデジタル署名をもたらすその他の特徴分析のような、更なる処理を行うことによって、デジタル署名をもたらしてもよい。さらに、デジタル署名は、デジタル画像のルミナンス又は別の成分のスペクトル表現を含んでいてもよい。

図２、図３、及び図４を参照すると、画像署名１０の、ＪＰＥＧ圧縮アーチファクトの検出、ゆえに以前に行った内在ＪＰＥＧ圧縮処理の検出に対する有効性が、一例として、ルミナンス及びクロミナンス成分周波数の比較的高い連続階調カラー画像に関して示されている。図２は、ＪＰＥＧ圧縮されたことのない画像の画像署名を描画している。この画像署名は、ほぼ滑らかであり、ＪＰＥＧ圧縮に関連する特徴を示していない。図３は、８×８ピクセル・ブロッキングを用いて比較的高いＪＰＥＧ品質設定（「Ｑ」で示す）であるＱ＝９７％で画像がＪＰＥＧ圧縮された後の画像署名を描画している。圧縮率の比較的低いこの画像の画像署名は、「Ｆ１」、「Ｆ３」、「Ｆ４」、及び「Ｆ５」とラベル付けされた、ＪＰＥＧ圧縮に関連する視覚的に識別可能な４つの特徴を示している。図４は、比較的低いＪＰＥＧ品質設定であるＱ＝８０％（圧縮率が比較的高い）で画像がＪＰＥＧ圧縮された後の画像署名を描画している。圧縮率の比較的高いこの画像の画像署名は、図３において識別可能な４つの同じＪＰＥＧ圧縮特徴「Ｆ１」、「Ｆ３」、「Ｆ４」、及び「Ｆ５」のより顕著なバージョンを示していると共に、更に３つの視覚的に識別可能なＪＰＥＧ圧縮特徴「Ｆ０」、「Ｆ２」、及び「Ｆ６」を示している。図４のこれら７つの視覚的に識別可能な特徴「Ｆ０」、「Ｆ１」、「Ｆ２」、「Ｆ３」、「Ｆ４」、「Ｆ５」、及び「Ｆ６」は、約１６周波数単位の周期性で周期的である。

画像署名１０は、画像がＪＰＥＧ圧縮されたことがあるかどうかを自動的に分類するのに使用することができる。分類器がこの画像署名１０を分析することによって、その画像がＪＰＥＧ圧縮されたことがあるかどうかが判別される。分類器は、その画像がＪＰＥＧ圧縮されたことがあるかどうかを画像署名１０に基づいて判別する様々な方法を用いることができる。

図５を参照すると、一例である分類器５０は、３段階の分類器のカスケード５２、５４、５６を有するカスケード分類器を用いる。これら３段階の分類器のカスケード５２、５４、５６は、その画像はＪＰＥＧ圧縮されたことがあるという判断に徐々に大きく偏った選択基準を用いる。例えば、第１段階分類器５２は、画像署名１０がＪＰＥＧブロッキング・アーチファクトの明示を含んでいる場合にのみ、その画像をＪＰＥＧ圧縮されたことのあるものとして分類する。このようなＪＰＥＧブロッキング・アーチファクトの明示は、一般的に、画像が積極的に圧縮されることによって多くの情報損失及び強いＪＰＥＧアーチファクトに至った場合にのみ生じると考えられる。従って、第１段階分類器５２が、その画像はＪＰＥＧ圧縮されたことがあると判別した場合には、第１段階タグ付け器６２が、その画像に、履歴のどこかの時点でＪＰＥＧ圧縮されたことがあるものとしてタグ付けする。ある実施形態では、このタグ付け器６２は、その画像に、ＪＰＥＧ品質の低いものとしてタグ付けし、これは、その画像が積極的且つ不可逆的にＪＰＥＧ圧縮されたことがあり、ゆえに、生じた強いＪＰＥＧアーチファクトによって品質が比較的低い、ということを示す。

第２段階分類器５４は、その画像がＪＰＥＧ圧縮されたことがあるかどうかについて第１段階分類器５２では不確かな場合にのみ、その画像に対して作動する。この第２段階分類器５４は、その画像はＪＰＥＧ圧縮されたことがあるという判断に第１段階分類器５２よりも大きく偏った選択基準を用いる。従って、第２段階分類器５４が、その画像はＪＰＥＧ圧縮されたことがあると判別した場合には、第２段階タグ付け器６４が、その画像に、ＪＰＥＧ圧縮されたことがあるものとしてタグ付けする。ある実施形態では、このタグ付け器６４は、その画像に、ＪＰＥＧ品質が中程度のものとしてタグ付けし、これは、その画像が中程度の品質でＪＰＥＧ圧縮されたことがある、ということを示す。

第３段階分類器５６は、その画像がＪＰＥＧ圧縮されたことがあるかどうかについて第１段階分類器５２と第２段階分類器５４との両方で不確かな場合にのみ、その画像に対して作動する。この第３段階分類器５６は、その画像はＪＰＥＧ圧縮されたことがあるという判断に第１段階分類器５２及び第２段階分類器５４よりも大きく偏った選択基準を用いる。従って、第３段階分類器５６が、その画像はＪＰＥＧ圧縮されたことがあると判別した場合には、第３段階タグ付け器６６が、その画像に、ＪＰＥＧ圧縮されたことがあるものとしてタグ付けする。ある実施形態では、このタグ付け器６６は、その画像に、ＪＰＥＧ品質の高いものとしてタグ付けし、これは、その画像がより消極的にＪＰＥＧ圧縮されたことがあり、ゆえに、品質が高くＪＰＥＧ圧縮アーチファクトをほとんど含んでいない、ということを示す。

一方、この第３段階分類器５６も、その画像はＪＰＥＧ圧縮されたことがあると判断できない場合には、その画像はＪＰＥＧ圧縮されたことがないと判断され、最終タグ付け器６８が、その画像に、ＪＰＥＧ圧縮されたことがないものとしてタグ付けする。

ＪＰＥＧ圧縮履歴識別問題には、連続的な段階が徐々により消極的にＪＰＥＧ圧縮された（つまり、より質の高い）画像を特別に扱うカスケード分類方式を用いるのが非常に適している。さらに、カスケード分類方式では、分類の計算コストをＪＰＥＧ品質に関連付けることにより、優れた計算性能も可能である。適切なカスケードの実施形態では、カスケードにおける各分類段階は、間違っていないという確実性の高いサンプルにのみラベル付けを行う分類器を含む。ある分類段階において、その画像がＪＰＥＧ圧縮されたことがあるかどうか不確かな場合、その画像署名は、カスケードにおける次の分類段階へ送られ、その分類段階では、より複雑な分類器が用いられる。

ある実施形態では、段階分類器が機械学習法を用いて訓練される。圧縮されたサンプル画像と圧縮されていないサンプル画像との両方から得た画像署名のセットを用いて、分類器は、圧縮されたことのあるサンプル画像（陽性サンプル）と圧縮されたことのないサンプル画像（陰性サンプル）とを区別するように訓練される。機械学習を行う際、一般的には、積極的にＪＰＥＧ圧縮されたことのある画像（即ち、ＪＰＥＧ品質の低い画像）が、積極的にＪＰＥＧ圧縮されたことのあるものとして比較的容易に識別されるべきである、と認識されている。このことは、例えば、積極的なＪＰＥＧ圧縮に対応する図４の画像署名を、より消極的にＪＰＥＧ圧縮された又は圧縮されていない画像の画像署名と比較すれば分かる。ＪＰＥＧ圧縮アーチファクト特徴「Ｆ０」、「Ｆ１」、「Ｆ２」、「Ｆ３」、「Ｆ４」、「Ｆ５」、「Ｆ６」は、図４において容易に識別される。また、段階分類器の訓練は、様々な圧縮レベルの陽性サンプルに容易にアクセスできることによっても、促進される。圧縮されていない訓練画像の場合、例えば、その画像をランダムに圧縮することによって、異なる圧縮レベルの陽性サンプルを実質的にいくつでも得ることができる。さらに、その画像をＪＰＥＧ圧縮後にランダムにトリミングするか又はその他の方法で処理することによって、更なる陽性訓練画像を得ることができる。

分類される画像が共通の特徴を備えている場合、分類器を訓練するのに用いられる訓練セットは、必要に応じ、その特徴を備えた訓練画像に限定される。例えば、走査画像を分類するのに用いられる分類器は、主に走査画像を含む訓練セットを用いて訓練されるのが有益である。より幅広い訓練画像セットを用いた訓練も機能はするが、より限定された訓練画像セットを用いた訓練と比べて、分類器の効果は下がるであろう。当然のことながら、同じ分類器５０でも、使用される訓練セットによって様々な特徴を備え得る。機械学習は、分類される画像の特徴に合わせた訓練セットを用いることによって、サイズ変更やトリミング以外の処理のような非標準的状況に向けた自動訓練を可能にする。

さらに、ある実施形態では、段階分類器５２、５４、５６の訓練に、異なる訓練画像セットが用いられる。例えば、まず、１セットの訓練画像を用いて第１段階分類器５２を訓練するのが有益であろう。第１段階分類器５２が訓練された後、第２段階分類器５４が、この訓練された第１段階分類器５２によってＪＰＥＧ圧縮されたことのあるものとして分類されない訓練画像のみを用いて訓練される。従って、第２段階分類器５４は、実際の動作においてこの訓練された第１段階分類器５２を通過する、より難しい訓練画像のサブセットを用いて訓練される。同様に、第３段階分類器５６は、これらの訓練されたより低い段階の分類器５２、５４のどちらによってもＪＰＥＧ圧縮されたことのあるものとして分類されない、最も難しい訓練画像のサブセットのみに対して訓練される。

例である図５の３段階のカスケード分類器５０のようなカスケード分類器は、必要に応じ、ＪＰＥＧ品質を推定する。例えば、分類器５０は、タグ付け器６２、６４、６６のうちのどれがその画像をＪＰＥＧ圧縮されたことがあるものとして識別するかに基づいて、ＪＰＥＧ品質が高いか、中程度であるか、低いかを示す。カスケード分類器がＪＰＥＧ画像の品質を判別する効果（その画像が任意の画質で圧縮されたことがあるかどうかを判別する効果ではない）は、ＪＰＥＧ画質と、より低い段階の分類器５２、５４のその画像がＪＰＥＧ圧縮されたことがあるかどうかを判別する能力との、相互関係によって決まる。幅広い多種にわたる画像を含む訓練セットを用いて訓練された分類器に関しては、他の要因（例えば、画像複雑性、画像コントラスト特性など）も、その画像がＪＰＥＧ圧縮されたことがあるかどうかをより低い段階の分類器５２、５４が判別しやすいか判別しにくいかに影響を及ぼし得るので、上記のような相互関係は弱いと思われる。一方、多様性の低い、つまり、類似性の高い訓練画像を含む、より限定された訓練セットを用いて訓練された分類器は、画像の全体的な類似性によって、その画像がＪＰＥＧ圧縮されたことがあるかどうかをより低い段階の分類器５２、５４が判別する容易さに影響を及ぼし得る背景要因が少なくなるので、ＪＰＥＧ品質を判別するのにより効果的であろう。

分類段階には実質的にあらゆるタイプの分類法若しくは分類アルゴリズムを用いてもよく、カスケードにおける異なる分類段階に異なる分類アルゴリズムを用いてもよい。ある実施形態では、最初の分類段階は、計算上シンプルで、且つ、低い又は実に０の偽陰性率で多数の陽性画像を判別することのできる、分類アルゴリズムを用いる。このことは、ＪＰＥＧ圧縮されたことがあるものとして容易に分類されるデジタル画像は計算上効率的な最初の分類段階で識別されると共に、計算上より厳しく高い分類段階は分類が難しいデジタル画像に対してのみ用いられるため、計算上効率的である。さらに、非カスケード（即ち、１段階）分類器を用いることもできる。１段階分類器又はカスケード分類器の各段階に適した分類アルゴリズムとしては、例えば、計量的分類器、統計的分類器、ニューラル・ネット、最大マージン分類器（例えば、サポート・ベクター・マシン）などが挙げられる。さらに、特徴選択法又は特徴抽出法を用いてカスケードの異なる段階で分類するのに、異なる特徴を用いることもできる。

図５に示した３段階分類器の１つの具体的な実施形態では、（１）第１段階分類器５２はパワー・スペクトル異常値をカウントする閾値を用い、（２）第２段階分類器５４はニューラル・ネット（例えば、パーセプトロン）によって又はフィッシャー判別分析を用いて訓練された超平面分類アルゴリズムを用い、（３）第３段階分類器５６は条件付き確立（例えば、ガウス混合モデル）のセミパラメトリック推定を用いる統計的分類器を用いている。最終分類段階に統計的分類器を用いると、ＪＰＥＧ圧縮検出の確率測度がもたらされて有益である。この確率測度を変更することにより、偽陽性率を制限したいか偽陰性率を制限したいかによって異なる問題に直面し得る。

必要に応じ、ＪＰＥＧ圧縮後の画像履歴分析器７０は、画像署名１０に基づいて、ＪＰＥＧ圧縮後のどこかの時点でその画像がサイズ変更されたかどうかを判別する。この画像サイズは、ＪＰＥＧ圧縮中に用いられたブロック・サイズの事前知識と併せ、ＪＰＥＧアーチファクトの周波数値に基づいて、適切に推定される。例えば、ＪＰＥＧブロック・サイズが８×８ピクセルであることが分かっているのに、画像署名のＪＰＥＧアーチファクトが１６×１６ピクセルのブロック・サイズに対応する周波数である場合、このデジタル画像は、ＪＰＥＧ圧縮後のどこかの時点で、等方的に２倍に拡大された可能性が高い。一般的に、ＪＰＥＧ圧縮にはデフォルトで８×８ピクセルのブロッキングが用いられるが、ＪＰＥＧ圧縮システムの中には、このデフォルトを無効にすることのできるものもある。ある実施形態では、ＪＰＥＧ圧縮ピクセル・ブロック・サイズは、８×８ピクセルであると仮定されるか、或いは、分類される画像の別のブロック・サイズ特徴であると仮定される。このような仮定の下に、ＪＰＥＧ圧縮後の画像サイズ変更を量的に推定することができる。

ＪＰＥＧ圧縮ピクセル・ブロック・サイズが分からない場合、ＪＰＥＧ圧縮後の画像履歴分析器７０は、必要に応じ、履歴に基づいたＪＰＥＧ圧縮後の画像サイズ変更に関する有用な情報をもしあれば提供する。例えば、ＪＰＥＧブロッキング・アーチファクトは、２の累乗である周波数、即ち、２ⁿ（ｎは正の整数）の周波数で生じると考えられる。ゆえに、画像署名のＪＰＥＧブロッキング・アーチファクトが２ⁿ以外の周波数で生じている場合には、サイズ変更が量的に判別できないとしても、そのデジタル画像がＪＰＥＧ圧縮後のどこかの時点でサイズ変更されたということは分かる。さらに、ＪＰＥＧブロッキングが等方的、即ち、ｎ×ｎピクセル（ｎは正の整数）であると仮定されると、水平方向及び垂直方向に対するＪＰＥＧブロッキング・アーチファクト周波数が異なっている場合、その画像は伸張されたか或いは非等方的なその他の方法でサイズ変更されたということを示す。垂直方向及び水平方向のクロミナンス投影をコンボリューション又は成分別乗算したバージョンである例としてのデジタル署名１０に関し、このデジタル署名１０に２つの区別可能なブロッキング・アーチファクト周波数がある場合、ＪＰＥＧ圧縮後に何らかの非等方的なサイズ変更が行われたということを示すが、その向き（例えば、垂直方向が水平方向に対して伸張された、或いはその逆）は示さない。

画像がＪＰＥＧ圧縮されたことがあるかどうかを評価する際における１つの複雑な問題は、その画像がＪＰＥＧ圧縮後の履歴におけるどこかの時点で回転されたという可能性である。本明細書中に開示したＪＰＥＧ評価法は、本質的に、９０°の整数の倍数（例えば、９０°、−９０°、１８０°、２７０°、４５０°など）だけ回転された画像に関して機能するが、これは、このような回転が、ＪＰＥＧ圧縮に用いられる水平方向及び垂直方向のブロッキングと一致するからである。その他の角度の回転は、画像署名に用いられた水平方向及び垂直方向の投影がＪＰＥＧブロッキングと一致しなくなるため、より問題である。ある走査アプリケーションでは、例えば、給紙トレイや光学走査ウィンドウにドキュメントをわずかな角度だけ置き間違えることによる、小さな回転が一般的である。小さな角度の回転を明らかにするのに適した１つの方法では、一連の回転画像がＪＰＥＧ評価アルゴリズムに入力される。例えば、各画像を、例えば−１０°〜＋１０°の範囲で少しずつ回転させながら、２０回入力してもよい。これらの回転画像のうちのいずれかがＪＰＥＧとして分類された場合、原画像はＪＰＥＧ圧縮されたことがあると仮定することができる。回転角度が異なる複数の画像署名は、それらと同じ特徴に関して訓練された分類器にであれば、併せて送ることができる。ＪＰＥＧ圧縮後の画像履歴分析器７０は、回転画像のうちのどれがＪＰＥＧ圧縮されたことがあるものとしてより容易に分類されるかに基づいて、ＪＰＥＧ圧縮後の画像回転の累積角度を量的に推定すると考えられる。さらに、光学スキャナやスキャナ給紙器などにハードコピー画像を置き間違えることにより生じる画像の回転誤差を自動的に修正するのに、この量的情報を用いることも考えられる。例えば、ＪＰＥＧ圧縮後の画像履歴分析器７０がその画像は＋５°回転されていると判別した場合、その画像を−５°回転させることにより、画像の＋５°の回転誤差を修正することができる。

図５に示したカスケード分類器５０は３つの分類段階を含んでいるが、より多い又はより少ない分類段階を含んで、ＪＰＥＧ圧縮品質の解像度をより細かくするか又はより粗くしてもよい。分類の精度は、通常、カスケードに更なる分類器を追加することによって向上する。さらに、カスケード分類器以外の構造を用いることもできる。例えば、並列分類器を用いてもよく、この並列分類器では、画像署名が全ての段階の分類器に同時に入力される。

カスケード分類器５０は、２２，０００を超えるＪＰＥＧ圧縮されたカラー画像及び圧縮されていないカラー画像を含む画像データベースに関して訓練されてきた。更なる評価のため、オンライン画像検索エンジンの結果から自動的にＪＰＥＧ検出するためのスクリプトが開発された。この場合の精度は、ランダムな問合せ（例えば、人々、都市、車、オフィスなど）に対する予測精度と一致したため、このアルゴリズムを他のタイプの画像へ拡張することは十分に期待される。

表１は、ランダムに生成された異なる１，０００分割に対して５分割交差検証を用いた結果を示している。各行は、カスケードの第３分類器５６における所定の確率閾値に関する、異なる品質設定（即ち、異なる「Ｑ」値（「Ｑ」値が大きいほどＪＰＥＧ圧縮が消極的で画質が高い））で圧縮されたＪＰＥＧ画像及び圧縮されていない画像に対する方法精度を示す。確率閾値が高いほど、ＪＰＥＧとして分類される画像が少なく、その結果、偽陰性率が低くなり偽陽性率が高くなる、ということを暗示している。確率閾値が０．５の場合、非常に高品質の画像に関し、偽陽性率は約７％であり、偽陰性率は約５％であることが分かった。これらの偽陽性率及び偽陰性率は、品質設定が９０を下回ると、大幅に減少した。

画像がＪＰＥＧ圧縮されたことがあるかどうかを示す画像署名の導出を示すフローチャートである。 図１のフローチャートにより導出された、ＪＰＥＧ圧縮されたことのない画像の画像署名を描画するグラフである。 図１のフローチャートにより導出された、比較的高いＪＰＥＧ品質設定であるＱ＝９７％（圧縮率が比較的低い）で画像がＪＰＥＧ圧縮された後の画像署名を描画するグラフである。 図１のフローチャートにより導出された、比較的低いＪＰＥＧ品質設定であるＱ＝８０％（圧縮率が比較的高い）で画像がＪＰＥＧ圧縮された後の画像署名を描画するグラフである。 図１のフローチャートにより導出された画像署名に対して機能する、カスケードＪＰＥＧ圧縮分類を示すフローチャートである。

符号の説明

６ デジタル署名導出器
５０ 分類器

Claims (1)

1. ＪＰＥＧ圧縮に関連する空間周波数成分を含む、画像の１つ以上のクロミナンス成分の空間周波数成分を示す、画像署名を画像から導出することと、
   前記画像がＪＰＥＧ圧縮されたことがあるかどうかに関し、前記画像署名の分析に基づいて、前記画像を分類することと、
   を含む、ＪＰＥＧ圧縮履歴に関して画像を分類する方法であって、
   前記導出することが、
   前記クロミナンス成分のうちの少なくとも１つの、水平方向及び垂直方向の投影を生成することと、
   前記水平方向及び垂直方向の投影を周波数空間に変換することと、
   を含む、
   方法。

Images