JP4948593B2

JP4948593B2 - 以前に圧縮された画像における合成の検出

Info

Publication number: JP4948593B2
Application number: JP2009501451A
Authority: JP
Inventors: ルオ，ジエボ; チャールズギャラガー，アンドリュー
Original assignee: イーストマンコダックカンパニー
Priority date: 2006-03-21
Filing date: 2007-03-12
Publication date: 2012-06-06
Anticipated expiration: 2027-03-12
Also published as: WO2007109003A2; CN101443785A; US7720288B2; US20070223838A1; EP2016529A2; JP2009530975A; CN101443785B; WO2007109003A3

Description

本発明は、概括的にはデジタル画像処理の分野に関し、より詳細には以前に圧縮された画像における合成を検出する方法およびシステムに関する。

画像処理の分野において、画像が所望の用途のためにサイズ変更されなければならないことがしばしばある。たとえば、ある特定のプリンタは固定解像度250dpi（dots per inch［ドット毎インチ］）をもつことがありうる。そのようなプリンタで500×750ピクセルの画像を4×6インチのプリントに印刷するためには、画像は半分にサイズ変更されねばならない。同様に、多くの表示装置は、ピクセル毎インチで固定の解像度をもつ。換言すれば、もとの標本値どうしの間の位置における画像の値を決定する必要がある。画像のもとの標本値と一致しない位置での画像信号の値を決定するこのプロセスは、補間または再サンプリングと呼ばれる。補間因子Nは、出力画像のサンプリング・レートと入力画像のサンプリング・レートとの比をいう。上記の例では、補間因子はN＝2である。

補間プロセスは、所望の数の行および列のピクセルをもつ画像を生じる。しかしながら、補間工程は、多くの位置における信号値を「推測する」ことを伴う。結果として、補間された画像は一般には、所望の解像度でもともと取り込まれた画像ほど高品質ではない。たとえば、500×700ピクセルで取り込まれ、その後1000×1500ピクセルに補間された画像は一般には、もともと1000×1500ピクセルで同じ場面を取り込むことで生成された画像よりもソフトで、品質が低く見える。

補間された画像の一般的により低い品質のため、のちのデジタル処理および他の手順において画像をよりよく扱うためには、画像が補間されているかどうかを知ることが望ましいことがありうる。参照によってここに組み込まれるGallagherへの米国特許第6,904,180号は、デジタル撮像チャネルが補間されているか補間されていないかを、画像の近隣ピクセルの値に関係した信号を使って判別する方法を開示している。この方法は、補間の指標となる周期性をもつ抽出信号から計算されるフーリエ変換信号においてピークをさがす。この方法は、画像に対する過去の圧縮‐圧縮解除の効果に対処するものではない。

低コストかつ高解像度のデジタル・カメラおよび洗練された編集ソフトウェアの到来とともに、デジタル画像は簡単に操作、変更できるようになった。デジタル偽造はしばしば、目に見える細工の手がかりがいっさいなく、本物の写真と区別不能である。結果として、写真はもはや事件の決定的な記録としての一意的な地位を保持しない。たとえば、2003年3月の「ロサンゼルス・タイムズ」はその第一面に、イラクの市民に身を隠すよう指示する兵士の劇的な写真を掲載したが、その写真は偽物であった―二つの写真を継ぎ合わせてデジタル的に作成されたのだ。このことや同様の事件から、毎日目にする画像のうちどれだけがデジタル的に修正されているのだろうと思うのも自然である。さらにはデジタル偽造についてである。

画像を認証するためにデジタル透かし技術が提案されているが、そうした技術によって生成されるマークは前もってもとの画像に植え込まれている必要がある。マークは画像加工処理の影響を受けやすくもある。よって、いかなる形のデジタル透かしや署名も全く存在しないときにデジタル細工の形跡を検出する技術が必要とされている。

デジタル偽造は、細工されたという目に見える手がかりを残さないかもしれないが、それでも、画像の基礎的な統計を変更することがありうる。たとえば、同じ画像中の一対の顔を示すデジタル偽造の生成を考える。そのような画像は、合成によって作製されたものでありうる。たとえば、一枚のもとの写真からの顔を継ぎ足して、埋め込み先画像の構図（composition）に合致するよう再サンプリングし、挿入するのである。説得力のある合致を作り出すためには、しばしば画像の諸部分のサイズ変更、回転または伸張が必要である。このプロセスはもとの画像の新しいサンプリング格子上への再サンプリングまたは補間を必要とする。この再サンプリングはしばしば知覚不能だが、画像ピクセル値の統計的関係を修正するので、それが検出されれば、デジタル細工の証拠として使用できる。A. C. Popescu and H. Farid, "Exposing digital forgeries by detecting traces of resampling", IEEE Transactions on Signal Processing, Vol. 53, No. 2, pp. 758-767, 2005は偽造に起因する再サンプリングの検出に向けられている。

たいていのデジタル画像は、圧縮された形で記憶されるか、作成後のある時点で画像圧縮を経ている。いくつものブロック・ベースの画像圧縮技術が知られている。画像圧縮の最も一般的な形はJPEG圧縮である。もう一つのブロック・ベースの画像圧縮はベクトル量子化である（R. M. Gray, "Vector Quantization", IEEE ASSP Magazine, pp. 4-29, April 1984参照）。ブロック・ベースの画像圧縮は、圧縮を受けた経歴のある画像におけるデジタル透かしの検出および補間検出に対する課題を呈するアーチファクトを生じる。

ここに参照によって組み込まれるYu et al.への米国特許第6,643,410号は、デジタル画像におけるブロッキング・アーチファクトの程度（extent）を検出する方法を開示している。

このように、画像が以前に圧縮されたとしても画像補間を検出できる、合成を検出する方法およびシステムを提供することが望ましいであろう。

本発明は、請求項によって定義される。本発明は、広義の諸側面では、デジタル画像合成を検出する方法およびシステムを提供する。そこで、第一のアーチファクトが非圧縮デジタル画像において検出される。第一のアーチファクトは、所定の圧縮アルゴリズムを用いた当該デジタル画像の以前の圧縮に特徴的である。画像中の補間マーカーが評価されて、補間結果が与えられる。評価の間に、前記圧縮アルゴリズムの第二のアーチファクトが打ち消される。画像は前記補間結果に応じて分類される。第一のアーチファクトはブロッキング・アーチファクトであってもよく、第二のアーチファクトおよび補間マーカーは画像中での異なる周期性であってもよい。

本発明は、上述した問題の一つまたは複数を克服することに向けられる。画像が以前に圧縮されていたとしても画像補間を検出できる、合成を検出するための改良された方法およびシステムが提供されることは、本発明の有利な効果である。

本発明の実施形態の以下の記述を付属の図面とともに参照することによって、本発明の上述のおよびその他の特徴および目的ならびにそれを達成する仕方がより明白になり、本発明そのものもよりよく理解されるであろう。

本発明の方法およびシステムにおいて、デジタル画像合成は、デジタル画像が補間によって再サンプリングされているかどうかを、たとえその再サンプリングが画像圧縮の前に行われていたとしても検出するために使用される。（文脈からそうでないことが明らかである場合を除き、ここでは画像圧縮は、デジタル画像のエンコードおよびデコードを行うステップ両方を含む広義で論じられていることが想定されることができる。）これは、特定の画像を、その画像が補間によって再サンプリングされている場合には補間ありとして、その画像が再サンプリングされていない場合には補間なしとして分類することにつながる。具体的な諸用途では、補間ありと補間なしの間の分類は、「偽造」と「非偽造」の間の分類と等価である。よって、本方法およびシステムは、以前の再サンプリングの結果、特定の画像処理技術に好適でなくなっている正当な画像を識別することにおける使用に加えて、悪意ある意図で用意された模造品または偽造された画像の検出への応用可能性をもつ。

以下の記述では、本発明または本発明の一部がソフトウェア・プログラムとして記述される。当業者は、そのようなソフトウェアの等価物がハードウェアで構築されることもできることをすぐ認識するであろう。画像操作のアルゴリズムおよびシステムはよく知られているので、本記述は特に、本発明に基づく方法の一部をなす、あるいは本発明に基づく方法とより直接的に共同するアルゴリズムおよびシステムに向けられる。同様に、デジタル・スチール・カメラおよびデジタル・ビデオ・カメラならびにデータベース・ハードウェアの諸特徴はよく知られており、本記述は概して本発明の方法に直接関係した諸側面に限定される。そのようなアルゴリズムおよび装置ならびにそれに伴う画像信号の生成およびその他の処理のためのハードウェアおよび／またはソフトウェアの諸側面で、本稿で具体的に図示または説明されていないものは、当技術分野において知られているシステム、アルゴリズム、コンポーネントおよび要素から選択されうる。以下の明細に記載される記述を与えられれば、そのあらゆるソフトウェア実装は通常のことであり、当技術分野における通常の技量の範囲内である。

本発明は、コンピュータ・ハードウェアおよびコンピュータ化された装置で実装されることができる。たとえば、本方法は、一つまたは複数のスキャナまたは他の取り込み装置ならびに一つまたは複数のパーソナル・コンピュータを含むシステムを使って実行できる。図１４を参照すると、本発明を実装するためのコンピュータ・システムが示されている。好ましい実施形態を示す目的のためにコンピュータ・システム１１０が示されているが、本発明は図示したコンピュータ・システム１１０に限定されず、デジタル・カメラ、携帯カメラ電話およびその他のモバイル・デバイス、家庭用コンピュータ、キオスク、小売もしくは卸売のDPEまたはデジタル画像の処理のための他の任意のシステムに見出されるようないかなる電子処理システムとともに使用されてもよい。コンピュータ・システム１１０は、ソフトウェア・プログラムを受領および処理し、その他の処理機能を実行するマイクロプロセッサ・ベースのユニット１１２（ここではデジタル画像プロセッサとも称される）を含む。ディスプレイ１１４が、ソフトウェアに関連したユーザー関係の情報をたとえばグラフィカル・ユーザー・インターフェースによって表示するために、マイクロプロセッサ・ベースのユニット１１２に電気的に接続されている。キーボード１１６も、ユーザーがソフトウェアに情報を入力するのを許すために、マイクロプロセッサ・ベースのユニット１１２に接続されている。入力のためにキーボード１１６を使うことに対する代替として、マウス１１８が、ディスプレイ１１４上でセレクター１２０を動かし、セレクター１２０が重なっている項目を選択するために使われてもよい。これは当技術分野においてよく知られているとおりである。

任意の形の取り外し型メモリが含まれることができ、コンパクト・ディスク読み出し専用メモリ（CD-ROM）１２４として示されている。これはソフトウェア・プログラムを含むことができ、ソフトウェア・プログラムおよび他の情報をマイクロプロセッサ・ベースのユニット１１２に入力する手段を提供するためにマイクロプロセッサ・ベースのユニットに挿入される。取り外し型メモリの多くの型が提供されることができ（ここではフロッピー（登録商標）・ディスク１２６として図示されている）、データはいかなる好適な型の取り外し可能メモリに書き込まれることもできる。メモリは外的であることができ、有線または無線の接続を使って、直接的にまたは構内ネットワークもしくはインターネットのような広域ネットワークを介して、アクセス可能であることができる。さらに、マイクロプロセッサ・ベースのユニット１１２は、当技術分野においてよく知られるように、ソフトウェア・プログラムを内部的に記憶するようプログラムされてもよい。プリンタ１２８または他の出力装置も、コンピュータ・システム１１０からの出力のハードコピーを印刷するためにマイクロプロセッサ・ベースのユニット１１２に接続されていることができる。マイクロプロセッサ・ベースのユニット１１２は、電話線もしくは無線リンクのような、構内ネットワークまたはインターネットのような外部ネットワークへのネットワーク接続１２７をもつことができる。

画像がディスプレイ１１４上に表示されるのは、メモリ・カードを介してでもよい。メモリ・カードは、以前に称されたPCMCIAカード（パーソナル・コンピュータ・メモリ・カード国際協会［Personal Computer Memory Card International Association］）のようなパーソナル・コンピュータ・カード（PCカード）１３０のようなもので、カード１３０内に電子的に具現されたデジタル化された画像を含む。ディスプレイ１１４上への画像の視覚的な表示を許すために、PCカード１３０は最終的にはマイクロプロセッサ・ベースのユニット１１２に挿入される。あるいはまた、PCカード１３０は、マイクロプロセッサ・ベースのユニット１１２に接続された外部に位置するPCカード読み取り器１３２に挿入されることができる。画像はコンパクト・ディスク１２４、フロッピー（登録商標）・ディスク１２６またはネットワーク接続１２７を介して入力されてもよい。PCカード１３０、フロッピー（登録商標）・ディスク１２６またはコンパクト・ディスク１２４に記憶されている、あるいはネットワーク接続１２７を通じて入力される任意の画像は、デジタル・カメラ（図示せず）またはスキャナ（図示せず）のような多様なソースから得られてもよい。画像はまた、マイクロプロセッサ・ベースのユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタル・カメラ１３４から直接入力されてもよいし、あるいはマイクロプロセッサ・ベースのユニット１１２へのケーブル接続１３８を介してまたはマイクロプロセッサ・ベースのユニット１１２への無線接続１４０を介してデジタル・カメラ１３４から直接入力されてもよい。本発明は、デジタル画像を生成する複数の取り込み装置とともに使用されることができる。たとえば、図１４は、スキャナをもつデジタルDPEシステムまたはキオスクを表すことができる。

出力装置は最終的な画像または出力信号を提供する。出力装置は、プリンタまたは紙またはその他のハードコピーの最終画像を提供するその他の出力装置であることができる。出力装置はまた、印刷された画像およびCDもしくはDVDのようなメモリ・ユニット上のデジタル・ファイルといった、出力の組み合わせを含むこともできる。

デジタル画像は一つまたは複数のデジタル画像チャネルまたは色成分を含む。各デジタル画像チャネルはピクセルの二次元配列である。デジタル画像チャネルは行および列に配置されたピクセル値の二次元配列として記述されるが、当業者は、本発明が同等の効果をもつ非長方形配列に適用されることができることおよび本発明がこれに限られないが本稿で言及される任意の用途のためにデジタル画像チャネルに適用できること認識するであろう。

ここでの用法では、用語「デジタル画像」は前記チャネル全部の二次元配列または任意の個別的配列または別個に扱われる配列の任意の部分を指す。ビデオ・シーケンスのような画像シーケンスの各フレームも「デジタル画像」と考えられる。

便宜上、本稿では、デジタル画像は一般に、赤、緑および青のピクセル値の二次元配列または光の強度に対応するモノクロの値の配列のいずれかを用いて論じられる。議論の目的での便利な解像度は、1024行のピクセルおよび1536ラインのピクセルの画像である。ただし、当業者は異なる解像度および寸法のデジタル画像が使われても、同等の、あるいは少なくとも受け容れられる成果が達成しうることを認識するであろう。同じことは、画像チャネルの他の組み合わせについても当てはまる。

命名法の問題に関し、デジタル画像の第x行、第y列を指す座標(x,y)に位置するデジタル画像のピクセルの値は、本稿では、値の三つ組[r(x,y),g(x,y),b(x,y)]を含む。三つ組のそれぞれは、位置(x,y)における赤（red）、緑（green）および青（blue）のデジタル画像チャネルの値を指す。これに関し、デジタル画像は赤、緑および青の二次元配列または赤、緑および青のチャネルを有すると考えられる。輝度チャネルpは色チャネルから形成されることができる。デジタル画像チャネルの第x行、第y列を指す座標(x,y)に位置するデジタル画像チャネルのピクセルの値は、本稿では、p(x,y)と称される単一の値とする。

図１４に示される一般的な制御コンピュータは、コンピュータ可読記憶媒体に記憶されたプログラムを有するコンピュータ・プログラム・プロダクトを記憶できる。コンピュータ可読記憶媒体はたとえば：磁気ディスク（フロッピー（登録商標）・ディスクのような）または磁気テープのような磁気記憶媒体；光学式ディスク、光学式テープまたは機械可読バーコードのような光学式記憶媒体；ランダム・アクセス・メモリ（RAM）または読み出し専用メモリ（ROM）のような固体電子記憶デバイスを含みうる。関連するコンピュータ・プログラムは、オフライン・メモリ・デバイスによって示されるコンピュータ・プログラムを記憶するために用いられる他の任意の物理的デバイスまたは媒体上に記憶されてもよい。

本発明はソフトウェアおよび／またはハードウェアの組み合わせにおいて実装されることができ、物理的に接続されているおよび／または同じ物理的位置内に位置するデバイスに限定されないことも注意しておくべきである。図３に示されるデバイスのうちの一つまたは複数はリモートに位置されることができ、ネットワークを介して接続されることができる。前記デバイスの一つまたは複数が、電波周波リンクを使って直接的にまたはネットワークを介して無線式に接続されることができる。

本発明は、多様なユーザー背景および環境において用いられてもよい。例示的な背景および環境としては、これに限られないが、卸売デジタルDPE（これはフィルム持ち込み（film in）、デジタル処理、プリントアウトといった例示的な処理ステップまたは段階を含む）、小売デジタルDPE（フィルム持ち込み、デジタル処理、プリントアウト）、家庭印刷（家庭でスキャンされたフィルムまたはデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタル・プリントに諸アルゴリズムを適用して改善するまたは単に改変するソフトウェア）、デジタル・フルフィルメント（digital fulfillment）（メディアからのまたはウェブを通じたデジタル画像の取り込み、デジタル処理、メディア上のデジタル形式、ウェブ上のデジタル形式またはハードコピー・プリント上への印刷による画像出力）、キオスク（デジタルまたはスキャンされた入力、デジタル処理、デジタルまたはハードコピー出力）、モバイル・デバイス（たとえば、処理ユニット、表示ユニットまたは処理命令を与えるためのユニットとして使えるカメラ、PDAまたは携帯電話）およびワールド・ワイド・ウェブを介して提供されるサービスが含まれる。

それぞれの背景において、本発明は単体であってもよいし、より大きなシステム・ソリューションの構成要素であってもよい。さらに、人間とのインターフェース、たとえばスキャンまたは入力、デジタル処理、（必要なら）ユーザーへの表示、（必要なら）ユーザー要求または処理命令の入力、出力は、同一または異なる装置で、そして同一または異なる位置で行われてもよい。装置間および位置間の通信は、公共あるいはプライベートのネットワーク接続またはメディア・ベースの通信を介して行われることができる。本発明の以上の開示と整合する場合には、本発明の方法は完全に自動的であることができ、（完全にまたは部分的に手動で）ユーザー入力を有してもよく、結果を承認／拒否するためにユーザーまたは操作者に確認させてもよく、あるいはメタデータ（ユーザーが与えた、測定装置（たとえばカメラ内の）が与えた、またはアルゴリズムによって決定されたメタデータ）によって支援されてもよい。さらに、アルゴリズムは多様な作業フロー・ユーザー・インターフェース方式とのインターフェースを有しうる。

ここで図１〜図２を参照すると、ある個別的な実施形態において、デジタル画像がシステム・メモリのユニット１２に提供され（１０）、そのデジタル画像が現在圧縮されているかどうかについての判別（１４）がなされる。そのデジタル画像が圧縮されているとわかったら、そのデジタル画像は圧縮解除される。画像が現在圧縮されているかどうかどうかを判別するためのプロトコルは当業者にはよく知られている。たとえば、デジタル画像は画像情報とともにメタデータを含むデジタル・ファイルとして提供されることができ、メタデータは最終版の圧縮または非圧縮としての状態を、その画像を圧縮解除するために必要な情報およびその画像に関係した他のメタデータとともに示すことができる。

ここで図２を参照すると、デジタル画像は次に、のちに詳細に論じる、関心領域を選択する関心領域選択器１８に送られることができる。関心領域選択器はユーザーの選択によって飛ばしてもよい。その場合は画像全体が使用される。あるいはまた、関心領域選択器は、図１の実施形態に示されるように、システムから省かれることもできる。

図１および図２の両方を再び参照すると、以前に圧縮されたとは知られていないデジタル画像が次に圧縮検出器２０に送られ、その画像がその経歴の何らかの時点で圧縮を受けたかどうかの判定（２２）がなされる。これは、第一の圧縮アーチファクトが存在するかどうかを判別することによってなされる。この第一の圧縮アーチファクトは、ブロック・ベースの圧縮技術から帰結するブロック・アーチファクトである。いくつかのブロック・ベースの画像圧縮技術が知られている。画像圧縮の最も一般的な形はJPEG規格のもとのJPEG圧縮である。もう一つのブロック・ベースの画像圧縮は、R. M. Gray, "Vector Quantization", IEEE ASSP Magazine, pp. 4-29（April 1984）で開示されている方法のような、ベクトル量子化である。

デジタル画像を圧縮検出（２２）に直接送る代替経路（２４）が図１の点線矢印によって示されている。この代替経路（２４）は、提供される画像が圧縮されていないと知られている場合に有用である。たとえばこれは、画像が、画像を圧縮解除するまたは圧縮された画像を排除する以前の画像処理に続いて受領される場合に有用となりうる。代替経路は、以前の画像処理などに基づく自動的な、あるいはたとえばユーザーが大量のバッチに含まれる画像がすべて圧縮されていないと知っているときのユーザー・オプションとしての選択として提供されることができる。受領される全ての画像が受領の時点で圧縮されていないと知られている場合、画像が圧縮されているかどうかを判別してその画像を圧縮解除するステップは省略できる。

圧縮が検出されない場合、デジタル画像は第一の補間検出器２６に送られる。圧縮が検出される場合、デジタル画像は第二の特化した補間検出器２８に送られる。デジタル画像中での補間マーカーの存在が両方の補間検出器において評価される（３０）。第二の補間検出器においてのみ、第二の圧縮アーチファクトの効果が打ち消される（３２）。補間評価の結果は結果解析器‐分類器３４に送られる。結果解析器‐分類器３４は結果を解析し（３６）、次いでデジタル画像を分類する。

デジタル画像中でのブロッキング・アーチファクトの存在は、米国特許第6,427,031号および第6,643,410号において開示されるような多様な技術によって判別できる。（ここで、米国特許第6,427,031号はここに参照により組み込まれる。）
現在好ましい方法はYu et al.への米国特許第6,643,410号において開示されている。それは、強度成分をもつグレースケール画像またはRGB成分をもつカラー画像に関係して記述される。カラー画像については、画像圧縮が人間の視覚系（HVS: human visual system）の色知覚における冗長性を利用するために色変換が実行される。たとえば、JPEG圧縮において、カラー画像はまずRGBからYCbCr色空間に次の式で変換される：
Y＝16＋65.481×R＋128.553×G＋24.966×B
Cb＝128−37.797×R−74.203×G＋112×B
Cr＝128＋112×R−93.786×G−18.214×B
ここで、
Yは強度成分、
CbおよびCrは二つの色度成分、
R、GおよびBはみな1に規格化されている。

図５は、JPEG圧縮のブロッキング・アーチファクトを検出するための米国特許第6,643,410号の手順の使用を図解している。この手順は、ベクトル量子化のような他のブロック・ベースの画像圧縮を検出するために使うこともできる。ステップ１１１０で、各画像成分について、二つの隣接する列の間の差の絶対値を計算することによって、列差分画像がまず生成される。たとえば、列差分画像は、画像の第二列のピクセル値を画像の第一列のピクセル値から引いて差分値の列を生成し、次いで列差分画像の第一の列のピクセル値を前記差分値の列の絶対値として設定することによって生成される。同じ手順が列差分画像の最終列を除いた残りの列を設定するために繰り返される。最終列では、その列の値はすべて0に設定される。

ステップ１１１２で、列差分画像はさらに縦方向に平均されて、一次元的な列差分配列VAを生成する。もとの画像がM行N列の画像データを有するとして、列差分配列VAはN個の項を有するはずである。画像のエッジが検出に寄与することを防ぐため、列差分画像のピクセルの寄与は、もとの画像成分における対応するピクセルの強度勾配の大きさが閾値Tより大きい場合には破棄される。強度勾配演算子としては、ソーベル（Sobel）演算子が使われ、生成される強度勾配画像の強度勾配は、水平および垂直のソーベル演算子からの絶対値の和に等しい。本発明の今の実施形態では、強度勾配画像の標準偏差（SD: standard deviation）が計算され、閾値Tは標準偏差SDの２倍として設定される。

ステップ１１１４で、JPEGブロック幅の周期性を使って、列差分配列VAはさらに平均され、８個の項をもつブロック平均された列差分配列VAAが生成される。換言すれば、列差分配列VAの８つごとの項が平均され、ブロック平均された列差分配列VAAの８つの項がその結果を使って設定される。JPEG画像圧縮の一般的な使用によれば、ブロック・サイズは8×8ピクセルである。代替的に、16×16ピクセルが使われることもできる。同様に、他のブロック・ベースの圧縮方式では、他のブロック寸法が使われることもできる。

ステップ１１１６で、ブロック平均された列差分配列VAAから、最大値がまず位置特定され、列ピーク値として定義される。次いで、ステップ１１１８で、ピーク値を除外したブロック平均された列差分配列VAAの平均値が計算される。平均値は列ベース値として定義される。最終的に、ステップ１１２０で、列ピーク値と列ベース値との比が計算されて列比が生成される。

行ピーク値、行ベース値および行比も一連のステップ１１１０′〜１１２０′において同様に計算される。ここで、共通の参照符号は行に対して実行される個々の処理が列に対して実行される処理と類似であることを示す。より具体的には、行差分配列HAおよびブロック平均された行差分配列HAAがそれぞれブロック１１１２′および１１１４′において生成され、これらの配列に基づく同様の尺度がブロック１１１６′〜１１２０′において展開される。

列比および行比はそれぞれ列方向および行方向のブロッキング・アーチファクトの存在の良好な指標である。したがって、ブロッキング・アーチファクトの程度（extent）についての好ましい尺度（ステップ１１２２で計算される）は、統計的に均等に分布している水平および垂直の構造をもつ画像についての列比および行比の平均値である。より意欲的な尺度は、列比および行比の最小値である。

ブロッキング・アーチファクトの可視性は、画像中の実際の構造に依存しうる。たとえば、テクスチャのある領域はフラットな領域よりも、ブロッキング・アーチファクトをよりよく隠蔽する傾向がある。列ベース値および行ベース値はテクスチャ量の良好な指標である。より高度な堅牢性を達成するため、ブロッキング・アーチファクトの程度の尺度は、列比／行比および列ベース値／行ベース値の両方の関数として定義されることができる。一般に、ベース値が高い、つまりテクスチャ活動が高い（ブロッキング・アーチファクトのより大きな程度を隠蔽できる）ほど、アーチファクト尺度に対するより高い閾値が使われるべきである。実際上、ベース値と閾値との間の関係を定量的に特徴付けるために、ルックアップ・テーブルが構築されることができる。

ブロッキング・アーチファクトの程度についての尺度が所定の閾値を超えれば、JPEG圧縮が検出される。さらに、ブロック平均された列差分配列VAAおよびブロック平均された行差分配列HAAにおけるピーク値のインデックスは、その画像成分についての水平方向および垂直方向におけるJPEGブロック境界の位置である。たとえば、ブロック平均された列差分配列VAAにおけるピーク値のインデックスが4であれば、JPEGブロック境界はその画像成分において列4,12,...に現れると想定される。（画像成分の列ならびにブロック平均された列差分配列VAAおよびブロック平均された行差分配列HAAについてのインデックスは、この実施形態では0から始まることに注意。）
もとのデータの圧縮処理後にデジタル画像がクロップされるだけでなく、ズーム（縮小または拡大）もされる場合、ブロック・サイズはもはやもとのJPEGブロック・サイズの8ではない。拡大された可能性もあるデジタル画像について、JPEGブロッキング・アーチファクトの程度を決定する上記のプロセスは、所定の一連の仮設的ブロック幅について繰り返され、ピーク値とベース値との間の一連の比を生成することができる。最大のアーチファクト尺度を生成する仮設的ブロック幅が、ズーム後の有効ブロック・サイズに選ばれる。ズーム倍率は今度は有効ブロック・サイズともとのブロック・サイズ（すなわち8）との間の比として決定される。

圧縮により誘導されたブロッキング・アーチファクトをもつデジタル画像は、画像データにおける特定の周期性として現れる第二のアーチファクトも被る。いずれのアーチファクトも、デジタル画像に対して以前に使われた特定の圧縮方式に特徴的なものである。よって、第一のアーチファクトの検出は画像中の第二のアーチファクトの存在の証拠となる。本発明の方法およびシステムでは、特定の圧縮方式の第一のアーチファクトの存在の検出がその圧縮方式の使用およびそのデジタル画像における関連する第二のアーチファクトの存在を確立するものと想定される。ブロッキング・アーチファクトが潜在的には圧縮に関係しない他の手順によって生成される可能性も認識されるが、たいていの使用における実際問題として、特定の圧縮方式のブロッキング・アーチファクト特性の存在は、圧縮に関係しない技術ではなく、その圧縮方式または等価な圧縮方式の過去の使用の決定的な証明と考えられる。

補間検出器は補間結果を提供するために補間マーカーを評価する。補間結果は二値であることができ、あるいは補間因子を提供することができる。特定のデジタル画像のその後の分類は、同様に、検出または非検出の二値分類であることができ、あるいはデジタル画像が補間されているまたはいない確率のような多値スケールでの値を提供することができる。JPEG圧縮はしばしば、画像を各次元方向において因子8で補間するのと同様の効果をもつ。JPEGエンコードによって中程度または大幅な量子化が実装されるとき、本発明はしばしば画像を因子8によって補間されたと分類することになる。

どちらの補間検出器も特定のデジタル画像における周期性を評価する。第二の検出器は以前の圧縮の結果としてデジタル画像中に存在する周期性、すなわち第二のアーチファクトを打ち消しもする。この打ち消しは補間の考察から第二のアーチファクトに起因する周期性を除外することによって実行される。これは第一の検出器に対して第二の検出器をやや妥協させる（compromises）が、補間ではなく画像圧縮から帰結する余剰信号（spurious signals）をなくす。第二の検出器の動作が第一の検出器に比してやや妥協されるので、圧縮されたことのない画像に第二の補間検出器を使うことは望ましくなく、かつ不要である。

第一の補間検出器は、米国特許第6,904,180号で開示された仕方で動作できる。それは図８〜図１１に図示されている。図８に示される補間検出器の概観を参照すると、デジタル画像チャネルp(x,y)が信号発生器２１０に入力される。デジタル画像チャネルp(x,y)は非補間画像または補間画像のカテゴリーのいずれかにはいる。デジタル画像チャネルp(x,y)は、他の何らかのソース・デジタル画像チャネルm(x,y)から導出されており、かつp(x,y)のサンプリング・レートがm(x,y)のサンプリング・レートより高い場合には、補間画像である。さらに、クロップするステップが関わっていない限り、デジタル画像チャネルp(x,y)は一般に（デジタル画像チャネル中のピクセル数の意味で）ソース・デジタル画像チャネルm(x,y)より大きなサイズである。入力画像チャネル信号発生器２１０は入力デジタル画像チャネルp(x,y)から一次元信号mddp(k)を生成し、出力する。デジタル画像チャネルp(x,y)が、信号発生器２１０に入力される以前の補間動作の結果である場合、信号mddp(k)は補間因子Nおよび方法に対応する周期性を含む。これについてはのちにさらに説明する。しかしながら、デジタル画像チャネルp(x,y)が非補間デジタル画像チャネルである場合、信号mddp(k)はいかなる特定の周期性も含まない。信号発生器２１０の目的は、入力デジタル画像チャネルp(x,y)が補間されていた場合にのみ補間因子Nに対応する周期成分を含む信号を発生させることである。信号発生器２１０についてはのちにより詳細に述べる。入力デジタル画像チャネルp(x,y)がR行（rows）およびC列（columns）のピクセルからなることを注意しておく。

信号発生器２１０から出力されるデジタル信号mddp(k)は離散フーリエ変換（Discrete Fourier Transform）の計算のためにDFT計算機２１６に入力される。時間または空間信号の離散フーリエ変換は、その信号の周波数領域表現である。mddp(k)信号における周期性は、DFT計算機２１６によって出力されるDFT[mddp(k)]信号におけるピークをさがすことによって決定されうる。mddp(k)の離散フーリエ変換DFT[mddp(k)]は解析のために補間判別器２２２に入力される。離散フーリエ変換の計算は信号処理の技術分野においてよく知られており、これ以上論じることはしない。好ましい実施形態では、mddp(k)信号は、長さが2の累乗になるまで0をパディングされる。DFTの標本値の数はここではMによって示される。ここで、MはC−2以上の最小の2の累乗である。

補間判別器２２２に入力されたDFT[mddp(k)]信号は、有意なピークが存在するかどうかを判別するために解析される。DFT[mddp(k)]信号におけるピークの存在は、デジタル画像チャネルp(x,y)が補間されたデジタル画像チャネルであることを示す。補間判別器の出力は、画像p(x,y)が補間されたデジタル画像チャネルであるか否かの指示およびp(x,y)が補間されたデジタル画像チャネルである場合の補間因子Nの指示である。補間判別器２２２の動作について以下に述べる。

補間判別器２２２は入力として信号DFT[mddp(k)]を受け容れる。補間判別器２２２は入力信号の大きさを調べて何らかのピークが存在しているかどうかを判別する。図１１は、補間判別器の詳細な図で、入力信号DFT[mddp(k)]のピークを位置特定するピーク検出器２４６およびピーク検出器出力信号の大きさをある閾値に対して比較する閾値検出器２５２が示されている。当業者は、信号DFT[mddp(k)]の最大のピークの位置k₀を判別するためにピーク検出器２４６によって使用されうるピーク検出アルゴリズムがいくらでもあることを認識するであろう。好ましい実施形態では、位置k₀がピークとして分類されるためには、k₀はM/x−1とM/2＋1の間になければならない。ここで、好ましい実施形態ではx＝12である。さらに、信号DFT[mddp(k)]の大きさは、k₀の(M)/12標本値内のすべての位置における大きさよりも大きくなければならない。さらに、閾値適用器２５２は信号DFT[mddp(k)]の大きさがTσより大きくなければならないことを要求する。ここで、σは、(M)/12−1と(M)/2＋1の間で評価される、DFT[mddp(k)]信号の大きさの標準偏差である。σの値は統計計算機２５８によって決定される。当業者は統計計算機２５８の多くの変形を認識するであろう。たとえば、標準偏差ではなく平均絶対値偏差が受け容れ可能な結果を与える。Tは任意の定数である。ある個別的な実施形態では、T＝4である。補間因子Nの推定値（estimate）であるN_estの値は、最大の大きさに対応するピークk₀の位置を用いて決定される。補間判別器２２２が信号DFT[mddp(k)]に関連するピークを見出さない場合、補間判別器は、デジタル画像チャネルp(x,y)が補間されていないと思われることを指示する情報を出力する。代替的に、補間判別器２２２が一つまたは複数のピークを見出すとき、補間判別器２２２は、デジタル画像チャネルp(x,y)が補間されていると思われることを指示する情報を出力する。さらに、N_estが補間判別器２２２によって出力される。N_estの値は、k₀がピークのインデックス、MがDFT[mddp(k)]信号中の標本値の数であるとして、以下の公式を用いて見出される：
N_est＝k₀/M
DFTのインデックスに関し、インデックス0がDFTの最初の標本値を指し、DC項であることを注意しておく。

図９は、信号発生器２１０の詳細なブロック図を示している。以前に説明したように、信号発生器２１０の目的は、デジタル画像チャネルから、該デジタル画像チャネルが補間されている場合にのみ周期的な属性を示す信号を抽出することである。デジタル画像チャネルp(x,y)は1D差分器２２８₁に入力される。1D差分器２２８₁の目的は、画像中のピクセルからピクセルへの局所的な変動を計算することである。ある個別的な実施形態では、これらのピクセルからピクセルへの差分は、デジタル画像チャネルの各行に沿った二つの相続く微分を計算することによって決定される。この処理は画像の列に沿ってでも等しい成功をもって実行されうることを注意しておく。1D差分器２２８₁は、デジタル画像チャネルの各行の微分を計算して微分デジタル画像チャネルdp(x,y)を生成する。微分デジタル画像チャネルdp(x,y)を生成するためには、1D差分器２２８₁によって次の公式が使用される：
dp(x,y)＝p(x＋1,y)−p(x,y)
次に、微分デジタル画像チャネルdp(x,y)が、各行の微分の第二の計算のために第二の1D差分器２２８₂に入力される。この第二の1D差分器２２８₂の出力は、デジタル画像チャネルp(x,y)の各行の二階微分を表すデジタル画像チャネルである。二階微分デジタル画像チャネルddp(x,y)を生成するためには、1D差分器２２８₂によって次の公式が使用される：
ddp(x,y)＝dp(x＋1,y)−dp(x,y)＝p(x＋2,y)−2p(x＋1,y)＋p(x,y)
上の式に示されるように、二段の1D差分器２２８を組み合わせてp(x,y)からddp(x,y)の直接計算をしてもよいことに留意されたい。

二段の1D差分器２２８の目的は、信号の値が平均して、もとのデジタル画像チャネルm(x,y)（このm(x,y)からp(x,y)が補間された）の標本値に対応するピクセル位置における異なる属性をもつような二次元信号を発生させることである。信号ddp(x,y)は一般にもとのデジタル画像チャネルm(x,y)の標本値と一致する位置で大きな平均値をもち、もとのデジタル画像チャネルの標本値間の位置では小さな平均値をもつ。

ddp(x,y)信号は次いで1Dトレース抽出器２４０に入力される。1Dトレース抽出器の目的は、信号対雑音比が高い一次元トレースをddp(x,y)信号から生成することである。このトレースが、補間因子Nに直接関係した周期性を示す。好ましい実施形態では、1Dトレース抽出器２４０は一次元トレースmddp(k)を、次式

で示されるように列にわたって値の大きさを平均することによって生成する。

当業者は、信号発生器２１０の目的が多くの方法によって達成されうることを認識するであろう。当業者はさらに、デジタル画像チャネルp(x,y)から補間因子Nに関係した周期性を示す信号を生成することをねらいとする諸方法が、本発明の範囲から外れるものでないことを認識するであろう。

図１０は、単一の1D差分器２２８しか使用されない、信号発生器２１０のある代替的な実施形態を示している。この実施形態は精確な結果を出すが、前記の好ましい実施形態ほどの信頼性はない。

1Dトレース抽出器２４０についても多くの代替的な実施形態が存在する。たとえば、信号mddp(k)は1Dトレース抽出器２４０に入力される信号の各行または列の標準偏差（または分散）を見出すことによって計算されてもよい。一般に、1Dトレース抽出器２４０に入力されるデジタル画像チャネルの列または行の分散は、その行または列が補間されたp(x,y)のもとになったもとのデジタル画像チャネルm(x,y)の標本値と一致するときに最高になる。よって、mddp(k)信号は次の分散に基づく公式

によって1Dトレース抽出器２４０によって計算されうる。

すでに示したブロック図を再配列することによる他の代替的実施形態も存在する。たとえば、ddp(x,y)信号の各行のDFTを計算し、次いでそれらのDFTを平均して補間判別器２２２に入力するための一次元信号を生成することが可能である。同様に、ddp(x,y)信号の各行のDFTを計算し、次いで各DFTをピーク検出のために補間判別器２２２に入力することも可能である。p(x,y)デジタル画像チャネルの各行はN_estをもつことになる。N_estのこれらの多重の値は次いで、パターン認識の当業者になじみのある諸方法によって組み合わされて、画像全体についてのN_estの単一の値を達成してもよい。

第一の補間検出器は、Nが整数値でないときでも補間因子Nをうまく検出できる。ある代替的な補間検出方法は、本質的には、デジタル画像チャネルp(x,y)の標本値を（規則的な間隔で）選択するステップと、これらの標本値がもとの画像チャネルを構成すると提案するステップを有する。次いで補間のさまざまな方法が、標本値から「高解像度」画像を再構成するために利用されうる。この補間されたバージョンが、相関のために前記デジタル画像チャネルと比較されてもよい。高い相関は、補間方法および因子が正しく決定されたことを指示する。この代替方法は直観的には望ましい結果を与えるものの、任意の非整数補間因子の検出は困難であろう。

第二の補間検出器は、第二の圧縮アーチファクトの効果を打ち消す特徴を含むということを除いて、第一の補間検出器と同じ仕方で動作できる。第二の補間検出器が概略的には図８〜図１１との関係で上記した仕方で動作することを必要とすることが現在のところ好ましい。その場合、第二のアーチファクトの打ち消しは、画像から抽出される信号を修正して画像の以前の圧縮に関係した周期性を取り除くことによって実行できる。次いで修正された信号は補間の証拠を求めて調べられる。ある個別的な実施形態では、第二の補間検出器の補間の評価は次のステップをもつ：画像から一次元周期性信号を発生させる；前記周期性信号の離散フーリエ変換（DFT信号）を計算する；DFT信号から第二のアーチファクトに対応するピークを除外する；修正されたDFT信号を評価して、以前に検出されたブロッキング・アーチファクトによって証拠付けられる圧縮の型に関連付けられた第一の組のピークの存在を調べる。

たとえば、8×8符号化ブロックでのJPEG圧縮が画像に適用されるとき、図３に示される結果的なDFT[mddp(k)]信号は、画像に何の補間も適用されていないときでも、スペクトルの1/8、1/4、3/8、5/8、3/4および7/8のところにピークをもつ。したがって、これらの余剰ピークを検出ことによって起こりうる偽検出の問題を回避するために、特化された補間検出器１２４がまず、信号mddp(k)の長さが2の累乗であり、8で割り切れ、よってピークのエネルギーがDFT[]信号における単一の点に集中されることを保証する。次いで、DFT[mddp(k)]の値がスペクトルの位置1/8、1/4、3/8、5/8、3/4および7/8のにおいて0に設定される。これは、画像圧縮に関連付けられたピークが無視される一方で、実際の補間に関連付けられたピークが検出されることを許容する。しかしながら、8、4、8/3、8/5、4/3および8/7の補間レートの検出がより困難にされる。図４は、因子2.8によって補間された画像に関連付けられ、次いでJPEG圧縮にかけられた例示的なDFT[mddp(k)]を示している。JPEG圧縮に関連付けられたピークを無視することによって、補間に関連付けられたピーク（矢印によって示される）が正しく識別される。

JPEG符号化ブロックが8×8でない、たとえば16×16であるというそれほど一般的でない場合、そのような情報を圧縮検出器１１０によって得て、特化された補間検出器１２４に渡すことができる。この例では、結果として得られるDFT[mddp(k)]信号はスペクトルの1/16、1/8、3/16、1/4、5/16、3/8、7/16、9/16、5/8、11/16、3/4、13/16、7/18および15/16のところにピークをもつことになる。

先に論じたように、本方法において、真正または非偽造画像と偽造画像の間の分類が提供できる。他の分類も提供できる。分類は、種々のパラメータの組の間の選択をするために使われることができる。たとえば、先鋭化アルゴリズムは、入力画像が非補間である場合にはあるパラメータの組を、入力画像が補間されている場合には第二の組のパラメータを要求することがありうる。分類は画像に関連付けられるべきメタデータを決定することができる。たとえば、デジタル画像チャネルp(x,y)が因子4によって補間されている場合、この履歴情報はデジタル画像チャネルに関連付けられたメタデータにアペンドされてもよい。メタデータは、必ずではないが、デジタル画像チャネル・データと同じファイル内に記憶されることができる。

図１２は、分岐ステップをもつ画像処理チェーンを示している。ここで、二つの分枝の一つの画像変換手順４２または４４への画像処理経路の選択（４０）は、それぞれの補間検出器の出力に基づく。たとえば、多くのウェブ写真仕上げサイトは、消費者が150dpi未満の解像度で写真のプリントを要求するとき、解像度の警告を含む。知識のない消費者は、画像処理ソフトウェアを使って画像を補間し、画像解像度を上げることによってこの警告を回避しようと試み、「解像度警告」を引き起こす問題が解決されたと信じることがありうる。本発明の方法は、画像が補間されたかどうかを認識し、システムが消費者に解像度警告を発することを許容する。さらに、本発明の方法は、補間はデジタル画像チャネル中のピクセル数を増すものの一般に新しい情報を導入するものではないと説明するために消費者を教育するシステムを許容する。

補間された画像を検出する本発明の方法のもう一つの応用が図１３に示されている。先述したように、画像補間は普通、双三次（bicubic）および双線形（bilinear）補間によって実行される。しかしながら、改良された画像補間を提供するとうたう膨大な数のアルゴリズムが存在している。たとえば、しばしば、双三次または双線形補間のいずれかを使うとき、整数因子Nによる補間が、画像p(x,y)においてデジタル画像チャネルm(x,y)の各標本値の値を保存する。よって、その方法は、画像p(x,y)が補間された画像である時を指示するために使うことができる。そうである場合、Nが整数のときは、もとのデジタル画像チャネルm(x,y)はしばしば厳密に回復されうる。これは、画像サンプリング器４６を用いてN_estによって指示される割合で画像p(x,y)をサンプリングすることによって達成される。低解像度版p(x,y)は次いで、以前に使われたよりもより高度な画像補間アルゴリズムを使って画像補間器４８を用いてp(x,y)の画像大きさまで補間されてもよい。

先述したように、デジタル画像はより大きな画像の関心領域であることができる。関心領域は、関心領域選択器を使って自動的に、あるいは操作者によって手動で決定できる。関心領域選択器は代替的または追加的に、一つまたは複数の関心領域を選択してグラフィカル・ユーザー・インターフェース上でユーザーに呈示することができる。するとユーザーは呈示された領域のうちから選択をするか画像全体を選択することができる。領域のユーザーへの呈示の仕方は重要ではない。たとえば、領域は可視的に輪郭を示されることができる。

関心領域選択器は画像全体に対して動作でき、あるいはさまざまな大きさのスキャン窓がデジタル画像を横断してスライドして関心領域を自動的に見出すことができる。さまざまな関心領域選択器が使用できる。たとえば：顔検出器、メイン対象検出器、肌領域検出器、空〔_そら〕検出器、他のオブジェクト（自動車、歩道、草、建物など）検出器またはこれらの検出器の組み合わせなどである。

関心領域選択器は、一つまたは複数の関心領域および任意的に一つまたは複数の比較領域の両方を選択する。比較領域はより関心の低いものであってもなくてもよいし、あるいは画像の背景にあってもよい。偽造を検出する使用では、比較領域が背景である、あるいは関心領域よりも補間されたものである可能性が低い手動で選択された領域であることが好ましいときがある。これは一般に、画像の背景の一部である。いくつかの使用では、二つ以上の選択された関心領域からの補間結果を比較することが便利である。すべてまたは諸画像の補間評価ののち、補間結果は個別にもしくは一緒にまたはその両方で解析される。解析では、ある関心領域についての補間結果は比較領域についての補間結果と比較され、結果に差があるかどうかを判別することができる。同じ大きな画像からの二つの異なる「画像指標（image indicates）」についての同じ補間検出器の応答の差は、二つ以上のソースからの画像合成の存在の証拠である。

図６〜図７を参照すると、ある個別的な実施形態で、関心領域を見出すために顔検出が使われている。偽造された画像はしばしば人間の顔を含む。幅広い多様な顔検出技術が知られている（Ming-Hsuan Yang, David Kriegman, and Narendra Ahuja, "Detecting Faces in Images: A Survey", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 24, no.1, pp. 34-58, 2000参照）。使用される個別的な顔検出技術は重要ではない。

図６は、第一の顔３３０および第二の顔３３４を含む例示的なデジタル画像３１０を示している。図７は、二つの顔に関連付けられた二つの関心領域および比較領域３４２をもつ画像を示しており、画像３１０が追加的なソース画像からの内容から合成された偽造であるかどうかを判別するために適切なものである。領域は長方形として図示されているが、当業者は、任意の形を含む他の形を使うことができることを認識するであろう。デジタル画像３１０は過去の圧縮について検査され、次いで異なる領域において前記二つの補間検出器の一つを使って補間が評価され、その結果、各領域についての補間の推定が得られる。先述したように、補間検出器は画像が別のサンプリング格子を用いて再サンプリングされたかどうかを判別する。たとえば、領域３４０が補間されていると見出されたが、領域３４１および３４２は非補間であると判別された場合、画像は偽造と分類される。さらに、偽造された領域が領域３４０として識別される。しかしながら、もし（たとえば10度の回転によって）三つすべての領域が補間されていると見出される場合、画像は偽造とは分類されない。というのも、そのような状況は、新しいコンテンツの追加なしでも、画像全体にわたる再サンプリング格子の一貫した適用によって説明できるからである。

本発明はデジタル・ビデオに適用可能である。デジタル・ビデオは、すばやい継続で、たとえば1/30秒ごとに1画像のフレーム・レートで取り込まれた個々のフレームのシーケンスである。本方法はビデオ・シーケンス中の各フレームに対して実行できる。フレームの一部分について補間が検出される場合、ビデオは合成または偽造されたものである。さらに、オブジェクトはビデオにおいて徐々に動く傾向がある。場面中の同じオブジェクトまたは領域について複数フレームの期間にわたって補間が検出される場合、それは合成または偽造のより強い指標である。

本発明はある種の好ましい実施形態を特に参照して詳細に記載してきたが、本発明の精神および範囲内で変形および修正が実施できることは理解されるであろう。

本方法の実施形態のフローチャートである。システムの実施形態の図式的な図である。図１の方法の特徴に対応する論理構成要素のみが示されている。補間を検出するための図２の補間検出器によって使用される信号のプロットである。この信号は、JPEGによって圧縮されているが補間されていない画像についてである。補間を検出するための図２の補間検出器によって使用される信号のプロットである。この信号は、JPEGによって圧縮され、因子2.8によって補間されている画像についてである。図２の圧縮検出器によって使用される手順のフローチャートである。二つの顔の画像を含む、例示的なデジタル画像の半図式的な図である。図６と同じ図で、関心のある領域を枠で示した図である。従来技術の補間検出方法の概観を示すブロック図である。図８に示された信号発生器の代替を示すブロック図である。図８に示された信号発生器の代替を示すブロック図である。図８の補間判別器のブロック図である。いくつかの分枝をもち、図８の補間検出方法の出力を利用する画像処理チェーンのブロック図である。図８に示される補間検出方法の出力からのもとのデジタル画像信号の回復を含む、別の画像処理チェーンのブロック図である。図１のシステムの物理的な構成要素を示す半図式的な図である。

符号の説明

４補間検出器
１０信号発生器
１６ DFT計算機
２２補間判別器
４０ 1D差分器
４６ピーク検出器
５２閾値適用器
５８統計計算機
７０画像サンプリング器
７６画像補間器
１１０デジタル画像
１１４関心領域選択器
１２０圧縮検出器
１２４特化した補間検出器
１２６結果解析器
１２８偽造分類
１３０第一の顔
１３４第二の顔
１４０関心領域を示す画像
１４２第一の顔に関連付けられた領域
１４４第二の顔に関連付けられた領域
１４６背景領域
１１１０列差分画像を形成
１１１２列差分アレイを生成
１１１４ブロック平均された列差分アレイを生成
１１１６列ピーク値を位置特定
１１１８列平均値を計算
１１２０列比を計算
１１２２その画像成分についてブロッキング・アーチファクトの程度の指標を計算
１１１０′ 行差分画像を形成
１１１２′ 行差分アレイを生成
１１１４′ ブロック平均された行差分アレイを生成
１１１６′ 行ピーク値を位置特定
１１１８′ 行平均値を計算
１１２０′ 行比を計算

Claims

デジタル画像の補間を検出する方法であって：
非圧縮デジタル画像において、所定の圧縮アルゴリズムを用いた前記デジタル画像の以前の圧縮に特徴的な第一のブロッキング・アーチファクトを検出する段階と；
前記画像において補間マーカーを評価して補間結果を与える段階と；
前記評価の間に、周波数領域において前記圧縮アルゴリズムの第二のアーチファクトを打ち消す段階であって、前記第二のアーチファクトは前記デジタル画像の前記以前の圧縮に特徴的な周期性アーチファクトである、段階と；
前記補間結果に応じて前記画像を、補間されているまたは補間されていないものとして分類する段階とを有する、
方法。
デジタル画像合成を検出する方法であって：
非圧縮デジタル画像を提供する段階と；
前記非圧縮デジタル画像において、所定の圧縮アルゴリズムを用いた前記デジタル画像の以前の圧縮に特徴的な第一のブロッキング・アーチファクトの存在を検出する段階と；
前記画像の二つ以上の異なる領域において補間マーカーを評価して前記領域のそれぞれの補間結果を与える段階と；
前記デジタル画像中に前記第一のアーチファクトが存在するとき、前記評価の間に、周波数領域において前記圧縮アルゴリズムの第二のアーチファクトを打ち消す段階であって、前記第二のアーチファクトは前記デジタル画像の前記以前の圧縮に特徴的な周期性アーチファクトである、段階と；
前記補間結果に応じて前記画像を分類する段階であって、前記画像の前記二つ以上の領域の間で前記補間結果が異なる場合に前記画像は合成の結果であると分類される段階とを有する、
方法。