JP6105950B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、撮影画像の改竄位置を検知する画像処理に関する。

コンパクトディジタルカメラや一眼レフディジタルカメラなどで撮影された画像の改竄を検知する技術が提案されている（例えば、非特許文献1、2）。これら技術は、電子透かしなどの付加的な情報を撮影画像に埋め込むことなく、撮影画像に元来含まれるパターンの解析や領域ごとの特徴量を比較して改竄を検知する。電子透かしなどの付加的な情報を埋め込まないため、付加的な情報の埋め込みによる撮影画像の画質劣化や処理時間の増加を生じることなく改竄を検知可能な利点がある。

非特許文献1は、CMOSセンサや電荷結合素子(CCD)など、カメラのイメージセンサがもつカラーフィルタアレイ(CFA)パターンを撮影画像から推定、解析して、改竄の検知に利用する。CFAは例えばRGBカラーフィルタ配列であり、センサの各セル（画像における画素に対応する単位）のRGB受光パターンを示す。市場に流通する多くのイメージセンサは、コストダウンのために、各セルがRGBの何れか一つの色情報を取得する構成を有する。イメージセンサは、効率的に色情報を取得するためにベイヤ配列などに代表されるCFAを用い、入射光から色情報を取得する。CFAは、例えば2×2セルの正方形の配列を単位として、イメージセンサ上に規則的かつ周期的に配置される。

イメージセンサによって生成される画像（以下、RAW画像）の各画素はRGBの何れか一つの色情報しかもたない。各画素がRGBすべての色情報を有するフルカラー画像を生成するには、RAW画像をデモザイキング処理する必要がある。デモザイキング処理は、各画素について不足する色情報を周囲の画素から例えばバイリニア補間などの線形補間を用い補間する。

例えば、別の画像の領域を改竄対象の画像にコピー（以下、別画像コピー）すると、改竄位置に別の画像のCFAパターンが混じる。その結果、改竄画像の改竄位置において周期的なCFAパターンが崩れる。非特許文献1の技術は、フルカラー画像からイメージセンサのCFAパターンを推定して、CFAパターンの周期性が破れた位置を検知することで改竄の検知を実現する。

また、改竄対象の画像の部分領域を当該画像の他の領域にコピー（以下、同一画像コピー）する改竄もある。同一画像コピーによれば、コピー元の部分領域の特徴量とコピー先の部分領域の特徴量が一致する。非特許文献2の技術は、撮影画像の部分領域（例えば32×32画素領域）ごとに主成分分析により特徴量を抽出して、同一画像内において特徴量が一致する領域ペア（コピーペア）を検知することで改竄の検知を実現する。

非特許文献1の技術は、別画像コピーによる改竄の検知は可能だが、CFAパターンが崩れ難い同一画像コピーによる改竄は検知が難しい。一方、非特許文献2の技術は、同一画像コピーによる改竄の検知は可能だが、領域ごとの特徴量の一致が生じない別画像コピーによる改竄は検知することができない。従って、同一画像コピーによる改竄と別画像コピーによる改竄の両方を検知するには、CFAパターンと部分領域の特徴量の組み合わせが有効である。

CFAパターンを用いる場合、撮影画像を例えば64×64画素のような比較的大きなブロックに分割し、ブロックごとにCFAパターンを推定し、改竄の検知を行う。そのため、改竄を検知したとしても改竄領域の形状までは検出することができず、大まかな改竄位置が分かる程度である。一方、小さな部分領域の特徴量を用いれば改竄領域の形状も検出可能である。

しかし、例えば、32×32画素の部分領域の特徴量を用いる処理は、64×64画素のブロックのCFAパターンを用いる処理に比べて約100倍の処理時間を必要とする。つまり、CFAパターンと部分領域の特徴量を組み合わせた改竄検知は、部分領域の特徴量を用いる処理時間に強く依存し、長時間を必要とする。

Ahmet Emir Dirik、Nasir Memon「IMAGE TAMPER DETECTION BASED ON DEMOSAICING ARTIFACTS」ICIP 2009、1497-1500頁 Align C. Popescu、Hany Farid「Exposing Digital Forgeries by Detecting Duplicated Image Regions」TR2004-515、Dartmouth College、Computer Science

本発明は、画像データの改竄を効率よく検知することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、第一の単位領域ごとに、撮影画像データからカラーフィルタアレイのパターンを抽出し、前記パターンの周期性の破れから、前記撮影画像データとは異なる画像データから前記撮影画像データへのコピーが行われた第一の改竄領域を検出し、前記第一の単位領域と大きさが異なる第二の単位領域ごとに、前記撮影画像データの特徴量を抽出し、前記第二の単位領域ごとの特徴量を互いに比較して、前記撮影画像データから前記撮影画像データへのコピーが行われた第二の改竄領域を検出し、前記撮影画像データにおける改竄検知結果として、前記第一の改竄領域に関する情報および前記第二の改竄領域に関する情報を出力し、前記第一の改竄領域を除いた前記撮影画像データについて前記第二の改竄領域の検出を行う。

本発明によれば、画像データの改竄を効率よく検知することができる。

実施例の画像処理装置の構成例を示すブロック図。 画像処理装置の機能構成例を説明するブロック図。 コピーペアの検知を説明する図。 CFAの一例を示す図。 撮影時のディジタルカメラの処理を説明するフローチャート。 別画像コピーの検知を説明する図。 別画像コピー領域として検知された領域（改竄検知領域）を変形する方法を説明する図。 改竄検知処理を説明するフローチャート。 改竄検知領域を縮小する例を説明する図。 実施例2の改竄検知領域の変形処理を説明する図。 実施例2の改竄検知処理を説明するフローチャート。 実施例3の画像処理装置の機能構成例を説明するブロック図。 実施例3の改竄検知処理を説明するフローチャート。 実施例4の画像処理装置の機能構成例を説明するブロック図。 実施例4の改竄検知処理を説明するフローチャート。 実施例4における別の改竄検知処理を説明するフローチャート。 改竄検知領域の拡大処理を説明するフローチャート。 改竄検知領域の拡大処理を説明するフローチャート。 改竄検知領域の縮小処理を説明するフローチャート。 改竄検知領域の縮小処理を説明するフローチャート。 改竄検知領域の拡大/縮小処理を改竄マップの値に応じて切り替える処理を説明するフローチャート。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1のブロック図により実施例の画像処理装置100の構成例を示す。

マイクロプロセッサ(CPU)101は、メモリ103をワークメモリとして、メモリ103やハードディスクドライブ(HDD)107に記憶されたプログラムを実行し、画像処理装置100の動作全般または一部を制御する。なお、メモリ103にはRAMやROMなどが含まれる。ビデオコントローラ(VC)102は、CPU101の指示に従い、画像や文字などから構成される画面をモニタ110に表示するための制御を行う。

メモリコントローラハブ(MCH)104は、リンク111〜114を介して、CPU101、ビデオコントローラ(VC)102、メモリ103および入出力コントローラハブ(ICH)105の間のデータ転送を制御する所謂「ノースブリッジ」である。ICH105は、リンク115〜117を介して、ネットワークインタフェイスカード(NIC)106、HDD107、および、外部接続ポート108の間のデータ転送を制御する所謂「サウスブリッジ」である。なお、リンク111〜117は、例えばPCIやPCIエクスプレスなどのパラレルバス、SATAやUSBなどのシリアルバスである。

NIC106は、有線や無線のネットワーク120に接続するための通信インタフェイスである。HDD107は、CPU101が実行するOSや各種プログラム、各種データなどを格納する。外部接続ポート108は、外部機器を画像処理装置100に接続するための例えばUSB、IEEE1394などのシリアルバスのポートである。外部接続ポート108に入力装置109を接続することで、画像処理装置100は、入力装置109からデータを取得することができる。なお、入力装置109は、外部接続ポート108を介して、画像処理装置100にデータを入力する機器であり、例えばキーボード、マウスなどのポインティングデバイス、ディジタルカメラなどの撮像装置や画像入力装置である。また、外部接続ポート108としてHDMI（登録商標）ポートを用意すれば、モニタ110を外部接続ポート108に接続することができる。

なお、画像処理装置100は、後述する処理を実行するプログラムを例えばパーソナルコンピュータに供給することで実現することができる。

［機能構成］
図2のブロック図により画像処理装置100の機能構成例を説明する。この機能構成は、CPU101が実施例の画像処理プログラムを実行することで実現される。

画像入力部201は、外部接続ポート108を介して入力装置109から画像データを入力し、入力画像データをメモリ103やHDD107などの所定領域に格納する。入力画像データは、ディジタルカメラが撮影した画像を表す画像データであり、そのデータフォーマットは例えばJPEG、TIFF、または、RAWである。

●同一画像コピーの検知
特徴量抽出部202は、入力画像データが表す画像の第一の単位領域ごとに特徴量を抽出する。第一の単位領域はX×X画素の正方領域で、例えばX=4の場合は4×4画素、X=8の場合は8×8画素になり、特徴量は例えば主成分分析を利用して抽出する。例えば、入力画像データが表す画像が512×512画素、第一の単位領域を4×4画素とすると、合計128ブロック分の特徴量を抽出することになる。

特徴量の抽出に際して、第一の単位領域が互いに重畳しないように画像を分割してもよいが、第一の単位領域を例えば一画素ずつ横または縦に移動するように画像を分割してもよい。画像が512×512画素、第一の単位領域が4×4画素として、第一の単位領域を横に一画素ずつ計512-4+1回移動し、縦にも一画素ずつ計512-4+1回移動すると、合計509×509ブロック分の特徴量を抽出することになる。このとき、第一の単位領域が大きいほど特徴量抽出に要する処理時間が増加し、その結果、全ブロック分の特徴量抽出に要する時間が大きく増加する。従って、第一の単位領域は小さい方が望ましく、例えば4×4画素となる。

第一の検知部である同一画像コピー検知部203は、特徴量抽出部202が抽出した特徴量を用いて、入力画像データに含まれる同一画像コピーされた領域ペア（コピーペア）を検知する。図3によりコピーペアの検知を説明する。つまり、入力画像データ900の第一の単位領域に相当する注目ブロック901の特徴量と、他のブロック（比較ブロック）902の特徴量を比較する。そして、両者の特徴量が一致（または、それらの差分が所定の閾値以下）場合、注目ブロック901と比較ブロック902をコピーペアと判定する。同一画像コピー検知部203は、検知結果として、コピーペアのブロックの左上の画素座標と第一の単位領域のサイズをメモリ103などの所定領域に格納する。

なお、コピー元のブロック群を「コピー元領域」、コピー先のブロック群を「コピー先領域」、コピー元領域とコピー先領域を併せて「同一画像コピー領域（第一の改竄領域）」と呼ぶ場合がある。

●別画像コピーの検知
図4によりCFAの一例を示す。図4(A)から図4(D)はベイヤ配列を示し、図4(E)はベイヤ配列の二つのグリーンGの一方にエメラルドグリーンEを配置したカラーフィルタアレイ(CFA)である。CFAは、例えば図4(F)に示すように、イメージセンサ上に規則的に配置される。

図5のフローチャートにより撮影時のディジタルカメラの処理を説明する。撮像によって被写体の光学像は光電変換されディジタル信号に変換され(S1101)、ディジタル信号はRAW画像データとして取得される(S1102)。RAW画像データの色情報はイメージセンサのCFAパターンに依存し、図4(A)に示すCFAの場合、RAW画像データの各画素の色情報は図4(F)に示すようになる。

RAW画像データの各画素は、上述したように、一つの色情報しかもたないため、各画素にRGBの色情報をもたせる必要がある（フルカラー化）。そこで、各画素にRGBの色情報を与えるために、不足する色成分を周囲の画素から補間する(S1103)。例えば、図4(G)に示す注目画素1001はR成分だけをもつので、不足するB成分を周囲の四画素Bから補間し、不足するG成分を周囲の四画素Gから補間する。この補間処理を含む現像処理を行うことで、RAW画像データからフルカラー画像データを取得する(S1104)。このような色成分の補間処理は「デモザイキング」と呼ばれる。

第二の検知部である別画像コピー検知部204は、入力画像データから撮影に使用されたディジタルカメラのCFAパターンを推定し改竄を検知する。なお、入力画像データがRAW画像データの場合、各画素がもつ色情報のパターンがそのままCFAパターンである。一方、入力画像データがフルカラー画像データの場合、各画素がすべての色成分をもつため、CFAパターンを推定する必要がある。

CFAパターンの推定は、第二の単位領域ごとに行う。第二の単位領域はY×Y画素の正方領域であり、かつ、第一の単位領域のサイズ＜第二の単位領域のサイズとなる領域である。例えば、第一の単位領域を4×4画素とした場合、第二の単位領域はY=64の64×64画素とすることができる。第二の単位領域が小さいと、CFAパターンを誤推定する虞があり、第二の単位領域は大きい方が望ましい。

第二の単位領域ごとに、フルカラー画像データのCFAパターンが図4(A)から図4(D)に示す四つのベイヤ配列の何れに相当するかを推定する。この推定は、第二の単位領域ごとに、四つのベイヤ配列に従いフルカラー画像にバイリニア補間などの簡単な線形補間を施す（以下、再デモザイキング）。そして、再デモザイキング後の四つの画像データと元のフルカラー画像データの間のG成分の最小二乗誤差を計算し、最小二乗誤差が最小の画像データの再デモザイキングに用いたベイヤ配列を、注目する第二の単位領域のCFAパターンとする。

図6により別画像コピーの検知を説明する。例えば、図6(C)に示す画像データ内の注目領域（第二の単位領域）2001を図4(A)から図4(D)に示す四つのベイヤ配列で再デモザイキングして四つの画像データを生成する。生成した画像データとの間でG成分の最小二乗誤差が最小の画像データが、図4(A)に示すベイヤ配列を用いて再デモザイキングした画像データであれば、注目領域2001のCFAパターンは図4(A)であると推定される。

図6(D)に示すように、再デモザイキングを用いたCFAパターンの推定を全ての第二の単位領域に対して行い、第二の単位領域全てのCFAパターン2003を推定する。そして、推定したCFAパターンのうち最も数が多いCFAパターン（図6(D)の例では図4(A)のCFAパターン）をフルカラー画像データ全体のオリジナルCFAパターンとする。そして、オリジナルCFAパターンと異なるCFAパターン2004が推定された第二の単位領域2005を改竄位置として検知する。

つまり、図6(A)に示すようなCFAパターンをもつ入力画像データに別画像コピーによる改竄が施されている場合、その改竄位置では、別の画像データのCFAパターンが混入する。そのため、図6(B)に示すように、改竄位置1201に相当するブロック1202においてCFAパターンの規則性（周期性）の破れが検知される。別画像コピー検知部204は、このCFAパターンの規則性（周期性）が破れたブロック1202を改竄領域として検知する。なお、図6(A)から図6(D)においては、説明の簡単化のために、一つの第二の単位領域に対して一つのCFAパターンが配置されるように示すが、実際は、第二の単位領域内をタイルで敷き詰めるように、2×2画素のCFAパターンが配置される。

CFAパターンの周期性の破れの別の検知方法として、例えば、元のフルカラー画像データの各ブロックと、フルカラー画像全体から推定したCFAパターンに従って当該ブロックを再デモザイキングした結果の間のG成分の最小二乗誤差を利用する方法がある。つまり、最小二乗誤差が所定の閾値以上のブロックは、推定したCFAパターンと乖離したCFAパターンを有すると見做し、当該ブロックをパターンの周期性が破れたブロックと判定する。別画像コピー検知部204は、検知結果として、ブロックの左上の画素座標とブロックのサイズをメモリ103などの所定領域に格納する。

なお、別画像からコピーされたブロック群を「別画像コピー領域（第二の改竄領域）」と呼ぶ場合がある。

●改竄検知領域の変形
図7により別画像コピー領域として検知された領域（以下、改竄検知領域）を変形する方法を説明する。図7(A)に示す画像には改竄領域1301が含まれる。別画像コピー検知部204は、比較的大きな（例えば64×64画素）ブロック（第二の単位領域）単位にCFAパターンを推定し改竄領域の検知を行う。そのため、ブロック内に多くの改竄領域を含むブロック1302は改竄領域として検知される。他方、改竄領域1301の頂部の円領域や下部の逆三角形領域の面積はブロックの面積に比べて充分大きくないため、改竄領域として検知されない。

改竄領域は、通常、例えば人物画像のコピーや物品画像のコピーなど画素の集合として意味をもつオブジェクトを形成する。従って、改竄領域内は、隣接する画素の色情報やエッジなどが近似する一方、改竄領域と非改竄領域の境界に位置する隣接画素の間では色情報やエッジの連続性が弱まる傾向にある。例えば、図7(A)の改竄領域1301内の各画素の色情報は同一だが、改竄領域1301外は白色になり、色情報の連続性は境界を跨ぐことはない。このような特性を利用して、改竄検知領域の特徴量と近似する特徴量をもつ領域を改竄検知領域に追加することで、改竄検知領域を拡大する。

つまり、領域変形部205は、別画像コピー検知部204の改竄領域の検知結果と、特徴量抽出部202が抽出した特徴量を用いて、改竄検知領域を改竄領域の形状に合わせて拡大する。以下では、特徴量抽出部202が8×8画素の小ブロックごとに特徴量を抽出し、別画像コピー検知部204が64×64画素のブロックを用いて改竄領域を検知する場合を説明する。

領域変形部205は、ブロック1302の境界に位置する8×8画素の小ブロック1303の特徴量と、境界を跨いで小ブロック1303に隣接する8×8画素の小ブロック1304の特徴量を比較する（図7(B)）。そして、それら特徴量の差分が所定の閾値以下の場合、小ブロック1304を改竄検知領域に追加する。ブロック1302の境界に位置する小ブロックすべてについて比較を行うと、図7(C)に示すように、ブロック1302の境界に隣接する小ブロック群1305が改竄検知領域に追加される。

領域変形部205は、改竄検知領域に追加した小ブロック群1305の各小ブロックの特徴量と、各小ブロックに隣接する小ブロックの特徴量の比較を繰り返して、それら特徴量の差分が所定の閾値以下の場合、当該小ブロックを改竄検知領域に追加する。この処理を改竄検知領域に追加する小ブロックがなくなるまで繰り返して改竄検知領域を拡大する（図7(D)）。これにより、図7(D)に示すように、改竄領域1301の形状に、より合致する改竄検知領域を抽出することができる。領域変形部205は、検知結果として、改竄検知領域を構成する各ブロックの左上の画素座標と当該ブロックのサイズをメモリ103などの所定領域に格納する。

出力部206は、同一画像コピー検知部203の検知結果と、別画像コピー検知部204が検知し領域変形部205が変形した検知結果を出力する。検知結果は、入力画像データの改竄検知結果として例えばモニタ110に可視化表示される。この可視化は、例えば、入力画像データが表す画像に、改竄検知領域を構成するブロックを示す矩形枠や当該領域のアウトライン、同一画像コピーのコピー元とコピー先のブロックを示す矩形枠やコピー元とコピー先のアウトラインなどを重畳したものである。

［改竄検知処理］
図8のフローチャートにより改竄検知処理を説明する。

画像入力部201は撮影画像の画像データを入力し(S301)、特徴量抽出部202は入力画像データからブロックごとの特徴量を抽出する(S302)。同一画像コピー検知部203は、抽出された特徴量を用いて、入力画像データが表す画像に含まれるコピーペアの検知を行う(S303)。

また、別画像コピー検知部204は、CFAパターンを利用して、入力画像データが表す画像に含まれる改竄領域の検知を行う(S304)。領域変形部205は、別画像コピー検知部204が改竄領域を検出した場合、抽出された特徴量を用いて改竄検知領域を変形（この例では拡大）し(S305)、改竄領域の形状に、より合致する改竄検知領域にする。

そして、出力部206は、同一画像コピー検知部203の検知結果、および、別画像コピー検知部204が検知し領域変形部205が変形した検知結果を出力する(S306)。

図17Aおよび図17Bのフローチャートにより、改竄検知領域の変形（図8のS305）において改竄検知領域を拡大する場合の処理を詳細に説明する。

領域変形部205は、ステップS304で検知された改竄検知領域の境界に位置する第一の単位領域（以下、第一の小ブロック）を抽出し(S1701)、第一の小ブロックの特徴量を抽出する(S1702)。さらに、抽出した第一の小ブロックに隣接する非改竄検知領域の第一の単位領域（以下、第二の小ブロック）を抽出し(S1703)、第二の小ブロックの特徴量を抽出する(S1704)。

次に、領域変形部205は、第一および第二の小ブロックから抽出した特徴量が近似しているか否かを判定する(S1705)。例えば、第一の小ブロックの特徴量と第二の小ブロックの特徴量の差が、所定の閾値以下の場合はそれら特徴量が近似していると判定し、当該閾値を超える場合はそれら特徴量が近似していないと判定する。そして、特徴量が近似していると判定した場合は当該第二の小ブロックを改竄検知領域に追加し(S1706)、特徴量が近似していないと判定した場合は改竄検知領域への追加を行わない。

次に、領域変形部205は、第一の小ブロックに隣接する非改竄検知領域の第二の小ブロックすべてについて上記の近似判定と判定結果に基づく追加処理を行ったか否かを判定する(S1707)。未処理の第二の小ブロックがあれば処理をステップS1703へ戻す。また、未処理の第二の小ブロックがないと判定すると、処理をステップS1708に進める。そして、拡大前の（言い換えれば、ステップS304で検知された）改竄検知領域の境界に位置する第一の小ブロックすべてについてステップS1701からS1707の処理を行ったか否かを判定する(S1708)。未処理の第一の小ブロックがあれば処理をステップS1701へ戻す。

ステップS1701からS1708の処理が終了すると、領域変形部205は、改竄検知領域に追加された小ブロック（以下、第三の小ブロック）を抽出し(S1711)、第三の小ブロックの特徴量を抽出する(S1712)。さらに、抽出した第三の小ブロックに隣接する非改竄検知領域の第一の単位領域（以下、第四の小ブロック）を抽出し(S1713)、第四の小ブロックの特徴量を抽出する(S1714)。

次に、領域変形部205は、第三および第四の小ブロックの特徴量についてステップS1705と同様の近似判定を行う(S1715)。特徴量が近似していると判定した場合は当該第四の小ブロックを改竄検知領域に追加し(S1716)、特徴量が近似していないと判定した場合は改竄検知領域への追加を行わない。

次に、領域変形部205は、第三の小ブロックに隣接する非改竄検知領域の第四の小ブロックすべてについて上記の近似判定と判定結果に基づく追加処理を行ったか否かを判定する(S1717)。未処理の第四の小ブロックがあれば処理をステップS1713へ戻し、未処理の第四の小ブロックがないと判定すると処理をステップS1718に進める。そして、改竄検知領域に追加された小ブロック（つまり、追加された第二および第四の小ブロック）すべてについてステップS1711からS1717の処理を行ったか否かを判定し(S1718)、未処理の小ブロックがあれば処理をステップS1711へ戻す。

このように、領域変形部205は、改竄検知領域に新たに追加する小ブロックがなくなるまでステップS1711からS1718の処理を繰り返す。

［改竄検知領域の縮小］
上記では、改竄検知領域を拡大する例を説明した。以下では、図9により改竄検知領域を縮小する例を説明する。

図9(A)に示すように、別画像コピー検知部204の閾値や入力画像データによって、改竄検知領域1402が改竄領域1401のすべてを覆うことがある。この場合、改竄検知領域1402を改竄領域1401の形状に、より合致させるには、改竄検知領域1402を縮小する必要がある。

領域変形部205は、改竄領域1401の形状に、より合致するように改竄検知領域1402を縮小する機能を有する。縮小には、拡大時と同様に、改竄領域1401内の隣接ブロック（例えば8×8画素のブロック）の特徴量は近似し、また、改竄領域1401外の隣接ブロックの特徴量も近似する特性を利用する。さらに、改竄領域1401と非改竄領域の境界を跨いで隣接するブロックの間の特徴量の近似性は低下する。

縮小は、拡大とは逆に、改竄検知領域1402の境界の外に位置する小ブロック1403の特徴量と、境界を跨いで小ブロック1403に隣接する小ブロック1404（改竄検知領域1402内の小ブロック）の特徴量を比較する（図9(B)）。そして、それら特徴量の差分が所定の閾値以下の場合、小ブロック1404を改竄検知領域1402から除外する。この除外処理を改竄検知領域1402の境界に位置する小ブロックすべてについて行うと、図9(C)に示すように、小ブロック群1405が改竄検知領域1402から除外され、改竄検知領域1402が縮小する。

さらに、小ブロック群1405に隣接する小ブロック（改竄検知領域1402のさらに内側の小ブロック）についての特徴量の比較に基づく上記処理を、除外する小ブロックがなくなるまで繰り返す。この繰り返しにより、図9(D)に示すように、改竄検知領域を縮小して、改竄検知領域1402を改竄領域1401の形状に、より合致させることができる。

改竄検知領域を縮小する場合の改竄検知処理は図8に示した処理と同様であるが、領域変形部205が、抽出された特徴量を用いて改竄検知領域を縮小（変形）し(S305)、改竄領域1401の形状に、より合致する改竄検知領域にする点で異なる。

図18Aおよび図18Bのフローチャートにより、改竄検知領域の変形（図8のS305）において改竄検知領域を縮小する場合の処理を詳細に説明する。

領域変形部205は、ステップS304で検知された改竄検知領域の境界に位置する第一の単位領域（以下、第一の小ブロック）を抽出し(S1801)、第一の小ブロックの特徴量を抽出する(S1802)。さらに、抽出した第一の小ブロックに隣接する非改竄検知領域の第一の単位領域（以下、第二の小ブロック）を抽出し(S1803)、第二の小ブロックの特徴量を抽出する(S1804)。

次に、領域変形部205は、第一および第二の小ブロックの特徴量についてステップS1705と同様の近似判定を行う(S1805)。特徴量が近似していると判定した場合は当該第一の小ブロックを改竄検知領域から除外し(S1806)、処理をステップS1808に進める。また、特徴量が近似していないと判定した場合は改竄検知領域からの除外を行わず、処理をステップS1807に進める。

ステップS1805で第一および第二の小ブロックの特徴量が近似していないと判定した場合、領域変形部205は、当該第一の小ブロックに隣接する非改竄検知領域の第二の小ブロックすべてについて上記の近似判定を行ったか否かを判定する(S1807)。未判定の第二の小ブロックがあれば処理をステップS1803へ戻す。

また、ステップS1806で第一の小ブロックを除外した場合、または、ステップS1807で近似判定が未了の第二の小ブロックがないと判定した場合、領域変形部205は次の判定を行う。つまり、縮小前の（言い換えれば、ステップS304で検知された）改竄検知領域の境界に位置する第一の小ブロックすべてについてステップS1801からS1807の処理を行ったか否かを判定する(S1808)。そして、未処理の第一の小ブロックがあれば処理をステップS1801へ戻す。

ステップS1801からS1808の処理が終了すると、領域変形部205は、改竄検知領域から除外した小ブロック（以下、第三のブロック）を抽出し(S1811)、第三の小ブロックの特徴量を抽出する(S1812)。さらに、抽出した第三の小ブロックに隣接する改竄検知領域の第一の単位領域（以下、第四の小ブロック）を抽出し(S1813)、第四の小ブロックの特徴量を抽出する(S1814)。

次に、領域変形部205は、第三および第四の小ブロックの特徴量についてステップS1705と同様の近似判定を行う(S1815)。特徴量が近似していると判定した場合は当該第四の小ブロックを改竄検知領域から除外し(S1816)、特徴量が近似していないと判定した場合は改竄検知領域からの除外を行わない。

次に、領域変形部205は、第三の小ブロックに隣接する改竄検知領域の第四の小ブロックすべてについて上記の近似判定と判定結果に基づく除外処理を行ったか否かを判定し(S1817)、未処理の第四の小ブロックがあれば処理をステップS1813へ戻す。また、未処理の第四の小ブロックがないと判定すると、処理をステップS1818に進める。そして、改竄検知領域から除外された小ブロック（つまり、除外された第一および第四の小ブロック）すべてについてステップS1811からS1817の処理を行ったか否かを判定する(S1818)。未処理の小ブロックがあれば処理をステップS1811へ戻す。

このように、領域変形部205は、改竄検知領域から除外する小ブロックがなくなるまでステップS1811からS1818の処理を繰り返す。

［出力部］
出力部206は、処理結果をまとめて出力する必要はなく、処理結果が出た順（通常、別画像コピーの検知結果、別画像コピーの改竄検知領域の変形結果、同一画像コピーの検知結果の順）に処理結果を出力すればよい。処理結果がモニタ110に可視化表示される場合、例えば、別画像コピーによる改竄の検知領域が表示され、改竄検知領域が変形され、同一画像コピーによる改竄の検知領域が表示される。

なお、出力部206は、別画像コピーが検知されなかった場合は別画像コピーによる改竄を検知しなかった旨を示す情報を出力し、同一画像コピーが検知されなかった場合は同一画像コピーによる改竄を検知しなかった旨を示す情報を出力する。

このように、別画像コピーの検知結果を短時間に出力し、同一画像コピーの検知結果を高精度に出力することができ、撮影画像データの改竄を効率よく、かつ、高精度に検知することができる。さらに、別画像コピーによる改竄の検知領域の変形処理により、別画像コピーの検知結果の精度を高めることができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

図10により実施例2の改竄検知領域の変形処理を説明する。つまり、図10(A)に示す改竄領域1502と非改竄領域1501の色情報が近い場合、実施例2では、非改竄領域1501の小ブロックを改竄検知領域に追加しないようにする。その際、CFAパターンを利用した改竄検知の際に取得することができる、画像データの各領域ごとの改竄の可能性に対応する値を示すマップ（以下、改竄マップ）を用いて、変形処理の対象領域を制限して、必要以上の領域拡大を抑制する。

別画像コピー検知部204は、実施例1と同様に別画像コピーの検知を行い、さらに改竄マップを生成する。改竄マップは、例えば、64×64画素のブロックによりCFAパターンを推測する場合、64×64画素のブロックごとの改竄の可能性を示す。改竄の可能性は、数値として表現され、例えば各ブロックごとのG成分の最小二乗誤差と閾値の比率として表現される。具体的には、あるブロックのG成分の最小二乗誤差が「90」、閾値が「100」の場合、当該ブロックの改竄の可能性を値90(=90÷100×100)で表現する。G成分の最小二乗誤差が上記閾値以上のブロックを改竄ブロックとして検知するため、上記数値が大きい程、改竄の可能性が高いことになる。

改竄画像1503に対して、例えば、図10(B)に示すような改竄マップ1504が得られる。なお、CFAパターンを利用する改竄検知における検知結果は、G成分の最小二乗誤差が上記閾値以上である改竄マップ1504上の数値が100以上のブロックのみを示す。その他のブロックは検知結果には示されないが、改竄マップ1504上の数値が高い程、改竄の可能性が高いブロックであることが示される。改竄マップは、検知結果とともにメモリ103の所定領域などに保存され、領域変形部205によって利用される。

領域変形部205は、改竄マップを用いて拡大領域を制限した上で、改竄検知領域を変形する。つまり、改竄マップにより、改竄の可能性が低いことが示されるブロックは拡大対象にしないことで、不必要な拡大を防ぐ。例えば、ブロックを改竄の可能性が低いに分類するための閾値を「50」とすると、図10(B)に示す改竄マップ1504の例では、改竄の可能性の値85、75、65、60、60を有する五つのブロックが拡大対象になる。それら以外のブロックは拡大対象にしない。

図11のフローチャートにより実施例2の改竄検知処理を説明する。なお、図8に示す実施例1の処理と略同様の処理には同一符号を付して、その詳細説明を省略する。

別画像コピー検知部204は、CFAパターンを利用して、入力画像データが表す画像に含まれる改竄領域の検知を行い、改竄マップを作成する(S311)。

別画像コピー検知部204が改竄領域を検出した場合、領域変形部205は、改竄マップを参照して、改竄検知領域の変形（この例では拡大）を適用するブロックを決定する(S312)。つまり、改竄の可能性の値が例えば閾値「50」を超えるブロックを変形を適用するブロックに決定する。

次に、領域変形部205は、変形を適用するブロックがあるか否かを判定し(S313)、変形を適用するブロックがあれば、抽出された特徴量を用いて改竄検知領域を変形する(S305)。つまり、この例では、ステップS312で変形を適用すると決定されたブロックに、図17Aおよび図17Bに示す改竄検知領域の拡大処理が実施される。

また、領域変形部205は、ステップS313において、変形を適用するブロックがないと判定した場合は改竄検知領域の変形(S305)を実行しない。

［改竄検知領域の縮小］
上記では、改竄検知領域を拡大する例を説明した。以下では、改竄検知領域を縮小する例を説明する。

上述したように、領域変形部205は、改竄領域1401の形状に、より合致するように改竄検知領域1402を縮小する機能を有する。その際、改竄マップを参照して、変形処理の対象領域を制限して、必要以上の領域縮小を抑制する。

前述したように、改竄マップは、各ブロックの改竄の可能性を数値化したものである。検知結果から非改竄領域を除外することが縮小処理の目的であり、改竄マップの数値が小さいブロック、つまり、改竄の可能性が低いブロックほど改竄検知領域から除外する必要がある。

図10(C)は改竄マップの一例を示し、数値が100以上のブロックが改竄検知領域に相当する。領域変形部205は、改竄マップに含まれる最大の数値（図10(C)の例では150）によって、各ブロックの数値を正規化した改竄マップ（図10(D)）を作成する。そして、正規化値が所定の閾値以下のブロックを対象に縮小処理を行う。言い替えれば、縮小処理の対象を正規化値が所定の閾値以下のブロックに制限する。

さらに、所定の閾値を例えば「70」とする場合、改竄検知領域の面積100%に対して、縮小する面積を100-70=30%に制限する。つまり、図10(D)の例においては、正規化値が「67」、「69」、「70」のブロックの順に改竄検知領域の面積が制限（この例では70%）に減少するまで縮小処理を行う。

この処理により、改竄の可能性が高いブロックから小ブロックが除外される率は低く、改竄の可能性が低いブロックから小ブロックが除外される率が高くなる。その結果、改竄の可能性が高いブロックにも拘らず、当該ブロックから小ブロックが除外される可能性を低減することができる。

改竄検知領域を縮小する場合の改竄検知処理は図11に示した処理と略同様であるが、次の点で異なる。つまり、領域変形部205は、改竄マップを参照して、改竄検知領域の縮小（変形）を適用するブロックを決定し(S312)、縮小を適用するブロックがある場合(S313)、抽出された特徴量を用いて改竄検知領域を縮小（変形）(S305)する。つまり、この例では、ステップS312で縮小を適用すると決定されたブロックに、図18Aおよび図18Bに示す改竄検知領域の縮小処理が実施される。

また、領域変形部205は、ステップS313において、縮小を適用するブロックがないと判定した場合は改竄検知領域の変形(S305)を実行しない。

［変形例］
実施例1、2では、別画像コピーと同一画像コピーの両方を検知するために、CFAパターンを利用した別画像コピーの検知と、特徴量を利用した同一画像コピーの検知を組み合わせる例を説明した。しかし、CFAパターンを利用した検知のみを利用してもよい。この場合、同一画像コピー検知部203の処理は行われず、別画像コピー検知部204の処理、および、領域変形部205による特徴量抽出部202が抽出した特徴量を用いる改竄検知領域の拡大または縮小が行われる。

また、図8、図11には、同一画像コピーの検知の後、別画像コピーの検知を行う例を示したが、その順番は、別画像コピーの検知の後、同一画像コピーの検知でもよい。

また、別画像コピーの検知結果を、領域変形部205による改竄検知領域の変形と統合した上で出力部206に送る例を説明したが、別画像コピー検知部204は、その検知結果を、直接、出力部206に送ってもよい。この場合、領域変形部205は、改竄検知領域に追加する領域の情報または改竄検知領域から除外する領域の情報を出力部206に送り、出力部206において、検知結果と追加または除外する領域を統合した結果を出力することになる。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1、2では、改竄検知領域を拡大または縮小することで、改竄領域の形状に、より合致する検知結果を取得する例を説明した。実施例3では、別画像コピーの検知と同一画像コピーの検知を組み合わせた際の改竄検知領域の二重のチェックを回避して、処理の高速化を図る。

別画像コピーの検知により検知した改竄検知領域は、別画像からのコピー領域であり、同一画像コピーの検知を行う必要がない。そこで、別画像コピーの検知により検知した改竄検知領域を除く領域について同一画像コピーの検知を行う。さらに、同一画像コピーの検知は長い処理時間を必要とするため、これを高速化することで、別画像コピーの検知と組み合わせた場合の全体の処理時間の高速化を図る。

［機能構成］
図12のブロック図により実施例3の画像処理装置100の機能構成例を説明する。この機能構成は、CPU101が実施例の画像処理プログラムを実行することで実現される。

図2に示す機能構成例と異なるのは改竄領域除去部501である。改竄領域除去部501は、別画像コピー検知部204が検知した改竄検知領域を入力画像データが表す画像から除去した画像データを生成する。生成された画像データはメモリ103の所定領域などに保存され、特徴量抽出部202の処理に用いられる。

当該画像データの生成方法は、例えば、入力画像データをブロック分割し、別画像コピー検知部204が検知した改竄検知領域に相当するブロックを除く。つまり、当該ブロックの画像データをレンジの最小値RGB=(0, 0, 0)や最大値（例えばRGB=(255, 255, 255)）にする。ただし、この方法は一例であり、入力画像データの改竄検知領域を特定して特徴量の抽出対象外にすることができれば、どのような方法でもよい。

［改竄検知処理］
図13のフローチャートにより実施例3の改竄検知処理を説明する。

画像入力部201は撮影画像の画像データを入力し(S601)、別画像コピー検知部204は、CFAパターンを利用して、入力画像データが表す画像に含まれる改竄領域の検知を行う(S602)。

次に、改竄領域除去部501は、別画像コピー検知部204が検知した改竄検知領域を入力画像データが表す画像から除去した画像データを生成する(S603)。特徴量抽出部202は改竄領域除去部501が出力する画像データからブロックごとの特徴量を抽出する(S604)。

同一画像コピー検知部203は、抽出された特徴量を用いて、改竄領域除去部501が出力する画像データが表す画像に含まれるコピーペアの検知を行う(S605)。出力部206は、同一画像コピー検知部203の検知結果、および、別画像コピー検知部204の検知結果を出力する(S606)。

［改竄マップの利用］
上記では、別画像コピー検知部204が検知した改竄検知領域のみを入力画像データが表す画像から除去する例を説明した。しかし、別画像コピー検知部204が検知した改竄検知領域には含まれないが、別画像コピーの可能性が高い領域も存在する。

そこで、改竄マップの値が所定の閾値以上のブロックを、別画像コピーの可能性が高いブロックと判定し、当該ブロックを入力画像データが表す画像から除去する。例えば、改竄領域除去部501が改竄マップの値が50以上のブロックを除外する場合、図10(B)の例においては値85、75、65、60、60の五つのブロックが除外される。

改竄マップを利用する場合の改竄検知処理は図13に示した処理と同様であるが、次の点で異なる。つまり、別画像コピー検知部204は、改竄検知領域を検知するとともに改竄マップを生成する(S602)。そして、改竄領域除去部501は、入力画像データが表す画像から改竄検知領域と改竄マップの値が閾値以上のブロックを除去した画像データを生成する(S603)。

以下、本発明にかかる実施例4の画像処理を説明する。なお、実施例3において、実施例1-3と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1の処理と実施例3の処理を組み合わせると、改竄領域の形状に、より合致する改竄検知領域を得るとともに、高速に改竄検知結果を得ることができる。

［機能構成］
図14のブロック図により実施例4の画像処理装置100の機能構成例を説明する。この機能構成は、CPU101が実施例の画像処理プログラムを実行することで実現される。図14において、改竄領域除去部701を除く他の機能構成は、実施例1-3で説明した機能と同等の機能を備える。

改竄領域除去部701は、別画像コピー検知部204が検知した改竄検知領域を入力画像データが表す画像から除去した画像データを生成する。その際、改竄検知領域の変形に必要な特徴量を抽出するためのブロックは除去しない。

実施例1において説明したように、拡大処理には、別画像コピー検知部204が検知した改竄検知領域の境界の内側の小ブロック1303（図7(B)参照）の特徴量を用いる。実施例3の改竄領域除去部501のように、同一画像コピーの検知に不要な領域をすべて除去すると小ブロック1303に相当する領域も除外される。そこで、実施例4の改竄領域除去除去部701は、改竄検知領域の境界の内側の小ブロック1303に相当する領域（以下、境界部）は除去せずに、図7(E)に示す斜線部1306を除去する。これにより、特徴量抽出部202は、境界部の特徴量を抽出して、領域変形部205における変形処理を可能にする。

なお、改竄検知領域を縮小する場合、除去せずに残した境界部を除外するまでしかできない。そこで、領域変形部205は、例えば境界部の小ブロック1303をすべて除去した場合、入力画像データから小ブロック1303に相当する領域よりもさらに内側の小ブロック群の特徴量を特徴量抽出部202に抽出させる、などの処理を行う。なお、内側の小ブロック群の特徴量の抽出回数の上限を指定可能にして、改竄検知領域の内側のどこまで縮小を繰り返すかを制限することができる。

［改竄検知処理］
図15のフローチャートにより実施例4の改竄検知処理を説明する。なお、図13に示す実施例3の処理と略同様の処理には同一符号を付して、その詳細説明を省略する。

改竄領域除去部701は、改竄検知領域の変形用に特徴量を抽出するブロック（図7(B)に示す小ブロック1303）を除き、入力画像データから改竄検知領域を除去する(S611)。そして、領域変形部205は、改竄検知領域を変形する(S612)。

［改竄マップの利用］
上記では、実施例1と実施例3の組み合わせを説明したが、実施例2と実施例3の組み合わせも可能である。つまり、改竄マップを利用して改竄検知領域の変形を制限することができる。

図16のフローチャートにより実施例4における別の改竄検知処理を説明する。なお、図15に示す処理と略同様の処理には同一符号を付して、その詳細説明を省略する。

別画像コピー検知部204は、CFAパターンを利用して、入力画像データが表す画像に含まれる改竄領域の検知を行い、改竄マップを作成する(S621)。そして、領域変形部205は、改竄マップを参照して、改竄検知領域の変形を適用するブロックを決定し(S622)、変形を適用するブロックがある場合(S623)、改竄検知領域を変形する(S612)。つまり、この例では、ステップS622で変形を適用すると決定されたブロックに改竄検知領域の変形処理が実施される。

［変形例］
実施例4において、改竄領域除去部701が改竄検知領域の変形に必要な小ブロック1303を除去しない例を説明した。しかし、小ブロック1303も除去した後、改竄検知領域の変形において、特徴量抽出部202にメモリ103などに保存した入力画像データから必要な領域の特徴量を抽出させてもよい。

●検知精度と処理速度
実施例4において、改竄領域の検知精度よりも処理速度の高速化を重視する場合は、領域変形部205での領域変形処理をスキップすることで、別画像コピー検知部204が検知した改竄検知領域を全て除去し、同一画像コピー検知を行うことができる。この場合、領域変形に必要な特徴量は抽出されず、別画像コピー検知部204が検知した改竄検知領域は変形（拡大または縮小）されない。例えば、別画像コピー検知部204が検知した領域が大きい場合、拡大/縮小に必要な特徴量を抽出するブロックも多くなり、処理時間が増大する。しかし、領域変形処理のスキップにより、領域除去だけが行われ、かつ、変形処理に必要な特徴量の抽出も不要になるため、処理を最大限に高速化することができる。

さらに、別画像コピー検知部204が検知した領域サイズが、所定サイズ以上の場合は領域領域変形処理をスキップし、所定サイズ未満の場合は領域変形処理を実行することで、動的に領域変形処理のスキップを制御することができる。これにより、改竄領域の検知精度と処理速度のバランスを効果的に制御することができる。

●CFAパターンの代用
実施例1-4においては、別画像コピーの検知にCFAパターンを利用する例を示した。しかし、例えばイメージセンサに固有のノイズを画像データから抽出して改竄検知処理を行う技術を別画像コピーの検知に利用することもできる。

●拡大/縮小処理の切替
実施例2、4において作成した改竄マップを用いることで、改竄検知領域の拡大/縮小処理を適切に切り替えることができる。図19のフローチャートを用いて、実施例2の処理に拡大/縮小処理の切替を適用した場合を具体的に説明する。なお、図11に示す実施例2の処理と略同様の処理には同一符号を付して、その詳細説明を省略する。

別画像コピー検知部204が改竄領域を検出し、改竄マップを作成すると(S311)、領域変形部205は、改竄検知領域に含まれる第二の単位領域（以下、第一のブロック）を一つ取得する(S1901)。そして、第一のブロックに対応する改竄マップの改竄の可能性を示す値Pを取得し(S1902)、値Pと閾値Th1の比較(S1903)、値Pと閾値Th2(＜Th1)の比較(S1904)を行う。

領域変形部205は、P≧Th1の場合は第一のブロックに対して改竄検知領域の拡大処理を実施し(S1905)、P＜Th1かつP≦Th2の場合は第一のブロックに対して改竄検知領域の縮小処理を実施する(S1906)。また、Th2＜P＜Th1の場合は第一のブロックに対する改竄検知領域の変形処理を実施しない（非変形）。なお、ステップS1905の拡大処理は図17Aおよび図17Bに相当し、ステップS1906の縮小処理は図18Aおよび図18Bに相当する。

領域変形部205は、ステップS1907において、上記の処理（S1901からS1906）を改竄検知領域に含まれる全ての第一のブロックに実施したと判定するまで上記の処理（S1901からS1906）を繰り返す。つまり、第一のブロック単位に、改竄の可能性に応じて拡大処理、縮小処理、または、非変形が切り替わる。従って、第一のブロックごとに、改竄の可能性に合わせて拡大処理、縮小処理、または、非変形に切り替わるため、改竄検知領域をより適切に変形することができる。

上記の切替は、実施例4の処理にも適用可能であることは明らかであり、上記の切替を実施例4の処理に適用する例の説明を省略する。

上記の切替方法は例示である。例えば、第一のブロックごとに拡大するか縮小するかの判定（S1902とS1904）を行わずに、第一のブロックすべてに対応する改竄マップの改竄の可能性を示す値を取得する。そして、取得した値の統計値（平均値や中央値）を算出し、統計値と閾値Th1、Th2の比較に基づき、第一のブロックすべてに拡大処理、縮小処理、または、非変形を実施する切替方法でもよい。

●同一画像コピーの検知
同一画像コピーを検知に第一の単位領域の特徴量を用いる例を説明したが、第一の単位領域内の各画素の画素値（例えば輝度やRGB成分値）を用いて、画素値が近似するか否かの判定により同一画像コピーを検知してもよい。また、同一画像コピーでもCFAパターンが崩れることがあり、その場合、別画像コピー検知部204により同一画像コピーによる改竄領域を検知することができる。

●入力画像データ
同一画像コピーの検知だけであれば、入力画像データは撮影画像に限らない。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 第一の単位領域ごとに、撮影画像データからカラーフィルタアレイのパターンを抽出し、前記パターンの周期性の破れから、前記撮影画像データとは異なる画像データから前記撮影画像データへのコピーが行われた第一の改竄領域を検出する第一の検知手段と、
   前記第一の単位領域と大きさが異なる第二の単位領域ごとに、前記撮影画像データの特徴量を抽出し、前記第二の単位領域ごとの特徴量を互いに比較して、前記撮影画像データから前記撮影画像データへのコピーが行われた第二の改竄領域を検出する第二の検知手段と、
   前記撮影画像データにおける改竄検知結果として、前記第一の改竄領域に関する情報および前記第二の改竄領域に関する情報を出力する出力手段とを有し、
   前記第二の検知手段は、前記第一の改竄領域を除いた前記撮影画像データについて前記第二の改竄領域の検出を行う画像処理装置。
2. さらに、前記撮影画像データから前記第一の改竄領域の画像データを除去した画像データを生成する除去手段を有し、
   前記第二の検知手段は、前記第二の単位領域ごとに、前記第一の改竄領域の画像データが除去された撮影画像データの特徴量を抽出して、前記第二の改竄領域を検出する請求項1に記載された画像処理装置。
3. 前記第一の単位領域のサイズは、前記第二の単位領域のサイズより大きい請求項1または請求項2に記載された画像処理装置。
4. さらに、互いに隣接する二つの前記第二の単位領域であって一方が前記第一の改竄領域内にあり他方が前記第一の改竄領域外にある二つの前記第二の単位領域の特徴量を用いて、前記第一の改竄領域を変形する変形手段を有し、
   前記出力手段は、前記変形された第一の改竄領域に関する情報を出力する請求項1から請求項3の何れか一項に記載された画像処理装置。
5. 第一の検知手段が、第一の単位領域 ごとに、撮影画像データからカラーフィルタアレイのパターンを抽出し、前記パターンの周期性の破れから、前記撮影画像データとは異なる画像データから前記撮影画像データへのコピーが行われた第一の改竄領域を検出し、
   第二の検知手段が、前記第一の単位領域と大きさが異なる第二の単位領域ごとに、前記撮影画像データの特徴量を抽出し、前記第二の単位領域ごとの特徴量を互いに比較して、前記撮影画像データから前記撮影画像データへのコピーが行われた第二の改竄領域を検出し、
   出力手段が、前記撮影画像データにおける改竄検知結果として、前記第一の改竄領域に関する情報および前記第二の改竄領域に関する情報を出力し、
   前記第二の検知手段は、前記第一の改竄領域を除いた前記撮影画像データについて前記第二の改竄領域の検出を行う画像処理方法。
6. さらに、除去手段が、前記撮影画像データから前記第一の改竄領域の画像データを除去した画像データを生成し、
   前記第二の検知手段は、前記第二の単位領域ごとに、前記第一の改竄領域の画像データが除去された撮影画像データの特徴量を抽出して、前記第二の改竄領域を検出する請求項5に記載された画像処理方法。
7. 前記第一の単位領域のサイズは、前記第二の単位領域のサイズより大きい請求項5または請求項6に記載された画像処理方法。
8. さらに、変形手段が、互いに隣接する二つの前記第二の単位領域であって一方が前記第一の改竄領域内にあり他方が前記第一の改竄領域外にある二つの前記第二の単位領域の特徴量を用いて、前記第一の改竄領域を変形し、
   前記出力手段は、前記変形された第一の改竄領域に関する情報を出力する請求項5から請求項7の何れか一項に記載された画像処理方法。
9. コンピュータを請求項1から請求項4の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。