JP6198486B2

JP6198486B2 - 画像処理装置およびその方法

Info

Publication number: JP6198486B2
Application number: JP2013139258A
Authority: JP
Inventors: 鮎太河津
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-08-29
Filing date: 2013-07-02
Publication date: 2017-09-20
Anticipated expiration: 2033-07-02
Also published as: US20140064627A1; JP2014063478A; US9798952B2

Description

本発明は、画像の改竄領域を検知する画像処理に関する。

コンパクトディジタルカメラや一眼レフディジタルカメラなどで撮影された画像の改竄1を検知する技術が提案されている（例えば、非特許文献1）。この技術は、電子透かしなどの付加的な情報を撮影画像に埋め込むことなく、撮影画像の部分領域ごとの特徴量を利用して改竄領域を検知して、情報の埋め込みによる画質劣化や処理時間の増加を抑制する。

撮影画像の改竄は、画像の部分領域を当該画像の他の領域にコピーする（以下、同一画像内コピー）ことによって行われることが多い。例えば、撮影画像に含まれる人物画像のコピーにより、撮影画像に含まれる群衆の数を増やして画像の見栄えをよくする改竄などである。

同一画像内コピーによる改竄は、コピー元の画像領域（以下、コピー元領域）の特徴量とコピー先の画像領域（以下、コピー先領域）の特徴量が一致または近似する。文献1の技術は、撮影画像の画像領域（例えば4×4画素領域）ごとに主成分分析7を用いて特徴量を取得し、同一画像内において特徴量が一致する領域ペア（以下、コピーペア）を改竄領域として検知する。

しかし、文献1の技術は、同一画像内コピーによる改竄領域の一部に平坦な画像領域が含まれると、当該平坦な画像領域を改竄領域として検知することができない。

平坦な画像領域は、領域内の画素値（例えばRGB成分値）がほぼ一様な海や空のような画像領域である。つまり、画素値がほぼ一様なため、平坦な画像領域から取得される特徴量はユニークな値にはならず、他の平坦な画像領域の特徴量と類似する値になり易い。その結果、平坦な画像領域では特徴量が近似するコピーペアを特定することができず、改竄領域であるにも関わらず未検知になる。

Alin C. Popescu、Hany Farid「Exposing Digital Forgeries by Detecting Duplicated Image Regions」TR2004-515、Dartmouth College、Computer Science

本発明は、同一画像内コピーによる改竄領域の検知精度の向上を目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。
入力画像データを複数画素のブロックに分割し、前記ブロックの特徴量を取得する取得手段と、前記特徴量が近似する二つのブロックのペアを検知して、前記入力画像データから前記ペアの一方のブロックが集合した第一の集合領域と、前記ペアの他方のブロックが集合した第二の集合領域を抽出する第一の検知手段と、前記第一の集合領域に隣接するブロックを前記第一の集合領域に追加し、前記第二の集合領域に隣接するブロックを前記第二の集合領域に追加する追加検知を行う第二の検知手段とを有する画像処理装置。

本発明によれば、同一画像内コピーによる改竄領域の検知精度を向上することができる。

実施例の画像処理装置の構成例を示すブロック図。実施例1の画像処理装置の機能構成例を説明するブロック図。検知部によるコピーペアの抽出例を説明する図。検知部による平坦な画像領域における改竄領域の検知を説明する図。検知部によるブロックペアの抽出方法の一例を説明する図。改竄検知処理を説明するフローチャート。第一の改竄領域に隣接するブロックペアの検知を説明するフローチャート。誤検知領域の拡大を説明する図。実施例2の画像処理装置の機能構成例を説明するブロック図。ブロックの一例を示す図。実施例2の改竄検知処理を説明するフローチャート。第一の改竄領域の修正を説明するフローチャート。ブロックの重畳を許す場合の追加検知を説明する図。実施例1において画素値を用いる追加検知を説明するフローチャート。実施例2において画素値を用いる追加検知を説明するフローチャート。ブロックの画素値の比較を説明する図。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1のブロック図により実施例の画像処理装置100の構成例を示す。

マイクロプロセッサ(CPU)101は、メモリ103をワークメモリとして、メモリ103やハードディスクドライブ(HDD)107に記憶されたプログラムを実行し、画像処理装置100の動作全般または一部を制御する。なお、メモリ103にはRAMやROMなどが含まれる。ビデオコントローラ(VC)102は、CPU101の指示に従い、画像や文字などから構成される画面をモニタ110に表示するための制御を行う。

メモリコントローラハブ(MCH)104は、リンク111-114を介して、CPU101、ビデオコントローラ(VC)102、メモリ103および入出力コントローラハブ(ICH)105の間のデータ転送を制御する所謂「ノースブリッジ」である。ICH105は、リンク115-117を介して、ネットワークインタフェイスカード(NIC)106、HDD107、および、外部接続ポート108の間のデータ転送を制御する所謂「サウスブリッジ」である。なお、リンク111-117は、例えばPCIやPCI Express（登録商標）などのパラレルバスまたはシリアルバス、SATAやUSBなどのシリアルバスである。

NIC106は、有線や無線のネットワーク118に接続するための通信インタフェイスである。HDD107は、CPU101が実行するオペレーティングシステム(OS)、各種プログラム、各種データなどを格納する。外部接続ポート108は、外部機器を画像処理装置100に接続するための例えばUSB、IEEE1394などのシリアルバスのポートである。外部接続ポート108に入力装置109を接続することで、画像処理装置100は、入力装置109からデータを取得することができる。なお、入力装置109は、外部接続ポート108を介して、画像処理装置100にデータを入力する機器であり、例えばキーボード、マウスなどのポインティングデバイス、ディジタルカメラなどの撮像装置や画像入力装置である。また、外部接続ポート108としてHDMI（登録商標）ポートを用意すれば、モニタ110を外部接続ポート108に接続することができる。

なお、画像処理装置100は、後述する処理を実行するプログラムを例えばパーソナルコンピュータに供給することで実現することができる。

［機能構成］
図2のブロック図により画像処理装置100の機能構成例を説明する。この機能構成は、CPU101が実施例の画像処理プログラムを実行することで実現される。

画像入力部201は、外部接続ポート108を介して入力装置109から画像データを入力し、入力画像データをメモリ103やHDD107などの所定領域に格納する。入力画像データは、ディジタルカメラが撮影した画像を表す画像データであり、そのデータフォーマットは例えばJPEG、TIFF、RAWである。なお、入力画像データはイラスト画像を表すグラフィックデータでもよい。

●特徴量取得部
特徴量取得部202は、入力画像データが表す画像の特徴量を第一の単位領域ごとに取得する。第一の単位領域は例えば4×4画素や8×8画素のような小領域（複数画素のブロック）であり、特徴量の取得には例えば主成分分析を利用する。例えば、入力画像データが表す画像が512×512画素、第一の単位領域を4×4画素とすると、合計128ブロック分の特徴量を取得することになる。

特徴量の取得に際して、第一の単位領域が互いに重畳8しないように画像を分割してもよいが、第一の単位領域を例えば一画素ずつ横または縦に移動するように画像を分割してもよい。画像が512×512画素、第一の単位領域が4×4画素として、第一の単位領域を横に一画素ずつ計512-4＋1回移動し、縦にも一画素ずつ計512-4＋1回移動すると、合計509×509ブロック分の特徴量を取得することになる。

各ブロックの特徴量は、当該ブロックの画像データ上の位置、例えばブロックの左上画素の座標に紐付けられる。以下では、例えばブロックの左上画素の座標が示す位置を「ブロック位置」と呼ぶ。

以下では、説明を簡単にするために、第一の単位領域に相当するブロックが重畳しないように画像分割する例を説明するが、ブロックが重畳するように画像分割する方がより高精度に改竄領域を検知することができる。

●第一の検知部
第一の検知部である検知部203は、特徴量取得部202が取得した特徴量と、当該特徴量のブロック位置を用いて、入力画像データに含まれる同一画像内コピーによるコピーペアを抽出する。

図3により検知部203によるコピーペアの抽出例を説明する。図3(A)において、画像データ500は改竄前の画像を示し、頂上部504が白い三角形501をコピーした三角形503を加えた改竄画像の画像データ502が入力画像データである。なお、三角形501、503の頂上部504は平坦な画像領域である。

検知部203は、図3(B)に示すように、画像データ502の第一の単位領域に相当する注目ブロック505の特徴量と、他のブロック506の特徴量を比較する。そして、注目ブロック505と比較対象のブロック（以下、比較ブロック）506の特徴量が一致するか、特徴量の差分が所定の閾値以下（特徴量が近似する）場合、注目ブロック505と比較ブロック506をコピーペア候補であるブロックペアとする。検知部203は、このような特徴量の比較を全ブロックについて行い、画像データ502のブロックペアを検知する。

ブロックペアの検知において、検知部203は、特徴量の比較を効率よく行うため、言い換えれば、特徴量が近似するブロックを効率よく把握するために、例えば、特徴量の辞書順ソート9によりブロックの並びをソートする。ソートにより隣接したブロックはコピーペアの可能性が最も高いブロックであり、隣接するブロックの間で特徴量を比較して、効率よくブロックペアを検知する。

次に、検知部203は、コピーペアの誤検知を防ぐために、以下の処理を行う。ブロックペアの二つのブロックが距離的に近い場合、画像成分の連続性から特徴量が近似し易く、コピーペアと誤検知し易い。そこで、ブロックペアの二つのブロックが距離的に近い場合、当該ブロックペアをコピーペア候補から除外する。例えば、下式の判定により、ブロックペアの二つのブロックの間の距離（以下、ブロック間距離D）が所定距離未満（D＜th1）のブロックペアはコピーペア候補から除外し、所定距離以上（D≧th1）のブロックペアをコピーペア候補に残す。
D = √(Δx² + Δy²) ＜ th1 …(1)
ここで、Δx = x - x'、
Δy = y - y'、
(x, y)、(x', y')はブロック位置。

図3(C)において、ブロック間距離Dが大きいブロック507と508のブロックペアはコピーペアとして抽出する一方、ブロック間距離Dが小さいブロック509とブロック510のブロックペアはコピーペア候補から除外する。

また、改竄領域は、例えば人物画像のコピーや物品画像のコピーなど画素集合として意味をもつオブジェクトを形成するため、ある程度の大きさをもつ領域になる。例えば、第一の単位領域のサイズ（例えば4×4画素）のような小さいブロックだけの、孤立したブロックペアを検知した場合、特徴量が偶然近似したブロックを検知した可能性が高い。言い換えれば、同一画像内コピーのコピー元領域とコピー先領域においては、コピーペアのブロックが集合（以下、コピー集合）を形成する可能性が高く、コピー集合に含まれるブロックが構成するコピーペアを抽出すれば誤検知を防ぐことができる。

なお、ここでは、図3(A)から図3(D)に示すように、改竄前の画像と改竄後の画像の関係を提示して説明を行うため、同一画像内コピーによるコピー元領域とコピー先領域が明らかである。本実施例において、コピーペアの一方のブロックが集合した領域と、他方のブロックが集合した領域を抽出するが、それら領域のどちらがコピー元領域か、あるいは、コピー先領域かの決定は本発明の目的ではない。しかし、以下では、図3(A)から図3(D)に示す関係を前提として説明を進めるので、コピー元領域やコピー先領域のような表現を用いる場合がある。

図3(D)において、ブロック511と512がブロックペアとして検知された場合、周辺にブロックペアが存在せずコピー集合が存在しないから、ブロック511と512のブロックペアはコピーペア候補から除外する。一方、ブロック513と514のブロックペア、ブロック515と516のブロックペア、および、ブロック517と518のブロックペアはコピー集合を形成し、それらブロックペアをコピーペアとして抽出する。

コピー集合を形成するブロックペアは、各ブロックペアのブロック間距離Dがほぼ等しく、かつ、ブロック位置が近い特性を有する。そこで、検知部203は、例えばブロック間距離Dの自然順ソート10によってブロックペアの順番をソートし、さらに、ブロック位置のラスタ順ソート11によってブロックペアの順番をソートする。

次に、検知部203は、ブロック間距離Dの差ΔDが所定の閾値未満（ΔD＜th2）、かつ、ブロック位置が近いブロックペアをコピー集合候補として検出する。そして、コピー集合候補それぞれが含むブロックペアの数をカウントし、カウントが所定数以上（count≧th3）のコピー集合候補をコピー集合と判定する。

なお、以下では、コピー元領域のコピー集合を「コピー元集合」、コピー先領域のコピー集合を「コピー先集合」と呼ぶ。さらに、検知部203が検知したコピー元集合とコピー先集合を合わせて「第一の改竄領域」と呼ぶ。また、コピーペアの一方のブロックが集合した領域を「第一の集合領域」、コピーペアの他方のブロックが集合した領域を「第二の集合領域」と呼ぶ場合もある。

●第二の検知部
第二の検知部である検知部204は、特徴量取得部202が取得した特徴量と、検知部203の検知結果を用いて、検知部203において検知することができない平坦な画像領域における改竄領域を検知する。

第一の検知部である検知部203では、特徴量を辞書順ソートし、隣接する特徴量をもつブックを、近似する特徴量をもつコピーペアとしていた。しかし、同じ特徴量をもつブロックが他にも複数ある場合は、隣接するブロックがコピーペアとは限らない。例えば二つ隣りのブロックが真のコピーペアとなることがあり、この場合、検知部203はコピーペアを正しく検知できない。検知部204は、上述した検知部203で検知できない改竄領域を追加検知する。

図4により検知部204による平坦な画像領域における改竄領域の検知を説明する。図4(A)において、検知部203は、画像データ502の三角形501の底部と三角形503の底部を第一の改竄領域601、602として抽出する。しかし、平坦な画像領域である三角形501、503の頂上部は、第一の改竄領域としては抽出されていない。なお、第一の改竄領域601は第一の集合領域であり、第一の改竄領域602は第二の集合領域である。

検知部204は、図4(B)に示すように、第一の改竄領域601、602に隣接するブロック603、604の特徴量を比較して、特徴量が近似するブロックペアをコピーペアとして改竄領域に追加する。この追加検知によって、図4(C)に示すように、特徴量が近似するブロックペアである領域605、606が改竄領域として追加される。

次に、検知部204は、追加した改竄領域605、606に隣接するブロックの特徴量を比較して、コピーペアを検知し、検知したコピーペアを改竄領域に追加する追加検知を繰り返す。追加検知の繰り返しにより、改竄領域は拡張される。図4(D)は、検知部203によって検知されず、検知部204によって抽出された第二の改竄領域607、608を示す。

なお、検知部204は、第一の改竄領域601、602に重複しないブロックについてのみ改竄領域の抽出を行う。つまり、検知部203が改竄領域として抽出しなかったブロックについてのみ改竄領域の追加検知を行う。

図5により検知部204によるブロックペアの抽出方法の一例を説明する。検知部204は、まず、第一の改竄領域601に隣接するブロック609に注目する（図5(A)）。そして、注目ブロック609に隣接する改竄領域601の隣接ブロック610と、隣接ブロック610とコピーペアを組む改竄領域602のブロック611の間のブロック間距離Dのx方向成分dxとy方向成分dyを取得する（図5(B)）。そして、注目ブロック609からx方向に距離dx、y方向に距離dy分離れたブロック612を注目ブロック609のペアにする（図5(C)）。

以上の処理を第一の改竄領域601に隣接するブロックすべてについて行うと、図4(B)に示すブロックペア603、604が決定する。さらに、検知部204は、図4(C)に示す追加した改竄領域605、606に隣接するブロックについて上記の処理を繰り返す。

検知部204は、ブロックペアを検知すると、ブロックペアの特徴量を比較し、特徴量が一致または近似する場合、当該ブロックペアをコピーペアとして抽出し、改竄領域に追加する。図5(D)において、ブロックペアのうち、例えば、特徴量が一致するブロックペア613、614はコピーペアとして抽出され、改竄領域に追加される。一方、特徴量が一致しないブロックペア615、616はコピーペアとして抽出されない。

●出力部
出力部205は、検知部203の改竄領域の抽出結果と、検知部204の改竄領域の抽出結果を出力する。抽出結果は、入力画像データの改竄検知結果として例えばモニタ110に可視化表示される。この可視化は、例えば、入力画像データが表す画像に、改竄検知領域を構成するブロックを示す矩形枠や当該領域のアウトライン、コピー元集合とコピー先集合を示す矩形枠やコピー元集合とコピー先集合のアウトラインなどを重畳したものである。

［改竄検知処理］
図6のフローチャートにより改竄検知処理を説明する。

画像入力部201は撮影画像の画像データを入力する(S301)。特徴量取得部202は、入力画像データをブロックに分割し(S302)、各ブロックの特徴量を取得する(S303)。

検知部203は、取得された特徴量を用いて、ブロックの特徴量を比較し、特徴量が一致または近似するブロックペアを検知する(S304)。そして、各ブロックペアについて、ブロック間距離Dやコピー集合に含まれるか否かを判定してコピーペアを抽出する(S305)。なお、改竄の有無をチェックする、概略の改竄領域の概要を抽出するなど短時間に改竄領域を抽出したい場合はステップS305の処理を省いて、ステップS304で検知したブロックペアをコピーペアとしてもよい。そして、抽出したコピーペアを第一の改竄領域として、検知部204と出力部205に出力する(S306)。

検知部203の処理が終了すると、検知部204は、第一の改竄領域に隣接するブロックペアを検知する(S307)。そして、検知したブロックペアの特徴量を比較し(S308)、特徴量が一致または近似するブロックペアをコピーペアとして第二の改竄領域に追加する(S309)。そして、第二の改竄領域へコピーペアを追加したか否かを判定し(S310)、コピーペアを追加した場合は処理をステップS307に戻し、改竄領域に隣接するブロックペアの検知を行う。また、コピーペアの追加がないと判定した場合は、第二の改竄領域を出力部205に出力する(S311)。

検知部204の処理が終了すると、出力部205は、第一の改竄領域および第二の改竄領域を出力する(S312)。

図7のフローチャートにより改竄領域に隣接するブロックペアの検知(S307)を説明する。

検知部204は、改竄領域に隣接するブロックに注目し(S321)、注目ブロックが改竄領域のブロックと重複するか否かを判定する(S322)。重複する場合、処理をステップS321に戻し、改竄領域に隣接する別のブロックに注目する。

注目ブロックが改竄領域のブロックと重複しない場合は、検知部204は、注目ブロックに隣接する改竄領域の隣接ブロックと、隣接ブロックとコピーペアを組むブロックの間のブロック間距離Dの成分dx、dyを取得する(S323)。そして、注目ブロックから距離dx、dy分離れたブロックを注目ブロックのペアとして特定する(S324)。

検知部204は、ステップS325の判定により、上記の処理を改竄領域に隣接する全ブロックについて行うまで、ステップS321からS324の処理を繰り返す。

なお、ステップS306からS307に移ってステップS321からS324の処理を行う場合の改竄領域は第一の改竄領域である。また、ステップS325からS321に戻ってステップS321からS324の処理を行う場合の改竄領域は未確定（コピーペアを追加中）の第二の改竄領域である。

このように、第一の改竄領域の近傍に位置するブロックペアに限定して特徴量の比較を行うため、特徴量がユニークではない平坦な画像領域が改竄領域に含まれる場合も、コピーペアを検知することができる。言い換えれば、同一画像内コピーによる改竄領域の検知精度を向上することができる。

また、検知部204は、特徴量の比較ではなく、ブロック内画素の画素値を比較することでもコピーペアを追加検知することができる。以下、図14のフローチャートにより画素値を用いる追加検知を説明するが、図6に示す処理と異なる点は、特徴量の比較が画素値の比較(S351、S352)に変わる点である。

検知部204は、ステップS307で検知した隣接するブロックペアの画素値を比較し(S351)、画素値が一致または近似するブロックペアをコピーペアとして第二の改竄領域に追加する(S352)。

画素値の比較は、ブロック内の全画素の画素値、例えばRGB成分値や輝度値を、画素単位で比較することで実現する。図16により4×4画素のブロック1701の画素値とブロック1702の画素値を比較する例を説明する。検知部204は、ブロック1701の画素P₁₁の画素値と、それに対応するブロック1702の画素P₁₁の画素値を比較する。同様に、画素P₁₂の画素値同士の比較、…、画素P₄₄の画素値同士の比較を行って、対応する全画素の画素値を比較する。比較の結果、ブロック1701の全画素P₁₁〜P₄₄の画素値とブロック1702の全画素P₁₁〜P₄₄の画素値が一致、もしくは、画素値の差が所定の閾値以下の場合、ブロック1701と1702をコピーペアに決定する。

各画素の画素値を一対一で比較、つまり画素レベルで比較するため、ブロックの特徴値である特徴量の比較に比べて、より正確にコピーペアを特定することができる。なお、検知部204は、ステップS307で特定したブロックペアに限定してブロック間の画素値の比較を行うため、特徴量ではなく、ブロック内の各画素の画素値の比較を行っても、処理時間の増加は少ない。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

第一の改竄領域に誤検知された領域が含まれる場合、検知部204によって改竄領域の追加検知を行うと、入力画像データによっては誤検知領域が拡大する場合がある。

図8により誤検知領域の拡大を説明する。図8(A)は第一の改竄領域として領域601、602、801、802が検知された状態を示し、第一の改竄領域のうち領域801、802が誤検知領域であるとする。検知部204は、誤検知領域801、802についても改竄領域を拡張して、図8(B)に示すように、誤検知領域が領域805に拡張される。

そこで、実施例2の検知部204は、第一の改竄領域のうち、改竄の可能性が高い領域についてのみ追加検知により第二の改竄領域を検知する。つまり、誤検知領域801、802を除外して誤検知領域の拡大を防ぎ、領域601、602のように改竄の可能性が高い領域についてのみ追加検知を行って改竄領域を正しく拡張した領域803、804を得る。

［機能構成］
図9のブロック図により実施例2の画像処理装置100の機能構成例を説明する。この機能構成は、CPU101が実施例の画像処理プログラムを実行することで実現される。

図9に示す実施例2の機能構成おいて、図2に示す機能構成と異なるのは、複雑領域抽出部206が追加されていることである。複雑領域抽出部206は、検知部203が出力する第一の改竄領域から改竄の可能性が高い領域を抽出した、言い換えれば、改竄の可能性が低い領域を除外した第一の改竄領域を検知部204に出力する。

複雑領域抽出部206は、検知部203が出力する第一の改竄領域の画像の複雑度を検証して、改竄の可能性が高い領域に含まれるブロックを抽出する。複雑度は、例えば、ブロック内の画素間の値の変化を表す値、例えば、ブロック内の画素間の輝度値の差として表現することができる。このような数値を複雑度に用いれば、ブロックの画像が複雑か否かを定量的に示すことができる。

図10によりブロックの一例を示す。図10(A)に示すブロックは第一の単位領域サイズが4×4画素のブロックで、ブロックの各画素の輝度値をP_ijで表す。なお、iはブロックの行番号、jはブロックの列番号を表し、1≦i≦4、1≦j≦4である。また、輝度値は、例えば、下次のような画素のRGB成分値の線形結合で表される。
P_ij = 0.29891×R + 0.58661×G + 0.11448×B …(2)

水平方向の複雑度Chおよび垂直方向の複雑度Cvは、下式により、各方向の輝度値の差の総和として表される。
Ch = Σ|P_ij - P_ij+1| (1≦i≦4、1≦j≦3)
Cv = Σ|P_ij - P_i+1j| (1≦i≦3、1≦j≦4) …(3)

複雑度が高いほど、ブロックの画像が複雑で、一様・平坦ではないことを示し、ブロックの特徴量もユニークな値になり易い。つまり、複雑度が高いブロックの特徴量に偶然近似するような特徴量をもつブロックは少なく、誤検知の可能性も小さくなる。従って、複雑度が高く、特徴量が近似するブロックペアは同一画像内コピーによるコピーペアの可能性が高い。

複雑領域抽出部206は、第一の改竄領域の各ブロックについて複雑度を算出し、所定の閾値以上の複雑度をもつブロックを改竄の可能性が高いブロックとして抽出し、抽出したブロックが構成するコピーペアの集合を改竄領域として出力する。言い換えれば、第一の改竄領域から複雑度が所定の閾値未満のブロックを除外した領域を第一の改竄領域として出力する。

なお、水平方向と垂直方向の複雑度を考慮する場合、複雑な画像をもつブロックと判定する条件として次の何れかを採用する。一つ目は二方向の複雑度が所定の閾値以上（Ch≧th4 && Cv≧th5）、二つ目は少なくとも一方向の複雑度が所定の閾値以上（Ch≧th4 || Cv≧th5）である。どちらかの条件を、要求される改竄領域の検知精度に応じて採用すればよい。

検知部204は、複雑領域抽出部206から入力される、改竄の可能性が高い領域に絞り込まれた第一の改竄領域に基づき、改竄領域の追加検知を行う。

［改竄検知処理］
図11のフローチャートにより実施例2の改竄検知処理を説明する。

図11に示す実施例2の改竄検知処理おいて、図6に示す処理と異なるのは、第一の改竄領域の修正(S331)が追加された点である。つまり、検知部203は、抽出したコピーペアを第一の改竄領域として、複雑領域抽出部206と出力部205に出力する(S306)。複雑領域抽出部206は、第一の改竄領域から複雑度が所定の閾値以上のブロックを抽出し、抽出したブロックが構成するコピーペアの集合を第一の改竄領域として検知部204に供給する(S331)。

図12のフローチャートにより第一の改竄領域の修正(S331)を説明する。

複雑領域抽出部206は、第一の改竄領域のブロックの各画素の特徴値を算出する(S341)。特徴値は、画素の特徴を表す値であり、例えば輝度値である。次に、隣接画素間の特徴値の変化量を算出する(S342)。変化量は、例えば輝度値の差である。また、隣接には、水平方向に隣接、垂直方向に隣接、斜め方向に隣接がある。

次に、複雑領域抽出部206は、各方向の変化量を総和した値をブロックの複雑度とし(S343)、各方向の複雑度と所定の閾値を比較する(S344)。そして、比較結果に基づき複雑な画像をもつブロックが構成するコピーペアを改竄領域として抽出する(S345)。そして、ステップS346の判定により、第一の改竄領域の全ブロックを処理するまで、ステップS341からS345の処理を繰り返す。

なお、複雑な画像をもつブロックと判定する条件は、全方向の複雑度が所定の閾値以上、少なくとも二方向の複雑度が所定の閾値以上、少なくも一方向の複雑度が所定の閾値以上の何れかを、要求される改竄領域の検知精度に応じて採用すればよい。

また、実施例1の図14に示す処理と同様に、検知部204は、特徴量の比較ではなく、ブロック内画素の画素値を比較することでもコピーペアを追加検知することができる。以下、図15のフローチャートにより画素値を用いる追加検知を説明するが、図11に示す処理と異なる点は、特徴量の比較が画素値の比較(S361、S362)に変わる点である。

検知部204は、ステップS307で検知した隣接するブロックペアの画素値を比較し(S361)、画素値が一致または近似するブロックペアをコピーペアとして第二の改竄領域に追加する(S362)。

画素値の比較は実施例1と同様に実現することができ、ブロックを画素レベルで比較するため、特徴量の比較に比べて、より正確にコピーペアを特定することができる。なお、検知部204は、ステップS307で特定したブロックペアに限定してブロック間の画素値の比較を行うため、特徴量ではなく、ブロック内の各画素の画素値の比較を行っても、処理時間の増加は少ない。

［変形例］
上記の実施例においては、改竄領域に隣接するブロックの追加検知を行う場合、それらブロックが互いに重畳しないことを前提として説明した。ブロックの重畳を避けて追加検知を行う場合、一画素レベルの細かな追加検知は行えず、図4(D)に示すように、三角形501、503の頂上部分の一部が改竄領域として検知されない場合がある。

改竄領域の検知精度を向上するには、改竄領域に隣接するブロックの追加検知を行う際にブロックの重畳を許す必要がある。ただし、ブロックの重畳を許せば追加検知の対象になるブロックの数が増加して処理速度は低下する。

図13によりブロックの重畳を許す場合の追加検知を説明する。まず、第一の改竄領域601のブロックを上下左右にそれぞれ所定画素分移動した移動ブロックを設定する。なお、移動量は、単位領域のサイズ未満であればよく、例えば、第一の単位領域のサイズが4×4画素の場合は一画素から三画素分の移動が可能である。そして、移動ブロックのうち、全画素が第一の改竄領域601に含まれる移動ブロックは除外する。ブロックの移動により、図13(A)に示すように、第一の改竄領域601のエッジから所定画素分外にずれたブロックが隣接するブロック621が設定される。

次に、ブロック621の一つである、図13(B)に示す注目ブロック622を用いて追加検知を説明する。実施例1と同様に、注目ブロック622に隣接する第一の改竄領域601の隣接ブロックと、隣接ブロックとペアを組む第一の改竄領域602のブロックのブロック間距離から注目ブロック622とペアを組むブロック623を決定する（図13(C)）。そして、ブロックペア622、623の特徴量を比較して、ブロックペア622、623をコピーペアとして改竄領域に追加する。

上記の処理をブロック621すべてに行うと、領域631、632が改竄領域に追加される（図13(D)）。続いて、追加検知した改竄領域631、632に対して、上下左右に所定画素分移動したブロックを設定し、全画素が改竄領域に含まれるブロックを除外するとブロック624が設定される（図13(E)）。

次に、ブロック624の一つである、図13(F)に示す注目ブロック625を用いて追加検知を説明する。実施例1と同様に、注目ブロック625とペアを組むブロック626を決定する（図13(F)）。そして、ブロックペア625、626の特徴量を比較して、ブロックペア625、626をコピーペアとして改竄領域に追加する（図13(G)）。この処理を改竄領域に追加するブロックがなくなるまで繰り返すと、図13(H)に示す第二の改竄領域633、634が得られる。

このように、例えばブロックの移動量を一画素にすれば、追加検知した改竄領域から一画素移動して追加検知を行う処理を繰り返すことになり、一画素単位で改竄領域を拡張することができる。従って、ブロックの重畳を許さない場合に比べて、より精度が高い追加検知が可能になる。

また、上記の実施例では、主成分分析により特徴量を取得する例を説明したが、次の特徴量を用いてもよい。例えば、SIFT (scale-invariant feature transform)やSURF (speeded up robust feature)などの特徴量である。また、第一の検知部である検知部203においても、特徴量ではなく、RGB成分値が一致または近似するかによって、コピーペアを検知することもできる。

また、上記の実施例においては、画像の水平方向、垂直方向、斜め方向の複雑度を利用する例を説明したが、それら特定の方向の画素の特徴値の差を用いずに、別の方法で複雑度を算出することができる。例えば、図10(B)に示すように、図10(A)に示すブロックの各画素の特徴値を一列に並べた配列を作成し、隣接する特徴値の差の総和から複雑度を算出してもよい。また、複雑度は、特徴値の差の総和に限らず、特徴値の平均値や中央値を用いてもよい。あるいは、複雑度の代わりに、エッジ強度などを用いてもよい。つまり、複雑度は、ブロックの画像が一様か否かを表す値であればよい。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims

入力画像データを複数画素のブロックに分割し、前記ブロックの特徴量を取得する取得手段と、
前記特徴量が近似する二つのブロックのペアを検知して、前記入力画像データから前記ペアの一方のブロックが集合した第一の集合領域と、前記ペアの他方のブロックが集合した第二の集合領域を抽出する第一の検知手段と、
前記第一の集合領域に隣接するブロックを前記第一の集合領域に追加し、前記第二の集合領域に隣接するブロックを前記第二の集合領域に追加する追加検知を行う第二の検知手段とを有する画像処理装置。
前記第二の検知手段は、前記第一の集合領域の近傍の注目ブロックに隣接する、前記第一の集合領域の第一のブロックと前記ペアを組む前記第二の集合領域の第二のブロックの間の距離に基づき、前記注目ブロックとペアを組む前記第二の集合領域の近傍のブロックを決定する請求項１に記載された画像処理装置。
前記第二の検知手段は、前記注目ブロックと前記決定したブロックの前記特徴量または画素値が近似する場合、前記注目ブロックを前記第一の集合領域に追加し、前記決定したブロックを前記第二の集合領域に追加する前記追加検知を行う請求項２に記載された画像処理装置。
前記注目ブロックは、少なくとも一画素が前記第一の集合領域に重畳するブロックである請求項２または請求項３に記載された画像処理装置。
前記第一の検知手段は、前記特徴量が近似する二つのブロックの間の距離が所定距離以上の場合、それらブロックを前記ペアとして検知する請求項１から請求項４の何れか一項に記載された画像処理装置。
前記第一の検知手段は、前記検知した複数のペアについて、前記ペアを組むブロックの間の距離の差および画像データ上の前記ブロックの位置に基づき第一および第二の集合領域の候補を検出する請求項１から請求項５の何れか一項に記載された画像処理装置。
前記第一の検知手段は、所定数以上の前記ペアを含む前記候補を前記第一および第二の集合領域として抽出する請求項６に記載された画像処理装置。
前記第二の検知手段は、前記追加検知の後の前記第一および第二の集合領域について、前記追加するブロックがなくなるまで前記追加検知を繰り返す請求項１から請求項７の何れか一項に記載された画像処理装置。
さらに、前記第一の集合領域から平坦な画像領域を除外した領域を前記第一の集合領域として前記第二の検知手段に供給し、前記第二の集合領域から平坦な画像領域を除外した領域を前記第二の集合領域として前記第二の検知手段に供給する除外手段を有する請求項１から請求項８の何れか一項に記載された画像処理装置。
前記除外手段は、前記第一および第二の集合領域の各ブロックについて、前記複数画素の値の所定の方向の変化量を算出し、前記変化量が所定の閾値未満のブロックを前記平坦な画像領域とする請求項９に記載された画像処理装置。
さらに、前記第一および第二の集合領域を前記入力画像データにおける改竄領域として出力する出力手段を有する請求項１から請求項１０の何れか一項に記載された画像処理装置。
取得手段が、入力画像データを複数画素のブロックに分割し、
前記取得手段が、前記ブロックの特徴量を取得し、
第一の検出手段が、前記特徴量が近似する二つのブロックのペアを検知して、前記入力画像データから前記ペアの一方のブロックが集合した第一の集合領域と、前記ペアの他方のブロックが集合した第二の集合領域を抽出し、
第二の検出手段が、前記第一の集合領域に隣接するブロックを前記第一の集合領域に追加し、前記第二の集合領域に隣接するブロックを前記第二の集合領域に追加する画像処理方法。
コンピュータを請求項１から請求項１１の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
請求項１３に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。