JP6259188B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、撮影画像の改竄位置を検知する画像処理に関する。

コンパクトディジタルカメラや一眼レフディジタルカメラなどで撮影された画像の改竄を検知する技術が提案されている（例えば、非特許文献1）。この技術は、電子透かしなどの付加的な情報を撮影画像に埋め込むことなく、撮影画像に元来含まれるパターンの解析や領域ごとの特徴量を比較して改竄を検知する。電子透かしなどの付加的な情報を埋め込まないため、付加的な情報の埋め込みによる撮影画像の画質劣化や処理時間の増加を生じることなく改竄を検知可能な利点がある。

非特許文献1は、CMOSセンサや電荷結合素子(CCD)など、カメラのイメージセンサがもつカラーフィルタアレイ(CFA)パターンを撮影画像から推定、解析して、改竄の検知に利用する。CFAは例えばRGBカラーフィルタ配列であり、センサの各セル（画像における画素に対応する単位）のRGB受光パターンを示す。

市場に流通する多くのイメージセンサは、コストダウンのために、各セルがRGBの何れか一つの色情報を取得する構成を有する。イメージセンサは、効率的に色情報を取得するためにベイヤ配列などに代表されるCFAを用い、入射光から色情報を取得する。CFAは、例えば2×2セルの正方形の配列を単位として、イメージセンサ上に規則的かつ周期的に配置される。

非特許文献1の技術は、バイリニア補間処理やバイキュービック補間処理を用いてフルカラー画像からイメージセンサのCFAパターンを推定し、推定したCFAパターンの周期性が崩れた位置を改竄位置として検知することで、改竄検知を実現する。

Ahmet Emir Dirik、Nasir Memon「IMAGE TAMPER DETECTION BASED ON DEMOSAICING ARTIFACTS」ICIP 2009、1497-1500頁

しかし、多くのカメラに用いられるCFAパターンであるベイヤ配列は四種類しかない。従って、改竄されているにもかかわらず、CFAパターンがオリジナルの撮影画像のCFAパターンと四分の一の確率で一致して周期性を示し、改竄が検知されない可能性がある。言い換えれば、CFAパターンを利用する改竄検知の検知率は高々75%である。

また、撮影画像を現像するデモザイキング処理を考慮せずに、バイリニア補間処理やバイキュービック補間処理を用いてCFAパターンを推定すると、誤ったCFAパターンを推定する可能性がある。そのため、改竄検知の検知率が低くなることがあった。

本発明は、画像データの改竄検知における検知率の向上を目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理装置は、
１画素が複数の色成分で構成される入力画像データの撮影に使用された撮像素子のカラーフィルタアレイの種類を示すパターン情報と、前記入力画像データの画素を構成する各色成分を生成するために用いた色補間処理のアルゴリズムを示すアルゴリズム情報を取得する取得手段と、
前記入力画像データを構成する各画素が持つ複数の色成分のうち、前記取得したパターン情報が示すカラーフィルタアレイで特定される画素位置の色成分を処理対象成分とし、当該処理対象成分の配列に対して前記アルゴリズム情報が示すアルゴリズムに従った色補間処理を行うことで、１画素が複数の色成分で構成される比較画像データを生成する生成手段と、
前記比較画像データと前記入力画像データそれぞれの対応する位置の画素を比較して、前記入力画像データの改竄画素を検知する検知手段とを有し、
前記取得手段は、前記入力画像データから前記パターン情報を取得し、前記取得したパターン情報とアルゴリズム情報の候補に基づき生成される比較画像データと前記入力画像データを比較して、前記色補間処理のアルゴリズム情報を推定し、
前記取得手段は、前記入力画像データから取得したパターン情報とは異なる別のパターン情報を取得し、
前記検知手段は、前記入力画像データから取得されたパターン情報と前記推定されたアルゴリズム情報から生成された比較画像データと前記入力画像データを比較して改竄候補領域を抽出し、
前記生成手段は、前記別のパターン情報と前記推定されたアルゴリズム情報を用いて、前記改竄候補領域の画像データから比較画像データを生成し、
前記検知手段は、前記改竄候補領域の画像データと、前記改竄候補領域の画像データから生成された比較画像データを比較して改竄領域を検知する。

本発明によれば、画像データの改竄検知における検知率を向上することができる。

実施例の画像処理装置の構成例を示すブロック図。 実施例1の画像処理装置の機能構成例を説明するブロック図。 CFAの一例を示す図。 撮影時のディジタルカメラの処理を説明するフローチャート。 撮影カメラモデルとDMAを対応付けたデータベースの一例を示す図。 改竄検知の一例を説明する図。 改竄検知の他の例を説明する図。 改竄検知の別の例を説明する図。 改竄検知処理を説明するフローチャート。 実施例2の改竄検知処理を説明するフローチャート。 変形例1のDMAの推定処理を説明するフローチャート。 変形例2の要求スペックに応じて処理を切り替える処理を説明するフローチャート。 実施例3の改竄検知処理を説明するフローチャート。 変形例3のCFAパターンの推定処理を含む改竄検知処理を説明するフローチャート。 改竄検知処理の切り替えを説明するフローチャート。 画像データの注目画素とCFAパターンの関係を示す図。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1のブロック図により実施例の画像処理装置100の構成例を示す。

マイクロプロセッサ(CPU)101は、メモリ103をワークメモリとして、メモリ103やハードディスクドライブ(HDD)107に記憶されたプログラムを実行し、画像処理装置100の動作全般または一部を制御する。なお、メモリ103にはRAMやROMなどが含まれる。ビデオコントローラ(VC)102は、CPU101の指示に従い、画像や文字などから構成される画面をモニタ110に表示するための制御を行う。

メモリコントローラハブ(MCH)104は、リンク111〜114を介して、CPU101、ビデオコントローラ(VC)102、メモリ103および入出力コントローラハブ(ICH)105の間のデータ転送を制御する所謂「ノースブリッジ」である。ICH105は、リンク115〜117を介して、ネットワークインタフェイスカード(NIC)106、HDD107、および、外部接続ポート108の間のデータ転送を制御する所謂「サウスブリッジ」である。なお、リンク111〜117は、例えばPCIやPCIエクスプレスなどのパラレルバス、SATAやUSBなどのシリアルバスである。

NIC106は、有線や無線のネットワーク120に接続するための通信インタフェイスである。HDD107は、CPU101が実行するOSや各種プログラム、各種データなどを格納する。外部接続ポート108は、外部機器を画像処理装置100に接続するための例えばUSB、IEEE1394などのシリアルバスのポートである。外部接続ポート108に入力装置109を接続することで、画像処理装置100は、入力装置109からデータを取得することができる。なお、入力装置109は、外部接続ポート108を介して、画像処理装置100にデータを入力する機器であり、例えばキーボード、マウスなどのポインティングデバイス、ディジタルカメラなどの撮像装置や画像入力装置である。また、外部接続ポート108としてHDMI（登録商標）ポートを用意すれば、モニタ110を外部接続ポート108に接続することができる。

なお、画像処理装置100は、後述する処理を実行するプログラムを例えばパーソナルコンピュータに供給することで実現することができる。

［機能構成］
図2のブロック図により実施例1の画像処理装置100の機能構成例を説明する。この機能構成は、CPU101が実施例1の画像処理プログラムを実行することで実現される。

画像入力部201は、外部接続ポート108を介して入力装置109から画像データを入力し、入力画像データをメモリ103やHDD107などの所定領域に格納する。入力画像データは、ディジタルカメラが撮影した画像を表す画像データであり、そのデータフォーマットは例えばJPEG、TIFF、RAWである。

CFAパターン取得部202は、入力画像データに付随するメタデータを参照して、入力画像データのCFAパターンを取得し、取得したCFAパターンをメモリ103やHDD107などの所定領域に格納する。撮影画像のCFAパターンは、例えば、公知のメタデータであるExif (exchangeable image file format)情報として画像データに付随する。

図3によりCFAの一例を示す。図3(A)から図3(D)はベイヤ配列を示し、図3(E)はベイヤ配列の二つのグリーンGの一方にエメラルドグリーンEを配置したカラーフィルタアレイ(CFA)パターンである。CFAは、例えば図3(F)に示すように、イメージセンサ上に規則的、周期的に配置される。撮影画像のCFAパターンは、例えば図3(A)に示すCFAであれば値「0」、図3(B)であれば値「1」といった形式でID化され、メタデータに格納されている。

DMA取得部203は、入力画像データに付随するメタデータを参照して入力画像データの現像に用いられた色補間処理のアルゴリズム情報であるデモザイキングアルゴリズム（以下、DMA）の情報を取得する。そして、取得したDMA情報をメモリ103やHDD107などの所定領域に格納する。なお、DMA情報の取得方法の詳細は後述する。

比較画像生成部204は、取得されたCFAパターンとDMAを用いて、入力画像データを再デモザイキングして比較画像を生成し、生成した画像データを比較画像データとして、メモリ103やHDD107などの所定領域に格納する。なお、再デモザイキングの詳細は後述する。

改竄検知部205は、比較画像データと入力画像データを比較して改竄を検知し、検知結果として、改竄を検知した画素の画素座標をメモリ103などの所定領域に格納する。また、ブロック単位で入力画像データと比較画像データを比較した場合は、改竄を検知したブロックの左上の画素座標とブロックのサイズをメモリ103などの所定領域に格納する。

出力部206は、改竄検知部205の検知結果を出力する。検知結果は、入力画像データの改竄検知結果として例えばモニタ110に可視化表示される。この可視化は、例えば、入力画像データが表す画像に、改竄検知領域を構成するブロックを示す矩形枠や当該領域のアウトラインなどを重畳したものである。

●DMAの取得
図4のフローチャートにより撮影時のディジタルカメラの処理を説明する。

撮像によって被写体の光学像は光電変換されディジタル信号に変換され(S1101)、ディジタル信号はRAW画像データとして取得される(S1102)。RAW画像データの色情報はイメージセンサのCFAパターンに依存し、図3(A)に示すCFAの場合、RAW画像データの各画素の色情報は図3(F)に示すようになる。

RAW画像データの各画素は、上述したように、一つの色情報しかもたないため、各画素にRGBの色情報をもたせる必要がある（フルカラー化）。そこで、各画素にRGBの色情報を与えるために、不足する色成分を周囲の画素から補間する(S1103)。例えば、図3(G)に示す注目画素1001はR成分だけをもつので、不足するB成分を周囲の四画素のB成分から補間し、不足するG成分を周囲の四画素のG成分から補間する。このような補間処理を含む現像処理を行うことで、RAW画像データからフルカラー画像データを取得する(S1104)。

このような色成分の補間処理は「デモザイキング処理」と呼ばれ、補間処理に用いたアルゴリズムは「デモザイキングアルゴリズム」と呼ばれる（以下、DMA）。DMAの種類には例えばバイリニア補間、ニアレストネイバ補間などがある。さらに、VNG (Variable Number of Gradients)補間、PPG (Patterned Pixel Grouping)補間、AHD(Adaptive Homogeneity-Directed)補間なども用いられる。

DMAは、カメラモデルやイメージセンサなどと一対一に対応するため、画像データのExif情報などから取得した撮影カメラ情報を用いることで、DMAを特定することができる。図5により撮影カメラモデルとDMAを対応付けたデータベース(DB)801の一例を示す。例えば、DB801を用いることで、Exif情報から取得した撮影カメラ情報を用いてDMAを特定することができる。例えば取得した撮影カメラ情報がカメラCを示す場合、DB801から、DMAとしてVNG補間が特定される。DB801に格納されるDMA情報は、対応するDMAを実行可能なプログラム形式でもよいし、DMAを特定する識別情報(ID)のようなものでもよい。

●再デモザイキング
取得したCFAパターンとDMAに基づき入力画像データをデモザイキングする処理を「再デモザイキング」と呼ぶ。

入力画像データはフルカラー画像データであるため、RAW画像データとは異なり、一画素にRGB成分すべての値を有する。図16により入力画像データの一例を示す。例えば、取得したCFAパターンが図3(A)、取得したDMAがバイリニア補間の場合、再デモザイキングにより図16に示す入力画像データ1101の注目画素1102は図3(A)のCFAパターンに従って置き換えられる。

注目画素1102は、CFAパターンにおけるR成分に該当するので、図3(G)に示すように、注目画素1102のR成分はそのまま、注目画素1102のB成分を周囲四画素のB成分の平均値に置き換え、G成分を周囲四画素のG成分の平均値に置き換える。CFAパターンに従うこの処理を画像データ1101の全画素に施す。つまり、再デモザイキングは、撮影時にRAW画像データに施されたデモザイキングと同等の処理を入力画像データに施す処理である。

入力画像データに改竄がなければ、再デモザイキングによって入力画像データから生成される比較画像データの画素値は、入力画像データの同位置の画素値と近似する筈である。他方、入力画像データに改竄があれば、改竄個所において、比較画像データの画素値と入力画像データの画素値の乖離が発生する。なお、画素値は、画素の特徴を表す値であり、例えばRGB成分の値や輝度値である。

改竄検知は、入力画像データの各画素の画素値と、対応する比較画像データの各画素の画素値を比較することで実現される。例えば、入力画像データの画素座標(X, Y)の画素（以下、画素(X, Y)）の画素値と、比較画像データの画素(X, Y)の画素値の差を算出する。そして、画素値の差が所定の閾値未満であれば入力画像データの画素(X, Y)をオリジナルと判定し、差が閾値以上であれば改竄画素と判定する。

また、画素単位での比較ではなく、ブロック単位の比較により改竄検知を行ってもよい。ブロックは、例えばZ×Z画素の正方領域で、Z=4の場合、4×4画素のブロック単位に入力画像データと比較画像データを比較する。また、ブロック内の画素の画素値ではなく、ブロック内の画素から算出した特徴量を当該ブロックの特徴量として、特徴量を比較することで改竄検知を行ってもよい。つまり、入力画像データのブロックの特徴量と、比較画像データのブロックの特徴量を比較することで、ブロック単位の改竄検知を行う。なお、ブロックは互いに重畳するように分割してもよいし、重畳しないように分割してもよい。

［改竄検知］
以下では、入力画像データと比較画像データから検知可能な改竄について説明する。なお、以下では、画素のR成分を改竄の検知に利用する例を示すが、他の成分GやBまたは輝度値、あるいは、それらの組み合わせを改竄の検知に利用できることは言うまでもない。

●CFAパターンが異なりDMAが同一の場合
図6により改竄検知の一例を説明する。図6おいて、画像データ1201は改竄対象の元画像データ、画像データ1202は改竄に利用された別画像データ、画像データ1204は改竄された画像データをそれぞれ表す。別画像データ1202の部分領域1203を元画像データ1201にコピーして生成された改竄画像データ1204が入力画像データである。

CFAパターンは元画像データ1201と別画像データ1202で異なり、デモザイキングに用いられたDMAは画像データ1201と別画像データ1202で同一とする。従って、入力画像データ1204の改竄領域1205には別画像データ1202のCFAパターンが混入する。つまり、元画像データ1201のCFAパターンとDMAを用いて入力画像データ1204を再デモザイキングすれば、再デモザイキング前後の改竄領域1205の画素の値に差が生じる。

例えば、元画像データ1201のCFAパターンが図3(A)、DMAがバイリニア補間とし、別画像データ1202のCFAパターンが図3(C)、DMAがバイリニア補間とする。この場合、改竄領域1205の画素1206のR成分は図3(A)のCFAパターンとバイリニア補間に従う再デモザイキングにより、画素1206の左上、右上、左下、右下に隣接する四画素のR成分の平均値に置き換えられる。

しかし、改竄領域1205は、図3(A)のCFAパターンではなく、図3(C)のCFAパターンに従いデモザイキングされた別画像データ1202の部分領域1203からコピーされた領域である。入力画像データ1204の画素1206の再デモザイキング前のR成分（別画像データ1202の画素1207のR成分）は、画素1207の上下に隣接する二つのR画素の平均値である。言い換えれば、再デモザイキング前の改竄領域1205の画素1206のR成分は画素1207の隣接するR画素の平均値であり、再デモザイキング後の画素1206のR成分は画素1206に隣接する四画素のR成分の平均値である。つまり、再デモザイキング前後の画素1206のR成分に差があり、画素1206は改竄されている画素（以下、改竄画素）と判定される。

一方、入力画像データ1204の画素1208のR成分は、再デモザイキング前が左上、右上、左下、右下に隣接するR画素の平均値であり、再デモザイキング後も左上、右上、左下、右下に隣接する四画素のR成分の平均値である。つまり、再デモザイキング前後の画素1208のR成分に差がなく、画素1208は改竄されていない画素（以下、非改竄画素）と判定される。

●CFAパターンが同一でDMAが異なる場合
図7により改竄検知の他の例を説明する。図7おいて、画像データ1301は改竄対象の元画像データ、画像データ1302は改竄に利用された別画像データ、画像データ1304は改竄された画像データをそれぞれ表す。別画像データ1302の部分領域1303を元画像データ1301にコピーして生成された改竄画像データ1304が入力画像データである。

CFAパターンは元画像データ1301と別画像データ1302で同一であり、デモザイキングに用いられたDMAは画像データ1301と別画像データ1302で異なるとする。従って、入力画像データ1304の改竄領域1305には別画像データ1302のDMAを用いてデモザイキングされた画素が混入する。つまり、元画像データ1301のCFAパターンとDMAを用いて入力画像データ1304を再デモザイキングすれば、再デモザイキング前後の改竄領域1305の画素の値に差が生じる。

例えば、元画像データ1301のCFAパターンが図3(A)、DMAがバイリニア補間とし、別画像データ1302のCFAパターンが図3(A)、DMAがニアレストネイバ補間とする。この場合、改竄領域1305の画素1306のR成分は図3(A)のCFAパターンとバイリニア補間に従う再デモザイキングにより、画素1306の左上、右上、左下、右下に隣接する四画素のR成分の平均値に置き換えられる。

しかし、改竄領域1305は、バイリニア補間ではなく、ニアレストネイバ補間よりデモザイキングされた別画像データ1302の部分領域1303からコピーされた領域である。入力画像データ1304の画素1306の再デモザイキング前のR成分（別画像データ1302の画素1307のR成分）は、画素1307の右上に隣接するR画素の値である。言い換えれば、再デモザイキング前の改竄領域1305の画素1306のR成分は画素1307の隣接するR画素の値であり、再デモザイキング後の画素1306のR成分は画素1306に隣接する四画素のR成分の平均値である。つまり、再デモザイキング前後の画素1306のR成分に差があり、画素1306は改竄画素と判定される。

一方、入力画像データ1304の画素1308のR成分は、再デモザイキング前が左上、右上、左下、右下に隣接するR画素の平均値であり、再デモザイキング後も左上、右上、左下、右下に隣接する四画素のR成分の平均値である。つまり、再デモザイキング前後の画素1308のR成分に差がなく、画素1308は非改竄画素と判定される。

●CFAパターンとDMAが同一の場合
図8により改竄検知の別の例を説明する。図8おいて、画像データ1401は改竄対象の元画像データ、画像データ1402は改竄に利用された別画像データ、画像データ1404は改竄された画像データをそれぞれ表す。別画像データ1402の部分領域1403を元画像データ1401にコピーして生成された改竄画像データ1404が入力画像データである。

CFAパターンとDMAは元画像データ1401と別画像データ1402で同一であるとする。ただし、別画像データ1402の部分領域1403の境界付近の各画素の値と、部分領域1403がコピーされた元画像データ1401の部分領域1405の境界付近の各画素の値が異なるとする。この場合も再デモザイキング前後の改竄領域1405の境界付近の画素の値に差が生じる。

例えば、元画像データ1401と別画像データ1402のCFAパターンが図3(A)、DMAがバイリニア補間とする。この場合、改竄領域1405の画素1406のR成分は図3(A)のCFAパターンとバイリニア補間に従う再デモザイキングにより、画素1406の左上、右上、左下、右下に隣接する四画素のR成分の平均値に置き換えられる。

一方、再デモザイキング前の改竄領域1405の画素1406のR成分（別画像データ1402の画素1407のR成分）は、画素1407の左上、右上、左下、右下に隣接する四つのR画素の平均値である。これら隣接画素のうち、左上に隣接する画素1412はコピーされた部分領域1403に含まれ、別画像データ1402と入力画像データ1404で同一である。しかし、他の三つの画素は部分領域1403に含まれず、別画像データ1402と入力画像データ1404で異なる。その結果、デモザイキングに利用された画素の値の平均値と、再デモザイキングに利用される画素の値の平均値が異なり、再デモザイキング前後の画素1406のR成分に差が生じ、画素1406は改竄画素と判定される。

一方、入力画像データ1404の画素1408のR成分は、再デモザイキング前が左上、右上、左下、右下に隣接するR画素の平均値であり、再デモザイキング後も左上、右上、左下、右下に隣接する四画素のR成分の平均値である。つまり、再デモザイキング前後の画素1408のR成分に差がなく、画素1408は非改竄画素と判定される。

また、上記では別画像データの部分領域を元画像データにコピーする改竄（別画像コピー）を例に説明したが、画像データの部分領域を同じ画像データの他の位置にコピーする改竄（同一画像コピー）においても改竄を検知可能である。つまり、同じ画像データであっても、コピー元とコピー先の位置によってCFAパターンがずれたり、デモザイキングにおいて補間に用いられる画素がコピー元とコピー先で異なったりするため、改竄を検知することができる。

［改竄検知処理］
図9のフローチャートにより改竄検知処理を説明する。

画像入力部201は、画像データを入力する(S301)。CFAパターン取得部202は、入力画像データのメタデータからCFAパターン情報を取得する(S302)。DMA取得部203は、入力画像データのメタデータから当該画像データを撮影し生成したカメラを示す情報を抽出し、DB801を参照するなどして入力画像データがデモザイキングされた際のDMA情報を取得する(S303)。

比較画像生成部204は、取得されたCFAパターン情報とDMA情報に基づき、入力画像データを再デモザイキングして比較画像データを生成する(S304)。改竄検知部205は、入力画像データと比較画像データを比較して入力画像データの改竄領域を検知する(S305)。そして、出力部206は、改竄検知部205の検知結果を出力する(S306)。

このように、入力画像データのメタデータから取得した元画像データのCFAパターン情報とDMA情報に基づき入力画像データを再デモザイキングした比較画像データを利用する。これにより、画像データの改竄検知における検知率（検知精度）を向上することができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

以下では、CFAパターン情報はメタデータから取得することができるが、DMA情報が取得できない場合を想定し、DMAを推定して改竄検知を行う実施例2を説明する。つまり、メタデータから取得した撮影カメラ情報などからDMAを特定することができない場合、取得したCFAパターン情報と入力画像データを用いて、当該画像データのデモザイキングに用いられたDMAを推定する。そして、推定したDMAに基づき、実施例1と同様に、再デモザイキングを行い改竄を検知する。

実施例2の機能構成は、実施例1と同様であるが、CFAパターン取得部202とDMA取得部203の機能の一部が実施例1と異なる。

●DMAの推定
DMA取得部203は、DMA情報を取得することができない場合、DMA候補とCFAパターン情報に基づき生成された比較画像データと入力画像データを比較してDMAを推定し、推定したDMAをメモリ103やHDD107などの所定領域に格納する。なお、DMA候補として例えばDB801に含まれるDMAを用いてもよいし、ユーザが直接DMA候補を指定することもできる。

比較画像生成部204は、DMA候補が設定されると、DMA候補それぞれの比較画像データを生成する。DMA取得部203は、入力画像データと最も近似する比較画像データを生成したDMA候補を入力画像データのDMAとして推定する。なお、入力画像データと比較画像データの比較には、実施例1と同様、例えば画素ごとの画素値の比較や、単位ブロックごとの特徴量の比較を用いる。

例えば、入力画像データと比較画像データの画素ごとの画素値の差の絶対和や、単位ブロックごとの特徴量の差の絶対和を算出し、差の絶対和が所定の閾値より小さい比較画像データの生成に使用されたDMA候補を入力画像データのDMAと推定する。差の絶対和が当該閾値より小さい比較画像データが複数ある場合、または、差の絶対和が当該閾値より小さい比較画像データがない場合があり得る。その場合、差の絶対和が最小の比較画像データの生成に使用したDMA候補を入力画像データのDMAとして推定してもよい。

差の絶対和と閾値の比較により、入力画像データのデモザイキングに使用されたDMAに近似しないDMA候補を意図的に除外することができる。言い換えれば、閾値を用いた判定により推定精度が低いDMAを改竄検知に用いないようにすることで、誤検知を予防することができる。なお、差の絶対和ではなく、差の絶対値の平均値や中央値などを使用してもよい。

●CFAパターンベースの改竄検知
CFAパターン取得部202は、実施例1の機能に加え、CFAパターンベースの改善検知のための機能を有する。つまり、CFAパターン取得部202は、メタデータから取得したCFAパターン情報が示すCFAパターン（以下、取得CFAパターン）と異なるCFAパターン（以下、別CFAパターン）も取得する。例えば、取得CFAパターンが図3(A)の場合、別CFAパターンは図3(B)(C)(D)の3パターンになる。

取得CFAパターンと別CFAパターンを用いることで、CFAパターンベースの改竄検知が可能になる。CFAパターンベースの改竄検知は、DMAの違いよりも、CFAパターンの違いを重視して改竄検知を行う。例えば、DMA取得部203がDMAを推定した結果、差の絶対和が閾値以上の比較画像データしか存在しない場合などはCFAパターンベースの改竄検知に切り替えることが望ましい。差の絶対和が閾値以上の比較画像データの生成に使用されたDMA候補は、入力画像データのデモザイキングに使用されたDMAと乖離している可能性が高く、そのようなDMA候補を利用した改竄検知は誤検知の可能性が高くなる。その場合、CFAパターンベースの改竄検知が有効である。

CFAパターンベースの改竄検知は、取得CFAパターンを用いる改竄候補領域の抽出と、別CFAパターンを用いる改竄候補領域からの改竄領域の選定により行われる。改竄候補領域は、取得CFAパターンと異なるCFAパターンを有する可能性が高い領域であり、例えば、取得CFAパターンが図3(A)の場合は、図3(B)(C)(D)のCFAパターンを有する可能性が高い領域である。具体的には、取得CFAパターンと推定されたDMAを用いる再デモザイキングにより生成される比較画像データと入力画像データの比較により、改竄検知部205が検知した改竄画素の集合が改竄候補領域である。また、改竄ブロックの集合、改竄画素や改竄ブロックに囲まれた領域を改竄候補領域としもよい。

CFAパターン取得部202は、比較画像生成部204と改竄検知部205を制御して、別CFAパターンを用いる再デモザイキングにより改竄候補領域の画像データから生成される比較画像データと、入力画像データの改竄候補領域の画像データを比較させる。そして、さらに改竄の可能性が高い領域だけを改竄候補領域から選定する。

なお、以下では、改竄候補領域の画像データから生成される比較画像データを「改竄候補領域から生成される比較画像データ」と表現する場合がある。また、改竄候補領域の画像データから生成される比較画像データと入力画像データの改竄候補領域の画像データの比較を「改竄候補領域から生成される比較画像データと入力画像データの比較」と表現する場合がある。

前述したように、別CFAパターンにより生成される比較画像データと近似する改竄候補領域は、取得CFAパターンと異なるCFAパターンを有する領域の可能性が高い。これは、実施例1で述べたように、入力画像データのCFAパターンとDMAを用いた再デモザイキングにより生成される比較画像データは、画像成分が入力画像データに近似する特性に起因する。

上記の特性により、取得CFAパターン（例えば図3(A)）を利用して抽出した改竄候補領域から、別CFAパターン（例えば図3(B)）を用いて当該CFAパターンを有する部分領域（改竄領域）を選定することができる。つまり、別CFAパターンを用いて改竄候補領域から生成された比較画像データと近似する入力画像データの部分領域は、別CFAパターンを有する改竄領域の可能性が高い。言い換えれば、当該部分領域は、元画像データのCFAパターンと異なるCFAパターンを有する改竄領域の可能性が高い。

同様に、図3(C)(D)のCFAパターンを有する改竄候補領域も改竄領域として選定することができる。取得CFAパターンだけではなく、別CFAパターンを用いて改竄領域を選定するため、改竄されていない領域を改竄領域とする誤検知を減少させることができる。なお、入力画像データの改竄候補領域と、改竄候補領域から生成された比較画像データの近似判定は、例えば、それら領域の画素値の差の絶対和が所定の閾値以下であれば近似すると判定し、差の絶対和が閾値超であれば近似しないと判定すればよい。なお、差の絶対和ではなく、差の絶対値の平均値や中央値などを使用してもよい。

［改竄検知処理］
図10のフローチャートにより実施例2の改竄検知処理を説明する。

画像入力部201は、撮影画像の画像データを入力する(S401)。CFAパターン取得部202は、入力画像データのメタデータからCFAパターン情報を取得する(S402)。DMA取得部203は、入力画像データのメタデータおよびDB801を参照するなどしてDMA候補を取得する(S403)。

DMA取得部203は、比較画像生成部204を制御して、取得CFAパターンと取得された一つのDMA候補に基づく再デモザイキングにより入力画像データから比較画像データを生成させる(S404)。さらに、改竄検知部205を制御して、比較画像データと入力画像データの差を算出させる(S405)。そして、取得された全DMA候補について比較画像データと入力画像データの差を算出したか否かを判定し(S406)、差が未算出のDMA候補があれば処理をステップS404に戻して、次のDMA候補に基づく差の算出を行う。

全DMA候補について、入力画像データと比較画像データの差が算出されると、DMA取得部203は、差の絶対和が所定の閾値より小さい比較画像データがあるか否かを判定する(S407)。差の絶対和が閾値より小さい比較画像データがあれば、その比較画像データの生成に使用されたDMA候補を入力画像データのDMAとして決定することができる。

比較画像生成部204は、取得CFAパターンと決定されたDMAに基づく再デモザイキングにより比較画像データを生成する(S408)。改竄検知部205は生成された比較画像データと入力画像データを比較して改竄検知を行い(S409)、出力部206は改竄検知結果を出力する(S414)。

差の絶対和が閾値より小さいDMA候補がなくDMAが未決定の場合、CFAパターン取得部202は、CFAパターンベースの改竄検知を実行する。つまり、比較画像生成部204を制御して、取得CFAパターンと差の絶対和が最小の比較画像データの生成に使用されたDMA候補（以下、暫定DMA）に基づく再デモザイキングにより比較画像データを生成させる(S410)。さらに、改竄検知部205を制御して、比較画像データと入力画像データの比較により改竄候補領域を抽出させる(S411)。

次に、CFAパターン取得部202は、比較画像生成部204を制御して、別CFAパターンと暫定DMAに基づく再デモザイキングにより改竄候補領域から比較画像データを生成させる(S412)。さらに、改竄検知部205を制御して、ステップS412で生成した比較画像データと改竄候補領域の比較により改竄領域を検知させる(S413)。なお、CFAパターン取得部202は、別CFAパターンすべてについて改竄領域の検知を行うまでステップS412とS413の処理を繰り返す。別CFAパターンすべてについて改竄領域の検知が終了すると、出力部206は、改竄領域の検知結果を出力する(S414)。

このように、DMA情報が取得できない場合にDMAを推定することができる。さらに、DMAの推定精度が低い場合はCFAパターンベースの改竄検知に切り替えて、入力画像データのCFAパターンと異なるCFAパターンをもつ改竄領域を高精度に検知することができる。

［変形例1］
以下では、DMAの推定をパラメータレベルで行い、DMAの推定精度を向上させる変形例1を説明する。

実施例2では複数のDMA候補の中から最適なDMAを推定した。さらに、推定したDMAの補間パラメータを調整することができる。DMAの補間パラメータとしては、補間に用いる画素範囲（以下、補間画素範囲）や、画素値の平均値の算出方法などがある。

例えば、実施例1においては、左上、右上、左下、右下に隣接する四画素を補間画素範囲とするバイリニア補間を説明した。つまり、補間される注目画素を中心とする3×3画素の範囲が補間画素範囲である。この補間画素範囲を5×5画素に拡げることができる。つまり、補間パラメータである、補間画素範囲は「3×3画素」や「5×5画素」になる。

また、画素値の平均値として、特定の画素を重み付けした加重平均を算出してもよい。前述したように、DMAそのものは同じでも補間パラメータが違う場合がある。従って、補間パラメータの違いも考慮して、DMAを推定することで、DMAの推定精度を向上し、改竄の検知率を向上することができる。

図11のフローチャートにより変形例1のDMAの推定処理を説明する。なお、図11に示す処理は、図10に示すステップS407の代わりに実行される。

全DMA候補の入力画像データと比較画像データの差が算出されたと判定されると(S406)、DMA取得部203は、差の絶対和が最小の比較画像データの再デモザイキングに使用されたDMA候補を入力画像データのDMAに選定する(S421)。

次に、DMA取得部203は、選定したDMAの補間パラメータ（補間画素範囲など）を変更する(S422)。そして、比較画像生成部204を制御して、取得CFAパターンと補間パラメータを変更した選定DMAに基づく再デモザイキングにより比較画像データを生成させる(S423)。さらに、改竄検知部205を制御して、比較画像データと入力画像データの画素値の差を算出させる(S424)。

DMA取得部203は、ステップS425の判定により、変更可能な補間パラメータがなくなるまでステップS422からS424の処理を繰り返す。そして、差の絶対和が最小の比較画像データの生成に使用された補間パラメータを選定DMAの補間パラメータに決定する(S426)。そして、決定した補間パラメータの選定DMAに基づき生成された比較画像データに関する差の絶対和が閾値より小さいか否か判定する(S427)。

ステップS427の判定により、差の絶対和が閾値より小さければ改竄検知(S408-S409)が行われ、差の絶対和が閾値以上であれば処理はCFAパターンベースの改竄検知(S410-S413)が行われる。

［変形例2］
以下では、改竄検知処理の処理速度や改竄の検知率の要求スペックに応じて処理を切り替える変形例2を説明する。具体的には、図10に示すステップS410からS413の処理を要求スペックに応じて切り替える。

例えば検知率は低くてもよいが短時間の処理が要求される場合は、ステップS411で抽出した改竄候補領域を最終的な改竄検知結果として、続くステップS412とS413の処理は行わない。ステップS412とS413の処理を省くことにより、処理は高速になるが、取得CFAパターンと異なる別CFAパターンに関する改竄検知を行わないため検知率は低下する。

また、例えば中程度の検知率と中程度の処理速度が要求される場合は、ステップS410からS413の改竄検知処理を行う。

また、例えば処理時間は長くてもよいが高い検知率が要求される場合は、ステップS410とS411の処理を省き、ステップS412とS413の処理を行う。この場合、改竄候補領域ではなく、入力画像データ全体に対し、別CFAパターンそれぞれについて、別CFAパターンと暫定DMAに基づく再デモザイキングにより比較画像データが生成されるため、処理時間が長くなる。改竄候補領域は取得CFAパターンに基づき抽出されるため、改竄候補領域として検知されない改竄領域がある可能性がある。これに対して、入力画像データ全体に対して別CFAパターンに基づく改竄検知を行えば、改竄候補領域として検知されない改竄領域の問題を避けることができ、改竄の検知率が高まる可能性がある。

なお、ユーザは、入力装置109を利用して、処理速度と検知率の要求スペックとして、例えば「高速処理・低検出率」「中速処理・中検出率」「低速処理・高検知率」の三段階の何れかを設定することができる。

図12のフローチャートにより変形例2の要求スペックに応じて処理を切り替える処理を説明する。なお、図12に示す処理は、図10に示すステップS410からS413の代わりに実行される。

差の絶対和が閾値より小さいDMA候補がなくDMAが未決定の場合(S407)、CFAパターン取得部202は、要求スペックを判定する(S431)。

要求スペックが例えば「高速処理・低検出率」など高速を示す場合は、取得CFAパターンと暫定DMAに基づく再デモザイキングにより入力画像データから比較画像データが生成される(S410)。そして、比較画像データと入力画像データの比較により改竄領域が検知される(S413)。

また、要求スペックが例えば「中速処理・中検出率」など中程度を示す場合は、図10を用いた説明と同様の処理(S410-S413)が実行される。

また、要求スペックが例えば「低速処理・高検知率」など高検知率を示す場合は、別CFAパターンと暫定DMAに基づく再デモザイキングにより入力画像データから比較画像データを生成される(S432)。そして、比較画像データと入力画像データの比較により改竄領域が検知される(S413)。なお、CFAパターン取得部202は、別CFAパターンすべてについて改竄領域の検知を行うまでステップS432とS413の処理を繰り返す。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

以下では、DMA情報は取得できるが、CFAパターン情報を取得することができない場合を想定し、CFAパターンを推定して改竄検知を行う実施例3を説明する。つまり、メタデータから取得した撮影カメラ情報などからCFAパターンを特定することができない場合、取得したDMA情報と入力画像データを用いて、当該画像データのCFAパターンを推定する。そして、推定したCFAパターンに基づき、実施例1、2と同様に、再デモザイキングを行い改竄を検知する。

実施例3の機能構成は、実施例1と同様であるが、CFAパターン取得部202の機能の一部が実施例1と異なる。

●CFAパターンの推定
CFAパターン取得部202は、CFAパターン情報を取得することができない場合、CFAパターン候補とDMA情報に基づき生成された比較画像データと入力画像データを比較してCFAパターンを推定する。そして、推定したCFAパターンをメモリ103やHDD107などの所定領域に格納する。なお、CFAパターン候補は例えば図3(A)から図3(E)に示すCFAなどである。

比較画像生成部204は、CFAパターン候補が設定されると、CFAパターン候補それぞれの比較画像データを生成する。CFAパターン取得部203は、入力画像データと最も近似する比較画像データを生成したCFAパターン候補を入力画像データのCFAパターンとして推定する。なお、入力画像データと比較画像データの比較には、実施例1と同様、例えば画素ごとの画素値の比較や、単位ブロックごとの特徴量の比較を用いる。

例えば、入力画像データと比較画像データの画素ごとの画素値の差の絶対和や、単位ブロックごとの特徴量の差の絶対和を算出する。そして、差の絶対和が最小の比較画像データの生成に使用されたCFAパターン候補を入力画像データのCFAパターンと推定する。なお、差の絶対和ではなく、差の絶対値の平均値や中央値などを使用してもよい。

［改竄検知処理］
図13のフローチャートにより実施例3の改竄検知処理を説明する。

画像入力部201は、撮影画像の画像データを入力する(S501)。DMA取得部203は、入力画像データのメタデータおよびDB801を参照するなどしてDMA情報を取得する(S502)。CFAパターン取得部202は、CFAパターン候補を取得する(S503)。

CFAパターン取得部202は、比較画像生成部204を制御して、一つのCFAパターン候補と取得されたDMA情報に基づく再デモザイキングにより入力画像データから比較画像データを生成させる(S504)。さらに、改竄検知部205を制御して、比較画像データと入力画像データの差を算出させる(S505)。そして、取得した全CFAパターン候補について比較画像データと入力画像データの差を算出したか否かを判定し(S506)、差が未算出のCFAパターン候補があれば処理をステップS504に戻して、次のCFAパターン候補に基づく差の算出を行う。

CFAパターンの全候補について入力画像データと比較画像データの差が算出されると、CFAパターン取得部202は、差の絶対和が最小の比較画像データを検出する。そして、当該比較画像データの生成に用いられたCFAパターン候補を入力画像データのCFAパターンとして決定する(S507)。

改竄検知部205は決定されたCFAパターンを用いて生成された比較画像データと入力画像データを比較して改竄検知を行い(S508)、出力部206は改竄検知結果を出力する(S509)。

このように、CFAパターン情報が取得できない場合にCFAパターンを推定することができる。

［変形例3］
以下では、CFAパターンの推定をRGB成分の並びごとに行う変形例3を説明する。

まず、CFAパターンにおけるG画素の並び方を推定し、その後、R画素とB画素の並び方を推定する。例えば、図3に示すベイヤ配列のCFAは、G画素の並び方により、左下と右上にG画素が配置された第一のグループ（図3(A)(B)）、左上と右下にG画素が配置された第二のグループ（図3(C)(D)）に分けられる。

第一のグループのCFAパターンを用いて生成した比較画像データと入力画像データの比較、および、第二のグループのCFAパターンを用い生成した比較画像データと入力画像データの比較を行い、入力画像データのCFAパターンが属すグループを推定する。G画素の並び方だけを推定すればよいので、入力画像データと比較画像データのG成分にだけ着目して比較を行う。つまり、入力画像データのG成分と近似するG成分をもつ比較画像データの生成に用いられたグループのG画素の並び方を入力画像データのCFAパターンのG画素の並び方と推定する。

次に、R画素とB画素の並び方を推定するには、入力画像データと比較画像データのR成分とB成分を比較すればよい。例えば、第一のグループに属すCFAパターンと推定された場合、図3(A)(B)のCFAパターンそれぞれを用いて比較画像データを生成し、入力画像データと比較画像データのR成分とB成分の近似を判定する。そして、より近似する比較画像データの生成に使用されたCFAパターンのR画素とB画素の並び方を入力画像データのCFAパターンのR画素とB画素の並び方と推定する。

以上により、RGB画素の並び方が推定され、入力画像データのCFAパターンが決定する。入力画像データと比較画像データのRGB成分の比較を、CFAパターンのRGB画素の並び方に従い段階的に行うため、一度にRGB成分を比較してCFAパターンを推定するよりも推定精度が向上する。

G成分を比較する際は、各グループに属すCFAパターンを用いて生成された比較画像データのG成分と入力画像データのG成分の差の絶対値の平均値を用いることもできる。例えば、図3(A)のCFAパターンを用いて生成された比較画像データのG成分と入力画像データのG成分の差を求める。さらに、図3(B)のCFAパターンを用いて生成された比較画像データのG成分と入力画像データのG成分の差を求める。そして、それら差の絶対値の平均値を第一のグループのG成分の差とする。同様に、第二のグループについてもG成分の差を算出して、両グループのG成分の差を比較することで、入力画像データのCFAパターンのG画素の並び方を推定することができる。

図14のフローチャートにより変形例3のCFAパターンの推定処理を含む改竄検知処理を説明する。なお、ステップS501、S502、S508、S509の処理は図13と同様であり、それら処理の詳細説明は省略する。

CFAパターン取得部202は、G画素の並び方でグルーピングされたCFAパターングループを取得する(S511)。CFAパターン取得部202は、比較画像生成部204を制御して、一つのCFAパターングループと取得されたDMA情報に基づく再デモザイキングにより入力画像データから比較画像データを生成させる(S512)。さらに、改竄検知部205を制御して、比較画像データのG成分と入力画像データのG成分の差を算出させる(S513)。そして、取得した全CFAパターングループについてG成分の差を算出したか否かを判定し(S514)、差が未算出のCFAパターングループがあれば処理をステップS512に戻して、次のCFAパターングループに基づくG成分の差の算出を行う。

全CFAパターングループについてG成分の差が算出されると、CFAパターン取得部202は、G成分の差が最小の比較画像データの生成に用いられたCFAパターングループを選択する(S515)。言い替えれば、入力画像データのCFAパターンのG画素の並び方を決定する。そして、選択CFAパターングループに属すCFAパターンをCFAパターン候補として取得する(S516)。

次に、CFAパターン取得部202は、比較画像生成部204を制御して、一つのCFAパターン候補と取得されたDMA情報に基づく再デモザイキングにより入力画像データから比較画像データを生成させる(S517)。さらに、改竄検知部205を制御して、比較画像データのR成分、B成分と入力画像データのR成分、B成分の差を算出させる(S518)。そして、選択CFAパターングループに属すCFAパターンすべてについてR成分、B成分の差を算出したか否かを判定する(S519)。差が未算出のCFAパターンがあれば処理をステップS517に戻して、次のCFAパターンに基づくR成分、B成分の差の算出を行う。

選択CFAパターングループに属すCFAパターンすべてについてR成分、B成分の差が算出されると、CFAパターン取得部202は、差が最小の比較画像データの生成に用いられたCFAパターンを入力画像データのCFAパターンに決定する(S520)。言い替えれば、入力画像データのCFAパターンのR画素、B画素の並び方を決定する。なお、R成分の差とB成分の差の合計などによって差が最小の比較画像データを判定すればよい。

［その他の変形例］
CFAパターンやDMAが取得できるか否かにより、実施例1、2、3で説明した改竄検知処理のうち、どの改竄検知処理を行うかを切り替えることもできる。図15のフローチャートにより改竄検知処理の切り替えを説明する。

画像入力部201は、撮影画像の画像データを入力する(S901)。DMA取得部203は、入力画像データのメタデータから撮影カメラ情報を抽出し、DB801を参照するなどしてDMA情報が取得可能か否かを判定する(S902)。DMA情報が取得可能な場合はDMA情報を取得する(S903)。

次に、CFAパターン取得部202は、入力画像データのメタデータを参照してCFAパターン情報が取得可能か否かを判定する(S904)。CFAパターン情報が取得可能な場合はCFAパターン情報を取得する(S905)。

次に、ステップS906の判定により、CFAパターン情報とDMA情報が取得できた場合は、それら情報を用いて実施例1で説明した改竄検知処理を行う(S907)。

また、DMA情報が取得できなかった場合は、実施例2で説明した改竄検知処理を行う(S908)。つまり、DMAを推定し、取得したCFAパターン情報と推定したDMAを用いて改竄検知を行う。

また、CFAパターン情報が取得できなかった場合は、実施例3で説明した改竄検知処理を行う(S909)。つまり、CFAパターンを推定し、推定したCFAパターンと取得したDMA情報を用いて改竄検知を行う。

また、実施例2の処理である、取得CFAパターンと異なる別CFAパターンを用いた改竄領域の検知は、他の実施例にも適用することができる。例えば、図9に示す実施例1の改竄検知処理において、ステップS305で検知された改竄領域を改竄候補領域とし、改竄候補領域に対して、別CFAパターンを適用して改竄領域を検知すればよい。

また、上記では、入力画像データのメタデータからCFAパターン情報を取得する例を説明したが、画像データのCFAパターンが分かっている場合、ユーザがCFAパターンを指定することもできる。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims (10)

1. １画素が複数の色成分で構成される入力画像データの撮影に使用された撮像素子のカラーフィルタアレイの種類を示すパターン情報と、前記入力画像データの画素を構成する各色成分を生成するために用いた色補間処理のアルゴリズムを示すアルゴリズム情報を取得する取得手段と、
   前記入力画像データを構成する各画素が持つ複数の色成分のうち、前記取得したパターン情報が示すカラーフィルタアレイで特定される画素位置の色成分を処理対象成分とし、当該処理対象成分の配列に対して前記アルゴリズム情報が示すアルゴリズムに従った色補間処理を行うことで、１画素が複数の色成分で構成される比較画像データを生成する生成手段と、
   前記比較画像データと前記入力画像データそれぞれの対応する位置の画素を比較して、前記入力画像データの改竄画素を検知する検知手段とを有し、
   前記取得手段は、前記入力画像データから前記パターン情報を取得し、前記取得したパターン情報とアルゴリズム情報の候補に基づき生成される比較画像データと前記入力画像データを比較して、前記色補間処理のアルゴリズム情報を推定し、
   前記取得手段は、前記入力画像データから取得したパターン情報とは異なる別のパターン情報を取得し、
   前記検知手段は、前記入力画像データから取得されたパターン情報と前記推定されたアルゴリズム情報から生成された比較画像データと前記入力画像データを比較して改竄候補領域を抽出し、
   前記生成手段は、前記別のパターン情報と前記推定されたアルゴリズム情報を用いて、前記改竄候補領域の画像データから比較画像データを生成し、
   前記検知手段は、前記改竄候補領域の画像データと、前記改竄候補領域の画像データから生成された比較画像データを比較して改竄領域を検知する画像処理装置。
2. 前記取得手段は、前記入力画像データから前記パターン情報と前記アルゴリズム情報を取得する請求項1に記載された画像処理装置。
3. 前記取得手段は、さらに、前記アルゴリズム情報の補間パラメータを変更した場合に生成される比較画像データと前記入力画像データの比較から前記補間パラメータを推定する請求項1又は2に記載された画像処理装置。
4. 前記取得手段は、前記入力画像データから前記アルゴリズム情報を取得し、パターン情報の候補と前記取得したアルゴリズム情報に基づき生成される比較画像データと前記入力画像データを比較して、前記カラーフィルタアレイのパターン情報を推定する請求項1に記載された画像処理装置。
5. 前記取得手段は、前記カラーフィルタアレイのG画素の並び方でグループに分けたパターン情報と前記取得したアルゴリズム情報に基づき生成される比較画像データのG成分と前記入力画像データのG成分を比較して前記カラーフィルタアレイのG画素の並び方を推定し、前記推定したG画素の並び方を有するパターン情報を前記パターン情報の候補とする請求項4に記載された画像処理装置。
6. 前記生成手段は、前記パターン情報と前記アルゴリズム情報に基づくデモザイキング処理により前記入力画像データから前記比較画像データを生成する請求項1から請求項5の何れか一項に記載された画像処理装置。
7. 前記検知手段は、前記入力画像データと前記比較画像データの間で画素値が異なる画素を改竄画素として検知する請求項1から請求項6の何れか一項に記載された画像処理装置。
8. １画素が複数の色成分で構成される入力画像データの撮影に使用された撮像素子のカラーフィルタアレイの種類を示すパターン情報と、前記入力画像データの画素を構成する各色成分を生成するために用いた色補間処理のアルゴリズムを示すアルゴリズム情報を取得する取得工程と、
   前記入力画像データを構成する各画素が持つ複数の色成分のうち、前記取得したパターン情報が示すカラーフィルタアレイで特定される画素位置の色成分を処理対象成分とし、当該処理対象成分の配列に対して前記アルゴリズム情報が示すアルゴリズムに従った色補間処理を行うことで、１画素が複数の色成分で構成される比較画像データを生成する生成工程と、
   前記比較画像データと前記入力画像データそれぞれの対応する位置の画素を比較して、前記入力画像データの改竄画素を検知する検知工程とを有し、
   前記取得工程では、前記入力画像データから前記パターン情報を取得し、前記取得したパターン情報とアルゴリズム情報の候補に基づき生成される比較画像データと前記入力画像データを比較して、前記色補間処理のアルゴリズム情報を推定し、
   前記取得工程では、前記入力画像データから取得したパターン情報とは異なる別のパターン情報を取得し、
   前記検知工程では、前記入力画像データから取得されたパターン情報と前記推定されたアルゴリズム情報から生成された比較画像データと前記入力画像データを比較して改竄候補領域を抽出し、
   前記生成工程では、前記別のパターン情報と前記推定されたアルゴリズム情報を用いて、前記改竄候補領域の画像データから比較画像データを生成し、
   前記検知工程では、前記改竄候補領域の画像データと、前記改竄候補領域の画像データから生成された比較画像データを比較して改竄領域を検知する画像処理方法。
9. コンピュータを請求項1から請求項7の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
10. 請求項9に記載されたプログラムが格納されたコンピュータが読み取り可能な記録媒体。

Images