JP7248968B2 - 画像識別装置、画像識別方法、および画像識別プログラム - Google Patents

Description

本発明は画像の盗用を検出するための技術に関する。

特定のテーマに関する情報をインターネット上から収集し、収集した情報を整理し、１つのページにまとめて掲載するウェブサービスがある。インターネット上では他人のコンテンツを容易に盗用できるため、この種のウェブサービスで著作権侵害が生じやすいという問題が指摘されている。特に画像はそのままあるいは簡単な加工をするだけで容易に盗用できてしまう。

原著作物画像と他の画像との類似度を判定する類似画像判定装置が特許文献１、２に開示されている。

特許文献１には、電子化された原著作物画像を用意し、この原著作物画像と同一または類似の画像を含むことが推定されるコンテンツをコンテンツ保有装置から取得するとともに、当該コンテンツにおいて原著作物画像との比較対象となる対象画像を特定し、特定された対象画像と原著作物画像との特徴量を抽出し、抽出された対象画像の特徴量に基づいたヒストグラムを生成し、当該ヒストグラムを所定の単位幅で変化させて単位幅毎の単位ヒストグラム群を生成し、生成された単位ヒストグラム群と原著作物画像の特徴量とを比較して両画像間の類似度を判定する態様が記載されている。

特許文献２には、電子化された所定の原著作物画像と、該原著作物画像と同一または類似の画像を含むことが推定されるコンテンツとを取得し、取得したコンテンツにおいて原著作物画像との比較対象となる対象画像を特定し、特定された対象画像と前記原著作物画像の特徴量を比較して画像間の類似度を表す情報を生成し、類似度を表す情報を当該対象画像の取得先情報と共に出力する態様が記載されている。

また、特許文献２には、特定された対象画像及び原著作物画像の少なくとも一方に対して、拡大、縮小、回転、色調変換等の画像変換処理を施して両画像の特徴量をより近似させ、画像変換処理後の両画像の特徴量を比較する旨も記載されている。

特開平１１－１１０５５６号公報 特開平１１－５３５４１号公報

インターネット上に膨大な数の画像が存在するため、その中から対象画像を盗用した画像を見つける処理の演算量は膨大となる。例えば、インターネット上の数千万個の公開画像の中から数百万個の対象画像の盗用を探索する場合、数百兆回の画像マッチングを行うことになる。さらに、インターネット上の画像は日々、変化したり、増加されたりしているので、インターネット上の画像から対象画像を盗用した画像を見つける処理は、ある程度の頻度で繰り返すことが求められる。そのため、インターネット上の画像を短い時間に高い精度で調査し、対象画像を盗用した画像を探索する処理が求められる。例えば、数日あるいは数週間という周期で、高い精度の画像マッチング処理を繰り返すことが求められる。

特許文献１、２に記載の方法を用いれば、２つの画像がどの程度類似しているかを算出したり、２つの画像に同じ物体が写っていることを精度よく検出したりすることは可能である。しかしながら、それらの技術をもってしても精度と速度を両立することは困難である。

本発明の目的は、対象画像を盗用した可能性のある公開画像を短時間かつ高精度で探索する技術を提供することである。

本発明のひとつの態様に従う画像識別装置は、複数の公開画像の各々と対象画像とを画素値の統計量および／または特徴点の統計量により比較することにより算出される第１類似度が所定の閾値を超える対象画像と公開画像の組合せを選択する第１判定部と、その選択された対象画像と公開画像の組合せについて、公開画像の特徴点を、対象画像の特徴点および対象画像に所定の加工を施した加工画像の特徴点と比較することにより算出される第２類似度が所定の閾値を超える対象画像と公開画像の組合せを選択する第２判定部と、を有している。

本発明によれば、対象画像を盗用した可能性のある公開画像を短時間かつ高精度で探索することができる。

画像識別装置の機能構成を示すブロック図である。 画像識別装置のハードウェア構成を示すブロック図である。 全体処理のフローチャートである。 全体処理について説明するためのイメージ図である。 グループ作成処理のフローチャートである。 グループ作成処理について説明するためのイメージ図である。 第１判定処理のフローチャートである。 第１判定処理について説明するためのイメージ図である。 第２判定処理のフローチャートである。 第２判定処理について説明するためのイメージ図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本実施形態による画像識別装置の処理構成を示すブロック図である。図２は、画像識別装置のハードウェア構成を示すブロック図である。

図１を参照すると、画像識別装置１０は、グループ作成部１１、公開画像収集部１２、第１判定部１３、第２判定部１４、および表示部１５を有している。

画像識別装置１０は、複数の公開画像の中から対象画像に依拠する画像を発見するための処理を行う装置である。公開画像は、ウェブサーバが提供するウェブページなどによって企業や個人などがインターネット上に公開している画像である。対象画像は、インターネット上で盗用されていないか探索する対象となる著作権のある画像である。公開画像の中には対象画像に依拠する画像が含まれていることが想定される。対象画像を基にして作成されている画像は対象画像に依拠するものとなりうる。対象画像に依拠する画像を、対象画像の著作権者に無断で作成すると盗用になりうる。画像識別装置１０は、対象画像を盗用した公開画像を発見するために、対象画像と同一のものと推定される公開画像や対象画像に依拠していると推定される公開画像を探索する。

本実施形態による画像識別装置１０は、第１判定部１３と第２判定部１４による２段階の判定により、公開画像の中から対象画像を盗用したものと推定される画像を探索する。

グループ作成部１１は、対象画像に対して公開画像との比較の準備を行う。グループ作成部１１の詳細な処理は後述する。

公開画像収集部１２は、公開画像を収集する。公開画像収集部１２の詳細な処理は後述する。

第１判定部１３は、複数の公開画像と対象画像とを画素値の統計量および／または特徴点の統計量により比較することにより算出される第１類似度が所定の閾値を超える対象画像と公開画像の組合せを選択する。画素値の統計量および／または特徴点の統計量というのは、画素値の統計量と特徴点の統計量とのいずれか一方または両方のことである。第１類似度は公開画像の画素値の統計量と対象画像の画素値の統計量とを比較することにより算出される値であってもよい。あるいは、第１類似度は、公開画像の特徴点の統計量と対象画像の特徴点の統計量とを比較することにより算出される値であってもよい。あるいは、第１類似度は、公開画像の画素値の統計量と対象画像の画素値の統計量とを比較することにより算出される類似度と、公開画像の特徴点の統計量と対象画像の特徴点の統計量とを比較することにより算出される類似度とから算出される値であってもよい。

第２判定部１４は、第１判定部１３で選択された対象画像と公開画像の組合せについて、その公開画像の特徴点を、その対象画像の特徴点およびその対象画像に所定の加工を施した加工画像の特徴点と比較することにより算出される第２類似度が所定の閾値を超える対象画像と公開画像の組合せを選択する。ここで選択される対象画像と公開画像の組合せは、対象画像と、その対象画像に依拠して作成されたと推定される公開画像との組み合わせである。

本実施形態によれば、画素値の統計量および／または特徴点の統計量の比較により一次選択を行い、一次選択で残った画像のみ対象画像との詳細な比較を行う。詳細な比較においては、残った画像を、対象画像そのものだけでなく、盗用の態様となりうる対象画像を加工した加工画像とも、特徴点の比較を行う。その結果、高速かつ高精度で対象画像の盗用を調査することができる。

特に、第２類似度の算出において、対象画像とその対象画像に依拠した加工画像の両方について公開画像と特徴点の比較を行うので、単に同一人物が写っている画像や同一物が写っている画像といった一般的な類似画像概念に属するような画像よりも、対象画像に依拠する加工画像の第２類似度が高く算出されうる。インターネット上には例えば同一の有名人や同一の有名観光スポットを撮影した公開画像が多数存在するが、それらの多くは類似画像であっても対象画像に依拠したものではなく、全く別個に撮影されたものである。そのような類似画像は、画像の盗用の推定を目的とする場合には検出しなくてよい。このような状況を考慮すると、単なる画像の類似判定ではなく、画像の盗用の推定を目的とする画像識別装置１０においては本実施形態のように対象画像と加工画像の両方を用いる第２類似度の算出方法は特に有効である。

また、本実施形態では、画素値の統計量は一例として画素値のヒストグラムであり、第１判定部１３は、公開画像Ｐｉに含まれる画素値のヒストグラムを対象画像Ｏｉの画素値のヒストグラムと比較することにより第１類似度を算出する。画素値のヒストグラムにより一次選択を行い、一次選択で残った画像のみ対象画像との詳細な比較を行う。詳細な比較においては、残った画像を、対象画像そのものだけでなく、盗用の態様となりうる対象画像を加工した加工画像とも、特徴点の比較を行う。その結果、高速かつ高精度で対象画像の盗用を調査することができる。

また、第１判定部１３が主に色合いに着目した画素値ヒストグラムに基づく第１類似度で類否を判定し、第２判定部１４が主に形状に着目した特徴点に基づく第２類似度で類否を判定するので、色合いと形状のいずれか一方に偏ることのない類否の判定が可能である。

また、本実施形態では、グループ作成部１１は、複数の対象画像のそれぞれについて、複数の対象画像に共通する所定の加工方法で所定個の加工画像を作成し、対象画像の同一画像および加工画像を比較用画像としてグループ化して、複数の対象画像のそれぞれと紐づける。第２判定部１４は、公開画像の特徴点と、対象画像に紐づくグループに含まれる比較用画像の特徴点との比較に基づき、その公開画像とその対象画像との第２類似度を算出することにしてもよい。画像の加工方法は無限にあるが、一般に画像の盗用時にはよく用いられる加工方法というのはある程度想定が可能である。その加工方法を複数ある対象画像に共通に適用することで、共通処理により処理を単純化することができる。

また、本実施形態では、第２判定部１４は、第１判定部１３で選択された対象画像と公開画像の組合せにおける、その公開画像と、その対象画像のグループに含まれる複数の比較用画像のそれぞれとの特徴点に関する類似度を算出し、それらの類似度を加算することにより、公開画像の対象画像との第２類似度を算出することにしてもよい。公開画像を複数の比較用画像と比較し、それらの類似度を加算した値、例えば合計値に基づいて、第２類似度を算出するので、複数の比較用画像による総合判断となり、比較用画像の加工方法のいずれとも異なる加工方法で盗用がされた場合であっても総合判断により盗用の推定が可能となる。ここでいう加算には、単純な合計値を求める積算の他、加工方法あるいは比較用用画像にそれぞれ重みを付与し、類似度に重みづけして積算するものを含むものとする。例えば、対象画像に何も加工していない画像との類似度の重みを、何らかの加工がされた他の比較用画像の重みよりも大きく設定してもよい。

あるいは、本実施形態では、第２判定部１４は、第１判定部１３で選択された対象画像と公開画像の組合せにおける、その公開画像と、その対象画像のグループに含まれる複数の比較用画像のそれぞれとの特徴点に関する類似度のうち最大値に基づいて、公開画像の前記対象画像との第２類似度を算出することにしてもよい。公開画像が、所定の加工方法のいずれかにより対象画像を加工したものであれば、いずれかの比較用画像（加工画像）と高い類似度を示すと考えられる。そのため、複数の比較用画像との類似度のうち最大値を示したものを基に第２類似度を算出すれば、想定される加工方法と同一の加工方法による盗用の推定が可能となる。例えば、複数の比較用画像との類似度のうち最大値を第２類似度とすれば、想定される加工方法と同一の加工方法による盗用の推定に有効である。

また、本実施形態では、グループ作成部１１は、各対象画像のグループの比較用画像を予め作成し、データベース化しておき、公開画像収集部１２は、公開画像を予め収集してデータベース化しておき、第２判定部１４は、データベースにアクセスし、予め収集された公開画像の特徴点と予め作成された比較用画像の特徴点とを比較することにしてもよい。比較用画像と公開画像とを予めデータベース化しておき、データベースにアクセスしながらそれらの特徴点を比較していくので、対象画像も公開画像もどちらも多数存在する場合に比較処理を効率よく実行して演算時間を短縮することができる。

なお、本実施形態では、第１判定部１３が対象画像の画素値ヒストグラムと公開画像の画素値ヒストグラムとを比較する例を示したが、これに限定されることはない。他の例として、対象画像の特徴点から種類毎に算出される統計量と、公開画像の特徴点から種類毎に算出される統計量とを比較してもよい。例えば、第１判定部１３が、対象画像の特徴点の種類毎の個数を示す特徴点インデックスと、公開画像の特徴点の種類毎の個数を示す特徴点インデックスとを比較することにしてもよい。あるいは、第１判定部１３は、対象画像の種類毎に特徴点があるか否かを２値で示す特徴点インデックスと、公開画像の種類毎にその特徴点があるか否かを２値で示す特徴点インデックスとを比較することにしてもよい。

更に、他の例として、第１判定部１３は、画素値ヒストグラムの比較と、特徴点インデックス比較の両方を用いて第１類似度を算出することにしてもよい。

また、本実施形態では、第１判定部１３は、画素値ヒストグラムあるいは特徴点インデックスを比較する前に対象画像と公開画像のサイズを一致させることにしてもよい。これにより、比較の演算が容易となる。

第１判定部１３および第２判定部１４の詳細な処理と、第１判定部１３あるいは第２判定部１４の処理に関連する他の部分の詳細な処理とについては後述する。

本実施形態による画像識別装置１０は図１に示した各部の処理手順を規定したソフトウェアプログラムをコンピュータに実行させることにより実現することも可能である。図２には、画像識別装置１０を実現するコンピュータのハードウェア構成の一例が示されている。

図２を参照すると、画像識別装置１０はインターネット等の通信ネットワーク９０経由でウェブサーバ９１と接続可能である。ハードウェア構成として、画像識別装置１０は、処理装置２１、メインメモリ２２、記憶装置２３、通信装置２４、入力装置２５、および表示装置２６を有し、それらがバス２７に接続されている。

記憶装置２３は、書込みおよび読み出しが可能にデータを記憶するものであって、この記憶装置２３には画像識別装置１０が処理に用いる画像のデータが記録される。例えば、複数のウェブサーバ９１から収集した公開画像のデータは記憶装置２３に蓄積される。また、その画像の盗用がされているか否か探索する対象となる対象画像のデータも記憶装置２３に記録される。

処理装置２１は、記憶装置２３に記憶されたデータをメインメモリ２２に読み出し、メインメモリ２２を利用してソフトウェアプログラムの処理を実行するプロセッサである。処理装置２１によって、図１に示したグループ作成部１１、公開画像収集部１２、第１判定部１３、第２判定部１４、および表示部１５が実現される。

通信装置２４は、処理装置２１にて処理された情報を有線または無線あるいはそれら両方を含む通信ネットワーク９０を介して送信し、また通信ネットワーク９０を介して受信した情報を処理装置２１に伝達する。受信した情報は処理装置２１にてソフトウェアの処理に利用される。

入力装置２５は、キーボードやマウスなどオペレータによる操作入力による情報を受け付ける装置であり、入力された情報は処理装置２１にてソフトウェア処理に利用される。例えば、対象画像は通信装置２４や入力装置２５を介して記憶装置２３に入力される。

表示装置２６は、処理装置２１によるソフトウェア処理に伴って画像やテキストの情報をディスプレイ画面に表示する装置である。

図３は、全体処理のフローチャートである。図４は、全体処理について説明するためのイメージ図である。図３の全体処理が開始される前に記憶装置２３には盗用を探索する対象画像のデータが保持されている。

図３を参照すると、画像識別装置１０は、まず、グループ作成部１１によりグループ作成処理を行う（ステップＳ１０１）。グループ作成処理において、グループ作成部１１は、記憶装置２３に格納されている対象画像の加工画像の作成と、対象画像の画素値ヒストグラム作成と、対象画像および加工画像（比較用画像）の特徴点抽出と、を行っておく。

加工画像は、対象画像を回転した画像、分割した画像、補正した画像、などである。対象画像を加工して盗用する場合に想定される加工方法で対象画像を加工した加工画像を準備しておくことが好ましい。対象画像とその対象画像を加工して作成した加工画像とを合わせた比較用画像がその対象画像に紐づくグループとなる。

画素値ヒストグラムは、画像中の画素の画素値の分布を、横軸に画素値をとり縦軸に画素数をとってグラフにしたものである。ここでは画素値ヒストグラムを描画可能にする画素値の度数分布データを作成すればよい。

次に、画像識別装置１０は、公開画像収集部１２により、公開画像収集処理を実行する（ステップＳ１０２）。公開画像収集処理にて、公開画像収集部１２は、通信ネットワーク９０経由でウェブサーバ９１の各ウェブサイトを巡回し、ウェブサイトに含まれるウェブページで公開されている公開画像のデータを収集し、公開画像の画素値ヒストグラムを作成し、公開画像のデータおよび画素値ヒストグラムのデータを記憶装置２３に蓄積する。

なお、本実施形態では、一例としてグループ作成処理を行った後に公開画像収集処理を行う例を示すが、この処理順序に限定されることはない。公開画像収集処理をグループ作成処理の前に実行してもよい。

次に、画像識別装置１０は、第１判定部１３により、第１判定処理を実行する（ステップＳ１０３）。第１判定処理にて、第１判定部１３は、まず、公開画像の画素値ヒストグラムと対象画像の画素値ヒストグラムとを総当たりで比較し、それぞれの組合せの類似度（第１類似度）を算出する。次に、第１判定部１３は、第１類似度を所定の閾値と比較し、第１類似度が閾値を越えている公開画像を対象画像に対応付け、対応づけ情報を記憶装置２３に記録する。

画素値ヒストグラム同士の類似度は、画素値ヒストグラムのグラフ形状の類似性に基づいて算出することにしてもよい。例えば、対象画像の画素値ヒストグラムの各ビンとそのビンに対応する公開画像の画素値ヒストグラムのビンとについて、当該ビンの画素数の全ビンの画素数の平均値からの偏差同士を比較する。それら偏差同士の差分の合計値が小さければ、対象画像と公開画像の第１類似度は高い。

ここで、画素値のヒストグラムを比較しているので、対象画像や公開画像にどんな形状の物が写っているかとは関係なく、対象画像と、画像全体の色合い（画像全体としての色の傾向）が似ている公開画像が一次選択されることになる。

なお、画像の画素値ヒストグラムを正規化してから、それらを比較することにしてもよい。そうすることで画像サイズが違っていても画像全体の色合いが似ているかどうかを判断することが可能となる。

本実施形態では、第１判定部１３は、対象画像と公開画像とを画素値のヒストグラムにより比較するものとしたが、上述のように、他の例として特徴量の統計量により比較してもよい。特徴点の統計量は所定次元数のベクトルにより表すことができ、第１判定部１３は、対象画像の特徴点の統計量を表すベクトルと、公開画像の特徴点の統計量を表すベクトルとの類似度を算出すればよい。ベクトル間の類似度を算出する手法は特に限定されないが、例えばコサイン類似度をベクトル間の類似度として用いても良いし、ベクトルの要素を文字列と見たてて文字列間の非類似度を表すハミング距離からベクトル間の類似度を求めてもよい。

次に、画像識別装置１０は、第２判定部１４により、第２判定処理を実行する（ステップＳ１０４）。第２判定処理にて、第２判定部１４は、記憶装置２３に記録されている対応づけ情報にて対応づけられている公開画像と対象画像の組合せについて、その公開画像の特徴点を、その対象画像に紐づけられたグループに属する各比較用画像の特徴点と比較する。

画像の特徴点の比較は、例えば特徴点から算出される特徴量に基づいて行ってもよい。特徴点とは、画像内の特徴的な点のことである。例えば、画像に写っている物体の角や境界などに特徴点が存在する。特徴量は、特徴点から算出される値である。例えば、特徴点の種類により重み付けしたスコアを各特徴点に付与し、画像の中で位置と種類が一致した特徴点のスコアを積算した積算値を画像同士の第２類似度としてもよい。

また、公開画像と対象画像のグループに属する比較用画像それぞれとの画像同士の特徴点の距離を算出し、特徴点同士の距離が近いほど類似度が高くなるように類似度を算出し、グループの類似度を総合して第２類似度を算出するように第２類似度の演算を定義してもよい。

本実施形態で用いる特徴点の比較手法は特に限定されない。既存の様々な特徴点マッチングの手法を用いることもできる。

なお、特徴点同士の距離で類似度を算出する特徴点マッチングは画像の回転に弱く、同じ画像でも画像が回転していると類似度が低下してしまう。そのため、そのような手法を用いる場合には、加工画像として、対象画像を回転させた画像を準備しておくことは、その点でも効果的である。

上述の通り、この比較用画像には対象画像およびその対象画像を加工した加工画像が含まれている。例えば、公開画像の特徴点と、対象画像に紐づけられたグループに属する各比較用画像との類似度をそれぞれ算出し、それらの類似度に基づいて、公開画像と対象画像との類似度（第２類似度）を算出する。更に、第２判定部１４は、比較結果に基づいて、その公開画像がその対象画像を盗用したものと推定されるか否か判定する。例えば、第２類似度が所定の閾値を越えていたら、その公開画像はその対象画像を盗用して作成されたと推定するものとしてもよい。

次に、画像識別装置１０は、表示部１５により、第２判定部１４による判定結果を画面に表示する。例えば、対象画像を盗用して作成したと推定される公開画像について、判定に用いた第２類似度を意味するスコアを表示してもよい。また、例えば、対象画像と、その対象画像を盗用して作成したと推定される公開画像とを並べて表示することにしてもよい。

図４は、全体処理について説明するためのイメージ図である。ステップＳ１０１では、対象画像Ｏｉの画素値ヒストグラムＯｈが作成される。また、対象画像Ｏｉおよびその加工画像の特徴点Ｏｆが抽出される。図４には、対象画像Ｏｉが１つだけしか示されていないが、実際には多数の対象画像Ｏｉ１、Ｏｉ２、・・・が存在する。ステップＳ１０１では、それら多数の対象画像Ｏｉ１、Ｏｉ２、・・・に対して処理が行われる。

ステップＳ１０２では、通信ネットワーク９０経由でウェブサーバ９１から、対象画像Ｏｉよりも更に多数の公開画像Ｐｉ１～Ｐｉｎが収集され、各公開画像Ｐｉ１～Ｐｉｎの画素値ヒストグラムＰｈ１～Ｐｈｎが作成され、更に各公開画像Ｐｉ１～Ｐｉｎの特徴点Ｐｆ１～Ｐｆｎが抽出される。

ステップＳ１０３の第１判定処理では、対象画像Ｏｉの画素値ヒストグラムＯｈと公開画像Ｐｉ１～Ｐｉｎの画素値ヒストグラムＰｈ１～Ｐｈｎとの第１類似度が算出され、第１類似度が閾値を越えた対象画像Ｏｉと公開画像Ｐｉの組合せが抽出される。ここで抽出される対象画像Ｏｉと公開画像Ｐｉの組合せは、公開画像Ｐｉが対象画像Ｏｉを盗用して作成されたものか否か更に第２判定処理で判定する必要があるとされたものである。

ステップＳ１０４の第２判定処理では、ステップＳ１０３で抽出された対象画像Ｏｉと公開画像Ｐｉの組合せについて、対象画像Ｏｉおよびその加工画像の特徴点Ｏｆと、公開画像Ｐｉの特徴点Ｐｆとに基づいて第２類似度が算出され、第２類似度が閾値を越えた対象画像Ｏｉと公開画像Ｐｉの組合せが抽出される。ここで抽出される対象画像Ｏｉと公開画像Ｐｉの組合せは、その公開画像Ｐｉがその対象画像Ｏｉを盗用して作成されたものと推定されたものである。

図５は、グループ作成処理のフローチャートである。図５には、ステップＳ１０１によるグループ作成処理の詳細が示されている。

図５を参照すると、グループ作成部１１は、対象画像の加工画像を作成する（ステップＳ２０１）。ここでは、対象画像Ｏｉを盗用し加工して公開画像Ｐｉとする場合に想定される各種加工方法で加工した加工画像を比較用画像として用意しておくのが良い。例えば、加工画像として、対象画像Ｏｉの画像サイズを拡大した拡大画像、対象画像Ｏｉの画像サイズを縮小した縮小画像、対象画像Ｏｉを所定角度だけ回転させた回転画像、および対象画像Ｏｉの一部を切り出した分割画像、の少なくとも１つを比較用画像に含むのが好ましい。盗用に利用される可能性がある容易な加工方法で対象画像Ｏｉを加工した加工画像を公開画像Ｐｉと比較することができるので、少ない処理量で盗用の検出精度を確保することができる。

なお、上記分割画像は、対象画像Ｏｉを例えば、縦に２等分したり、横に2等分したり、縦横に４等分したりなど固定的な分割方法で対象画像Ｏｉから加工画像を作成してもよいし、対象画像Ｏｉから人の顔を検出し、人の顔の周辺を切り取るように加工画像を作成してもよい。

次に、グループ作成部１１は、対象画像Ｏｉの画素値ヒストグラムを作成する（ステップＳ２０２）。画素値ヒストグラムの作成は、画素値毎に、その画素値に該当する画素の個数をカウントすれよばい。

次に、グループ作成部１１は、対象画像Ｏｉおよびその加工画像、すなわち比較用画像のそれぞれの特徴点を抽出する（ステップＳ２０３）。特徴点の抽出方法は特に限定せず、既存の様々な方法を適用することができる。

次に、グループ作成部１１は、対象画像Ｏｉとその対象画像Ｏｉを加工した加工画像とを、その対象画像Ｏｉに対応する比較用画像としてグループ化し、対象画像Ｏｉ、対象画像Ｏｉの画素値ヒストグラムＯｈ、対象画像Ｏｉおよび加工画像の特徴点Ｏｆのデータを記憶装置２３に記録する（ステップＳ２０４）。

図６は、グループ作成処理により記録装置に記録されるデータを示す図である。本実施形態の画像識別装置１０は多数の対象画像Ｏｉのそれぞれについてグループ作成処理が実施される。図６には、対象画像Ｏｉ１、Ｏｉ２、Ｏｉ３・・・のそれぞれに対応するグループのデータが示されている。対象画像Ｏｉ１に対応するグループＯｇ１には、対象画像Ｏｉ１、画素値ヒストグラムＯｈ１、特徴点Ｏｆ１のデータが登録され、対象画像Ｏｉ２に対応するグループＯｇ２には、対象画像Ｏｉ２、画素値ヒストグラムＯｈ２、特徴点Ｏｆ２のデータが登録され、対象画像Ｏｉ３に対応するグループＯｇ３には、対象画像Ｏｉ３、画素値ヒストグラムＯｈ３、特徴点Ｏｆ３のデータが登録されている。

図７は、第１判定処理のフローチャートである。図７を参照すると、第１判定部１３は、記憶装置２３から全対象画像Ｏｉの画素値ヒストグラムのデータと、全公開画像Ｐｉの画素値ヒストグラムのデータとを取得する（ステップＳ３０１）。なお、本実施形態では、ステップ２０２の画素値ヒストグラム作成処理にて、予め対象画像の画素値ヒストグラムを作成しておくことにしているが、これに限定されることはない。他の例として、ステップＳ３０１にて画素値のヒストグラムを作成することにしてもよい。

次に、第１判定部１３は、対象画像Ｏｉの画素値ヒストグラムと公開画像Ｐｉの画素値ヒストグラムとを比較し、それらの画素値ヒストグラムの類似度（第１類似度）を算出する（ステップＳ３０２）。第１判定部１３は、全ての対象画像Ｏｉの画素値ヒストグラムと、全ての公開画像Ｐｉの画素値ヒストグラムとを総当たりで比較する。

次に、第１判定部１３は、算出した第１類似度を所定の閾値と比較し、第１類似度が閾値を越えている対象画像Ｏｉと公開画像Ｐｉの組合せを選択する（ステップＳ３０３）。第１判定部１３は、画素値ヒストグラム同士の第１類似度が閾値を越えた対象画像Ｏｉと公開画像Ｐｉとを対応づけた第１選択情報を記憶装置２３に記録する。

第１類似度と比較する閾値は、予め定めた固定値を用いても良いし、ユーザが設定したり変更したりできる値であってもよい。第１判定処理では、画素値ヒストグラムの類似性により、その後で更に比較処理を行う対象画像と公開画像の組合せを絞り込み、処理時間に要する時間を短縮すればよい。したがって、対象画像Ｏｉを盗用したと推定される類似画像Ｐｉを抽出する処理を繰り返す１周期の間に、対象画像Ｏｉを盗用したと推定される類似画像Ｐｉを抽出する一連の処理を完了できるだけの対象画像Ｏｉと公開画像Ｐｉの組合せの個数に絞り込むことができ、かつ、対象画像Ｏｉを盗用したと推定される公開画像Ｐｉを第１判定処理の段階でできるだけ見逃さないように閾値を決めるとよい。

図８は、第１判定処理について説明するためのイメージ図である。第１判定処理では、対象画像Ｏｉ１、Ｏｉ２、Ｏｉ３、・・・の画素値ヒストグラムＯｈ１、Ｏｈ２、Ｏｈ３、・・・と、公開画像Ｐｉ１、Ｐｉ２、Ｐｉ３、・・・の画素値ヒストグラムＰｈ１、Ｐｈ２、Ｐｈ３、・・・とを総当たりで比較する。図８は、公開画像Ｐｉｋの画素値ヒストグラムＰｈｋと、対象画像Ｏｉ１、Ｏｉ２、Ｏｉ３の画素値ヒストグラムＯｈ１、Ｏｈ２、Ｏｈ３とを比較する様子が示されている。対象画像Ｏｉと公開画像Ｐｉとの比較が双方向矢印により示されている。また、その比較により算出された第１類似度が閾値を越えたか否かが丸印とバツ印で示されている。丸印は第１類似度が閾値を越えたことを示し、バツ印は第１類似度が閾値以下であったことを示している。

図８の例では、画素値ヒストグラムＰｈｋと画素値ヒストグラムＯｈ１との第１類似度、および画素値ヒストグラムＰｈｋと画素値ヒストグラムＯｈ２との第１類似度が閾値を超え、画素値ヒストグラムＰｈｋと画素値ヒストグラムＯｈ３との第１類似度が閾値以下となっている。そのため、対象画像Ｏｉ１と公開画像Ｐｉｋの組合せと、対象画像Ｏｉ２と公開画像Ｐｉｋの組合せの情報は第１選択情報として記憶装置２３に記録される。一方、対象画像Ｏｉ３と公開画像Ｐｉｋの組合せの情報は第１選択情報として記憶装置２３に記録されない。

図９は、第２判定処理のフローチャートである。図９を参照すると、第２判定部１４は、第１選択情報に対象画像Ｏｉと公開画像Ｐｉの組合せの情報が記録されている公開画像Ｐｉのそれぞれの特徴点を抽出する（ステップＳ４０１）。第２判定部１４は、抽出した特徴点の情報を記憶装置２３に記録する。なお、本実施形態では、ステップ２０３の特徴点抽出処理にて、予め対象画像およびその加工画像の特徴点を抽出しておくことにしているが、これに限定されることはない。他の例として、ステップＳ４０１にて、対象画像および加工画像の特徴点を抽出することにしてもよい。

次に、第２判定部１４は、第１選択情報に記録されている対象画像Ｏｉと公開画像Ｐｉの各組合せについて、その対象画像Ｏｉに対応するグループに属する比較用画像の特徴点と、その公開画像Ｐｉの特徴点とを比較し、その対象画像Ｏｉとその公開画像Ｐｉとの第２類似度を算出する（ステップＳ４０２）。

処理の一例として、第２判定部１４は、公開画像の各特徴点に所定のスコアを持たせ、特徴点と一致する特徴点を有する比較用画像にスコアを付与し、その付与されたスコアの合計を比較用画像のスコアとし、グループに属する複数の比較用画像のスコアに基づいて、グループに紐づく対象画像と公開画像との第２類似度を算出することにしてもよい。各特徴点に持たせるスコアは、特に限定されないが、例えば、画像内のスコアの合計値が一定になるように、各特徴点にスコアを均等分配することにしてもよい。あるいは特徴点の種類により、その特徴点に持たせるスコアに重み付けしてもよい。さらに、グループに属する複数の比較用画像のスコアの合計値を第２類似度としてもよい。あるいは、グループに属する比較用画像のスコアの最高値を第２類似度としてもよい。

次に、第２判定部１４は、算出した第２類似度を所定の閾値と比較し、第２類似度が閾値を越えている対象画像Ｏｉと公開画像Ｐｉの組合せを選択する（ステップＳ４０３）。第２判定部１４は、第２類似度が閾値を越えた対象画像Ｏｉと公開画像Ｐｉとを対応づけた第２選択情報を記憶装置２３に記録する。

第２類似度と比較する閾値は、予め定めた固定値を用いても良いし、ユーザが設定したり変更したりできる値であってもよい。第２判定処理では、対象画像Ｏｉを盗用したと推定される公開画像Ｐｉを抽出するのに適した閾値を設定するとよい。盗用の可能性が一定以上に高い画像のみを抽出するというポリシーであれば、第２類似度を比較する閾値を高めに設定すればよい。画像識別装置１０が抽出した画像を人間が目視で盗用の有無を確認することが前提となっていれば、第２類似度と比較する閾値を低めに設定し、疑いのある画像を画像識別装置１０でできるだけ見逃さないようにしてもよい。

図１０は、第２判定処理について説明するためのイメージ図である。第２判定処理では、第１判定処理で選択された対象画像Ｏｉと公開画像Ｐｉとの全ての組み合わせについて、対象画像Ｏｉのグループに属する全ての比較用画像の特徴点と公開画像Ｐｉの特徴点とを総当たりで比較する。図１０には、対象画像Ｏｉ１のグループに属する比較用画像の特徴点Ｏｆ１－１、Ｏｆ１－２、・・・・と、公開画像Ｐｉ１の特徴点Ｐｆ１とを総当たりで比較することが示されている。

なお、本実施形態では、グループ作成部１１が予め対象画像Ｏｉの特徴点を抽出することとしたが、これに限定されることはない。他の例として、グループ作成部１１は対象画像Ｏｉの特徴点の抽出を予め行わず、第２判定部１４が、第１判定部１３により選択された対象画像と公開画像の組合せのみについて、その対象画像のグループに属する比較用画像の特徴点を抽出し、その比較用画像の特徴点とその公開画像の特徴点とを比較することにしてもよい。第１判定部１３で選択された対象画像と公開画像の組合せに挙がった対象画像のみについてその特徴点を抽出するので、処理を削減することができる。

また、本実施形態では、盗用時に用いられることが想定される加工方法で対象画像を加工した比較用画像を公開画像と比較することとしたが、それとは異なる観点で比較用画像の加工方法を決めてもよい。例えば、第２類似度は、対象画像に対応する比較用画像の特徴点と公開画像の特徴点との距離が小さいほど類似度が高くなるような算出方法で算出するものとし、加工画像には、９０度回転画像、１８０度回転画像、および２７０度回転画像を含めることにしてもよい。特徴点の距離から算出される第２類似度は、比較的簡易な処理で画像の類似を検知できるが画像を回転して盗用されると類似度が低下し検出が難しくなる。そこで、典型的に想定される回転角度の回転画像を用意し、公開画像との比較に用いることで、少ない処理量で盗用の検出精度を確保することができる。

また、本実施形態では、図２に示したように、画像識別装置１０が単体の装置により構成される例を示したが、これに実施形態が限定されることはない。図１に示した画像識別装置１０の各部の処理を複数の装置により分担する構成も可能である。例えば、第１判定部１３と第２判定部１４が別個のコンピュータにより実現されてもよい。

上述した本実施形態は、本発明の説明のための例示であり、本発明の範囲をこの実施形態のみに限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

１０…画像識別装置、１１…グループ作成部、１２…公開画像収集部、１３…第１判定部、１４…第２判定部、１５…表示部、２１…処理装置、２２…メインメモリ、２３…記憶装置、２４…通信装置、２５…入力装置、２６…表示装置、２７…バス、９０…通信ネットワーク、９１…ウェブサーバ

Claims (14)

1. 複数の公開画像の各々の画素値のヒストグラムのグラフ形状と対象画像の画素値のヒストグラムのグラフ形状とを比較することと、前記公開画像の各々の特徴点の統計量と前記 対象画像の特徴点の統計量とを比較することと、により算出される第１類似度が、所定の閾値を超える対象画像と公開画像の組合せを選択する第１判定部と、
   前記選択された対象画像と公開画像の組合せについて、該公開画像の特徴点の位置および特徴量と、前記対象画像の特徴点の位置および特徴量とを比較することにより算出される第２類似度が所定の閾値を超える対象画像と公開画像の組合せを選択する第２判定部と、
   を有する画像識別装置。
2. 前記第２判定部は、前記選択された対象画像と公開画像の組合せについて、該公開画像の特徴点の位置および特徴量と、前記対象画像の特徴点および前記対象画像に所定の加工を施した加工画像の特徴点の位置および特徴量とを比較することにより前記第２類似度を算出するものであり、
   前記加工画像には、前記対象画像の画像サイズを拡大した拡大画像、前記対象画像の画像サイズを縮小した縮小画像、および前記対象画像を所定角度だけ回転させた回転画像の少なくとも１つが含まれる、
   請求項１に記載の画像識別装置。
3. 特徴点には複数の種類があり、
   前記第１判定部は、前記第１類似度の算出において、前記公開画像の特徴点から種類毎に算出される統計量を、前記対象画像の特徴点から種類毎に算出される統計量と比較する 、
   請求項１に記載の画像識別装置。
4. 複数の前記対象画像のそれぞれについて、前記複数の対象画像に共通する所定の加工方法で前記加工画像を作成し、前記対象画像の同一画像および前記加工画像を比較用画像としてグループ化して、前記複数の対象画像のそれぞれと紐づけるグループ作成部を更に有し、
   前記第２判定部は、前記公開画像の特徴点と、前記対象画像に紐づくグループに含まれる前記比較用画像の特徴点との比較に基づき、前記公開画像と前記対象画像との前記第２類似度を算出する、
   請求項２に記載の画像識別装置。
5. 前記第２判定部は、前記公開画像と前記グループに含まれる前記複数の比較用画像のそれぞれとの特徴点に関する類似度を加算していくことにより、前記公開画像の前記対象画像との第２類似度を算出する、
   請求項４に記載の画像識別装置。
6. 前記第２判定部は、前記公開画像と前記グループに含まれる前記複数の比較用画像のそれぞれとの特徴点に関する類似度のうち最大値に基づいて、前記公開画像の前記対象画像との第２類似度を算出する、
   請求項４に記載の画像識別装置。
7. 前記公開画像を予め収集しておく公開画像収集部を更に有し、
   前記グループ作成部は、前記各対象画像のグループの前記比較用画像を予め作成しておき、
   前記第２判定部は、予め収集された前記公開画像の特徴点と予め作成された前記比較用画像の特徴点とを比較する、
   請求項４に記載の画像識別装置。
8. 前記第２判定部は、
   前記公開画像の各特徴点に所定のスコアを持たせ、当該特徴点と一致する特徴点を有する比較用画像に当該スコアを付与し、
   前記付与されたスコアの合計を当該比較用画像のスコアとし、
   前記グループに属する複数の比較用画像のスコアに基づいて、当該グループに紐づく対象画像と前記公開画像との前記第２類似度を算出する、
   請求項７に記載の画像識別装置。
9. 前記第２判定部は、前記第１判定部により選択された対象画像と公開画像の組合せのみについて、該対象画像のグループに属する比較用画像の特徴点を抽出し、該比較用画像の特徴点と前記公開画像の特徴点とを比較する、
   請求項４に記載の画像識別装置。
10. 前記第２類似度は、前記対象画像および前記加工画像の特徴点と前記公開画像の特徴点との距離が小さいほど類似度が高くなり、
    前記加工画像には、９０度回転画像、１８０度回転画像、および２７０度回転画像が含まれる、
    請求項２に記載の画像識別装置。
11. 前記第１判定部は、前記公開画像の特徴点の種類毎の個数を示す特徴点インデックスを 、前記対象画像の特徴点の種類毎の個数を示す特徴点インデックスと比較する、
    請求項３に記載の画像識別装置。
12. 前記第１判定部は、前記公開画像の特徴点の統計量を表すベクトルを、前記対象画像の 特徴点の統計量を表すベクトルと比較する、
    請求項３に記載の画像識別装置。
13. 複数の公開画像の中から対象画像に依拠する画像を発見するための画像識別方法であって、
    前記複数の公開画像の中から、該公開画像の各々の画素値のヒストグラムのグラフ形状を前記対象画像のヒストグラムのグラフ形状と比較することと、前記公開画像の各々の特 徴点の統計量と前記対象画像の特徴点の統計量とを比較することと、により算出される第１類似度が、所定値以上の公開画像を選択し、
    前記選択された公開画像の中から、該公開画像の特徴点の位置および特徴量と、前記対象画像の特徴点の位置および特徴量とを比較することにより算出される第２類似度に基づき、公開画像を選択する、
    ことをコンピュータが実行する画像識別方法。
14. 複数の公開画像の中から対象画像に依拠する画像を発見するための画像識別プログラムであって、
    前記複数の公開画像の中から、該公開画像の各々の画素値のヒストグラムのグラフ形状を前記対象画像のヒストグラムのグラフ形状と比較することと、前記公開画像の各々の特 徴点の統計量と前記対象画像の特徴点の統計量とを比較することと、により算出される第１類似度が、所定値以上の公開画像を選択し、
    前記選択された公開画像の中から、該公開画像の特徴点の位置および特徴量と、前記対象画像の特徴点の位置および特徴量とを比較することにより算出される第２類似度に基づき、公開画像を選択する、
    ことをコンピュータに実行させるための画像識別プログラム。
    

Images