JP4735786B2 - 画像識別子照合装置 - Google Patents

画像識別子照合装置 Download PDF

Info

Publication number
JP4735786B2
JP4735786B2 JP2011506922A JP2011506922A JP4735786B2 JP 4735786 B2 JP4735786 B2 JP 4735786B2 JP 2011506922 A JP2011506922 A JP 2011506922A JP 2011506922 A JP2011506922 A JP 2011506922A JP 4735786 B2 JP4735786 B2 JP 4735786B2
Authority
JP
Japan
Prior art keywords
image
dimension
area
dimensions
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011506922A
Other languages
English (en)
Other versions
JPWO2010146786A1 (ja
Inventor
浩太 岩元
亮磨 大網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011506922A priority Critical patent/JP4735786B2/ja
Application granted granted Critical
Publication of JP4735786B2 publication Critical patent/JP4735786B2/ja
Publication of JPWO2010146786A1 publication Critical patent/JPWO2010146786A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像を識別する(同一性を判定する)ための特徴量である画像識別子を照合する装置に関する。
画像識別子は、画像を識別する(同一性を判定する)ための画像特徴量である。ある画像から抽出した画像識別子と、別の画像から抽出した画像識別子とを比較し、その比較結果から、2つの画像が同一である度合いを示す同一性尺度(一般的には、類似度または距離という)を算出することができる。また、算出した同一性尺度をある閾値と比較することにより、2つの画像が同一であるか否かを判定することができる。ここで「2つの画像が同一」とは、画像信号(画像を構成する画素の画素値)のレベルで2つの画像が同一である場合だけに限らず、画像の圧縮形式(フォーマット)の変換、画像のサイズ・アスペクト比の変換、画像の色調の調整、画像への各種フィルタ処理(鮮鋭化、平滑化など)、画像への局所的な加工(テロップ重畳、切抜きなど)、画像の再キャプチャリング、などの各種改変処理によって、一方の画像が他方の画像の複製された画像である場合も含む。画像識別子を用いれば、例えば、画像、または画像の集合体である動画像の複製を検知できるため、画像または動画像の違法コピー検知システムなどに応用することができる。
画像識別子の一例が、特許文献1に記載されている。図18は、特許文献1に記載されている画像識別子の抽出方法を示す図である。この画像識別子は、複数の次元(図18では16次元)の特徴ベクトルである。画像240内のあらかじめ定められた位置の32個の長方形領域244(図18ではそのうち16個の長方形領域が描かれている)からそれぞれ平均輝度値を算出し、対となる長方形領域の間(図18では対となる長方形領域を点線248で結んでいる)で平均輝度値の差を算出し、16次元の差ベクトル250を求める。差ベクトル250に対してベクトル変換により合成ベクトルを生成し、合成ベクトルの各次元を量子化して得られた16次元の量子化インデックスベクトルを画像識別子とする。
特表平8−500471号公報
複数の次元の特徴ベクトルで構成される画像識別子は、次元間の相関が小さいほど、特徴ベクトルが持つ情報量が大きい(冗長性が小さい)ので、異なる画像を識別できる度合いである識別能力が高くなる。反対に、特徴ベクトルの次元間の相関が大きいと、特徴ベクトルが持つ情報量が小さい(冗長性が大きい)ので、識別能力が低くなる。ここで次元間の相関とは、次元の特徴量の生起の類似性の度合いであり、数学的には、例えば、各次元の特徴量の生起を確率変数とした場合の、確率変数間の相関係数や、相互情報量として算出できる値である。このため、複数の次元の特徴ベクトルで構成される画像識別子は、次元間の相関が小さくなるように設計されていることが望ましい。
画像信号(画像を構成する画素の画素値)は、画像の局所領域間において相関がある。一般的に、局所領域間の距離が近いほど、相関は大きくなる。特に、例えば、ある特定の画像パターンが繰り返し出現する(特にそれが規則正しい周期で出現する場合に)画像(例えば格子状に配置されたビルの窓の画像など、図19(A)を参照)や、ある特定のテクスチャで構成されている画像(図19(B)を参照)などは、画像の局所領域間の相関が大きくなる。
[第1の問題点]
特許文献1に記載されているような、画像の複数の局所領域から抽出した特徴量から成る特徴ベクトルで構成されている画像識別子は、画像の局所領域間の相関が大きい画像に対して、各次元において特徴量を抽出する局所領域の形状が同一であるため(特許文献1の例では同一の形状の長方形領域)、抽出される特徴量の次元間の相関が大きくなる。そのため、画像識別子(特徴ベクトル)の識別能力が低くなる、という第1の問題点がある。ここで形状が同一とは、領域の大きさや角度(傾き或いは姿勢)も含めて同一であるということである。
例えば、ある特定の画像パターンが繰り返し出現する画像(図19(A)参照)や、ある特定のテクスチャで構成されている画像(図19(B)参照)などに対しては、特許文献1で記載されているような画像識別子は、識別能力が低くなる。
[第2の問題点]
特許文献1に記載されている画像識別子の第2の問題点は、特徴量(特徴ベクトル)を算出するための各次元の領域の形状(大きさ、角度も含めて)が同一の長方形であるため、長方形の辺の長さと同じ、あるいは、その整数分の1の周期を持つ周波数成分を検知できないという、周波数上の盲点が存在するということである。その理由は、この特定の周波数の信号成分を領域内で平均すると、信号成分の大小によらず0となってしまい、その周波数成分の信号を全く検知できなくなるためである。より具体的には、長方形の辺の長さと同じ周期を持つ周波数をf0とすると,周波数nf0(n=1,2,3,…)の成分が検知できなくなる。このため、直流成分とこの周波数成分に信号が集中している画像に対しては、画素値の平均値は直流成分と同じになってしまい、領域間で値の差がなくなる結果、領域間の平均画素値の差として抽出される特徴量は全て0になってしまい、識別できなくなる(識別能力が著しく低下する)。実際には、周波数nf0(n=1,2,3,…)の成分のみではなく、その近傍の一定の周波数領域に対しては同様に検知困難となるため、上記特定周波数に信号成分が集中していなくても、その周波数帯の信号成分が使えないことにより、識別能力が低下する。この問題を軽減するには、周波数f0の値を大きくし、上記検知困難な周波数帯に陥る信号電力を下げることが考えられる。しかしながら、周波数f0の値を大きくすることは、領域の大きさを小さくすることを意味し、特徴量の頑健性(各種改変処理やノイズに対して特徴量が変化しない度合い)の低下につながる。例えば、領域が小さくなることで、多少の位置ずれに対しても、特徴量の値が大きく変化することになり、特徴量の頑健性が下がる。このように、同一の長方形領域を用いる場合には、識別能力をあげた上で頑健性を確保することが極めて難しい。
本発明の目的は、上述した課題、すなわち異なる画像を識別できる度合いである識別能力の低い画像識別子を用いた照合では照合精度が低下する、という課題を解決する画像識別子照合装置を提供することにある。
本発明の一形態にかかる画像識別子照合装置は、画像中の、複数の部分領域対の、各部分領域から領域特徴量を抽出し、部分領域対ごとに、対をなす2つの部分領域の上記領域特徴量の差分値を量子化し、部分領域対ごとに算出された量子化値を要素とした集合を上記画像の識別に用いる画像識別子として生成する、生成方法によって生成された、第1の画像の画像識別子と第2の画像の画像識別子とから、各々の画像の余白領域を特定する余白領域特定手段と、上記第1の画像の画像識別子と上記第2の画像の画像識別子とを、対をなす2つの部分領域の少なくとも一方が上記特定された余白領域に含まれる要素の重みが小さくなる方法で照合する照合手段とを備える。
本発明は上述したように構成されているため、異なる画像を識別できる度合いである識別能力の高い画像識別子を用いて、第1の画像と第2の画像とを精度良く照合することができる。特に、画像の局所領域間の相関が大きい画像に対して、この効果は顕著である。
また本発明によれば、特定の周波数に信号が集中している画像に対しても、識別能力が低下しない画像識別子を用いて、照合を行うことができる。
さらに本発明によれば、第1の画像と第2の画像の余白領域を特定し、対をなす2つの部分領域の少なくとも一方が上記特定された余白領域に含まれる要素の重みが小さくなる方法で照合するため、より正確な照合が可能である。また、画像識別子自体から余白領域を特定しているため、画像識別子の抽出側(抽出の段階)で、余白領域を別途特定する手段が必要ない、という効果もある。
本発明の第1の実施の形態のブロック図である。 次元別抽出情報が示す次元ごとの抽出領域の対の例を示す図である。 本発明の第1の実施の形態における比較手段の一例を示すブロック図である。 本発明の第1の実施の形態における比較手段の別の例を示すブロック図である。 本発明の第1の実施の形態の処理の流れを示すフローチャートである。 本発明の第2の実施の形態の要部ブロック図である。 本発明の第2の実施の形態の処理の流れを示すフローチャートである。 本発明の第3の実施の形態のブロック図である。 次元ごとの領域特徴量算出方法の例を示す図である。 本発明の第3の実施の形態の処理の流れを示すフローチャートである。 本発明の第4の実施の形態のブロック図である。 次元ごとの比較・量子化方法の例を示す図である。 本発明の第4の実施の形態の処理の流れを示すフローチャートである。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別抽出領域情報を示す図である。 本発明の第6の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第6の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第6の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第6の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第6の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第7の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第7の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第7の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第7の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第7の実施の形態で使用する次元別領域特徴量算出方法情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別比較・量子化方法情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別比較・量子化方法情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別比較・量子化方法情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別比較・量子化方法情報を示す図である。 本発明の第6および第7の実施の形態で使用する次元別比較・量子化方法情報を示す図である。 特許文献1に記載されている画像識別子の抽出方法を示す図である。 局所領域間の相関が大きくなる画像の例を示す図である。 量子化インデックスベクトルを照合する照合手段のブロック図である。 量子化インデックスベクトルを照合する照合手段の処理例を示すフローチャートである。 量子化インデックスベクトルを照合する照合手段の別の処理例を示すフローチャートである。 量子化インデックスベクトルを照合する照合手段の更に別の処理例を示すフローチャートである。 画像を縦方向32、横方向32に分割してできる1024個のブロックに対して付与するインデックスの一例を示す図である。 本発明の第8の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第8の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第8の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第8の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第8の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第8の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第8の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 各次元の領域タイプと次元数、閾値に対応するインデックスとの関係を示す図である。 領域タイプaの次元の第1、第2の抽出領域の一例を示す図である。 領域タイプbの次元の第1、第2の抽出領域の一例を示す図である。 領域タイプcの次元の第1、第2の抽出領域の一例を示す図である。 領域タイプdの次元の第1、第2の抽出領域の一例を示す図である。 領域タイプeの次元の第1、第2の抽出領域の一例を示す図である。 領域タイプfの次元の第1、第2の抽出領域の一例を示す図である。 領域タイプgの次元の第1、第2の抽出領域の一例を示す図である。 量子化インデックスベクトルを照合する照合手段の第2の実施の形態の構成を示すブロック図である。 余白領域(黒帯)が付加された画像の例を示す図である。 本発明の第9の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第9の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第9の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第9の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第9の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第9の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 本発明の第9の実施の形態の各次元に対応する領域のうち或る1つのタイプに属する領域を示す図である。 各次元の領域タイプと次元数、閾値に対応するインデックスとの関係を示す図である。 単調非増加関数f(D)の例を図示したグラフである。 本発明の第5の実施の形態のブロック図である。 量子化インデックスベクトルを照合する照合手段のまた更に別の処理例を示すフローチャートである。 量子化インデックスベクトルを照合する照合手段の他の処理例を示すフローチャートである。 量子化インデックスベクトルを照合する照合手段の第3の実施の形態の構成を示すブロック図である。 量子化インデックスベクトルを照合する照合手段の第3の実施の形態の処理例を示すフローチャートである。 量子化インデックスベクトルを照合する照合手段の第3の実施の形態の別の処理例を示すフローチャートである。
[第1の実施の形態]
[第1の実施の形態の構成]
次に、本発明の第1の実施の形態について図面を参照して詳細に説明する。
図1を参照すると、本発明の第1の実施の形態に係る画像識別子抽出装置は、入力された画像に対して、複数の次元から成る特徴ベクトル(より具体的には量子化インデックスベクトル)を画像識別子として出力するシステムであり、次元決定手段1と、抽出領域取得手段2と、領域特徴量算出手段3と、比較手段4と、から構成されている。
次元決定手段1は、次に抽出する特徴ベクトルの次元を決定し、抽出領域取得手段2へ供給する。次元決定手段1は、順次、抽出する特徴ベクトルの次元を供給し、抽出領域取得手段2以降の構成要素は、供給された次元に対応する特徴量を抽出する。例えば、特徴ベクトルがN次元から構成される場合、次元決定手段1は第1次元から第N次元までを順に抽出領域取得手段2へ供給してもよい。最終的に特徴ベクトルの全ての次元が供給されれば、供給する次元の順番は任意でよい。複数の次元が並列に供給されてもよい。
抽出領域取得手段2には、次元決定手段1からの次元とは別に、入力として次元別抽出領域情報が供給される。
次元別抽出領域情報は、あらかじめ規定された、特徴ベクトルの次元ごとに対応付けられた、その次元の特徴量を抽出するための第1の抽出領域と第2の抽出領域の対を示す情報である。第1および第2の抽出領域は必須条件として、以下の特徴を有する。
[第1および第2の抽出領域の必須条件]
第1および第2の抽出領域の必須条件は、次元間で抽出領域対の相対的な位置が異なることに加えて、次元間で抽出領域対の形状の組み合わせが異なることである。
上記必須条件を満たす、次元別抽出情報が示す次元ごとの抽出領域の対の例を図2に示す。図18に示した画像識別子の抽出領域とは異なり、次元間の抽出領域の対の形状の組み合わせが異なる。ここで異なる形状とは、角度の異なる合同な形状や(例えば、図2の第1次元の第2の抽出領域と、第7次元の第1の抽出領域)、大きさの異なる相似な形状(例えば、図2の第1次元の第2の抽出領域と、第9次元の第2の抽出領域)も含む。なお、特徴ベクトルの全次元の中に、抽出領域の対の形状の組み合わせの異なる次元のペアが、少なくとも1つ存在することが最低条件である。抽出領域の対の形状(の組み合わせ)が相互に異なる次元が多いほど、望ましい。これは、抽出領域の対の形状(の組み合わせ)が相互に異なる次元が多いほど、特徴ベクトルのより多くの次元間で相関が小さくなり、識別能力が高くなるからである。例えば、特徴ベクトルの全ての次元間で、抽出領域の対の形状(の組み合わせ)が相互に異なっていてもよい。
ある次元における第1の抽出領域と、第2の抽出領域とは、図2の第9次元のように、同じ形状である必要はなく、図2の他の次元のように、形状が異なっていてもよい。各次元での第1の抽出領域と第2の抽出領域の形状が異なっていると、第1の抽出領域と第2の抽出領域から抽出される特徴量の相関が小さくなり、識別能力が高くなるため、望ましい。また、第1の抽出領域と第2の抽出領域が同時に同じ周波数に関して周波数的な盲点となる可能性が低くなるため、識別能力が高くなる。
各々の抽出領域の形状は任意である。例えば、図2の第6次元の第2の抽出領域のような、任意の複雑な形状であっても構わない。画像の複数の画素で構成されるものであれば、例えば、図2の第7次元や第10次元のように、線分や曲線であっても構わない。また例えば、第8次元の第1の抽出領域、第11次元の第1と第2の抽出領域、第12次元の第1の抽出領域のように、抽出領域が、連続しない複数の小領域から構成されるものであってもよい。このように、任意の複雑な形状の抽出領域を含むことによって、そこから抽出される特徴量の次元間の相関を小さくすることができ、識別能力を高くすることができる。
また、例えば、図2の第5次元のように、第1の抽出領域と第2の抽出領域の一部が重複していてもよい。また抽出領域対のいずれか一方が、もう一方の中に内包されていてもよい。このように、抽出領域の対に重複を許容することにより、より多くの抽出領域対のパターン(相対的位置・距離)を取れるため、次元間の相関を小さくすることができるパターンを増やすことができ、識別能力をより高くする可能性が増える。
また、図18に示した画像識別子の抽出領域とは異なり、図2に示した各次元のように、次元間で抽出領域が一部重複していてもよい。図18に示した画像識別子の抽出領域のように、次元間で抽出領域を排他的に取ると、取れる抽出領域対のパターンが限られてしまう。図2に示したように、次元間での抽出領域に重複を許容することにより、より多くの抽出領域対のパターンを取れるため、次元間の相関を小さくすることができるパターンを増やすことができ、識別能力をより高くする可能性が増える。ただし、次元間での抽出領域の重複が多すぎると、次元間の相関が大きくなってしまい、識別能力が低くなるため、望ましくない。
また、抽出領域が互いに近傍に存在する次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせは互いに異なることが望ましい。例えば、抽出領域が互いに近傍に存在する次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。この場合、抽出領域が互いに近傍に存在する全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。また、抽出領域が互いに近傍に存在する次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。また、抽出領域が互いに近傍に存在する次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。
ここで、抽出領域が互いに近傍に存在する次元ペアは、ある所定の方法によって算出される、2つの次元の抽出領域(第1の抽出領域と第2の抽出領域)の間の距離が、ある所定の閾値よりも小さくなるような次元のペアのことである。2つの次元の抽出領域(第1の抽出領域と第2の抽出領域)の距離は、例えば、それぞれの次元の抽出領域(第1の抽出領域と第2の抽出領域)に含まれる全画素の間の距離の平均値として算出してもよい。また例えば、それぞれの次元の抽出領域(第1の抽出領域と第2の抽出領域)に含まれる全画素の間の距離の最小値として算出してもよい。また例えば、それぞれの次元の抽出領域の重心座標を算出し(第1の抽出領域の重心座標と第2の抽出領域の重心座標)、それらの間の距離を算出し(計4つの距離が計算できる)、それらの平均値や最小値として、2つの次元の抽出領域の距離を定義してもよい。ただし、2つの次元の抽出領域の距離は、これらの算出方法に限られない。
抽出領域が互いに近傍に存在する次元間(次元ペア)で、それらの次元間の抽出領域の対の形状の組み合わせを互いに異なるようにすることで、以下の効果がある。抽出領域が互いに近傍に存在する次元間では、抽出される特徴量の相関が大きくなる傾向になる。それらの次元間の抽出領域の対の形状の組み合わせが同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が互いに近傍に存在することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の抽出領域の対の形状の組み合わせを異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また逆の観点から、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の間の距離が大きいほうが望ましい。例えば、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。この場合、例えば、抽出領域の対の形状の組み合わせが同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。
また、抽出領域が隣接する次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせは互いに異なることが望ましい。ここで、抽出領域が隣接する次元間(次元ペア)とは、抽出領域の一部の周囲が互いに接している、ということである。例えば、抽出領域が隣接する次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。この場合、抽出領域が隣接する全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。また、抽出領域が隣接する次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。また、抽出領域が隣接する次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。
抽出領域が互いに隣接する次元間(次元ペア)で、それらの次元間の抽出領域の対の形状の組み合わせを互いに異なるようにすることで、以下の効果がある。抽出領域が互いに隣接する次元間では、抽出される特徴量の相関が大きくなる傾向になる。これは抽出領域が互いに隣接する次元間では、2つの次元の抽出領域の間の距離が近いためである(画像内の近い領域の間は相関が高いため)。それらの次元間の抽出領域の対の形状の組み合わせが同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が互いに隣接して存在することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の抽出領域の対の形状の組み合わせを異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また逆の観点から、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が隣接しないようにすることが望ましい。例えば、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。この場合、例えば、抽出領域の対の形状の組み合わせが同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。
また、抽出領域が一部重複している次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせは互いに異なることが望ましい。例えば、抽出領域が一部重複している次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。この場合、抽出領域が一部重複している全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。また、抽出領域が一部重複している次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。また、抽出領域が一部重複している次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域の対の形状の組み合わせを互いに異なるようにしてもよい。
抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の抽出領域の対の形状の組み合わせを互いに異なるようにすることで、以下の効果がある。抽出領域が一部重複している次元間では、抽出される特徴量の相関が大きくなる傾向になる。これは抽出領域が一部重複する次元間では、特徴量の算出に用いられる領域を一部共有しているためである。それらの次元間の抽出領域の対の形状の組み合わせが同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が一部重複することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の抽出領域の形状の組み合わせを異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また、抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の抽出領域の対の形状の組み合わせを互いに異なるようにすることで、さらに別の以下の効果がある。抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の抽出領域の対の形状の組み合わせを互いに異なるようにすることで、画像の改竄(特に悪意のある改竄)に対する耐性を強化できる、という効果がある。画像に対する悪意のある改竄は、その画像から抽出される画像識別子(特徴ベクトル)による同一性判定の精度を劣化させる目的で、例えば画像の一部の領域の画素値を変更するなどして行われる。抽出領域が一部重複している次元間では、その画像の重複領域を改竄、すなわちその重複領域の画素値を変更した場合に、そこから抽出される特徴量(領域特徴量)が影響され、改竄前の領域から抽出した特徴量と異なってしまう可能性が高くなる。それらの次元間の抽出領域の対の形状の組み合わせが同じであると、各々の次元の抽出領域から抽出される特徴量(領域特徴量)は同様な影響を受け、同時に特徴量が変更されてしまう可能性が高くなるため、頑健性は低い。それらの次元間の抽出領域の対の形状の組み合わせが異なっていると、重複領域に改竄が行われた場合にも、特徴量が同様な影響を受け、同時に特徴量が変更されてしまう可能性を低くすることができるため、頑健性を確保することができる。すなわち、重複領域を改竄することにより、その重複領域を共有している複数の次元の特徴量を同時に変更してしまうことがより困難となる。従って、抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の抽出領域の対の形状の組み合わせを互いに異なるようにすることで、画像の改竄に対する耐性を強化できる。
また逆の観点から、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が重複しないようにすることが望ましい。例えば、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。この場合、例えば、抽出領域の対の形状の組み合わせが同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。
また、全ての次元の抽出領域を統合した場合に、画像内で特徴量が抽出されない領域が小さくなるような(すなわち、画像のほぼ全画面をカバーする)抽出領域の取り方であることが望ましい。これは、図18のように、画像内で特徴量が抽出されない領域が多く含まれていると、画像信号(画像を構成する画素の画素値)に含まれる多くの情報を使用しないことになり、識別能力が高くならないためである。全ての次元の抽出領域を統合した場合に、画像内で特徴量が抽出されない領域が小さくなるような(すなわち、画像のほぼ全画面をカバーする)抽出領域の取り方であることにより、画像信号に含まれるより多くの情報を特徴量に反映できるため、識別能力を高くすることができる。また、全ての次元の抽出領域を統合した場合に、抽出領域に偏りがなく、画像全体から満遍なく取得されていることが望ましい。ただし、ある特定の領域にテロップ重畳などの局所的な加工が施される確率が高い場合は、その領域を避けて抽出領域が取得されていることが望ましい。また、画像の縁などの周辺領域には画像の特徴部分が一般的に存在しないことが多いため、周辺領域を避けて抽出領域が取得されていることが望ましい。
その他、抽出領域の大きさ、相対的位置(距離、方向)が一定の分布(例えば一様分布)に従うことが望ましい。その理由は、相対的位置(距離、方向)が一様分布に従うことによって、距離や方向に対して偏りがなく、特定の距離や方向に集中することがないため、より多くの多様性がとれるためである。また、相対的位置が近いほど、その領域間の相関が大きくなるため、それを打ち消すために、相対的位置が近いものほどより形状の差が大きいほうが望ましい。
次元別抽出領域情報は、次元ごとの第1の抽出領域と第2の抽出領域とが一意に特定できる情報であれば、どのような形式の情報であっても構わない。また抽出領域は、如何なるサイズやアスペクト比の画像に対しても、常に同じ領域である必要があるため、次元別抽出領域情報は、如何なるサイズやアスペクト比の画像に対しても、同じ抽出領域を取得できる形式の情報である必要がある。例えば、次元別抽出領域情報は、ある規定のサイズとアスペクト比の画像(例えば、横幅320画素×縦幅240画素の画像)に対して、その抽出領域の位置・形状を記述したものであってもよい。この場合、ある任意のサイズとアスペクト比で入力された画像に対しては、まず画像をその規定のサイズとアスペクト比にリサイズしてから、次元別抽出領域情報に記述されている抽出領域の位置・形状に従って、抽出領域を特定すればよい。あるいは逆に、入力された画像の任意のサイズとアスペクト比の画像に合わせて、次元別抽出領域情報に記述されている抽出領域の位置・形状を変換して、抽出領域を特定してもよい。
次元別抽出領域情報に含まれる各々の抽出領域を示す情報は、例えば、ある規定のサイズとアスペクト比の画像(例えば、横幅320画素×縦幅240画素の画像)に対して、抽出領域を構成する全ての画素の座標値の集合を記述した情報であってもよい。また次元別抽出領域情報に含まれる各々の抽出領域を示す情報は、例えば、ある規定のサイズとアスペクト比の画像に対して、抽出領域の位置・形状をパラメータ記述した情報であってもよい。例えば抽出領域の形が四角形である場合は、四角形の四隅の座標値を記述した情報であってもよい。また例えば抽出領域の形が円である場合は、円の中心の座標値と半径の値としてもよい。
また、擬似乱数の種(シード)を次元別抽出領域情報として、抽出領域取得手段2の内部でその種からスタートして擬似乱数を発生させて、乱数に従って異なる形状の抽出領域を生成していく(例えば乱数に従って四角形の四隅を決定していくなど)、という方法も採用することができる。具体的には、例えば以下の手順で、次元別抽出領域を取得することができる。
(1)擬似乱数の種(シード)が次元別抽出領域情報として供給される。
(2)次元n=1とする。
(3)擬似乱数を発生させ、次元nの第1の抽出領域の四角形の四隅を決定する。
(4)擬似乱数を発生させ、次元nの第2の抽出領域の四角形の四隅を決定する。
(5)次元n=n+1として、(3)へ戻る。
乱数に基づいて抽出領域を決定しているので、生成される抽出領域は次元毎に異なる形状になる。また、擬似乱数のシードが同じであれば、毎回(どの画像に対しても)同じ乱数列が発生されるため、異なる画像に対しても同じ抽出領域が再現される。
抽出領域取得手段2は、入力として供給される次元別抽出領域情報から、次元決定手段1から供給される次元に対応する第1の抽出領域と第2の抽出領域を示す情報を取得し、抽出領域代表値算出手段3へ供給する。
領域特徴量算出手段3には、抽出領域取得手段2からの入力(第1の抽出領域と第2の抽出領域を示す情報)とは別に、入力として、画像識別子の抽出対象となる画像が供給される。領域特徴量算出手段3は、第1の領域特徴量算出手段31と第2の領域特徴量算出手段32とを有する。領域特徴量算出手段3は、第1の領域特徴量算出手段31を用いて、入力として供給される画像から、次元ごとに、抽出領域取得手段2から供給される第1の抽出領域を示す情報に基づき、第1の抽出領域の特徴量を第1の領域特徴量として算出し、比較手段4へ供給する。また、領域特徴量算出手段3は、第2の領域特徴量算出手段32を用いて、入力として供給される画像から、次元ごとに、抽出領域取得手段2から供給される第2の抽出領域を示す情報に基づき、第2の抽出領域の特徴量を第2の領域特徴量として算出し、比較手段4へ供給する。
なお、第1の抽出領域と第2の抽出領域を示す情報に基づいて、入力される画像に対するそれぞれの抽出領域を特定するためには、必要に応じて領域特徴量算出手段3は、次元別抽出領域情報の規定のサイズとアスペクト比に画像をリサイズする。
領域特徴量算出手段3は、それぞれの抽出領域に含まれる画素群の画素値を用いて、それぞれの抽出領域の領域特徴量を算出する。ここで画素値とは、画像の各画素が持つ信号の値であり、スカラー量またはベクトル量である。例えば、画像が輝度画像の場合は、画素値は輝度値(スカラー量)である。また例えば、画像がカラー画像の場合は、画素値は色成分を表すベクトル量である。例えばカラー画像がRGB画像である場合は、画素値はR成分、G成分、B成分の3次元のベクトル量である。また例えばカラー画像がYCbCr画像である場合は、画素値はY成分、Cb成分、Cr成分の3次元のベクトル量である。
抽出領域の領域特徴量を算出する方法は、その次元の抽出領域(第1の抽出領域と第2の抽出領域)における算出方法が一定である(どの入力画像に対しても同じ算出方法である)限りは、任意の方法でよい。
また、算出する領域特徴量は、スカラー量でもよいし、ベクトル量であってもよい。例えば、画素値が輝度値などのスカラー量である場合、領域特徴量を、その抽出領域に含まれる画素値の、平均値、メディアン値、最頻値、最大値、最小値、などと算出してもよい(いずれもスカラー量である)。また例えば、抽出領域に含まれる画素値をソートし、分布(ソートされた順列)の上位または下位から規定の割合の位置にある画素値を、領域特徴量として算出してもよい(これもスカラー量である)。より具体的に、規定の割合として、百分率でP%とした場合(例えばP=25%)を例に挙げて説明する。抽出領域に含まれる計N個の画素の画素値(輝度値)を昇順にソートし、昇順にソートされた画素値(輝度値)の集合をY(i)={Y(0)、Y(1)、Y(2)、…、Y(N−1)}と表す。ここで、昇順にソートされた順列の下位からP%の位置にある画素値は、例えば、Y(floor(N×P/100))となり、この値を抽出領域の領域特徴量として算出する。なお、floor()は、小数点以下の切り捨てを行う関数である。ここで、抽出領域に含まれる画素の輝度値に対して、この式(Y(floor(N×P/100)))を適用して算出された領域特徴量を、「パーセンタイル輝度値特徴量」と呼ぶことにする。
また例えば、画素値が色成分などのベクトル量の場合は、まずそれらを任意の方法でスカラー量に変換してから、上述した方法によって領域特徴量を算出してもよい。例えば、画素値がRGB成分の3次元のベクトル量である場合は、まずそれらをスカラー量である輝度値に変換してから、上述した方法によって領域特徴量を算出してもよい。また画素値がベクトル量の場合は、例えば、その抽出領域に含まれる画素値の平均ベクトルを領域特徴量としてもよい。
また例えば、抽出領域に対してエッジ検出や、テンプレートマッチングなどの任意の演算(微分演算、フィルタ演算)を行い、その演算結果を領域特徴量としてもよい。例えば、エッジの方向(勾配の方向)を表す2次元のベクトル量であってもよい。また例えば、あるテンプレートとの類似度などを表すスカラー量であってもよい。
また例えば、抽出領域に含まれる色分布や、エッジの方向分布、エッジの強度分布を表すヒストグラムを、領域特徴量として算出してもよい(いずれもベクトル量である)。
また例えば、国際標準規格ISO/IEC 15938−3に規定されている各種特徴量、すなわち、Dominant Color、Color Layout、Scalable Color、Color Structure、Edge Histogram、Homogeneous Texture、Texture Browsing、Region Shape、Contour Shape、Shape 3D、Parametric Motion、Motion Activityなどであってもよい。
比較手段4は、次元ごとに、領域特徴量算出手段3から供給される第1の領域特徴量と、第2の領域特徴量とを比較し、比較した結果を量子化して得られた量子化インデックスを出力する。比較手段4が、次元ごとに、量子化インデックスを出力することで、最終的に、複数の次元の量子化インデックスから成る量子化インデックスベクトルが出力されることになる。
比較手段4が、第1の領域特徴量と、第2の領域特徴量とを比較して、量子化する方法は、任意である。また、1つの次元当たりの量子化インデックスの数も任意である。
比較手段4は、例えば、領域特徴量がスカラー量である場合(例えば輝度値の平均値)、その大小を比較して第1の領域特徴量のほうが大きい場合は量子化インデックスを+1、それ以外の場合は量子化インデックスを−1とする、のようにして+1と−1の2値の量子化インデックスに量子化してもよい。ここで、次元nの第1の領域特徴量をVn1、第2の領域特徴量をVn2とすると、次元nの量子化インデックスQnは、次式で算出することができる。
[式1]
Qn=+1 (Vn1>Vn2 の場合)
−1 (Vn1≦Vn2 の場合)
ここで、比較手段4が、上述の式1に基づいた比較・量子化を行う場合における、比較手段4のより詳細な構成図を図3に示す。
図3を参照すると、比較手段4は、大小比較手段41と、量子化手段42と、から構成されている。
大小比較手段41は、第1の領域特徴量と、第2の領域特徴量とが供給されると、第1の領域特徴量の値と第2の領域特徴量の値との大小を比較し、その比較結果を量子化手段42へ供給する。すなわち、大小比較手段41は、Vn1とVn2の大小を比較し、比較結果が、Vn1>Vn2であるか、Vn1≦Vn2であるか、のいずれであるかを示す情報を、大小比較結果として量子化手段42へ供給する。
量子化手段42は、大小比較手段41から供給される大小比較結果に基づいて、式1に従って量子化を行い、量子化インデックスを出力する。すなわち量子化手段42は、比較結果がVn1>Vn2であることを示す情報が供給される場合は、量子化インデックスを+1、比較結果がVn1≦Vn2であることを示す情報が供給される場合は、量子化インデックスを−1、として量子化インデックスを出力する。
なお、この式1に基づいた比較・量子化方法を比較・量子化方法Aと呼ぶことにする。
また、比較手段4は、例えば、領域特徴量がスカラー量である場合(例えば輝度値の平均値)、差分値の絶対値がある規定の閾値以下の場合は、第1の領域特徴量と第2の領域特徴量との差がないものをみなし、差がないことを示す量子化インデックス0とし、それ以外の場合は、その大小を比較して第1の領域特徴量のほうが大きい場合は量子化インデックスを+1、それ以外の場合は量子化インデックスを−1とする、のようにして+1、0、−1の3値の量子化インデックスに量子化してもよい。ここで、次元nの第1の領域特徴量をVn1、第2の領域特徴量をVn2とし、規定の閾値をthとすると、次元nの量子化インデックスQnは、次式で算出することができる。
[式2]
Qn=+1 (|Vn1−Vn2|>th かつ Vn1>Vn2 の場合)
0 (|Vn1−Vn2|≦th の場合)
−1 (|Vn1−Vn2|>th かつ Vn1≦Vn2 の場合)
ここで、比較手段4が、上述の式2に基づいた比較・量子化を行う場合における、比較手段4のより詳細な構成図を図4に示す。
図4を参照すると、比較手段4は、差分値算出手段43と、量子化手段44と、から構成されている。量子化手段44には、あらかじめ規定された、量子化の境界を表す情報(量子化境界情報)である閾値が、入力として供給される。
差分値算出手段43は、第1の領域特徴量と、第2の領域特徴量とが供給されると、第1の領域特徴量の値と第2の領域特徴量の値との差分値を算出し、算出した差分値を量子化手段44へ供給する。すなわち、差分値算出手段43は、Vn1−Vn2を算出し、その値を量子化手段44へ供給する。
量子化手段44は、差分値算出手段43から供給される差分値と、入力として供給されるあらかじめ規定された量子化の境界を表す情報(量子化境界情報)である閾値とに基づいて、式2に従って量子化を行い、量子化インデックスを出力する。すなわち量子化手段42は、差分値算出手段41から供給されるVn1−Vn2の値と、入力として供給される閾値thとに基づいて、|Vn1−Vn2|>th かつ Vn1−Vn2>0 の場合は量子化インデックスを+1、|Vn1−Vn2|>th かつ Vn1−Vn2≦0 の場合は量子化インデックスを−1、|Vn1−Vn2|≦th の場合は量子化インデックスを0、として量子化インデックスを出力する。
なお、この式2に基づいた比較・量子化方法を比較・量子化方法Bと呼ぶことにする。
また、ここでは差分値に基づいて3値に量子化しているが、差分値の大きさに応じて、より多数(のレベルの)の量子化インデックスに量子化してもよい。この場合も、比較手段4は、図4に示した構成をとり、量子化手段44には、あらかじめ規定された、各レベルの量子化の境界を表す情報(量子化境界情報)として複数の閾値が、入力として供給される。なお、この差分値と、入力として供給される複数の閾値とに基づいて、4レベル以上の複数のレベルの量子化インデックスに量子化する比較・量子化方法を比較・量子化方法Cと呼ぶことにする。
このように、第1の領域特徴量と第2の領域特徴量との差が小さい(規定の閾値以下の)ときに、差がないものとして、差がないことを表す量子化インデックスを導入することで、式1の方法に比べて、領域特徴量の差が小さい抽出領域の対の次元の特徴量(量子化インデックス)をより安定に、すなわち各種改変処理やノイズに対してより頑健に、することができる。そのため、局所領域間の特徴の差が全体的に少ない、全体的に変化の少ない平坦な画像(例えば青空の画像)に対しても安定した、すなわち各種改変処理やノイズに対しても頑健な、画像識別子(量子化インデックスベクトル)を出力することができる。
また、比較手段4は、例えば、領域特徴量がベクトル量である場合は、ベクトル量をまずそれらを任意の方法でスカラー量に変換してから、上述した方法によって量子化を行ってもよい(この比較・量子化方法を比較・量子化方法Dと呼ぶことにする)。また例えば、第1の抽出領域のベクトルから第2の抽出領域のベクトルとの差分である差分ベクトルを算出し、差分ベクトルをベクトル量子化して量子化インデックスを算出してもよい。この場合は、例えば、あらかじめ規定された量子化インデックスごとの代表ベクトル(重心ベクトルなど)が供給され、それら代表ベクトルと差分ベクトルとの類似度が最も大きく(距離が最も小さく)なる量子化インデックスに分類してもよい(この比較・量子化方法を比較・量子化方法Eと呼ぶことにする)。また、上述の式2によるスカラー量の量子化と同様に、差分ベクトルのノルムがある規定の閾値以下の場合は、第1の領域特徴量と第2の領域特徴量との差がないものをみなし、差がないことを示す量子化インデックス0として、差がないことを表す量子化インデックスを導入してもよい。
なお、本発明で出力される量子化インデックスベクトルを照合する際(ある画像から抽出した量子化インデックスベクトルと、別の画像から抽出した量子化インデックスベクトルとを比較して、それらの画像が同一であるか否かを判定する際)は、量子化インデックスが一致する次元数(類似度)、あるいは量子化インデックスが非一致である次元数(ハミング距離)を同一性尺度として算出し、算出された同一性尺度をある閾値と比較して、画像の同一性の判定を行うことができる。
また、比較手段4において、量子化インデックスが式2に基づいて算出された場合は、以下のように同一性尺度(類似度)を算出することができる。まず、2つの画像の量子化インデックスベクトルを対応する次元どうしで比較して、「共に量子化インデックスが0」ではない次元の数を算出する(この値をAとする)。次に、「共に量子化インデックスが0」ではない次元において、量子化インデックスが一致する次元の数を算出する(この値をBとする)。そして、類似度をB/Aとして算出する。ここでA=0の場合(すなわち、全ての次元が共に量子化インデックスが0となる場合)は、類似度を規定の数値(例えば0.5)とする。
また、「共に量子化インデックスが0」ではない次元において、量子化インデックスが非一致である次元の数を算出し(この値をCとする)、同一性尺度(距離)をC/Aとして算出してもよい。ここでA=0の場合(すなわち、全ての次元が共に量子化インデックスが0となる場合)は、同一性尺度(距離)を規定の数値(例えば0.5)とする。この同一性尺度をC/Aとして算出する方法の効果を、同一性尺度をB/Aとして算出する方法と対比して、以下に示す。ここで、B+C=Aであるため、B(量子化インデックスが一致する次元の数)を算出してB/Aを算出するのと、C(量子化インデックスが非一致である次元の数)を算出してC/Aを算出するのとでは、画像の同一性判定の判定精度には影響しない(なぜならば、B/A=1−C/A、C/A=1−B/A、であり、B/Aは同一性尺度を「類似度」として算出しているのに対して、C/Aは同一性尺度を「距離」として算出している、という違いだけであるため)しかしながら、算出される同一性尺度をあらかじめ与えられた閾値と比較して同一性の判定を行う際に、計算コストを軽減するために同一性尺度の算出の打ち切りを行う場合に、2つの方法の間に計算コストの差が発生する。同一性尺度の算出の打ち切りは次のように行う。あらかじめ、同一性判定のための閾値が与えられる。次元ごとに逐次、量子化インデックスが{一致・非一致}であるかを判定し、量子化インデックスが{一致する・非一致である}次元数の値を算出(増分)していき、逐次閾値と比較していく。量子化インデックスが{一致する・非一致である}次元数が、閾値を超えた時点で、計算を打ち切ることができる(それ以上計算しても、閾値を超えることは自明であるため)。ここで一般的に、同一性判定の閾値は、同一性尺度(類似度)をB/Aと算出する場合は0.5(半分)よりも大きな値を、同一性尺度(距離)をC/Aと算出する場合は0.5(半分)よりも小さな値を設定する(前者の場合は算出した値が閾値よりも大きければ同一と判定し、後者の場合は算出した値が閾値よりも小さければ同一と判定する)。例えばB/Aと算出する場合には閾値を0.8と設定し、C/Aと算出する場合には閾値を0.2などと設定する。ここでA=100とすると、B/Aと算出する場合はBの値を次元ごとに逐次計算していき、Bが80を超えた場合に計算を打ち切ることができる。C/Aと算出する場合はCの値を次元ごとに逐次計算していき、Cが20を超えた場合に計算を打ち切ることができる。すなわち、Bを計算する場合は値が80を超えるまで打ち切ることができないが、Cを計算する場合は値が20を超えた時点で打ち切ることができる。そのため、同一性尺度をC/Aと算出するほうが、B/Aと算出するよりも、より早い時点で計算を打ちきることができるため、計算コストを軽減することができる、という効果がある。
またここで、「共に量子化インデックスが0」である次元の数をDとして算出し(ここで全次元数をNとすると、A+D=N)、任意の、Dの単調非増加関数f(D)を用いて、同一性尺度をB/f(D)、または、C/f(D)、として算出してもよい。なおDの単調非増加関数f(D)とは、D1<D2に対してf(D1)≧f(D2)が成り立つ関数である。Dに対するf(D)の例を図示したグラフを図32に示す(横軸がDで、縦軸がf(D)である)。図32において関数(i)は、f(D)=定数であり、同一性尺度を、単にBまたはCとして算出するのと同値になる。また関数(ii)は、f(D)=N−D=Aであり、上述した、同一性尺度をB/AやC/Aとして算出する方法と同値になる。ここでf(D)は関数(i)や関数(ii)のようにDに対して線形である必要はなく、Dの単調非増加関数である限りは、関数(iii)や関数(iv)のように非線形な関数であってもよい。このように、任意の、Dの単調非増加関数f(D)を用いて同一性尺度をB/f(D)またはC/f(D)として算出することの効果を以下に述べる。量子化インデックス0は、式2を参照すると、2つの抽出領域の領域特徴量の値に差がない(閾値以下である)ことを示している。局所領域間の特徴の差が全体的に少ない、全体的に変化の少ない平坦な画像領域(空の領域、白い壁の領域、など)では、量子化インデックス0が多発する傾向があり(例えば全体的に平坦な青空の画像などでは、ほとんど全ての次元が量子化インデックス0となる)、またこのような平坦な画像領域は多くの画像に含まれるため、量子化インデックスが0である次元は、画像の同一性を判定する上での有効性が低いと考えられる。比較している2つの画像の量子化インデックスベクトルで、「共に量子化インデックスが0」である次元は、2つの画像の量子化インデックスベクトルを比較して同一性を判定するうえで有効性の低い次元であるということが考えられる。BやCは、有効性の低い「共に量子化インデックスが0」である次元を除外し、有効性の高い「共に量子化インデックスが0」でない次元に限定して、量子化インデックスが一致する次元数(B)、あるいは量子化インデックスが非一致である次元数(C)として算出している。有効性の低い次元を除外し、有効性の高い次元に限定して同一性尺度を算出することで、画像の同一性判定の高精度な照合を実現することができる。そして、f(D)は、「共に量子化インデックスが0」である次元数、すなわち有効性が低い次元の数に応じて、BやCの値を正規化している(Dが大きいほどAが小さくなり、BやCの値が小さくなるため、Dに対して単調非増加な関数で正規化する)。ここで正規化の関数を任意の単調非増加関数とすることで、同一性尺度の振る舞いを調整(制御)することができ、同一性判定を行う画像データベースや、アプリケーションに応じて最適化することができる、という効果がある。
前段落(段落0076)で述べた同一性尺度の算出方法は、有効性の低い「共に量子化インデックスが0」である次元を除外し、有効性の高い「共に量子化インデックスが0」でない次元に限定して、同一性尺度を算出した。しかし有効性の低い「共に量子化インデックスが0」である次元を完全に除外せずに、「共に量子化インデックスが0」である次元数であるDに対して単調非減少関数g(D)を用いて、同一性尺度を(B/f(D))+g(D)として算出してもよい。ここで、前半のB/f(D)は、有効性の高い「共に量子化インデックスが0」でない次元から算出された同一性尺度、後半のg(D)は有効性の低い「共に量子化インデックスが0」である次元から算出された同一性尺度であり、その和として全体の同一性尺度を定義している。ここで、前半のB/f(D)よりも後半のg(D)の影響(重み)が小さくなるように、単調非減少関数g(D)を設計することで、有効性の高い前半のB/f(D)の重みを大きくした形で同一性尺度を算出することができる。例えばある小さな重み値βを用いて、同一性尺度を(B/f(D))+β×D、として算出してもよい。さらに、また例えば、f(D)=定数である場合に、1/f(D)=αと置くと、同一性尺度をα×B+β×D、として算出してもよい。このように、有効性の高い「共に量子化インデックスが0」でない次元と、有効性の低い「共に量子化インデックスが0」である次元とを分けて同一性尺度を算出することで、全ての次元を考慮しつつ、有効性の高い次元と有効性の低い次元との相対的な重みを調整(制御)することができ(有効性の高い次元の重みを大きくする、など)、同一性判定を行う画像データベースや、アプリケーションに応じて最適化することができる、という効果がある。
なお、段落0074から段落0077においては、比較する2つの量子化インデックスベクトルにおいて、「共に量子化インデックスが0」である次元(の数)、および「共に量子化インデックスが0」でない次元(の数)、を基準に同一性尺度の算出方法を説明しているが、それぞれを「いずれか一方の量子化インデックスが0」である次元(の数)、および「いずれか一方の量子化インデックスが0」でない次元(の数)、を基準に、同様な計算方法で同一性尺度を算出してもよい。すなわち、段落0074から段落0077における「共に量子化インデックスが0」である次元(の数)、および「共に量子化インデックスが0」でない次元(の数)を、それぞれ、「いずれか一方の量子化インデックスが0」である次元(の数)、および「いずれか一方の量子化インデックスが0」でない次元(の数)と読み替えてもよい。
段落0074から段落0078で述べた照合方法(同一性尺度の算出方法)は、量子化インデックスが式2に基づいて算出された場合として説明しているが、量子化インデックスが式2に基づいて算出された場合に限らず、比較手段4において、2つの抽出領域(第1の抽出領域と第2の抽出領域)の特徴量である第1の領域特徴量と第2の領域特徴量との差がない(差が小さい、差が規定の閾値以下)ことを表す量子化インデックスを導入した量子化方法を用いていれば、適用することができる。すなわち、段落0074から段落0078における量子化インデックス0を、「第1の領域特徴量と第2の領域特徴量との差がない(差が小さい、差が規定の閾値以下)ことを表す量子化インデックス」と解釈すればよい。
段落0073から段落0079において説明した、2つの画像から抽出した量子化インデックスベクトルを照合する方法により同一性尺度を算出する手段を照合手段とすると、照合手段を構成要素とする画像識別子照合装置を構成することができる。照合手段は、比較手段4から出力される第1の画像の量子化インデックスベクトルと第2の画像の量子化インデックスベクトルを比較し、同一性尺度を算出して出力する。また、画像識別子照合装置は、照合手段に加えて同一性判定手段を備えることもできる。同一性判定手段は、照合手段から供給される同一性尺度を、あらかじめ与えられる閾値と大小の比較をし、第1の画像と第2の画像が同一であるか否かを判定し、その判定結果を出力する。
なお、段落0073から段落0080において説明した量子化インデックスベクトルを照合する方法は、後述する全ての実施の形態(第2の実施の形態、第3の実施の形態、第4の実施の形態、その他の実施の形態)に対しても適用できる。
[第1の実施の形態の動作]
次に、図5のフローチャートを参照して、第1の実施の形態における画像識別子抽出装置の動作を説明する。図5のフローチャートでは、特徴ベクトルの次元(の番号)をnで表し、次元は1からNまでの合計N次元あるものとする。
まず、次元決定手段1は、抽出する特徴ベクトルの最初の次元として、次元1を決定し(n=1)、抽出領域取得手段2へ供給する(ステップA1)。
次に、抽出領域取得手段2は、入力として供給される次元別抽出領域情報から、次元nの第1の抽出領域と第2の抽出領域とを示す情報を取得し、領域特徴量算出手段3へ供給する(ステップA2)。
次に、領域特徴量算出手段3は、入力として供給される画像から、次元nの第1の領域特徴量と、第2の領域特徴量とを算出し、比較手段4へ供給する(ステップA3)。
次に、比較手段4は、次元nの第1の領域特徴量と第2の領域特徴量とを比較し、比較した結果を量子化して、量子化インデックスを出力する(ステップA4)。
次に、全ての次元に対して量子化インデックスの出力が終了したか否かを判定(すなわちn<Nが真であるか偽であるかを判定)する(ステップA5)。全ての次元に対して量子化インデックスの出力が終了した場合(すなわちn<Nが偽である場合)は処理を終了する。全ての次元に対して量子化インデックスの出力が終了していない場合(すなわちn<Nが真である場合)は、ステップA6へ移行する。ステップA6では、次元決定手段1が、抽出する特徴ベクトルの次元として、次の次元を決定し(n=n+1)、抽出領域取得手段2へ供給する。そして、再度ステップA2へ移行する。
なお、ここでは、次元1から次元Nまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。またこの処理手順に限らず、複数の次元に対する抽出処理を並列に行うようにしてもよい。
[第1の実施の形態の効果]
次に、本発明の第1の実施の形態の効果について説明する。
第1の効果は、複数の次元から成る特徴ベクトルで構成される画像識別子の、異なる画像を識別できる度合いである識別能力を高くすることができることである。特に、画像の局所領域間の相関が大きい画像に対して、この効果は顕著である。
その理由は、次元間で特徴量を抽出する領域の形状が異なる(領域の形状に多様性がある)ことにより、次元間の相関を小さくできるからである。
第2の効果は、特定の周波数に信号が集中している画像に対しても、識別能力が低下することがないことである。
その理由は、次元間で特徴量を抽出する領域の形状が異なる(領域の形状に多様性がある)ことにより、ある特定の周波数に信号が集中している画像に対しても、同時に全ての(多くの)抽出領域の対(次元)の間で特徴量の差が無くなり識別能力が低下するようなことが発生しにくくなるからである。
[第2の実施の形態]
[第2の実施の形態の構成]
次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。
本発明の第2の実施の形態は、図1に示した第1の実施の形態における比較手段4が、図6に詳細を示す比較手段4Aに置き換わる点において、異なる。比較手段4A以外に関しては、第1の実施の形態と同様であるため、ここでは説明を省略する。
図6を参照すると、比較手段4Aは、差分値算出手段43と、量子化境界決定手段45と、量子化手段44と、から構成されている。
差分値算出手段43は、次元ごとに、領域特徴量算出手段3から供給される第1の領域特徴量と、第2の領域特徴量との差分値を算出し、量子化境界決定手段45と、量子化手段44とへ供給する。
差分値は、領域特徴量がスカラー量の場合(例えば輝度値の平均値)は、例えば、第1の領域特徴量から第2の領域特徴量を(あるいはその逆)減算して得られたスカラー量である。また、領域特徴量がベクトル量の場合は、例えば、それぞれのベクトルを任意の方法でスカラー量に変換してから、スカラー量の差分値を求めてもよい。また、領域特徴量がベクトル量の場合は、第1の領域特徴量と第2の領域特徴量との差分ベクトルを、差分値(ベクトル量)としてもよい。
量子化境界決定手段45は、差分値算出手段43から供給される特徴ベクトルの全ての次元の差分値が供給されると、全ての次元の差分値の分布に基づいて、量子化の境界を決定し、決定した量子化境界の情報を量子化手段44へ供給する。ここで全ての次元の差分値の分布とは、差分値(あるいは差分ベクトル)に対する生起の頻度(確率)である。
また量子化の境界を決定するとは、差分値を量子化する際に、漏れなく、かつ排他的に量子化インデックスに割り当てるためのパラメータを決定する、ということである。差分値がスカラー量である場合は、例えば、各量子化インデックス(量子化レベル)に対する値域(すなわち閾値)を決定し、その値域(閾値)を量子化境界の情報として量子化手段43へ供給する。また差分値がベクトル量である場合は、例えばベクトル量子化を行うためのパラメータ、例えば、各量子化インデックスの代表ベクトル(重心ベクトルなど)を決定し、それを量子化境界の情報として量子化手段44へ供給する。
量子化境界決定手段45は、差分値がスカラー量の場合であって、M値の量子化を行う場合(M=2、3、…など)に、全ての次元の差分値の分布に基づいて、それぞれの量子化インデックスの全次元に対する割合が均等になるように、量子化の値域(閾値)を決定してもよい。
例えば、前記式1の変形として、定数αを用いて、Vn1+α>Vn2の場合は量子化インデックス+1、Vn1+α≦Vnの場合は量子化インデックス−1とする2値の量子化(M=2)の場合に、量子化インデックスの+1と−1の割合が均等になるように、差分値の分布の中央の点(左右の分布の積分値が等しくなる点)を量子化の閾値αとして決定してもよい。また差分値がベクトル量である場合も同様に、M値の量子化を行う場合に、全ての次元の差分ベクトルの分布に基づいて、それぞれの量子化インデックスの全次元に対する割合が均等になるように、各量子化インデックスに割り当てられるベクトル空間の領域を決定したり、ベクトル量子化を行う際の各量子化インデックスの代表ベクトル(重心ベクトルなど)を決定してもよい。このように、どの画像に対しても、全次元に対する量子化インデックスの割合を均等にすることで(すなわち、量子化インデックスの偏りを無くす)、エントロピーを高くすることができるため、識別能力を高くすることができる。
なお、量子化境界決定手段45が、量子化インデックスの全次元に対する割合が均等になるように量子化の境界を決定し、それに基づいて量子化手段44が量子化を行う比較・量子化方法を、比較・量子化方法Fと呼ぶことにする。
また例えば、量子化境界決定手段45は、差分値がスカラー量の場合であって、上述の式2による3値の量子化を行う場合に(量子化インデックスが+1、0、−1)、差分がないことを示す量子化インデックス0に量子化する際の閾値th(この閾値以下の場合に量子化インデックスを0とする)を、全ての次元の差分値の分布に基づいて決定し、決定した閾値thを量子化手段44へ供給してもよい(第1の実施の形態の図4の比較手段4では、この閾値thはあらかじめ規定されているものである)。例えば、全ての次元の差分値の絶対値を算出し、算出した差分値の絶対値をソートして、その上位または下位から、ある規定の割合(なおこの規定の割合は、例えば、入力として供給されるとする)の点を閾値thとしてもよい(この比較・量子化方法を比較・量子化方法Gと呼ぶことにする)。またここで規定の割合ではなく、+1、0、−1の量子化インデックスの割合が均等に近づくように、閾値thを決定してもよい(この比較・量子化方法を比較・量子化方法Hと呼ぶことにする)。比較・量子化方法Hは、式2に従った場合の、比較・量子化方法Fの具体例に相当する。
比較・量子化方法Gのより具体的な方法を、規定の割合として、百分率でP%とした場合(例えばP=25%)を例に挙げて説明する。全ての次元(次元数=Nとする)の差分値の絶対値を、昇順にソートし、昇順にソートされた差分値の絶対値の集合をD(i)={D(0)、D(1)、D(2)、…、D(N−1)}と表す。ここで、昇順にソートされた順列の下位からP%の位置にある値は、例えば、D(floor(N×P/100))となり、閾値th=D(floor(N×P/100))となる。なお、floor()は、小数点以下の切り捨てを行う関数である。
本実施の形態における方法は、第1の実施の形態における、比較手段4が図4の構成をとる場合と対比することができる。第1の実施の形態における図4の構成では、あらかじめ規定された閾値thが入力として供給されるのに対して、第2の実施の形態における上述の方法は、量子化境界決定手段45において、全ての次元の差分値の分布に基づいて、画像に対して適応的に閾値thが算出される。このように第1の実施の形態では閾値thが固定化されており、第2の実施の形態では閾値thが画像に適応的に算出される。画像に適応的に閾値thが算出されることで、閾値thが固定化されている場合と比較して、特徴ベクトルの次元の値が、特定の量子化インデックスに偏る(特定の量子化インデックスの出現確率が高い)ことを抑えることができるため(特に起伏の少ない画像に対してなど)、識別能力を高くすることができる。例えば、第1の実施の形態における固定化された閾値thを用いた場合、起伏の少ない画像は、特徴ベクトルの大多数の次元(または全ての次元)が量子化インデックス0になってしまうのに対して、第2の実施の形態における適応的な閾値thを用いると、起伏の少ない画像に対しては閾値thが小さい値に自動的に調整されるため、特徴ベクトルの大多数の次元が量子化インデックス0になるような事態が発生しない。
量子化手段44は、次元ごとに、差分値算出手段43から供給される次元ごとの差分値と、量子化境界決定手段45から供給される量子化境界の情報とに基づいて、量子化を行い、量子化インデックスを出力する。
なお、量子化手段44は、量子化境界決定手段45が出力した量子化境界の情報を無視した量子化を行っては意味がなくなるため、量子化境界決定手段45で量子化境界を決定した際に想定していた量子化方法に従う必要がある。
[第2の実施の形態の動作]
次に、図7のフローチャートを参照して、第2の実施の形態における画像識別子抽出装置の動作を説明する。図7のフローチャートでは、特徴ベクトルの次元(の番号)をnで表し、次元は1からNまでの合計N次元あるものとする。
まず、次元決定手段1は、抽出する特徴ベクトルの最初の次元として、次元1を決定し(n=1)、抽出領域取得手段2へ供給する(ステップB1)。
次に、抽出領域取得手段2は、入力として供給される次元別抽出領域情報から、次元nの第1の抽出領域と第2の抽出領域とを示す情報を取得し、抽出領域代表値算出手段3へ供給する(ステップB2)。
次に、抽出領域代表値算出手段3は、入力として供給される画像から、次元nの第1の領域特徴量と、第2の領域特徴量とを算出し、差分値算出手段43へ供給する(ステップB3)。
次に、差分値算出手段43は、次元nの第1の領域特徴量と第2の領域特徴量との差分値を算出し、量子化境界決定手段45と、量子化手段44とへ供給する(ステップB4)。
次に、全ての次元に対する差分値の算出までの処理が終了したか否かを判定(すなわちn<Nが真であるか偽であるかを判定)する(ステップB5)。全ての次元に対する差分値算出までの処理を終了した場合(すなわちn<Nが偽である場合)はステップB7へ移行する。全ての次元に対する処理が終了していない場合(すなわちn<Nが真である場合)は、ステップB6へ移行する。ステップB6では、次元決定手段1が、抽出する特徴ベクトルの次元として、次の次元を決定し(n=n+1)、抽出領域取得手段2へ供給する。そして、再度ステップB2へ移行する。
なお、ここでは、次元1から次元Nまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。
次に、量子化境界決定手段45は、差分値算出手段43から供給される特徴ベクトルの全ての次元の差分値が供給されると、全ての次元の差分値の分布に基づいて、量子化の境界を決定し、決定した量子化境界の情報を量子化手段44へ供給する(ステップB7)。
次にステップB8では、量子化を行う(量子化インデックスを算出する)特徴ベクトルの最初の次元として、次元1をセット(n=1)する。
次に、量子化手段44は、次元nの差分値と、量子化境界決定手段45から供給される量子化境界とに基づいて、量子化を行い、量子化インデックスを出力する(ステップB9)。
次に、全ての次元に対する量子化インデックスの出力が終了したか否かを判定(すなわちn<Nが真であるか偽であるかを判定)する(ステップB10)。全ての次元に対する量子化インデックスの出力を終了した場合(すなわちn<Nが偽である場合)は処理を終了する。全ての次元に対する量子化インデックスの出力が終了していない場合(すなわちn<Nが真である場合)は、ステップB11へ移行する。ステップB11では、量子化を行う(量子化インデックスを算出する)特徴ベクトルの次元として、次の次元をセットする(n=n+1)。そして、再度ステップB9へ移行する。
なお、ここでは、次元1から次元Nまで順番に量子化処理を行っているが、順番はこれに限らず任意でよい。
[第2の実施の形態の効果]
第2の実施の形態では、量子化の境界が固定されている第1の実施の形態と比較して、量子化の境界が画像に対して適応的に(動的に)算出される点が異なる。第1の実施の形態のように、量子化の境界が固定化されていると、特定の画像(例えば起伏の少ない平坦な画像など)に対して、特徴ベクトルの次元の値が、特定の量子化インデックスに偏る(特定の量子化インデックスの出現確率が高い)という事態が発生し(エントロピーが低くなる)、これらの画像に対して識別能力が低下するという問題が発生する。一方で第2の実施の形態のように、量子化の境界が画像に対して適応的に(動的に)算出されることにより、どの画像に対しても、特徴ベクトルの次元の値が、特定の量子化インデックスに偏る(特定の量子化インデックスの出現確率が高い)ことを抑えることができるため、識別能力を高くすることができる。
[第3の実施の形態]
[第3の実施の形態の構成]
次に、本発明の第3の実施の形態について図面を参照して詳細に説明する。
図8を参照すると、本発明の第3の実施の形態は、図1に示した第1の実施の形態の構成に、領域特徴量算出方法取得手段5が追加され、領域特徴量算出手段3が、第1および第2の領域特徴量算出手段31Aおよび32Aを有する領域特徴量算出手段3Aに置き換わる点で異なる。なお、それ以外の構成に関しては、第1の実施の形態の構成と同様であるため、ここでは説明を省略する。なお、ここでは、第1の実施の形態との組み合わせとして説明しているが、第2の実施の形態との組み合わせであってもよい。
領域特徴量算出方法取得手段5には、次元決定手段1からの次元と、次元別領域特徴量算出方法情報とが供給される。
次元別領域特徴量算出方法情報は、あらかじめ規定された、特徴ベクトルの次元ごとに対応付けられた、その次元での領域特徴量の算出方法を示す情報であり、次元間で領域特徴量算出方法が異なることが必須条件である。なおここで、領域特徴量算出方法が異なるとは、同一の手順に対して異なるパラメータ(閾値など)を適用する場合も含む。
ここで領域特徴量算出方法とは、例えば、第1の実施の形態の領域特徴量算出手段3の説明で記述した各種方法、またそれに伴うパラメータなどである。
なお次元別領域特徴量算出方法情報が示す次元ごとの領域特徴量算出方法は、特徴ベクトルの全次元の中に、領域特徴量算出方法の異なる次元のペアが、少なくとも1つ存在することが最低条件である。領域特徴量算出方法が相互に異なる次元が多いほど、望ましい。これは、領域特徴量算出方法が相互に異なる次元が多いほど、特徴ベクトルのより多くの次元間で相関が小さくなり、識別能力が高くなるからである。例えば、特徴ベクトルの全ての次元間で、領域特徴量算出方法が相互に異なっていてもよい。
なお、次元ごとの領域特徴量算出方法を示す情報の形式は、領域特徴量を算出する方法が一意に特定される限りは、任意の形式であってよい。
図9に、次元ごとの領域特徴量算出方法の例を示す。図9に示すように、次元間で領域特徴量算出方法が異なる。また図9に示した例のように、スカラー量とベクトル量の特徴量が混在していてもよい(第1、3、5、6、8、9、10、12次元はスカラー量、第2、4、7、11次元はベクトル量)。
また、抽出領域が互いに近傍に存在する次元間(次元ペア)では、それらの次元間(次元ペア)の領域特徴量算出方法が異なることが望ましい。例えば、抽出領域が互いに近傍に存在する次元間(次元ペア)では、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。この場合、抽出領域が互いに近傍に存在する全ての次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。また、抽出領域が互いに近傍に存在する次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。また、抽出領域が互いに近傍に存在する次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。
ここで、抽出領域が互いに近傍に存在する次元ペアは、ある所定の方法によって算出される、2つの次元の抽出領域(第1の抽出領域と第2の抽出領域)の間の距離が、ある所定の閾値よりも小さくなるような次元のペアのことである。2つの次元の抽出領域(第1の抽出領域と第2の抽出領域)の距離は、例えば、それぞれの次元の抽出領域(第1の抽出領域と第2の抽出領域)に含まれる全画素の間の距離の平均値として算出してもよい。また例えば、それぞれの次元の抽出領域(第1の抽出領域と第2の抽出領域)に含まれる全画素の間の距離の最小値として算出してもよい。また例えば、それぞれの次元の抽出領域の重心座標を算出し(第1の抽出領域の重心座標と第2の抽出領域の重心座標)、それらの間の距離を算出し(計4つの距離が計算できる)、それらの平均値や最小値として、2つの次元の抽出領域の距離を定義してもよい。ただし、2つの次元の抽出領域の距離は、これらの算出方法に限られない。
抽出領域が互いに近傍に存在する次元間(次元ペア)で、それらの次元間の領域特徴量算出方法が異なるようにすることで、以下の効果がある。抽出領域が互いに近傍に存在する次元間では、抽出される特徴量の相関が大きくなる傾向になる。それらの次元間の領域特徴量算出方法が同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が互いに近傍に存在することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の領域特徴量算出方法が異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また逆の観点から、領域特徴量算出方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の間の距離が大きいほうが望ましい。例えば、領域特徴量算出方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。この場合、例えば、領域特徴量算出方法が同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。
また、抽出領域が隣接する次元間(次元ペア)では、それらの次元間(次元ペア)の領域特徴量算出方法が異なることが望ましい。ここで、抽出領域が隣接する次元間(次元ペア)とは、抽出領域の一部の周囲が互いに接している、ということである。例えば、抽出領域が隣接する次元間(次元ペア)では、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。この場合、抽出領域が隣接する全ての次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。また、抽出領域が隣接する次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。また、抽出領域が隣接する次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。
抽出領域が互いに隣接する次元間(次元ペア)で、それらの次元間の領域特徴量算出方法が異なるようにすることで、以下の効果がある。抽出領域が互いに隣接する次元間では、抽出される特徴量の相関が大きくなる傾向になる。これは抽出領域が互いに隣接する次元間では、2つの次元の抽出領域の間の距離が近いためである(画像内の近い領域の間は相関が高いため)。それらの次元間の領域特徴量算出方法が同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が互いに隣接して存在することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の領域特徴量算出方法が異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また逆の観点から、領域特徴量算出方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が隣接しないようにすることが望ましい。例えば、領域特徴量算出方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。この場合、例えば、領域特徴量算出方法が同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。
また、抽出領域が一部重複している次元間(次元ペア)では、それらの次元間(次元ペア)の領域特徴量算出方法が異なることが望ましい。例えば、抽出領域が一部重複している次元間(次元ペア)では、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。この場合、抽出領域が一部重複している全ての次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。また、抽出領域が一部重複している次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。また、抽出領域が一部重複している次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の領域特徴量算出方法が異なるようにしてもよい。
抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の領域特徴量算出方法が異なるようにすることで、以下の効果がある。抽出領域が一部重複している次元間では、抽出される特徴量の相関が大きくなる傾向になる。これは抽出領域が一部重複する次元間では、特徴量の算出に用いられる領域を一部共有しているためである。それらの次元間の領域特徴量算出方法が同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が一部重複することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の領域特徴量算出方法が異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また、抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の領域特徴量算出方法が異なるようにすることで、さらに別の以下の効果がある。抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の領域特徴量算出方法が異なるようにすることで、画像の改竄(特に悪意のある改竄)に対する耐性を強化できる、という効果がある。画像に対する悪意のある改竄は、その画像から抽出される画像識別子(特徴ベクトル)による同一性判定の精度を劣化させる目的で、例えば画像の一部の領域の画素値を変更するなどして行われる。抽出領域が一部重複している次元間では、その画像の重複領域を改竄、すなわちその重複領域の画素値を変更した場合に、そこから抽出される特徴量(領域特徴量)が影響され、改竄前の領域から抽出した特徴量と異なってしまう可能性が高くなる。それらの次元間の領域特徴量算出方法が同じであると、各々の次元の抽出領域から抽出される特徴量(領域特徴量)は同様な影響を受け、同時に特徴量が変更されてしまう可能性が高くなるため、頑健性は低い。それらの次元間の領域特徴量算出方法が異なっていると、重複領域に改竄が行われた場合にも、特徴量が同様な影響を受け、同時に特徴量が変更されてしまう可能性を低くすることができるため、頑健性を確保することができる。すなわち、重複領域を改竄することにより、その重複領域を共有している複数の次元の特徴量を同時に変更してしまうことがより困難となる。従って、抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の領域特徴量算出方法が異なるようにすることで、画像の改竄に対する耐性を強化できる。
また逆の観点から、領域特徴量算出方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が重複しないようにすることが望ましい。例えば、領域特徴量算出方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。この場合、例えば、領域特徴量算出方法が同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。
また同様な観点から、領域特徴量抽出方法が同一である次元間(次元ペア)では、抽出領域の対の形状の組み合わせが異なるようにすることが望ましい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、領域特徴量抽出方法が異なるようにすることが望ましい。例えば、領域特徴量抽出方法が同一である次元間(次元ペア)では、抽出領域の対の形状の組み合わせが異なるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、領域特徴量抽出方法が異なるようにしてもよい。この場合、例えば、領域特徴量抽出方法が同一である全ての次元間(次元ペア)において、抽出領域の対の形状の組み合わせが異なるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である全ての次元間(次元ペア)において、領域特徴量抽出方法が異なるようにしてもよい。また例えば、領域特徴量抽出方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、抽出領域の対の形状の組み合わせが異なるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、領域特徴量抽出方法が異なるようにしてもよい。また例えば、領域特徴量抽出方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、抽出領域の対の形状の組み合わせが異なるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、領域特徴量抽出方法が異なるようにしてもよい。
領域特徴量算出方法取得手段5は、入力として供給される次元別領域特徴量算出方法情報から、次元決定手段1から供給される次元に対応する領域特徴量算出方法を示す情報を取得し、領域特徴量算出手段3Aへ供給する。
領域特徴量算出手段3Aは、入力として供給される画像から、次元ごとに、抽出領域取得手段2から供給される第1の抽出領域と第2の抽出領域とを示す情報に基づき、領域特徴量算出方法取得手段5から供給される領域特徴量算出方法を示す情報に従って、第1の抽出領域の特徴量と、第2の抽出領域の特徴量とを、それぞれ第1の領域特徴量と第2の領域特徴量として算出し、比較手段4へ供給する。
領域特徴量算出手段3Aでは、供給される抽出領域を示す情報の次元と、領域特徴量算出方法を示す情報の次元との同期が取れている必要がある。
[第3の実施の形態の動作]
次に、図10のフローチャートを参照して、第3の実施の形態における画像識別子抽出装置の動作を説明する。図10のフローチャートでは、特徴ベクトルの次元(の番号)をnで表し、次元は1からNまでの合計N次元あるものとする。
まず、次元決定手段1は、抽出する特徴ベクトルの最初の次元として、次元1を決定し(n=1)、抽出領域取得手段2と領域特徴量算出方法取得手段5とへ供給する(ステップC1)。次に、抽出領域取得手段2は、入力として供給される次元別抽出領域情報から、次元nの第1の抽出領域と第2の抽出領域とを示す情報を取得し、領域特徴量算出手段3Aへ供給する(ステップC2)。
次に、領域特徴量算出方法取得手段5は、入力として供給される次元別領域特徴量算出方法情報から、次元nに対応する領域特徴量算出方法を示す情報を取得し、領域特徴量算出手段3Aへ供給する(ステップC3)。
次に、領域特徴量算出手段3Aは、入力として供給される画像から、次元nの第1の領域特徴量と、第2の領域特徴量とを算出し、比較手段4へ供給する(ステップC4)。次に、比較手段4は、次元nの第1の領域特徴量と第2の領域特徴量とを比較し、比較した結果を量子化して、量子化インデックスを出力する(ステップC5)。次に、全ての次元に対して量子化インデックスの出力が終了したか否かを判定する(ステップC6)。全ての次元に対して量子化インデックスの出力が終了した場合は処理を終了する。全ての次元に対して量子化インデックスの出力が終了していない場合は、ステップC7へ移行する。ステップC7では、次元決定手段1が、抽出する特徴ベクトルの次元として、次の次元を決定し(n=n+1)、抽出領域取得手段2と領域特徴量算出方法取得手段5とへ供給する。そして、再度ステップC2へ移行する。
なお、ここでは、次元1から次元Nまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。またこの処理手順に限らず、複数の次元に対する抽出処理を並列に行うようにしてもよい。さらに、ステップC2とステップC3の順序を逆にしてもよい。
[第3の実施の形態の効果]
第1の実施の形態の効果に加えて、異なる画像を識別できる度合いである識別能力を更に高くすることができる。
その理由は、次元間で領域特徴量算出方法が異なる(領域特徴量算出方法に多様性がある)ことにより、次元間の相関をより小さくできるからである。
[第4の実施の形態]
[第4の実施の形態の構成]
次に、本発明の第4の実施の形態について図面を参照して詳細に説明する。
図11を参照すると、本発明の第4の実施の形態は、図1に示した第1の実施の形態の構成に、比較方法取得手段6が追加され、比較手段4が比較手段4Bに置き換わる点で異なる。なお、それ以外の構成に関しては、第1の実施の形態の構成と同様であるため、ここでは説明を省略する。なお、ここでは、第1の実施の形態との組み合わせとして説明しているが、第2の実施の形態および第3の実施の形態との組み合わせであってもよい。
比較方法取得手段6には、次元決定手段1からの次元と、次元別比較方法情報とが供給される。
次元別比較・量子化方法情報は、あらかじめ規定された、特徴ベクトルの次元ごとに対応付けられた、その次元での領域特徴量を比較して量子化を行う方法を示す情報であり、次元間で比較・量子化方法が異なることが必須条件である。なおここで、比較・量子化方法が異なるとは、同一の手順に対して異なるパラメータ(閾値、量子化インデックス数など)を適用する場合も含む。
ここで比較・量子化方法とは、例えば第1の実施の形態の比較手段4の説明で記述した各種比較・量子化の方法、またそれに伴うパラメータ(閾値、量子化インデックス数など)や、第2の実施の形態の比較手段4Aの説明で記述した各種比較・量子化の方法、またそれに伴うパラメータ(閾値、量子化インデックス数など)などである。
なお次元別比較・量子化方法情報が示す次元ごとの比較・量子化方法は、特徴ベクトルの全次元の中に、比較・量子化方法の異なる次元のペアが、少なくとも1つ存在することが最低条件である。比較・量子化方法が相互に異なる次元が多いほど、望ましい。これは、比較・量子化方法が相互に異なる次元が多いほど、特徴ベクトルのより多くの次元間で相関が小さくなり、識別能力が高くなるからである。例えば、特徴ベクトルの全ての次元間で、比較・量子化方法が相互に異なっていてもよい。
なお、次元ごとの比較・量子化方法を示す情報の形式は、領域特徴量を比較して量子化する方法が一意に特定される限りは、任意の形式であってよい。
図12に、次元ごとの比較・量子化方法の例を示す。図12に示すように、次元間で比較・量子化方法が異なる。また、第3、5、12次元のように、同じ比較・量子化方法で、異なるパラメータ(閾値th)を設定してもよい。なお、図12に示した、次元ごとの比較・量子化方法の例は、図9に示した、次元ごとの領域特徴量算出方法の例と対応させており、スカラー量の領域特徴量に対してはスカラー量の比較・量子化方法を、ベクトル量の領域特徴量に対してはベクトル量の比較・量子化方法を例として示した。
また、抽出領域が互いに近傍に存在する次元間(次元ペア)では、それらの次元間(次元ペア)の比較・量子化方法が異なることが望ましい。例えば、抽出領域が互いに近傍に存在する次元間(次元ペア)では、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。この場合、抽出領域が互いに近傍に存在する全ての次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。また、抽出領域が互いに近傍に存在する次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。また、抽出領域が互いに近傍に存在する次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。
ここで、抽出領域が互いに近傍に存在する次元ペアは、ある所定の方法によって算出される、2つの次元の抽出領域(第1の抽出領域と第2の抽出領域)の間の距離が、ある所定の閾値よりも小さくなるような次元のペアのことである。2つの次元の抽出領域(第1の抽出領域と第2の抽出領域)の距離は、例えば、それぞれの次元の抽出領域(第1の抽出領域と第2の抽出領域)に含まれる全画素の間の距離の平均値として算出してもよい。また例えば、それぞれの次元の抽出領域(第1の抽出領域と第2の抽出領域)に含まれる全画素の間の距離の最小値として算出してもよい。また例えば、それぞれの次元の抽出領域の重心座標を算出し(第1の抽出領域の重心座標と第2の抽出領域の重心座標)、それらの間の距離を算出し(計4つの距離が計算できる)、それらの平均値や最小値として、2つの次元の抽出領域の距離を定義してもよい。ただし、2つの次元の抽出領域の距離は、これらの算出方法に限られない。
抽出領域が互いに近傍に存在する次元間(次元ペア)で、それらの次元間の比較・量子化方法が異なるようにすることで、以下の効果がある。抽出領域が互いに近傍に存在する次元間では、抽出される特徴量の相関が大きくなる傾向になる。それらの次元間の比較・量子化方法が同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が互いに近傍に存在することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の比較・量子化方法が異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また逆の観点から、比較・量子化方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域の間の距離が大きいほうが望ましい。例えば、比較・量子化方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。この場合、例えば、比較・量子化方法が同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。また、比較・量子化方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。また、比較・量子化方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の間の距離がある所定の閾値よりも大きくなるようにしてもよい。
また、抽出領域が隣接する次元間(次元ペア)では、それらの次元間(次元ペア)の比較・量子化方法が異なることが望ましい。ここで、抽出領域が隣接する次元間(次元ペア)とは、抽出領域の一部の周囲が互いに接している、ということである。例えば、抽出領域が隣接する次元間(次元ペア)では、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。この場合、抽出領域が隣接する全ての次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。また、抽出領域が隣接する次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。また、抽出領域が隣接する次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。
抽出領域が互いに隣接する次元間(次元ペア)で、それらの次元間の比較・量子化方法が異なるようにすることで、以下の効果がある。抽出領域が互いに隣接する次元間では、抽出される特徴量の相関が大きくなる傾向になる。これは抽出領域が互いに隣接する次元間では、2つの次元の抽出領域の間の距離が近いためである(画像内の近い領域の間は相関が高いため)。それらの次元間の比較・量子化方法が同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が互いに隣接して存在することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の比較・量子化方法が異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また逆の観点から、比較・量子化方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が隣接しないようにすることが望ましい。例えば、比較・量子化方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。この場合、例えば、比較・量子化方法が同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。また、比較・量子化方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。また、比較・量子化方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が隣接しないようにしてもよい。
また、抽出領域が一部重複している次元間(次元ペア)では、それらの次元間(次元ペア)の比較・量子化方法が異なることが望ましい。例えば、抽出領域が一部重複している次元間(次元ペア)では、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。この場合、抽出領域が一部重複している全ての次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。また、抽出領域が一部重複している次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。また、抽出領域が一部重複している次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の比較・量子化方法が異なるようにしてもよい。
抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の比較・量子化方法が異なるようにすることで、以下の効果がある。抽出領域が一部重複している次元間では、抽出される特徴量の相関が大きくなる傾向になる。これは抽出領域が一部重複する次元間では、特徴量の算出に用いられる領域を一部共有しているためである。それらの次元間の比較・量子化方法が同じであると、特徴量の相関はさらに大きくなり、特徴ベクトル全体としての冗長性が高くなり、識別能力が低下する。従って、抽出領域が一部重複することにより、抽出される特徴量の相関が大きくなるのを打ち消すように、それらの次元間の比較・量子化方法が異なるようにすることにより、特徴量の相関を小さくでき、特徴ベクトル全体としての冗長性を小さくし、識別能力の低下を防ぐことができる。
また、抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の比較・量子化方法が異なるようにすることで、さらに別の以下の効果がある。抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の比較・量子化方法が異なるようにすることで、画像の改竄(特に悪意のある改竄)に対する耐性を強化できる、という効果がある。画像に対する悪意のある改竄は、その画像から抽出される画像識別子(特徴ベクトル)による同一性判定の精度を劣化させる目的で、例えば画像の一部の領域の画素値を変更するなどして行われる。抽出領域が一部重複している次元間では、その画像の重複領域を改竄、すなわちその重複領域の画素値を変更した場合に、そこから抽出される特徴量(領域特徴量)が影響され、改竄前の領域から抽出した特徴量と異なってしまう可能性が高くなる。それらの次元間の比較・量子化方法が同じであると、各々の次元の抽出領域から抽出される特徴量(領域特徴量)は同様な影響を受け、同時に特徴量が変更されてしまう可能性が高くなるため、頑健性は低い。それらの次元間の比較・量子化方法が異なっていると、重複領域に改竄が行われた場合にも、特徴量が同様な影響を受け、同時に特徴量が変更されてしまう可能性を低くすることができるため、頑健性を確保することができる。すなわち、重複領域を改竄することにより、その重複領域を共有している複数の次元の特徴量を同時に変更してしまうことがより困難となる。従って、抽出領域が一部重複している次元間(次元ペア)で、それらの次元間の比較・量子化方法が異なるようにすることで、画像の改竄に対する耐性を強化できる。
また逆の観点から、比較・量子化方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が重複しないようにすることが望ましい。例えば、比較・量子化方法が同一である次元間(次元ペア)では、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。この場合、例えば、比較・量子化方法が同一である全ての次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。また、比較・量子化方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。また、比較・量子化方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、それらの次元間(次元ペア)の抽出領域が重複しないようにしてもよい。
また同様な観点から、比較・量子化方法が同一である次元間(次元ペア)では、抽出領域の対の形状の組み合わせが異なるようにすることが望ましい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、比較・量子化方法が異なるようにすることが望ましい。例えば、比較・量子化方法が同一である次元間(次元ペア)では、抽出領域の対の形状の組み合わせが異なるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)では、比較・量子化方法が異なるようにしてもよい。この場合、例えば、比較・量子化方法が同一である全ての次元間(次元ペア)において、抽出領域の対の形状の組み合わせが異なるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である全ての次元間(次元ペア)において、比較・量子化方法が異なるようにしてもよい。また例えば、比較・量子化方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、抽出領域の対の形状の組み合わせが異なるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、比較・量子化方法が異なるようにしてもよい。また例えば、比較・量子化方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、抽出領域の対の形状の組み合わせが異なるようにしてもよい。また、抽出領域の対の形状の組み合わせが同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、比較・量子化方法が異なるようにしてもよい。
また同様な観点から、比較・量子化方法が同一である次元間(次元ペア)では、領域特徴量算出方法が異なるようにすることが望ましい。また、領域特徴量算出方法が同一である次元間(次元ペア)では、比較・量子化方法が異なるようにすることが望ましい。例えば、比較・量子化方法が同一である次元間(次元ペア)では、領域特徴量算出方法が異なるようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)では、比較・量子化方法が異なるようにしてもよい。この場合、例えば、比較・量子化方法が同一である全ての次元間(次元ペア)において、領域特徴量算出方法が異なるようにしてもよい。また、領域特徴量算出方法が同一である全ての次元間(次元ペア)において、比較・量子化方法が異なるようにしてもよい。また例えば、比較・量子化方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、領域特徴量算出方法が異なるようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)のうち、ある所定の割合以上の次元間(次元ペア)において、比較・量子化方法が異なるようにしてもよい。また例えば、比較・量子化方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、領域特徴量算出方法が異なるようにしてもよい。また、領域特徴量算出方法が同一である次元間(次元ペア)のうち、少なくとも1以上の次元間(次元ペア)において、比較・量子化方法が異なるようにしてもよい。
比較方法取得手段6は、入力として供給される次元別比較・量子化方法情報から、次元決定手段1から供給される次元に対応する比較・量子化方法を示す情報を取得し、比較手段4Bへ供給する。
比較手段4Bは、次元ごとに、領域特徴量算出手段3から供給される第1の領域特徴量と、第2の領域特徴量とを、比較方法取得手段6から供給される比較・量子化方法を示す情報に従って、比較・量子化して、量子化インデックスを出力する。比較手段4Bは、比較・量子化方法によって、必要に応じて、第1の実施の形態の比較手段4と、第2の実施の形態の比較手段4Bの両方を内包した構成となる場合もある。
比較手段4Bでは、供給される領域特徴量の次元と、比較・量子化方法を示す情報の次元の同期が取れている必要がある。
[第4の実施の形態の動作]
次に、図13のフローチャートを参照して、第4の実施の形態における画像識別子抽出装置の動作を説明する。図13のフローチャートでは、特徴ベクトルの次元(の番号)をnで表し、次元は1からNまでの合計N次元あるものとする。
まず、次元決定手段1は、抽出する特徴ベクトルの最初の次元として、次元1を決定し(n=1)、抽出領域取得手段2と比較方法取得手段6とへ供給する(ステップD1)。次に、抽出領域取得手段2は、入力として供給される次元別抽出領域情報から、次元nの第1の抽出領域と第2の抽出領域とを示す情報を取得し、領域特徴量算出手段3へ供給する(ステップD2)。
次に、比較方法取得手段6は、入力として供給される次元別比較・量子化方法情報から、次元nに対応する比較・量子化方法を示す情報を取得し、比較手段4Bへ供給する(ステップD3)。
次に、領域特徴量算出手段3は、入力として供給される画像から、次元nの第1の領域特徴量と、第2の領域特徴量とを算出し、比較手段4Bへ供給する(ステップD4)。次に、比較手段4Bは、次元nの第1の領域特徴量と第2の領域特徴量とを比較し、比較した結果を量子化して、量子化インデックスを出力する(ステップD5)。次に、全ての次元に対して量子化インデックスの出力が終了したか否かを判定する(ステップD6)。全ての次元に対して量子化インデックスの出力が終了した場合は処理を終了する。全ての次元に対して量子化インデックスの出力が終了していない場合は、ステップD7へ移行する。ステップD7では、次元決定手段1が、抽出する特徴ベクトルの次元として、次の次元を決定し(n=n+1)、抽出領域取得手段2と比較方法取得手段6とへ供給する。そして、再度ステップD2へ移行する。
なお、ここでは、次元1から次元Nまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。またこの処理手順に限らず、複数の次元に対する抽出処理を並列に行うようにしてもよい。さらに、ステップD2とステップD3との順序を逆にしてもよく、ステップD3をステップD5の直前に実行するようにしてもよい。
[第4の実施の形態の効果]
第1の実施の形態の効果に加えて、異なる画像を識別できる度合いである識別能力を更に高くすることができる。
その理由は、次元間で比較・量子化方法が異なる(比較・量子化方法に多様性がある)ことにより、次元間の相関をより小さくできるからである。
[第5の実施の形態]
[第5の実施の形態の構成]
次に、本発明の第5の実施の形態について図面を参照して詳細に説明する。
図33を参照すると、本発明の第5の実施の形態は、図1に示した第1の実施の形態の構成に、符号化手段7が追加される点で異なる。なお、それ以外の構成に関しては、第1の実施の形態の構成と同様であるため、ここでは説明を省略する。なお、ここでは、第1の実施の形態との組み合わせとして説明しているが、第2の実施の形態、または第3の実施の形態、または第4の実施の形態との組み合わせであってもよい。
符号化手段7は、比較手段4から供給される量子化インデックスベクトルを、データ量が小さくなるように一意に復号可能な形式に符号化し、符号化された量子化インデックスベクトルを出力する。
符号化手段7は、例えば、量子化インデックスベクトルの各次元を独立に符号化するのではなく、複数の次元をまとめて符号化することによって、データ量を小さく符号化してもよい。
ここで、量子化インデックスが式2に基づいて算出された場合において、符号化手段7が効率的に符号化する方法について述べる。式2に基づいて量子化インデックスを算出すると、各次元の量子化インデックスは、(+1、0、−1)の3値のいずれかの値をとる。各次元を独立に符号化する場合は、各次元に対して2ビット(=4状態)が必要となる。ここで、5次元をまとめて符号化することを考えると(この5次元はどのような組合せでもよい。例えば連続する5次元でもよい)、その状態数は3の5乗=243状態となり、1バイト=8ビット(=256状態)で表す(256状態以内に収めることができる)ことができる。こうすると、1次元あたりに必要な平均ビット数は8/5=1.6ビットとなり、各次元を独立に符号する場合よりも、データ量を小さくすることができる(1次元あたり0.4ビットの削減が可能)。例えば、量子化インデックスベクトルの全次元数が300次元の場合、各次元を独立に符号化した場合は2ビット×300=600ビット=75バイトとなる。一方で、5次元ごとにまとめて符号化すると、1.6ビット×300=480ビット=60バイトとなり、15バイト削減できる。
式2で算出される(+1、0、−1)の3値の状態を5次元ごとに符号化する具体例を以下に示す。各5次元の組合せは、どのような組合せでも良いが、例えば、連続する5つの次元ごとに符号化する方法がある。すなわち、第1次元から第5次元をまとめて符号化し、第6次元から第10次元をまとめて符号化し、第11次元から第15次元をまとめて符号化していくことができる(もちろん、重複がない限りは、どのような5つの次元の組み合わせでもよい)。ここで、まとめて符号化する5次元の量子化インデックスの値をQ、Qn+1、Qn+2、Qn+3、Qn+4とすると(それぞれは+1、0、−1のいずれかの値をとる)、例えば、以下の式に従って符号化された値Zを算出することができる。
[式3]
Z={3×(Q+1)}+{3×(Qn+1+1)}+{3×(Qn+2+1)}+{3×(Qn+3+1)}+{3×(Qn+4+1)}
この符号化された値Zは、0から242の値をとるため(243状態)、1バイト(8ビット)のデータとして符号化されることになる。なお、まとめて符号化する5次元の量子化インデックスの値をQ、Qn+1、Qn+2、Qn+3、Qn+4を、0から242の値(243状態)にマッピングする方法は、[式3]だけに限られず、5次元の量子化インデックスの異なる組み合わせに対して、異なる値(243状態の値)にマッピングされる方法であれば、どのような方法であってもよい。[式3]のように与えられた式に基づいて、マッピング(符号化後の値)を算出し、符号化してもよいし、またあらかじめマッピングの対応表を生成・記憶しておき、記憶された対応表を参照しながらマッピング(符号化後の値)を取得し、符号化してもよい。
段落0187から段落0190において説明した、量子化インデックスが式2に基づいて算出された場合において効率的に符号化する方法は、量子化インデックスが式2に基づいて算出された場合に限らず、量子化インデックスが3値の状態の量子化インデックスベクトルであれば、同様に適用可能である。すなわち、量子化インデックスベクトルが、3値の状態の量子化インデックスから成る場合は、5次元をまとめて1バイト=8ビットとして符号化することができる。3値の状態を持つ5次元の量子化インデックスは、5次元の量子化インデックスの異なる組み合わせが243種類可能であるため、それぞれの組み合わせを0から242の値(243状態)にマッピングすることによって、1バイト=8ビットで符号化することができる。なおこのマッピングは、[式3]のように与えられた式に基づいて、マッピング(符号化後の値)を算出し、符号化してもよいし、またあらかじめマッピングの対応表を生成・記憶しておき、記憶された対応表を参照しながらマッピング(符号化後の値)を取得し、符号化してもよい。
このように、量子化インデックスベクトルの各次元を独立に符号化するのではなく、複数の次元をまとめて符号化することによって、量子化インデックスベクトルの各次元を独立に符号化する場合と比較して、データ量を小さく符号化できる、という効果がある。
これは、量子化インデックスが3値の状態で表現される場合に限られない。例えば、量子化インデックスが5値の状態で表現される場合は、3次元をまとめて符号化することにより5の3乗=125状態となり、7ビット=128状態で符号化する(128状態以内に収めることができる)ことができる。3次元を独立に符号化すると3ビット(8状態)×3次元=9ビット必要となるため、3次元をまとめて符号化することにより2ビット削除することができる。
なお、符号化手段7から出力される符号化された量子化インデックスベクトルを照合する際(ある画像から抽出した量子化インデックスベクトルと、別の画像から抽出した量子化インデックスベクトルとを比較して、それらの画像が同一であるか否かを判定する際)は、符号化された状態から、各次元ごとの量子化インデックスの値を復号し(例えば上記の例では、各次元ごとに+1、0、−1の量子化インデックス値に復号し)、復号された量子化インデックスをもとに同一性尺度(量子化インデックスが一致する次元数(類似度)、あるいは量子化インデックスが非一致である次元数(ハミング距離))を算出してもよい。
また、ルックアップテーブルを用いることで、符号化された状態のままで、各次元ごとの量子化インデックスの値に復号することなしに、照合を行うこともできる。すなわち、符号化された単位ごとに、あらかじめ同一性尺度(類似度や距離)をテーブル(ルックアップテーブル)の形で保存しておき、ルックアップテーブルを参照することにより、符号化された単位ごとの同一性尺度(類似度や距離)を取得し、それらを総計することで(例えば総和を算出する)、全次元の同一性尺度を算出することができる。
例えば上記の、5次元ごとにまとめて1バイト(8ビット)に符号化された場合には、それぞれの5次元単位が243状態のいずれかであるため、243×243のサイズのルックアップテーブルをあらかじめ生成しておくことで、対処することができる。すなわち、比較する2つの5次元単位の符号の、可能な全ての組合せの状態(243状態×243状態)の間の同一性尺度、すなわち5次元のうち量子化インデックスが一致する数(類似度)、あるいは5次元のうち量子化インデックスが非一致である数(ハミング距離)をあらかじめ算出しておく。そしてそれを243×243のサイズのルックアップテーブルとして記憶しておく。そうすると、5次元単位ごとに、ルックアップテーブルを参照して(各次元ごとの量子化インデックスに復号することなしに)、5次元単位ごとの同一性尺度を取得することができる。例えば、量子化インデックスベクトルの全次元数が300次元の場合、5次元ごとに1バイトで、合計60バイトで符号化されているため、ルックアップテーブルを60回参照して、それぞれの5次元単位の同一性尺度を取得し、それらを総和することで全体(300次元)の同一性尺度(類似度あるいはハミング距離)を算出することができる。ルックアップテーブルを用いることで、各次元ごとの量子化インデックスへの復号を行うことなしに照合(同一性尺度の算出)が可能になるので、照合(同一性尺度の算出)の際の処理コストを低減することができ、高速な照合(同一性尺度の算出)が可能になる、という効果がある。
また、2つの量子化インデックスベクトルの間の同一性尺度を、単純に量子化インデックスが一致する次元数(類似度)や、量子化インデックスが非一致である次元数(ハミング距離)として算出するのではなく、より複雑な計算式に基づいて算出する場合においても、ルックアップテーブルを用いることで、各次元ごとの量子化インデックスへの復号を行うことなしに照合(同一性尺度の算出)することができる。例えば、量子化インデックスが式2に基づいて算出された量子化インデックスベクトルの同一性尺度として、以下のような同一性尺度の算出方法を考える。まず、2つの画像の量子化インデックスベクトルを対応する次元どうしで比較して、「共に量子化インデックスが0」ではない次元の数を算出し、この値をAとする。次に、「共に量子化インデックスが0」ではない次元において、量子化インデックスが一致する次元数をBとして算出する(または、「共に量子化インデックスが0」ではない次元において、量子化インデックスが非一致である次元数をCとして算出する)。そして、同一性尺度をB/Aとして算出する(または、同一性尺度をC/Aとして算出する)。ただし、A=0の場合(すなわち、全ての次が共に量子化インデックスが0となる場合)は、同一性尺度を規定の数値(例えば0.5)とする。このような同一性尺度の算出方法を採用した場合、Aの値とBの値(またはCの値)の2つの値を算出する必要がある。この場合、5次元ごとのAの値を参照するための243×243のサイズのルックアップテーブルと、5次元ごとのBの値(またはCの値)を参照するための243×243のサイズのルックアップテーブルの、2つのルックアップテーブルをあらかじめ生成しておくことで、対処することができる。すなわち、比較する2つの5次元単位の符号の、可能な全ての組み合わせの状態(243状態×243状態)の間のAの値(「共に量子化インデックスが0」ではない次元数)と、可能な全ての組み合わせの状態(243状態×243状態)の間のBの値(またはCの値)をあらかじめ算出しておく。そしてそれぞれを243×243のサイズのルックアップテーブルとして記憶しておく。そうすると、5次元単位ごとに、ルックアップテーブルを参照して(各次元ごとの量子化インデックスを復号することなしに)、5次元単位ごとのAの値と、Bの値(またはCの値)を取得することができる。例えば、量子化インデックスベクトルの全次元数が300次元の場合、5次元ごとに1バイトで、合計60バイトで符号化されているため、ルックアップテーブルを60回×2参照して、それぞれの5次元単位のAの値とBの値(またはCの値)を取得し、全て5次元単位のAの値とBの値(またはCの値)を総和することで、全次元(300次元)のAの値とBの値(またはCの値)を算出することができる。そして、最後にB/A(またはC/A)を算出することで、同一性尺度を算出できる。このように、同一性尺度を、単純に量子化インデックスが一致する次元数(類似度)や、量子化インデックスが非一致である次元数(ハミング距離)として算出するのではなく、より複雑な計算式に基づいて算出する場合においても、複数のルックアップテーブルを用いることで、各次元ごとの量子化インデックスへの復号を行うことなしに照合(同一性尺度の算出)が可能になるので、照合(同一性尺度の算出)の際の処理コストを低減することができ、高速な照合(同一性尺度の算出)が可能になる、という効果がある。
[第5の実施の形態の効果]
より小さいデータ量として、量子化インデックスベクトルを出力することができる。
次に、本発明におけるその他の実施の形態を示す。
[第6の実施の形態]
本実施の形態では、抽出する特徴ベクトルの次元数は300次元(第1次元から第300次元)である。
本実施の形態では、次元ごとの抽出領域(第1の抽出領域と第2の抽出領域)は、様々な形状の四角形から構成される。本実施の形態において、抽出領域取得手段2に入力として供給される次元別抽出領域情報を図14に示す。図14は、規定の画像サイズである、横幅320画素×縦幅240画素の画像サイズに対する、次元ごとの抽出領域(第1の抽出領域と第2の抽出領域)の四角形の四隅のXY座標値を示す。例えば、第1次元の抽出領域は、座標値(262.000,163.000)、座標値(178.068,230.967)、座標値(184.594,67.411)、座標値(100.662,135.378)を四隅とする四角形で構成される第1の抽出領域と、座標値(161.000,133.000)、座標値(156.027,132.477)、座標値(164.240,102.170)、座標値(159.268,101.647)を四隅とする四角形で構成される第1の抽出領域とで構成される。
次元ごとの抽出領域(第1の抽出領域と第2の抽出領域)は、横幅320画素×縦幅240画素の画像サイズに正規化された画像に対して、この四隅の座標値で囲まれる領域の中に含まれる整数値の座標値の画素の集合となる。ただし、四隅の座標値で囲まれる領域の中に含まれる負の座標値は、抽出領域に含まない。
本実施の形態において、領域特徴量算出方法取得手段5に入力として供給される次元別領域特徴量算出方法情報を図15に示す。第6の実施の形態では、全ての次元に対して、それぞれの抽出領域(第1の抽出領域と第2の抽出領域)に含まれる画素群の輝度値の平均値が、それぞれの抽出領域の領域特徴量となる。
本実施の形態において、比較方法取得手段6に入力として供給される次元別比較・量子化方法情報を図17に示す。本実施の形態では、次元ごとに、比較・量子化方法Bまたは比較・量子化方法Gが用いられ、次元ごとにそのパラメータの値も異なる。例えば、第1次元は、比較・量子化方法Gで、閾値th=D(floor(300×5.0/100))である。また、例えば第2次元は、比較・量子化方法Gで、閾値th=D(floor(300×10.0/100))である。また、例えば第9次元は、比較・量子化方法Bで、閾値th=3.0である。
[第7の実施の形態]
本実施の形態は、第6の実施形態と同じく、抽出する特徴ベクトルの次元数は300次元(第1次元から第300次元)である。また本実施の形態では、抽出領域取得手段2に入力として供給される次元別抽出領域情報として、第6の実施の形態と同じく図14に示す情報を使用する。さらに本実施の形態では、比較方法取得手段6に入力として供給される次元別比較・量子化方法情報として、第6の実施形態と同じく図17に示す情報を使用する。
本実施の形態において、領域特徴量算出方法取得手段5に入力として供給される次元別領域特徴量算出方法情報を図16に示す。本実施の形態では、次元ごとに、抽出領域(第1の抽出領域と第2の抽出領域)に含まれる画素群の輝度値の平均値、または、パーセンタイル輝度値特徴量が用いられ、同じパーセンタイル輝度値特徴量を用いる場合でも、次元ごとにその特徴量は異なる。例えば、第1次元は、抽出領域に含まれる画素の輝度値の平均値である。また、例えば第4次元は、パーセンタイル輝度値特徴量で、Y(floor(N×20.0/100)である。また、第8次元は、パーセンタイル輝度値特徴量で、Y(floor(N×80.0/100)である。
[第8の実施の形態]
本実施の形態は、抽出する特徴ベクトルの次元数は325次元(第1次元から第325次元)である。本実施の形態の場合は、各領域は、画像を縦方向32、横方向32に分割してできる1024個のブロックの組み合わせによって構成されている。ここで、各ブロックに対して、図24に示すように、左上から順に0から始まるインデックスを付与し、このインデックスを用いて領域を記述する。具体的には、長方形領域を、その左上のブロックのインデックスaと右下のブロックのインデックスbを用いてa−bのように表現する。例えば、インデックス0、1、32、33の4つのブロックからなる長方形は、0−33のように記述する。また、このようにしてできる長方形を記号“|”によって繋げた場合は、その記号の前後の長方形を連結してできる領域を表現するものとする。例えば、0−33|2−67は、0−33で定義される長方形と、2−67で定義される長方形を連結してできる領域、すなわち、ブロック番号0、1、2、3、32、33、34、35、66、67によって構成される領域を表している。
この表記によって本実施の形態の各次元に対応する領域を示したものが図25である。図では、領域のタイプ別に図25−a、図25−b、図25−c、図25−d、図25−e、図25−f、図25−gに分けて上述の325次元を記述している。ここで、領域のタイプとは、第1、第2の抽出領域間の相対位置や形状の組み合わせによって定まる領域パターンが似たもの同士でグループ化(類型化)したものである。
具体的には、図25−aの場合は、図27−aに一例を示すように、縦横4ブロックからなる正方形を縦方向か横方向に2等分してできる2つの領域を第1、第2の抽出領域とした場合に相当する。このため、第1、第2の抽出領域の形状は、ともに縦4ブロック、横2ブロックからなる長方形、あるいは縦2ブロック、横4ブロックからなる長方形である。また、第1、第2の抽出領域の相対的な位置関係を見ると、長方形の長い辺同士が重なるように隣接する位置に存在する。
図25−bの場合は、図27−bに一例を示すように、縦横8ブロックからなる正方形を縦横2等分してできる4つの正方形のうち、左上と右下、右上と左下をそれぞれ組み合わせてできる2つの領域を第1、第2の抽出領域とした場合に相当する。このため、第1、第2の抽出領域の形状は、ともに縦横2ブロックからなる正方形を1つの頂点を共有するように45度あるいは135度の対角線上に2つ配置した形状となっている。また、領域の相対的な位置関係を見ると、第2の領域を構成する2つの正方形が、第1の領域の左上の正方形のすぐ左と下に隣接する位置に第2の領域が存在する。
図25−cの場合は、図27−cに一例を示すように、第1、第2の抽出領域の形状は、ともに縦横10ブロックからなる正方形である。また、第1、第2の抽出領域の相対的な位置関係を見ると、縦横ともに10ブロックの整数倍だけ離れた位置に存在する。
図25−dの場合は、図27−dに一例を示すように、第1、第2の抽出領域の形状は、ともに縦横6ブロックからなる正方形である。また第1、第2の抽出領域の相対的な位置関係を見ると、縦横ともに6ブロックの整数倍だけ離れた位置に存在する。
図25−eの場合は、図27−eに一例を示すように、正方形領域を中心部分の正方形とその外側の2つに分けてできる2つの領域を第1、第2の抽出領域とした場合に相当する。このため、領域の形状は、第2の抽出領域が中心部分の正方形、第1の正方形は全体の正方形から第2の抽出領域をくりぬいた形状である。また、領域の相対的な位置関係を見ると、第1の抽出領域の中央の穴の位置に第2の抽出領域が存在する。
図25−fの場合は、図27−fに一例を示すように、領域の形状は、第1の抽出領域は縦6ブロック、横10ブロックの長方形、第2の抽出領域は縦10ブロック、横6ブロックの長方形である。また、第1、第2の抽出領域の相対的な位置関係を見ると、中心位置が一致するように配置されている。
図25−gの場合には、図27−gに一例を示すように、縦4ブロック、横12ブロックからなる長方形、あるいは縦12ブロック、横4ブロックからなる長方形を、長い辺を3等分してできる中央の正方形とそれ以外の2領域を第1、第2の抽出領域とした場合に相当する。このため、領域の形状は、第1の抽出領域は縦横4ブロックからなる正方形を2つ、縦か横に4ブロック離れて配置した形状で、第2の抽出領域は縦横4ブロックからなる正方形である。また、領域の相対的な位置関係を見ると、第1の抽出領域の間に第2の抽出領域が存在する。
以後、図25−a、図25−b、図25−c、図25−d、図25−e、図25−f、図25−gの領域タイプを、それぞれ領域タイプa、領域タイプb、領域タイプc、領域タイプd、領域タイプe、領域タイプf、領域タイプgと呼ぶことにする。
本実施の形態では、図25で示した各領域において、領域特徴量として輝度値の平均を算出し、各次元の特徴量を算出する。もちろん、輝度値の平均のかわりにメディアンや最大値など、前述の様々な抽出方法によって抽出した値を領域特徴量として求めるようにしてもよい。
各次元の特徴量の量子化では、上述の領域のタイプ別に閾値を定め、量子化を行うようにする。例えば、式2に従って特徴量を3値に量子化する場合には、領域のタイプ別に、0、1、−1の生起の割合が均等になるように量子化の閾値thを決定し、量子化を行うようにする。具体的には、段落0104で記述した方法をP=33.333%、Nを領域タイプ別の次元数として領域タイプ別に適用し、閾値thを求める。例えば、領域タイプaの場合にはN=113となるため、th=D(floor(113×33.333/100))=D(37)により閾値を算出する。ここで、D(i)(i=0、1、…、N−1)は、領域タイプaに該当する第1次元から第113次元の差分値の絶対値を昇順にソートした集合になる。この場合は閾値に対応するインデックスが37となる。同様に、他の領域タイプに対しても、閾値に対応するインデックスを求めることができる。これを示したのが図26である。このように領域タイプ別に閾値を求める方が、全体で閾値を決める場合に比べて各次元での0、1、−1の発生確率を均一化できるようになり、識別能力が向上する。もちろん、前述の他の様々な量子化方法によって量子化するようにしてもよい。
なお、本実施の形態の場合には、図24で示したブロックごとに代表値(例えば、ブロック内の画素の輝度値の平均値)を先に算出し、それから領域特徴量を抽出するようにしてもよい。これにより、領域内の全画素から直接領域特徴量を抽出する場合よりも高速に抽出できるようになる。また、各領域タイプの抽出領域は、全体として対称性を有する。このため、画像の右と左を反転させたり、上下を反転させたりした場合でも、次元の対応関係と符号を適切に変更することによって、左右または上下反転した画像から抽出された特徴量からもとの画像の特徴量を復元できる。このため、左右あるいは上下を反転させた画像とも照合することができるようになる。
[第9の実施の形態]
本実施の形態は、抽出するベクトルの次元数は328次元(第1次元から第325次元)である。第8の実施の形態の場合と同様に、図24に示す1024個のブロックの組み合わせによって構成されており、第8の実施の形態と同じ領域のタイプ別に図30―a、図30―b、図30―c、図30―d、図30―e、図30―f、図30―gに分けて上述の328次元を記述している。
本実施の形態でも、図30で示した各領域において、領域特徴量として輝度値の平均を算出し、各次元の特徴量を算出する。もちろん、輝度値の平均のかわりにメディアンや最大値など、前述の様々な抽出方法によって抽出した値を領域特徴量として求めるようにしてもよい。
各次元の量子化も第8の実施の形態と同様である。この場合の閾値に対応するインデックスを示したものが図31である。もちろん、前述の他の様々な量子化方法によって量子化するようにしてもよい。
[照合手段の実施の形態]
次に、本発明で出力される量子化インデックスベクトルを照合する照合手段についてブロック図を用いて説明する。
図20を参照すると、本発明で出力される量子化インデックスベクトルを照合する照合手段100のブロック図が示されており、次元決定手段101、量子化値取得手段102、103、尺度算出手段104とからなる。
次元決定手段101は量子化値取得手段102、103へ接続され、決定された次元情報を出力する。量子化値取得手段102は、第1の量子化インデックスベクトルから、次元決定手段101から入力される次元の量子化インデックス値を取得し、第1の量子化インデックス値として尺度算出手段104へ出力する。量子化値取得手段103は、第2の量子化インデックスベクトルから、次元決定手段101から入力される次元の量子化インデックス値を取得し、第2の量子化インデックス値として尺度算出手段104へ出力する。尺度算出手段104は、量子化値取得手段102、103からそれぞれ出力される第1、第2の量子化インデックス値から同一性を表す尺度を算出し、出力する。
次に、図20の照合手段100の動作について説明する。
まず、照合手段100へは、第1の画像から抽出される量子化インデックスベクトルである第1の量子化インデックスベクトルと、第2の画像から抽出される量子化インデックスベクトルである第2の量子化インデックスベクトルとが入力される。入力された第1、第2の量子化インデックスベクトルは、それぞれ量子化値取得手段102、103へ入力される。
量子化値取得手段102、103へは、次元決定手段101から出力される次元情報も入力される。次元決定手段101では、N次元ベクトルである量子化インデックスベクトルの各次元を指定する情報を順次出力する。出力する順序は必ずしも1からNまで1つずつ増えていく必要はなく、1からNまでの次元が過不足なく指定される順序であれば、どのような順序であってもよい。
量子化値取得手段102、103では、入力された量子化インデックスベクトルから、次元決定手段101から出力される次元情報で指定される次元の量子化インデックス値を取得する。そして、取得した量子化インデックス値を尺度算出手段104へ出力する。
尺度算出手段104では、量子化値取得手段102から出力される第1の量子化インデックス値と第2の量子化インデックス値とを比較する。この比較を各次元に対して行い、第1、第2の量子化インデックスベクトル間の類似尺度(あるいは距離尺度)を同一性尺度として算出する。
得られた同一性尺度値は予め定めた閾値と比較し、同一性の判定を行う。同一性尺度が類似度をあらわす尺度である場合には、尺度値が閾値以上の場合に同一と判定する。一方、同一性尺度が距離をあらわす尺度である場合には、尺度値が閾値以下の場合に同一と判定する。
次に、フローチャートを用いて図20の照合手段100の動作を説明する。まず、同一性尺度として類似度を用いる場合の動作について説明する。
図21は、照合手段100の動作を示すフローチャートである。図21のフローチャートでは、量子化インデックスベクトルの次元(の番号)をnで表し、次元は1からNまでの合計N次元あるものとする。また、類似度を算出する変数をBで表すこととする。
まず、次元決定手段101は、照合する量子化インデックスベクトルの最初の次元として、次元1を決定し(n=1)、量子化値取得手段102、103へ供給するとともに、尺度算出手段104において変数Bを0にセットする。(ステップS100)。
次に、量子化値取得手段102、103において、第1の量子化インデックスベクトル、第2の量子化インデックスベクトルから、次元nの第1の量子化インデックス値と第2の量子化インデックス値とを取得し、尺度算出手段104へ供給する(ステップS102)。
次に、尺度算出手段104において、第1の量子化インデックス値と第2の量子化インデックス値とから、それぞれの量子化インデックスに対応する特徴量の間の類似度ΔBを算出する(ステップS104)。例えば、量子化インデックスが一致する場合にはΔB=1とし、それ以外の場合はΔB=0とする。あるいは、量子化インデックスから量子化前の特徴量の代表値を算出し、代表値間の差分が小さいほど大きくなる値をΔBとして用いてもよい。この際、特徴量の代表値を算出して差分を求めるかわりに、量子化インデックス値の組み合わせによってΔBの値を引くことができるテーブルを保持しておき、量子化インデックス値の組み合わせからこのテーブルを用いてΔBの値を直接求めるようになっていてもよい。
次に、ΔBの値は変数Bに加算される(ステップS106)。この際、ΔBの値が0の場合には、変数Bに0を加算するかわりに、加算しないように制御してもよい。
次に、次元の番号nが次元数Nに到達したかどうかを調べ(ステップS108)、到達しない場合はステップS112へ移行し、到達した場合には、そのときの変数Bの値を同一性尺度(類似度を表す尺度)として出力し(ステップS110)、処理を終了する。
ステップ112では、次元決定手段101が、取得する量子化インデックスの次元として、n=n+1によって次の次元を決定し、量子化値取得手段102、103へ供給する。そして、再度ステップS102へ移行する。
なお、ここでは、次元1からNまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。
次に、同一性尺度として距離を用いる場合の動作について説明する。
図22は、照合手段100の動作を示す別のフローチャートである。図22のフローチャートでも、量子化インデックスベクトルの次元(の番号)をnで表し、次元は1からNまでの合計N次元あるものとする。また、距離尺度を算出する変数をCで表すこととする。
基本的なフローは、図21の場合と同じであるが、ステップS100、S104、S106、S110がそれぞれステップS200、S204、S206、S210に置き換わっている点が異なる。
まず、ステップS200では、次元決定手段101において、照合する量子化インデックスベクトルの最初の次元として、次元1を決定し(n=1)、量子化値取得手段102、103へ供給するとともに、尺度算出手段104において変数Cを0にセットする。
ステップS204では、尺度算出手段104において、第1の量子化インデックス値と第2の量子化インデックス値とから、それぞれの量子化インデックスに対応する特徴量の距離ΔCを算出する。例えば、量子化インデックスが一致する場合にはΔC=0とし、それ以外の場合はΔC=1とする。あるいは、量子化インデックスから量子化前の特徴量の代表値を算出し、代表値間の差分が小さいほど小さくなる値をΔCとして用いてもよい。この際、特徴量の代表値を算出して差分を求めるかわりに、量子化インデックス値の組み合わせによってΔCの値を引くことができるテーブルを保持しておき、量子化インデックス値の組み合わせからこのテーブルを用いてΔCの値を直接求めるようになっていてもよい。
ステップS206では、ΔCの値は変数Cに加算される。この際、ΔCの値が0の場合には、変数Cに0を加算するかわりに、加算しないように制御してもよい。
ステップS210では、そのときの変数Cの値を同一性尺度(距離を表す尺度)として出力し、処理を終了する。
それ以外のステップについては、図21の場合と同様である。ただし、ステップS108で次元の番号nが次元数Nに到達した場合にはステップS210へ移行する。
なお、ここでは、次元1からNまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。
次に、第1の量子化インデックス値と第2の量子化インデックス値とで、「共に量子化インデックスが0」である次元を除外し、同一性尺度として類似度を用いる場合の動作について説明する。
図23は、照合手段100の動作を示す別のフローチャートである。図23のフローチャートでも、量子化インデックスベクトルの次元(の番号)をnで表し、次元は1からNまでの合計N次元あるものとする。また、類似度を算出する変数をBで表すこととし、「共に量子化インデックスが0」ではない次元をカウントするための変数をAで表すこととする。
まず、次元決定手段101は、照合する量子化インデックスベクトルの最初の次元として、次元1を決定し(n=1)、量子化値取得手段102、103へ供給するとともに、尺度算出手段104において変数A、Bを0にセットし(ステップS300)、ステップS102へ移行する。
ステップS102は図21の場合と同様であり、終了後、ステップS314へ移行する。
ステップS314では、尺度算出手段104において、第1の量子化インデックス値と第2の量子化インデックス値とがともに0であるかどうかを調べる。ともに0である場合には、ステップS108へ移行し、どちらか一方が0でない場合には、変数Aの値をひとつ増やし(ステップS316)、ステップS104へ移行する。
ステップS104、S106、S108、S112の処理は図21の場合と同様である。ステップS108で次元の番号nが次元数Nに到達した場合には、ステップS310へ移行する。
ステップS310では、尺度算出手段104において、B/Aの値を算出し、同一性尺度として出力し、処理を終了する。ただし、A=0の場合には、規定の値(例えば0.5)を出力する。
なお、ここでは、次元1からNまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。
また、段落0076で述べたように、ステップS310では、B/Aを算出するかわりに、D=N−Aを求め、B/f(D)(f(D)はDの単調非増加関数)によって同一性尺度を算出するようにしてもよい。あるいは、段落0077で述べたように、同一性尺度を(B/f(D))+g(D)として算出してもよい。
また、Aを求めずにDの値を直接算出するようになっていてもよい。この場合のフローを示したのが図35である。基本的には図23と同様であるが、ステップS500でAのかわりに変数Dに0をセットし、ステップS314で量子化インデックスがともに0の場合にステップS516でDを1つ増やしてステップS108へ移行し、どちらか一方の量子化インデックスが0でない場合にステップS104へ移行し、ステップS510でBとDとから同一性尺度を上述の方法によって算出する点が異なる。
次に、第1の量子化インデックス値と第2の量子化インデックス値とで、「共に量子化インデックスが0」である次元を除外し、同一性尺度として距離を用いる場合の動作について説明する。
図34は、照合手段100の動作を示す別のフローチャートである。図34のフローチャートでも、量子化インデックスベクトルの次元(の番号)をnで表し、次元は1からNまでの合計N次元あるものとする。また、距離尺度を算出する変数をCで表すこととし、「共に量子化インデックスが0」ではない次元をカウントするための変数をAで表すこととする。
基本的なフローは、図23の場合と同じであるが、ステップS300、S104、S106、S310がそれぞれステップS400、S204、S206、S410に置き換わっている点が異なる。
まず、ステップS400では、次元決定手段100において、照合する量子化インデックスベクトルの最初の次元として、次元1を決定し(n=1)、量子化値取得手段102、103へ供給するとともに、尺度算出手段104において変数A、変数Cを0にセットする。
ステップS204、ステップS206については、図22の場合と同様である。
ステップS410では、尺度算出手段104において、C/Aの値を算出し、同一性尺度として出力し、処理を終了する。ただし、A=0の場合には、規定の値(例えば0.5)を出力する。
それ以外のステップについては、図23の場合と同様である。ただし、ステップS108で次元の番号nが次元数Nに到達した場合にはステップS410へ移行する。
なお、ここでは、次元1からNまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。また、図23のステップS310の場合と同様に、C/Aを算出するかわりに、D=N−Aを求め、C/f(D)などによって同一性尺度を算出してもよい。また、図35と同様にして、Aを求めずにDの値を直接算出するようになっていてもよい。
[照合手段の第2の実施の形態]
次に、本発明で出力される量子化インデックスベクトルを照合する照合手段の第2の実施の形態についてブロック図を用いて説明する。
図28を参照すると、本発明で出力される量子化インデックスベクトルを照合する照合手段110のブロック図が示されており、次元決定手段101、量子化値取得手段102、103、余白領域特定手段105、補正付尺度算出手段106とからなる。
次元決定手段101は量子化値取得手段102、103へ接続され、決定された次元情報を出力する。量子化値取得手段102は、第1の量子化インデックスベクトルから、次元決定手段101から入力される次元の量子化インデックス値を取得し、第1の量子化インデックス値として余白領域特定手段105へ出力する。量子化値取得手段103は、第2の量子化インデックスベクトルから、次元決定手段101から入力される次元の量子化インデックス値を取得し、第2の量子化インデックス値として余白領域特定手段105へ出力する。
余白領域特定手段105は、量子化値取得手段102、103からそれぞれ出力される、次元ごとの第1、第2の量子化インデックス値(量子化インデックスベクトルの各次元の値)から、それぞれが抽出された元の画像(量子化インデックスベクトルが抽出された画像。ここでは第1の画像と第2の画像と呼ぶ)における余白領域を特定し、特定した余白領域を表す情報(余白領域情報)を、補正付尺度算出手段106へ供給する。例えば、余白領域特定手段105は、予め定めた1以上の余白領域の候補毎に、その候補における余白領域に少なくとも一方の抽出領域が含まれる次元の取り得る量子化インデックスと実際の量子化インデックスとが一致する程度を示す数値を閾値と比較して、余白領域を特定する。なお、ここで余白領域が無いと判断されたら、余白領域が無いという情報を、余白領域情報として、補正付尺度算出手段106へ供給する。
ここで余白領域とは、画像・映像の表示のアスペクト比の調整や、付随情報を提示するために、画像の主となる(中心)領域の外側(縁)に付加される領域である。
余白領域の代表的な例は、黒帯である。黒帯は、映像を表示する際に、映像自体のアスペクト比と、表示画面のアスペクト比が異なる場合などに、アスペクト比を調整するためなどに付加される(このように黒帯が付加された画像をレターボックスと呼ぶ)。一般的に黒色であるが、黒色に限らない(本明細書では、黒色でないものも含めて黒帯と呼ぶ)。
図29に、黒帯が付加された画像の例を示す。図29に示すように、画像の主となる(中心)領域(花が写っている領域)の外側(上下、左右、四方、L字などのパターンがある)に黒帯が付加されている。
余白領域の他の例としては、データ放送などの画面のデータ提示領域や、L字放送などの画面のL字領域などが挙げられる。なお、余白領域は、画像の主となる領域の外側に付加される領域であれば、これらに限られない。
なお、余白領域を除いた、画像の主となる(中心)領域のことを、主領域と呼ぶことにする。
また、特定した余白領域を表す情報(余白領域情報)としては、それぞれの元画像である第1の画像と、第2の画像の、それぞれに対して特定された余白領域を表す情報を出力してもよい。また第1の画像の余白領域と、第2の画像の余白領域の重なる領域(重複領域)を表す情報を出力してもよい。また第1の画像の余白領域と、第2の画像の余白領域の総和の領域(総和領域)を表す情報を出力してもよい。
また余白領域情報は、例えば、特定された余白領域に抽出領域が含まれる次元(の集合)を識別する情報(例えば次元を特定する番号)などでもよい。ここで、特定された余白領域に抽出領域が含まれる次元とは、2つの抽出領域の両方、あるいはどちらか一方が特定された余白領域に含まれる次元のことである。また逆に、特定された余白領域以外の領域(すなわち主領域)に抽出領域が含まれる次元(の集合)を識別する情報などでもよい。
余白領域特定手段105が、次元ごとの第1、第2の量子化インデックス値(量子化インデックスベクトルの各次元の値)から、それぞれが抽出された元の画像(量子化インデックスベクトルが抽出された画像)における余白領域を特定する方法の例を、以下に示す。
この方法では、あらかじめ余白領域の候補領域(余白候補領域)を設定しておく。設定された余白候補領域に抽出領域が含まれる次元の量子化インデックス値が、領域特徴量の「差がない」ことを示す量子化インデックス値である次元の割合を算出する。そしてこの割合がある閾値よりも大きい場合に、設定された余白候補領域が、余白領域であると特定する。例えば、量子化インデックスが式2に基づいて算出された場合は、設定された余白候補領域に抽出領域が含まれる次元のうち、「量子化インデックスが0」である次元の割合が、ある閾値よりも大きい場合に、設定された余白候補領域が、余白領域であると特定する。この方法は、余白領域内(特に黒帯など)では、2つの抽出領域の領域特徴量(輝度値など)に差がない(例えば黒帯では、黒帯領域内の2つの抽出領域の輝度値は同じである)、という特性を利用している。なお、ここでの、余白候補領域に抽出領域が含まれる次元とは、2つの抽出領域の両方が余白候補領域に含まれる次元のことである。
以下では、抽出する特徴量ベクトルが[第8の実施の形態]で説明した325次元であるとした場合の、余白領域判定手段105の具体例を示す。
まず、あらかじめ余白候補領域を設定しておく。例えば、余白候補領域として、図29の(a)上下黒帯(横黒帯)と、(b)左右黒帯(縦黒帯)を設定する。また、それぞれに対して、黒帯の幅に応じて2段階の幅(幅小、幅大)を設定することにする。そして、設定した余白候補領域に抽出領域が含まれる次元の集合を定める。ここでは、余白候補領域に含まれる図25−aのタイプの次元(全113次元)を対象とすることにする。例えば、(a)上下黒帯(幅小)、(a)上下黒帯(幅大)、(b)左右黒帯(幅小)、(b)左右黒帯(幅大)、に含まれる次元は、以下のように設定できる(図25−aを参照)。
(a)上下黒帯(幅小)に抽出領域が含まれる次元は{1、2、3、4、17、18,19、20、45、46、47、48、61、62、63、64}となる。
(a)上下黒帯(幅大)に抽出領域が含まれる次元は{1、2、3、4、17、18,19、20、45、46、47、48、61、62、63、64、65、66、67、68、69、70、71、107、108、109、110、111、112、113}となる。
(b)左右黒帯(幅小)に抽出領域が含まれる次元は{1、5、9、13、20、24、28、32、33、37、41、45、52、56、60、64}となる。
(b)左右黒帯(幅大)に抽出領域が含まれる次元は{1、5、9、13、20、24、28、32、33、37、41、45、52、56、60、64、65、71、72、78、79、85、86、92、93、99、100、106、107、113}となる。
このようにして設定した余白候補領域に含まれる次元の情報を、余白領域特定手段105へ入力として与えておく。
余白領域特定手段105は、供給された量子化インデックス値(量子化インデックスベクトルの各次元の値)から、上記のように設定された余白候補領域に抽出領域が含まれる次元のうち、量子化インデックスが0(差がない)である次元の割合を算出する。例えば、(a)上下黒帯(幅小)に含まれる16次元のうち、量子化インデックスが0である次元が7次元の場合は、7/16となる。そして、この割合があらかじめ設定された閾値よりも大きい場合に、設定された余白候補領域が、その量子化インデックスベクトルが抽出された元画像の余白領域であると特定する。
例えば、閾値を0.9と設定したとする。そして、あらかじめ設定された余白候補領域、上下黒帯(幅小)、上下黒帯(幅大)、左右黒帯(幅小)、左右黒帯(幅大)のそれぞれに対して算出した量子化インデックスが0である次元の割合が、それぞれ16/16(1.0)、20/30(0.666)、5/16(0.3125)、10/30(0.333)、である場合は、上下黒帯(幅小)の余白候補領域が、余白領域であると特定できる。また例えば、それぞれの割合が、16/16(1.0)、30/30(1.0)、5/16(0.3125)、10/30(0.333)、である場合は、上下黒帯(幅大)の余白候補領域が、余白領域であると特定できる(幅小は幅大に含まれるので)。また例えば、それぞれの割合が、16/16(1.0)、20/30(0.666)、15/16(0.9375)、18/30(0.6)である場合は、上下黒帯(幅小)と左右黒帯(幅小)の2つの余白候補領域の総和の領域が、余白領域であると特定できる。また例えば、それぞれの割合が、1/16(0.0625)、4/30(0.1333)、5/16(0.3125)、10/30(0.333)、である場合は、余白領域は無いと判定することができる。
余白領域特定手段105は、供給される第1、第2の量子化インデックス値(量子化インデックスベクトルの各次元の値)のそれぞれに対して、上記の処理を行い、それぞれが抽出された元画像である第1の画像と第2の画像の余白領域の特定を行う。
余白領域を表す情報(余白領域情報)としては、例えば、第1の画像と、第2の画像の、それぞれに対して特定された余白領域を表す情報を出力してもよい。例えば、第1の画像に対して余白領域が上下黒帯(幅小)と特定され、第2の画像に対して余白領域が左右黒帯(幅大)と特定された場合に、第1の画像に対して余白領域が上下黒帯(幅小)であることを示す情報(例えば余白候補領域を指し示すインデックス番号など)、第2の画像に対して余白領域が左右黒帯(幅大)であることを示す情報を出力してもよい。また、それぞれの画像の特定された余白領域の重複領域や総和領域の情報を出力してもよい。
また余白領域を表す情報(余白領域情報)としては、例えば、特定された余白領域に抽出領域が含まれる次元(の集合)を示す情報を出力してもよい。例えば、第1の画像に対して余白領域が上下黒帯(幅小)と特定された、第2の画像に対して余白領域が左右黒帯(幅大)と特定された場青に、第1の画像に対して次元{1、2、3、4、17、18,19、20、45、46、47、48、61、62、63、64}を示す情報を(例えば、次元の番号の集合)、第2の画像に対して次元{1、5、9、13、20、24、28、32、33、37、41、45、52、56、60、64、65、71、72、78、79、85、86、92、93、99、100、106、107、113}を示す情報を、出力してもよい。また例えば、それぞれの画像の特定された余白領域の重複領域や総和領域に、含まれる次元(の集合)を示す情報を出力してもよい。また、ここでは特定された余白領域に含まれる図25−aのタイプの次元(全113次元)を出力例として示したが、特定された余白領域に含まれる他のタイプの次元(図25−bから図25−g)を出力してもよい。また例えば、逆に、特定された余白領域以外の領域(すなわち主領域)に抽出領域が含まれる次元(の集合)を示す情報を出力してもよい。
上記の例では、余白領域特定手段105は、あらかじめ設定した余白候補領域に抽出領域が含まれる次元が「量子化インデックスが0」である次元の割合を利用したが、例えば、余白候補領域の内と外(主領域)の双方に抽出領域を含む次元(つまり一方の抽出領域が余白候補領域内に存在し、もう一方の余白候補領域内に存在しない)において、「量子化インデックスが0」ではない次元の割合を算出し、その割合がある閾値より大きい場合に、余白候補領域が余白領域であると特定してもよい。これは、余白領域と主領域との間は、領域特徴量に差がある、という特性を利用している。また、黒帯の場合は、余白領域(黒帯領域)の輝度値は小さくなり、一般的に余白領域内の抽出領域の輝度値が主領域の抽出領域の輝度値よりも小さくなることを利用して、+1、−1の符号までも考慮して、割合を算出してもよい。
また、例えば余白候補領域に含まれる次元の典型的な量子化インデックス値をテンプレートとして保存し、供給される次元ごとの量子化インデックス値(量子化インデックスベクトルの各次元の値)との類似度を判定し、類似度がある閾値より大きい場合に、余白候補領域が余白領域であると特定してもよい。
またここで述べた方法に限らず、供給される次元ごとの量子化インデックス値(量子化インデックスベクトルの各次元の値)自体から、余白領域を特定する方法であれば、どのような方法でも構わない。
補正付尺度算出手段106は、量子化値取得手段102、103からそれぞれ出力される、次元ごとの第1、第2の量子化インデックス値(量子化インデックスベクトルの各次元の値)から、余白領域特定手段105から供給される余白領域を表す情報(余白領域情報)が示す余白領域に抽出領域が含まれる次元の重みを下げて、画像の同一性(類似度)を表す尺度を算出し、同一性尺度として出力する。
またここで、余白領域に抽出領域が含まれる次元とは、2つの抽出領域の両方、あるいはどちらか一方が余白領域に含まれる次元のことである。
ここで、第1の画像と第2の画像のそれぞれに対して、余白領域情報が供給される場合は、それらの余白領域情報が示す余白領域の重なる領域(重複領域)や総和の領域(総和領域)を求めるなどして、余白領域を一元化するとよい。
また、余白領域に抽出領域が含まれる次元は、余白領域情報が、余白領域に抽出領域が含まれる次元(の集合)を示す情報の場合、ここで供給される次元(の集合)の集合に含まれる次元に限らず、同じ余白領域に抽出領域が含まれる次元であればよい。例えば、抽出する特徴量ベクトルが[第8の実施の形態]で説明した325次元であるとした場合に、余白領域情報が、図25−aのタイプの次元の中から選定された次元に限定している場合に、その他の図25−bから図25−gのタイプに含まれる次元も、同じ余白領域に抽出領域が含まれれば、「余白領域に抽出領域が含まれる次元」の対象とすることができる。
なお、余白領域に含まれる次元の重みを下げるということは、相対的に余白領域に含まれない次元、すなわち主領域に含まれる次元の重みを上げて、同一性尺度を算出することと同値である。従って、明示的に、余白領域に含まれない次元(主領域に含まれる次元)の重みを上げて、同一性尺度を算出してもよい。
また、余白領域に含まれる次元の重みを0にして、同一性尺度を算出してもよい。すなわち、余白領域に含まれる次元を除外して、余白領域に含まれない次元(主領域に含まれる次元)だけで同一性尺度を算出してもよい。例えば、余白領域に、いずれの抽出領域も含まれない次元のみを用いて、同一性尺度を算出してもよい。
また、補正付尺度算出手段106は、余白領域に含まれる次元の重みを下げて、画像の同一性尺度を算出する方法であれば、同一性尺度の算出方法は任意でよい。例えば、これまでに述べた、次元ごとの第1、第2の量子化インデックス値(量子化インデックスベクトルの各次元の値)から、対応する次元どうしで比較して、量子化インデックスが一致する次元数(類似度)や、量子化インデックスが非一致である次元数(ハミング距離)を同一性尺度の算出方法として用いてもよい。または、L1距離やL2距離(ユークリッド距離)(ただし式2に基づいて量子化インデックスが算出された場合)などを用いてもよい。また、その他、これまでに説明した同一性尺度の算出方法を用いてもよい。
なお、余白領域情報として、余白領域が無いことを示す情報が供給された場合は、通常の尺度算出手段104と同様に、同一性尺度を算出すればよい。
例えば、余白領域に含まれる次元の重みを0として、すなわち、余白領域に含まれる次元を除外して、主領域に含まれる次元を選定し、それら主領域に含まれる次元のみを用いて、量子化インデックスが一致する次元数(類似度)、量子化インデックスが非一致である次元数(ハミング距離)、L1距離やL2距離、を算出し、同一性尺度として出力してもよい。
また例えば、余白領域に含まれる次元の重み値をW1、余白領域に含まれない次元(主領域に含まれる次元)の重み値をW2として、W1<W2とした場合に、次元ごとの第1、第2の量子化インデックス値(量子化インデックスベクトルの各次元の値)から、対応する次元どうしで比較して、量子化インエックスが一致する次元に対して、その次元の重み値を加算していき(すなわち余白領域に含まれる次元の量子化インデックスが一致したらW1を加算、余白領域に含まれない次元の量子化インデックスが一致したらW2を加算、量子化インデックスが一致しない次元は0を加算)、重み付き類似度として、同一性尺度を算出してもよい。
また例えば、抽出する特徴量ベクトルが[第8の実施の形態]で説明した325次元であるとした場合に、上下黒帯(幅小)に該当する次元{1、2、3、4、17、18,19、20、45、46、47、48、61、62、63、64}が、余白領域情報として供給された場合についての例を示す。この場合、単純にこれらの次元{1、2、3、4、17、18,19、20、45、46、47、48、61、62、63、64}(16次元)が余白領域に含まれる次元とし、それ以外の次元(325−16=309次元)を余白領域に含まれない次元(主領域に含まれる次元)としてもよい。また、上下黒帯(幅小)に該当するため、上下黒帯(幅小)の領域に抽出領域が含まれる全ての次元を余白領域とすることもできる。例えば、上下黒帯(幅小)の領域にいずれかの抽出領域の部分領域が含まれる次元、例えば次元{114、115、116、117、126、127、128、129}なども余白領域に含まれる次元としてもよい。この場合、それ以外の次元、すなわち上下黒帯(幅小)の領域といずれの抽出領域も重ならない次元、が、余白領域に含まれない次元(主領域に含まれる次元)となる。
こうして求められた余白領域に抽出領域が含まれる次元と、余白領域に抽出領域が含まれない次元(主領域に含まれる次元)に対して、例えば、余白領域に抽出領域が含まれない次元(主領域に含まれる次元)のみを対象に、量子化インデックスが一致する次元数(類似度)、量子化インデックスが非一致である次元数(ハミング距離)、L1距離やL2距離、を算出し、同一性尺度として出力してもよい。また、余白領域に含まれる次元の重み値をW1、余白領域に含まれない次元(主領域に含まれる次元)の重み値をW2として、W1<W2とし、次元ごとの第1、第2の量子化インデックス値(量子化インデックスベクトルの各次元の値)から、対応する次元どうしで比較して、量子化インエックスが一致する次元に対して、その次元の重み値を加算していき、重み付き類似度として、同一性尺度を算出し、出力してもよい。
[照合手段の第2の実施の形態の効果]
照合手段の第2の実施の形態の効果について説明する。
照合手段の第2の実施の形態では、余白領域特定手段105により、同一性の判定とは無関係な余白領域(黒帯など)を特定し、補正付尺度算出手段106で、余白領域に含まれる次元の重みを下げて同一性尺度を算出するため(逆の言い方をすれば、同一性の判定の主の領域の重みを上げて同一性尺度を算出するため)、より正確に同一性尺度を算出することができる。従って、より高精度に同一性の判定を行うことができる。
特に、黒帯などの余白領域を含む異なる2つの画像を照合した場合、余白領域(黒帯)は共通となるため、主領域が異なる画像であっても、通常の照合手段100では、同一性尺度を大きい値として算出してしまうという問題があった。照合手段の第2の実施の形態(照合手段110)では、余白領域の重みを下げて同一性尺度の算出を行うため、このような問題は発生しない。
また、照合手段の第2の実施の形態では、余白領域特定手段105が、量子化インデックスベクトル自体から余白領域を特定しているため、画像識別子の抽出側(抽出の段階)で、余白領域を別途特定する手段が必要ない、という効果もある。従って、画像識別子の抽出側での負担(処理速度、実装コストなどの負担)がかからない、という効果がある。
また、これまでに説明した[照合手段の第2の実施の形態](図28、照合手段110)は、図20(照合手段100)に示した[照合手段の実施の形態]に接続し、階層的な照合を行うこともできる。すなわち、まず、照合手段100により、通常の同一性尺度(尺度算出手段104の出力)を出力する。照合手段100から出力された通常の同一性尺度を、ある規定の閾値と比較する。同一性尺度が閾値よりも小さい(同一である度合いが小さい)場合は、そのまま通常の同一性尺度を出力する。同一性尺度が閾値よりも大きい(同一である度合いが大きい)場合は、次に、照合手段110により、余白領域を特定し、余白領域に含まれる次元の重みを下げて算出した補正付きの同一性尺度を算出し、出力する。
このように照合手段100と照合手段110により階層的な照合を行うことにより、照合手段100による通常の同一性尺度が大きい場合にのみ、照合手段110の補正付きの同一性尺度の算出を行うため、照合の処理速度を高速化することができる、という効果がある。通常、異なる画像が多く含まれているデータベースでの同一性判定を行う場合は、大半の場合において、照合手段100による通常の同一性尺度が、閾値よりも小さくなるため、照合手段100で終了することが多くなるため、処理速度を大幅に高速化することができる。
[照合手段の第3の実施の形態]
次に、本発明で出力される量子化インデックスベクトルを照合する照合手段の第3の実施の形態についてブロック図を用いて説明する。
図36を参照すると、本発明で出力される量子化インデックスベクトルを照合する照合手段200のブロック図が示されており、符号決定手段201、符号値取得手段202、203、尺度算出手段204とからなる。
符号決定手段201は符号値取得手段202、203へ接続され、決定された符号指定情報を出力する。符号値取得手段202は、第1の符号化量子化インデックスベクトルから、符号決定手段201から入力される符号指定情報により定まる符号の値を取得し、第1の符号値として尺度算出手段204へ出力する。符号値取得手段203は、第2の符号化量子化インデックスベクトルから、符号決定手段201から入力される符号指定情報により定まる符号の値を取得し、第2の符号値として尺度算出手段204へ出力する。尺度算出手段204は、符号値取得手段202、203からそれぞれ出力される第1、第2の符号値から同一性を表す尺度を算出し、出力する。
次に、図36の照合手段200の動作について説明する。
まず、照合手段200へは、第1の画像から抽出される量子化インデックスベクトルを符号化したベクトルである第1の符号化量子化インデックスベクトルと、第2の画像から抽出される量子化インデックスベクトルを符号化したベクトルである第2の符号化量子化インデックスベクトルとが入力される。ここで、符号化量子化インデックスベクトルは、量子化インデックスベクトルの量子化インデックス値を複数次元分まとめて符号化して得られる符号からなる符号列である。段落0187で説明したように、特徴ベクトルの各次元の特徴量を3値に量子化し、5次元分まとめて符号化する場合には、5次元ごとに1つの符号が生成される。よって、特徴ベクトルの次元数がNの場合には、N/5個の符号が生成される。この場合、符号化量子化インデックスベクトルはN/5個の符号からなる符号列となる。
入力された第1、第2の符号化量子化インデックスベクトルは、それぞれ符号値取得手段202、203へ入力される。
符号値取得手段202、203へは、符号決定手段201から出力される符号指定情報も入力される。符号決定手段201では、符号列中の各符号を指定する情報を順次出力する。符号列中の符号の数をM(上述の例ではM=N/5)とすると、出力する順序は必ずしも1からMまで1つずつ増えていく必要はなく、1からMまでの値が過不足なく指定される順序であれば、どのような順序であってもよい。
符号値取得手段202、203では、入力された符号化量子化インデックスベクトルから、符号決定手段201から出力される符号指定情報で指定される符号の値を取得する。そして、取得した符号値を尺度算出手段204へ出力する。
尺度算出手段204では、符号取得手段201、202から出力される第1の符号値と第2の符号値とを比較する。この際、符号値を復号して量子化インデックス値に戻してから比較するのではなく、符号値のまま比較する。段落0195から段落0197で説明したように、尺度算出手段204では、2つの符号値からそれらの符号の間の同一性尺度をひくことができるルックアップテーブルが用意されており、これを用いて符号単位で同一性尺度を算出する。これを各符号に対して行い、第1、第2の符号値間の類似尺度(あるいは距離尺度)を同一性尺度として算出する。
得られた同一性尺度値は予め定めた閾値と比較し、同一性の判定を行う。同一性尺度が類似度をあらわす尺度である場合には、尺度値が閾値以上の場合に同一と判定する。一方、同一性尺度が距離をあらわす尺度である場合には、尺度値が閾値以下の場合に同一と判定する。
次に、フローチャートを用いて図36の照合手段200の動作を説明する。ここでは、同一性尺度として類似度を用いる場合の動作について説明する。
図37は、照合手段200の動作を示すフローチャートである。図37のフローチャートでは、符号化量子化インデックスベクトルの符号の番号をmで表し、番号は1からMまでの合計M個の符号があるものとする。また、類似度を算出する変数をBで表すこととする。
まず、符号決定手段201は、照合する符号化量子化インデックスベクトルの最初の符号として、1番目の符号を取得することを決定し(m=1)、符号値取得手段202、203へ供給するとともに、尺度算出手段204において変数Bを0にセットする。(ステップS600)。
次に、符号値取得手段202、203において、第1の符号化量子化インデックスベクトル、第2の符号化量子化インデックスベクトルから、m番目の第1の符号値と第2の符号値とを取得し、尺度算出手段204へ供給する(ステップS602)。
次に、尺度算出手段204において、第1の符号値と第2の符号値とから、それぞれの符号値に対応する複数次元の特徴量間の類似度ΔBを、段落0195〜0197で説明したルックアップテーブルを参照することにより算出する(ステップS604)。
次に、ΔBの値は変数Bに加算される(ステップS106)。この際、ΔBの値が0の場合には、変数Bに0を加算するかわりに、加算しないように制御してもよい。
次に、符号の番号mが符号数Mに到達したかどうかを調べ(ステップS608)、到達しない場合はステップS612へ移行し、到達した場合には、そのときの変数Bの値を同一性尺度(類似度を表す尺度)として出力し(ステップS110)、処理を終了する。
ステップ612では、符号決定手段201が、取得する量子化インデックスの次元として、m=m+1によって次の符号の番号を決定し、符号指定情報として符号値取得手段202、203へ供給する。そして、再度ステップS602へ移行する。
なお、ここでは、符号の番号mからMまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。また、ここでは類似度を算出する場合について述べたが、同様にして、距離尺度を同一性尺度として算出することもできる。この場合、ルックアップテーブルには、類似度の変わりに距離尺度を保持しておくようにする。
図38は、照合手段200の動作を示す別のフローチャートである。図38のフローチャートでも、符号化量子化インデックスベクトルの符号の番号をmで表し、番号は1からMまでの合計M個の符号があるものとする。また、類似度を算出する変数をBで表すこととし、「共に量子化インデックスが0」ではない次元をカウントするための変数をAで表すこととする。
まず、符号決定手段201は、照合する符号化量子化インデックスベクトルの最初の符号として、1番目の符号を取得することを決定し(m=1)、符号値取得手段202、203へ供給するとともに、尺度算出手段204において変数A、Bを0にセットし(ステップS700)、ステップS602へ移行する。
ステップS602は図37の場合と同様であり、終了後、ステップS714へ移行する。
ステップS714では、尺度算出手段204において、第1の符号値と第2の符号値とから、符号値に対応する複数の特徴ベクトルの次元内に、「ともに0」とはならない次元がいくつあるかを調べる。この数をΔAとする。これも、段落0197で述べたように、符号値とΔAとの関係を記述したルックアップテーブルを用いることによって算出できる。
次に、ΔAの値は変数Aに加算される(ステップS716)。この際、ΔAの値が0の場合には、変数Aに0を加算するかわりに、加算しないように制御してもよい。
ステップS604、S106、S608、S612の処理は図37の場合と同様である。ステップS608で符号の番号mが符号数Mに到達した場合には、ステップS310へ移行する。
ステップS310では、尺度算出手段204において、B/Aの値を算出し、同一性尺度として出力し、処理を終了する。ただし、A=0の場合には、規定の値(例えば0.5)を出力する。
なお、ここでは、符号の番号mからMまで順番に抽出処理を行っているが、順番はこれに限らず任意でよい。また、ここでは類似度を算出する場合について述べたが、同様にして、距離尺度を同一性尺度として算出することもできる。この場合、ルックアップテーブルには、類似度の変わりに距離尺度を保持しておくようにする。
以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の画像識別子抽出装置および照合装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における画像識別子抽出装置および照合装置として機能させる。
なお、本発明は、日本国にて2009年6月16日に特許出願された特願2009−143352の特許出願、および日本国にて2009年6月24日に特許出願された特願2009−149893の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
1…次元決定手段
2…抽出領域取得手段
3、3A…領域特徴量算出手段
31、31A…第1の領域特徴量算出手段
32、32A…第2の領域特徴量算出手段
4、4B…比較手段
41…大小比較手段
42、44…量子化手段
43…差分値算出手段
45…量子化境界決定手段
5…領域特徴量算出方法取得手段
6…比較方法取得手段
7…符号化手段
100、110、200…照合手段
101…次元決定手段
102、103…量子化値取得手段
104、204…尺度算出手段
105…余白領域特定手段
106…補正付尺度算出手段
201…符号決定手段
202、203…符号値取得手段

Claims (25)

  1. 画像中の、複数の部分領域対の、各部分領域から領域特徴量を抽出し、部分領域対ごとに、対をなす2つの部分領域の前記領域特徴量の差分値を量子化し、部分領域対ごとに算出された量子化値を要素とした集合を前記画像の識別に用いる画像識別子として生成する、生成方法によって生成された、第1の画像の画像識別子と第2の画像の画像識別子とから、各々の画像の余白領域を特定する余白領域特定手段と、
    前記第1の画像の画像識別子と前記第2の画像の画像識別子とを、対をなす2つの部分領域の少なくとも一方が前記特定された余白領域に含まれる要素の重みが小さくなる方法で照合する照合手段と、
    を備えることを特徴とする画像識別子照合装置。
  2. 前記余白領域特定手段は、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項1に記載の画像識別子照合装置。
  3. 前記余白領域特定手段は、対をなす2つの部分領域の少なくとも一方が候補領域に含まれる複数の要素の量子化値に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項1または2に記載の画像識別子照合装置。
  4. 前記余白領域特定手段は、対をなす2つの部分領域の少なくとも一方が候補領域に含まれる複数の要素の量子化値を予め定められた値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項1乃至3の何れかに記載の画像識別子照合装置。
  5. 前記余白領域特定手段は、対をなす2つの部分領域の少なくとも一方が候補領域に含まれる複数の要素の量子化値を予め定められた値と比較し、一致する要素の割合を閾値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項1乃至4の何れかに記載の画像識別子照合装置。
  6. 前記余白領域特定手段は、対をなす2つの部分領域の少なくとも一方が候補領域に含まれる複数の要素の量子化値を予め定められた値と比較し、一致しない要素の割合を閾値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項1乃至4の何れかに記載の画像識別子照合装置。
  7. 前記余白領域特定手段は、対をなす2つの部分領域の双方が候補領域に含まれる複数の要素の量子化値を、前記差分値の絶対値がある規定値よりも小さいときに求まる量子化値と比較し、一致する要素の割合を閾値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項1乃至4の何れかに記載の画像識別子照合装置。
  8. 前記余白領域特定手段は、対をなす2つの部分領域の双方が候補領域に含まれる複数の要素の量子化値を、前記差分値の絶対値がある規定値よりも小さいときに求まる量子化値と比較し、一致しない要素の割合を閾値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項1乃至4の何れかに記載の画像識別子照合装置。
  9. 前記余白領域は、画像の外側の領域である、
    ことを特徴とする請求項1乃至8の何れかに記載の画像識別子照合装置。
  10. 前記照合手段は、前記第1の画像の画像識別子と前記第2の画像の画像識別子とを、対をなす2つの部分領域の少なくとも一方が前記特定された余白領域に含まれる要素を除外して照合する、
    ことを特徴とする請求項1乃至9の何れかに記載の画像識別子照合装置。
  11. 前記照合手段は、前記第1の画像の画像識別子と前記第2の画像の画像識別子との対応する要素を比較して、前記第1の画像と前記第2の画像とが同一である度合いを示す同一性尺度を算出する、
    ことを特徴とする請求項1乃至10の何れかに記載の画像識別子照合装置。
  12. 前記複数の部分領域対は、対をなす2つの部分領域の形状の組み合わせと、対をなす2つの部分領域の相対的な位置関係との双方が、他の少なくとも1つの部分領域対と相違する1以上の部分領域対を含む、
    ことを特徴とする請求項1乃至11の何れかに記載の画像識別子照合装置。
  13. 画像中の、複数の部分領域対の、各部分領域から領域特徴量を抽出し、部分領域対ごとに、対をなす2つの部分領域の前記領域特徴量の差分値を量子化し、部分領域対ごとに算出された量子化値を要素とした集合を前記画像の識別に用いる画像識別子として生成する、生成方法によって生成された、第1の画像の画像識別子と第2の画像の画像識別子とから、各々の画像の余白領域を特定し、
    前記第1の画像の画像識別子と前記第2の画像の画像識別子とを、対をなす2つの部分領域の少なくとも一方が前記特定された余白領域に含まれる要素の重みが小さくなる方法で照合する、
    ことを特徴とする画像識別子照合方法。
  14. 前記余白領域の特定では、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項13に記載の画像識別子照合方法。
  15. 前記余白領域の特定では、対をなす2つの部分領域の少なくとも一方が候補領域に含まれる複数の要素の量子化値に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項13または14に記載の画像識別子照合方法。
  16. 前記余白領域の特定では、対をなす2つの部分領域の少なくとも一方が候補領域に含まれる複数の要素の量子化値を予め定められた値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項13乃至15の何れかに記載の画像識別子照合方法。
  17. 前記余白領域の特定では、対をなす2つの部分領域の少なくとも一方が候補領域に含まれる複数の要素の量子化値を予め定められた値と比較し、一致する要素の割合を閾値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項13乃至16の何れかに記載の画像識別子照合方法。
  18. 前記余白領域の特定では、対をなす2つの部分領域の少なくとも一方が候補領域に含まれる複数の要素の量子化値を予め定められた値と比較し、一致しない要素の割合を閾値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項13乃至16の何れかに記載の画像識別子照合方法。
  19. 前記余白領域の特定では、対をなす2つの部分領域の双方が候補領域に含まれる複数の要素の量子化値を、前記差分値の絶対値がある規定値よりも小さいときに求まる量子化値と比較し、一致する要素の割合を閾値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項13乃至16の何れかに記載の画像識別子照合方法。
  20. 前記余白領域の特定では、対をなす2つの部分領域の双方が候補領域に含まれる複数の要素の量子化値を、前記差分値の絶対値がある規定値よりも小さいときに求まる量子化値と比較し、一致しない要素の割合を閾値と比較した結果に基づいて、1以上の余白領域の候補領域のうちから、各々の画像の余白領域を特定する、
    ことを特徴とする請求項13乃至16の何れかに記載の画像識別子照合方法。
  21. 前記余白領域は、画像の外側の領域である、
    ことを特徴とする請求項13乃至20の何れかに記載の画像識別子照合方法。
  22. 前記照合では、前記第1の画像の画像識別子と前記第2の画像の画像識別子とを、対をなす2つの部分領域の少なくとも一方が前記特定された余白領域に含まれる要素を除外して照合する、
    ことを特徴とする請求項13乃至21の何れかに記載の画像識別子照合方法。
  23. 前記照合では、前記第1の画像の画像識別子と前記第2の画像の画像識別子との対応する要素を比較して、前記第1の画像と前記第2の画像とが同一である度合いを示す同一性尺度を算出する、
    ことを特徴とする請求項13乃至22の何れかに記載の画像識別子照合方法。
  24. 前記複数の部分領域対は、対をなす2つの部分領域の形状の組み合わせと、対をなす2つの部分領域の相対的な位置関係との双方が、他の少なくとも1つの部分領域対と相違する1以上の部分領域対を含む、
    ことを特徴とする請求項13乃至23の何れかに記載の画像識別子照合方法。
  25. コンピュータを、
    画像中の、複数の部分領域対の、各部分領域から領域特徴量を抽出し、部分領域対ごとに、対をなす2つの部分領域の前記領域特徴量の差分値を量子化し、部分領域対ごとに算出された量子化値を要素とした集合を前記画像の識別に用いる画像識別子として生成する、生成方法によって生成された、第1の画像の画像識別子と第2の画像の画像識別子とから、各々の画像の余白領域を特定する余白領域特定手段と、
    前記第1の画像の画像識別子と前記第2の画像の画像識別子とを、対をなす2つの部分領域の少なくとも一方が前記特定された余白領域に含まれる要素の重みが小さくなる方法で照合する照合手段と、
    して機能させるためのプログラム。
JP2011506922A 2009-06-16 2010-06-02 画像識別子照合装置 Active JP4735786B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011506922A JP4735786B2 (ja) 2009-06-16 2010-06-02 画像識別子照合装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2009143352 2009-06-16
JP2009143352 2009-06-16
JP2009149893 2009-06-24
JP2009149893 2009-06-24
PCT/JP2010/003672 WO2010146786A1 (ja) 2009-06-16 2010-06-02 画像識別子照合装置
JP2011506922A JP4735786B2 (ja) 2009-06-16 2010-06-02 画像識別子照合装置

Publications (2)

Publication Number Publication Date
JP4735786B2 true JP4735786B2 (ja) 2011-07-27
JPWO2010146786A1 JPWO2010146786A1 (ja) 2012-11-29

Family

ID=43356121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011506922A Active JP4735786B2 (ja) 2009-06-16 2010-06-02 画像識別子照合装置

Country Status (6)

Country Link
US (1) US8200021B2 (ja)
EP (1) EP2352126A4 (ja)
JP (1) JP4735786B2 (ja)
KR (1) KR101355258B1 (ja)
CN (1) CN102822864B (ja)
WO (1) WO2010146786A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768064B2 (en) * 2008-09-01 2014-07-01 Nec Corporation Image feature extraction device
US8744193B2 (en) * 2009-03-13 2014-06-03 Nec Corporation Image signature extraction device
EP2407931B1 (en) * 2009-03-13 2019-10-30 Nec Corporation Image identifier extraction device
JP5507962B2 (ja) * 2009-11-05 2014-05-28 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP5796185B2 (ja) * 2011-03-10 2015-10-21 パナソニックIpマネジメント株式会社 対象物判定装置
WO2013008956A1 (ja) * 2011-07-14 2013-01-17 日本電気株式会社 音響処理方法と音響処理システム、ビデオ処理方法とビデオ処理システム、音響処理装置およびその制御方法と制御プログラム
US9047534B2 (en) * 2011-08-11 2015-06-02 Anvato, Inc. Method and apparatus for detecting near-duplicate images using content adaptive hash lookups
US9870517B2 (en) * 2011-12-08 2018-01-16 Excalibur Ip, Llc Image object retrieval
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US10474745B1 (en) 2016-04-27 2019-11-12 Google Llc Systems and methods for a knowledge-based form creation platform
US11039181B1 (en) 2016-05-09 2021-06-15 Google Llc Method and apparatus for secure video manifest/playlist generation and playback
US10771824B1 (en) 2016-05-10 2020-09-08 Google Llc System for managing video playback using a server generated manifest/playlist
US10595054B2 (en) 2016-05-10 2020-03-17 Google Llc Method and apparatus for a virtual online video channel
US11069378B1 (en) 2016-05-10 2021-07-20 Google Llc Method and apparatus for frame accurate high resolution video editing in cloud using live video streams
US10750216B1 (en) 2016-05-10 2020-08-18 Google Llc Method and apparatus for providing peer-to-peer content delivery
US10785508B2 (en) 2016-05-10 2020-09-22 Google Llc System for measuring video playback events using a server generated manifest/playlist
US10750248B1 (en) 2016-05-10 2020-08-18 Google Llc Method and apparatus for server-side content delivery network switching
US11032588B2 (en) 2016-05-16 2021-06-08 Google Llc Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
CN106295652A (zh) * 2016-07-27 2017-01-04 中测高科(北京)测绘工程技术有限责任公司 一种直线特征匹配方法及系统
CN115496927B (zh) * 2022-09-19 2023-04-07 广东炬森智能装备有限公司 基于归一化的印刷电路板影像与模板图的匹配方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749874A (ja) * 1993-08-06 1995-02-21 Matsushita Electric Ind Co Ltd インデックスの作成方法
JP2002222195A (ja) * 2001-01-25 2002-08-09 Canon Inc 文書選別装置及び文書選別方法
JP2006268825A (ja) * 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
JP2007293438A (ja) * 2006-04-21 2007-11-08 Omron Corp 特徴量取得装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60471A (ja) 1983-05-20 1985-01-05 Fuji Xerox Co Ltd 複写機等の現像装置
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US6301369B2 (en) * 1992-07-31 2001-10-09 Digimarc Corporation Image marking to permit later identification
US5956431A (en) * 1997-10-02 1999-09-21 S3 Incorporated System and method for fixed-rate block-based image compression with inferred pixel values
WO2002021438A2 (en) * 2000-09-07 2002-03-14 Koninklijke Philips Electronics N.V. Image matching
US7536031B2 (en) * 2003-09-02 2009-05-19 Nxp B.V. Temporal interpolation of a pixel on basis of occlusion detection
AU2003272483A1 (en) * 2003-09-12 2005-04-27 Nielsen Media Research, Inc. Digital video signature apparatus and methods for use with video program identification systems
US7991232B2 (en) * 2004-03-03 2011-08-02 Nec Corporation Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
JP5085642B2 (ja) * 2006-04-20 2012-11-28 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 画像ブロックを圧縮する方法、画像ブロックの圧縮表現を処理する方法、ブロック圧縮器、及びブロック伸張器
WO2007148264A1 (en) * 2006-06-20 2007-12-27 Koninklijke Philips Electronics N.V. Generating fingerprints of video signals
JP4971964B2 (ja) 2007-12-13 2012-07-11 日本プラスト株式会社 カーテンエアバッグのルーフサイドモジュール

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749874A (ja) * 1993-08-06 1995-02-21 Matsushita Electric Ind Co Ltd インデックスの作成方法
JP2002222195A (ja) * 2001-01-25 2002-08-09 Canon Inc 文書選別装置及び文書選別方法
JP2006268825A (ja) * 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
JP2007293438A (ja) * 2006-04-21 2007-11-08 Omron Corp 特徴量取得装置

Also Published As

Publication number Publication date
JPWO2010146786A1 (ja) 2012-11-29
KR101355258B1 (ko) 2014-01-27
KR20120033308A (ko) 2012-04-06
US20110229042A1 (en) 2011-09-22
EP2352126A1 (en) 2011-08-03
WO2010146786A1 (ja) 2010-12-23
US8200021B2 (en) 2012-06-12
EP2352126A4 (en) 2012-03-14
CN102822864B (zh) 2016-01-13
CN102822864A (zh) 2012-12-12

Similar Documents

Publication Publication Date Title
JP4735786B2 (ja) 画像識別子照合装置
JP4735783B2 (ja) 画像識別子照合装置
JP5045817B2 (ja) 画像識別子抽出装置
JP5573862B2 (ja) 画像識別子抽出装置
JP5686120B2 (ja) 画像識別子抽出装置
JP5454600B2 (ja) 画像識別子抽出装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110411

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4735786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3