JP4831255B2 - 画像識別子抽出装置 - Google Patents

画像識別子抽出装置 Download PDF

Info

Publication number
JP4831255B2
JP4831255B2 JP2010547423A JP2010547423A JP4831255B2 JP 4831255 B2 JP4831255 B2 JP 4831255B2 JP 2010547423 A JP2010547423 A JP 2010547423A JP 2010547423 A JP2010547423 A JP 2010547423A JP 4831255 B2 JP4831255 B2 JP 4831255B2
Authority
JP
Japan
Prior art keywords
feature
image
feature quantity
dimension
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010547423A
Other languages
English (en)
Other versions
JPWO2010084713A1 (ja
Inventor
浩太 岩元
亮磨 大網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010547423A priority Critical patent/JP4831255B2/ja
Application granted granted Critical
Publication of JP4831255B2 publication Critical patent/JP4831255B2/ja
Publication of JPWO2010084713A1 publication Critical patent/JPWO2010084713A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771Feature selection, e.g. selecting representative features from a multi-dimensional feature space

Description

本発明は、画像を識別する(同一性を判定する)ための特徴量である画像識別子を抽出する画像識別子抽出装置に関する。
画像識別子は、画像を識別する(同一性を判定する)ための画像特徴量である。ある画像から抽出した画像識別子と、別の画像から抽出した画像識別子とを比較し、その比較結果から、2つの画像が同一である度合いを示す同一性尺度(一般的には、類似度または距離という)を算出することができる。また、算出した同一性尺度をある閾値と比較することにより、2つの画像が同一であるか否かを判定することができる。ここで「2つの画像が同一」とは、画像信号(画像を構成する画素の画素値)のレベルで2つの画像が同一である場合だけに限らず、画像の圧縮形式(フォーマット)の変換、画像のサイズ・アスペクト比の変換、画像の色調の調整、画像への各種フィルタ処理(鮮鋭化、平滑化など)、画像への局所的な加工(テロップ重畳、切抜きなど)、画像の再キャプチャリング、などの各種改変処理によって、一方の画像が他方の画像の複製された画像である場合も含む。画像識別子を用いれば、例えば、画像、または画像の集合体である動画像の複製を検知できるため、画像または動画像の違法コピー検知システムなどに応用することができる。
画像識別子の例が、非特許文献1、非特許文献2、および特許文献1に記載されている。これらの文献に記載の方法では、画像の複数の局所領域ごとに特徴量を抽出し、抽出した特徴量を量子化して量子化インデックスを算出し、算出した局所領域ごとの量子化インデックスを量子化インデックスベクトルとして、画像識別子としている。
具体的には、非特許文献1、非特許文献2では、画像をブロックに分割し、各々のブロックを局所領域として特徴量(量子化インデックス)を抽出している。また非特許文献1では、ブロック内の輝度分布のパターンを11種類に分類したものを量子化インデックスとしている。非特許文献2では(非特許文献2の“Local Edge Representation”として記載されている技術)、ブロック内から抽出されるエッジ点の重心位置を量子化したものを量子化インデックスとしている。
他方、特許文献1に記載の方法では、図12に示すように、画像240内のあらかじめ定められた位置の32個の長方形領域244(図12ではそのうち16個の長方形領域が描かれている)からそれぞれ平均輝度値を算出し、対となる長方形領域の間(図12では対となる長方形領域を点線248で結んでいる)で平均輝度値の差を算出し、16次元の差ベクトル250を求める。差ベクトル250に対してベクトル変換により合成ベクトルを生成し、合成ベクトルの各次元を量子化して得られた16次元の量子化インデックスベクトルを画像識別子とする。
特表平8−500471号公報
Kota Iwamoto、Eiji Kasutani、Akio Yamada、"Image Signature Robust to Caption Superimposition for Video Sequence Identification"、Proceedings of International Conference on Image Processing (ICIP2006)、2006. Arun Hampapur、Ruud M. Bolle、"Comparison of Distance Measures for Video Copy Detection"、Proceedings of International Conference on Multimedia and Expo (ICME2001)、p.946、2001.
画像識別子は、どのような特徴量をどのように組み合わせたとしても、組み合わせる特徴量の種類と次元数が有限である限り、識別できない種類の画像が存在する。
組み合わせる特徴量の種類と次元数を増やせば、識別できない種類の画像は少なくできる。しかし、画像識別子のサイズ(データ量)が増大する弊害を招く。画像識別子のサイズが増大すると、画像識別子どうしを照合する際の照合コストが増大し、照合方法が複雑化するなどの多くの問題が発生する。
本発明の目的は、識別できる画像の種類を増やすために次元数を増やすと画像識別子のサイズが増大してしまう、という課題を解決する画像識別子抽出装置を提供することにある。
本発明の一形態にかかる画像識別子抽出装置は、画像から、特徴ベクトルの各次元に対応して第1の特徴量を抽出する第1の特徴量抽出手段と、上記画像から、特徴ベクトルの各次元に対応して上記第1の特徴量とは異なる第2の特徴量を抽出する第2の特徴量抽出手段と、上記画像および上記抽出された第1の特徴量の少なくとも一方を解析対象として解析して、上記抽出された第1の特徴量から構成される特徴ベクトルの画像を識別する有効性の有無を判定し、有効性が有る場合には各次元に用いる特徴量の種別を上記第1の特徴量と決定し、有効性が無い場合には少なくとも一部の次元に用いる特徴量の種別を上記第2の特徴量とし、残りの次元に用いる特徴量の種別を上記第1の特徴量と決定する特徴量種別決定手段と、上記決定した各次元に用いる特徴量の種別に従って、上記抽出された第1および第2の特徴量から上記画像の特徴ベクトルを生成する特徴ベクトル生成手段とを備える。
本発明はこのように構成されているため、画像識別子のサイズを増大させることなしに、識別できない種類の画像を削減することのできる画像識別子を抽出する画像識別子抽出装置を提供することができる。
本発明の第1の実施の形態のブロック図である。 本願発明者によって考案された特徴識別子の抽出方法を示す図である。 本発明の第1の実施の形態の動作を示すフローチャートである。 本発明の第2の実施の形態のブロック図である。 本発明の第2の実施の形態の動作を示すフローチャートである。 本発明の第3の実施の形態のブロック図である。 本発明の第3の実施の形態の動作を示すフローチャートである。 本発明の第4の実施の形態のブロック図である。 本発明の第4の実施の形態の動作を示すフローチャートである。 本発明の第5の実施の形態のブロック図である。 本発明の第5の実施の形態の動作を示すフローチャートである。 特許文献1に記載されている画像識別子の抽出方法を示す図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施の形態]
図1を参照すると、本発明の第1の実施の形態に係る画像識別子抽出装置100は、画像識別子抽出対象の画像を入力し、その画像を識別するための複数の次元の特徴ベクトルを画像識別子として出力する。そのために画像識別子抽出装置100は、第1の特徴量抽出手段110と、第2の特徴量抽出手段120と、特徴量種別決定手段130と、特徴ベクトル生成手段140とを備えている。以下、それぞれの手段の機能について詳細に説明する。
(1)第1の特徴量抽出手段110
第1の特徴量抽出手段110は、入力として供給される画像から特徴ベクトルの次元ごとに第1の特徴量を抽出し、特徴量種別決定手段130と特徴ベクトル生成手段140とへ供給する。第1の特徴量抽出手段110で抽出された第1の特徴量から構成される特徴ベクトルを、以下、第1の特徴ベクトルと呼ぶ。
第1の特徴量抽出手段110が画像から抽出する各次元の第1の特徴量は、その種類が予め規定(固定)されていれば、どのような種類の特徴量であってもよい。例えば、非特許文献1、非特許文献2、特許文献1のいずれかに記載された画像識別子の特徴ベクトルを構成する各次元の特徴量と同じ特徴量を使用することができる。また、これらに記載された画像識別子の特徴ベクトルを構成する各次元の特徴量は、量子化インデックスであるが、第1の特徴量抽出手段110が画像から抽出する各次元の第1の特徴量は、量子化インデックスでなくてもよく、連続値で構成される特徴量であってもよい。さらに第1の特徴量抽出手段110が画像から抽出する各次元の第1の特徴量は、より多くの種類の画像に対して有効性があるように改良された特徴量であってもよい。その一例を図2を参照して説明する。
図2は、より多くの種類の画像に対して有効性があるように改良された特徴量の一例(以下、多形状領域比較特徴量と呼ぶ)の抽出方法を示す図である。多形状領域比較特徴量は、あらかじめ、特徴ベクトルの次元ごとに、その特徴量を抽出するための、画像内の2つの抽出領域(第1の抽出領域と第2の抽出領域)が定められている。抽出領域の形状に多様性がある点が、多形状領域比較特徴量と特許文献1に記載された特徴量との大きな相違点である。多形状領域比較特徴量を抽出するには、次元ごとに、次元ごとに定められた第1の抽出領域と第2の抽出領域の平均輝度値を算出し、第1の抽出領域の平均輝度値と第2の抽出領域の平均輝度値とを比較して(すなわち差分値に基づいて)、3値に量子化して(+1、0、−1)量子化インデックスを得る。第1の抽出領域の平均輝度値と第2の抽出領域の平均輝度値との差分値の絶対値がある規定の閾値以下の場合は、第1の抽出領域と第2の抽出領域の平均輝度値の差がないものとみなし、差がないことを示す量子化インデックス0とし、それ以外の場合は、第1の抽出領域の平均輝度値と第2の抽出領域の平均輝度値との大小を比較して、第1の抽出領域の平均輝度値のほうが大きい場合は量子化インデックスを+1、それ以外の場合は量子化インデックスを−1とする。ここで、次元nの第1の抽出領域の平均輝度値をVn1、第2の抽出領域の平均輝度値をVn2とし、規定の閾値をthとすると、次元nの量子化インデックスQnは、次式で算出することができる。
[式1]
Qn=+1 (|Vn1−Vn2|>th かつ Vn1>Vn2 の場合)
0 (|Vn1−Vn2|≦th の場合)
−1 (|Vn1−Vn2|>th かつ Vn1≦Vn2 の場合)
(2)第2の特徴量抽出手段120
第2の特徴量抽出手段120は、入力として供給される画像から特徴ベクトルの次元ごとに第1の特徴量とは異なる第2の特徴量を抽出し、特徴ベクトル生成手段140へ供給する。第2の特徴量抽出手段120が画像から抽出する各次元の第2の特徴量は、その種類が予め規定(固定)されているのであれば、どのような種類の特徴量であってもよい。
ただし、第1の特徴ベクトルの照合方法をそのままそっくり適用できるようにするためには、第2の特徴量抽出手段120が抽出する第2の特徴量の値は、第1の特徴量の値(第1の特徴ベクトルの次元の特徴量の値)が取りうる値の部分集合である必要がある(ただし空集合は含まない)。その理由は、複数次元の特徴ベクトルを画像識別子として、2つの画像の画像識別子を比較して同一性を判定する場合、同一の(対応する)次元ごとの特徴量の値どうしを比較し、例えば、値の一致する次元数を類似度として算出したり、ハミング距離、ユークリッド距離、コサイン類似度(内積)を算出する。従って、第2の特徴量の値が、第1の特徴量の値の部分集合でなければ、第1の特徴ベクトルの照合方法をそのままそっくり適用できなくなるためである。
例えば、第1の特徴量(第1の特徴ベクトルの次元の特徴量の値)が、量子化インデックスであり、その値として{+1、0、−1}のいずれかの値を取りうる場合、第2の特徴量抽出手段120が抽出する第2の特徴量も、量子化インデックスである必要があり、その取りうる値の集合は、{+1、0、−1}の部分集合である、{+1、0、−1}、{+1、0}、{+1、−1}、{0、−1}、{+1}、{0}、{−1}のいずれかに限定される。第2の特徴量抽出手段120は、第2の特徴量の値を+2として抽出してはならない。なぜならば、+2は第1の特徴量が取りえない値であるため、この値で第1の特徴ベクトルの次元の特徴量の値を置換することにより、第1の特徴ベクトルの照合方法を適用できなくなるためである。
また例えば、第1の特徴量の値(第1の特徴ベクトルの次元の特徴量の値)が離散値または連続値であり、その値域が定められている場合は、第2の特徴量抽出手段120が抽出する第2の特徴量の値も、その取りうる値域に含まれる値である必要がある。第1の特徴量の値(第1の特徴ベクトルの次元の特徴量の値)に値域が定められていない場合は、第2の特徴量抽出手段120が抽出する第2の特徴量の値も、特に値域を定める必要はない。
第2の特徴量抽出手段120が抽出する第2の特徴量は、上記の制約を満たす限りは、どのような特徴量であってもかまわない。また、第2の特徴量抽出手段120は、画像からどのように特徴量を抽出してもよい。
また第2の特徴量抽出手段120は、抽出した特徴量を、次元に割り当てる方法(抽出した特徴量をどの次元に割り当てるか)も、任意でよい。例えば、第1の特徴ベクトルが、上述した多形状領域比較特徴量を用いる場合に、第2の特徴量抽出手120は、次元Dに対応する第2の特徴量を、第1の特徴ベクトルである多形状領域比較特徴量を抽出した同じ次元Dに対応した2つの抽出領域から抽出してもよいし、別の領域や、画像全体から抽出してもよい。すなわち、第2の特徴量抽出手段120は、ある次元に対して、第1の特徴量抽出手段110が特徴量を抽出した方法と全く無関係に特徴量を抽出してもよい。また第2の特徴量抽出手段120は、画像から抽出したある特徴量を、複数の次元に割り当ててもよい。すなわち、第2の特徴量抽出手段120が抽出する次元ごとの特徴量は、複数の次元が同じ特徴量であってもかまわない。
また第2の特徴量抽出手段120は、複数の次元で1つの意味を表すようにしてもよい。例えば、次元1と次元2とを合わせて、{0、0}の場合は赤、{0、1}の場合は青、{1、0}の場合は緑、{1、1}の場合は黒など、個々の次元単体では意味を成さないが、複数の次元のセットで1つの意味を表すなどのようにしてもよい。
また第2の特徴量抽出手段120が抽出する第2の特徴量は、次元ごとに、異なる種類の特徴量であってもかまわない。例えば、ある次元に対しては色情報を特徴量として、また別の次元に対してはエッジ情報を特徴量としてもよい。
第2の特徴量抽出手段120が抽出する第2の特徴量は、第1の特徴量(第1の特徴ベクトル)の有効性が低い場合に、それを補うことができるような特徴量であることが望ましい。
ここで、第1の特徴ベクトルの有効性とは、第1の特徴ベクトルを画像識別子として使用した場合の有効性である。画像識別子としての有効性を判定する指標としては、「識別能力」と「頑健性」とがある。識別能力とは、異なる画像を識別できる度合いのことであり、識別能力が高いほど、有効性が高いと判定できる。頑健性とは、画像への各種改変処理によって特徴量の値が変化しない度合いであり、頑健性が高いほど、有効性が高いと判定できる。
従って、第2の特徴量は、第1の特徴量(第1の特徴ベクトル)の識別能力が低い場合に、識別能力が高くなるような特徴量であることが望ましい。また例えば、第2の特徴量は、第1の特徴量(第1の特徴ベクトル)の頑健性が低い場合に、頑健性が高くなるような特徴量であることが望ましい。また、第2の特徴量は、第1の特徴量(第1の特徴ベクトル)とは異なる種類の特徴量であったり、第1の特徴量(第1の特徴ベクトル)とは相関の小さい特徴量であることが望ましい。
例えば、第1の特徴量(第1の特徴ベクトル)が画像のエッジに関する情報の場合、第2の特徴量としては、それとは異なる種類の特徴量である、例えば画像の色に関する情報であることが望ましい。
また例えば、第2の特徴量は、第1の特徴量(第1の特徴ベクトル)と同じ種類の特徴量であっても、例えば、その特徴量を抽出する領域の大きさが異なったり、その特徴量を抽出するパラメータ(例えば閾値など)が異なったりして抽出した特徴量であってもよい。なおこの場合は、例えば、より識別能力が高くなる、あるいは、より頑健性が高くなるように、抽出する領域の大きさや、抽出するパラメータを異なるようにすることが望ましい。例えば、第1の特徴量(第1の特徴ベクトル)が画像のエッジに関する情報の場合、第2の特徴量としては、第1の特徴量とは異なるスケールや、異なる閾値で抽出したエッジに関する情報としてもよい。この場合、例えば、第1の特徴ベクトルの識別能力が低いと判定される場合は、識別能力が高くなるように、より小さなスケールで抽出したエッジに関する情報を第2の特徴量としてもよい。また例えば、第1の特徴ベクトルの頑健性が低いと判定される場合は、頑健性が高くなるように、より大きなスケールで抽出したエッジに関する情報を第2の特徴量としてもよい。
ここでは、第1の特徴ベクトルが、上述した多形状領域比較特徴量を用いる場合に、第2の特徴量抽出手段120が抽出する第2の特徴量の例を示す。多形状領域比較特徴量は画像の起伏を表現した特徴量であるため、例えば、識別能力が低いと判定された場合に、すなわち量子化インデックスが0である次元が多い場合に、第2の特徴量として、画像の起伏を表現する特徴量とは異なる種類の特徴量を抽出することが望ましい。また、例えば、第2の特徴量として、同じ次元の多形状領域比較特徴量を抽出した抽出領域と同じ抽出領域を使用するが、より小さい閾値thで抽出した特徴量であってもよいし、多形状領域比較特徴量を抽出した抽出領域に比べて、より小さい抽出領域から抽出した特徴量であってもよい。
例えば、次元Dに対応する第2の特徴量を、第1の特徴ベクトルの同じ次元の多形状領域比較特徴量を抽出した抽出領域と同じ2つの抽出領域から、例えば、以下のように抽出してもよい(つまり次元Dに対して、第2の特徴量を抽出する領域を、第1の特徴量を抽出する領域と同じにしてもよい)。
(A)より小さい閾値thで、特徴量を抽出する。
(B)2つの抽出領域の輝度の代表値を、平均値ではなく、異なる方法(例えば最大値、最小値、メディアン値、最頻値)によって算出する。
(C)2つの抽出領域内のより小さい部分領域の平均輝度値から、第2の特徴量を抽出する。
(D)抽出領域の輝度値の代表値を量子化して第2の特徴量とする。例えば、2つの抽出領域の輝度値の(総合の)代表値を算出し(例えば、それぞれの抽出領域の平均値の平均値を算出)、その代表輝度値を3値に量子化して、量子化インデックス{+1、0、−1}を算出する。
(E)抽出領域の色情報を抽出して、それを量子化して第2の特徴量とする。例えば、抽出領域のRGB成分の平均値を算出し、それをベクトル量子化で3値に量子化して、量子化インデックス{+1、0、−1}を算出する。また例えば、抽出領域の、色相成分のヒストグラムを生成し、その情報を3値に量子化して、量子化インデックス{+1、0、−1}を算出する。
(F)抽出領域に対して、エッジを抽出し、それを量子化して第2の特徴量とする。例えば、抽出領域のエッジの総量を算出して、それを量子化してもよい。また抽出領域のエッジの方向を算出して、それを量子化してもよい。また2つの抽出領域のそれぞれのエッジの総量や、エッジの方向を算出し、第1の抽出領域と第2の抽出領域の差分値を量子化してもよい。
(G)抽出領域に対して、周波数特徴を抽出して、それを量子化して第2の特徴量とする。例えば、抽出領域に対してDCT変換を施し、その結果をベクトル量子化で3値に量子化して、量子化インデックス{+1、0、−1}を算出する。
また第2の特徴量抽出手段120は、画像をブロックに分割し、各々のブロックを局所領域として、そのブロック内の特徴量(例えばエッジ方向)を複数のテンプレートによるテンプレートマッチングで検出し、もっともスコアの高いテンプレートの番号を量子化インデックスとする、などの方法で、第2の特徴量を抽出してもよい。
また第2の特徴量抽出手段120は、例えば、次元Dに対応する第2の特徴量を、第1の特徴ベクトルの同じ次元の多形状領域比較特徴量を抽出した2つの抽出領域とは別の領域から、上記(A)〜(G)に示したいずれかの方法で抽出してもよい。また例えば、次元Dに対応する第2の特徴量を、画像全体を抽出領域として、画像全体から、上記(A)〜(G)に示したいずれかの方法で抽出してもよい。
また第2の特徴量抽出手段120は、例えば、第2の特徴量を、次元ごとに、上述した異なる特徴量の抽出方法を用いて混在させてもよい。
また例えば、第2の特徴量は、次元ごとに、異なる周波数帯域・異なるエッジ抽出のスケール、異なる色成分、などを用いて、画像全体あるいは画像の部分領域から抽出した特徴量であってもよい。例えば、ある次元はある周波数帯域の特徴を量子化した特徴、別の次元は別の周波数帯域を量子化した特徴、などとしてもよい。具体的には、例えば、画像全体に2次元DCTをかけ、そのある周波数(u1、v1)のパワーを量子化したものを次元1の第2の特徴量、別の周波数(u2、v2)のパワーを量子化したものを次元2の第2の特徴量、さらに別の周波数(u3、v3)のパワーを量子化したものを次元3の第2の特徴量、…、とするようにしてもよい。
また例えば、第2の特徴量は、ある次元はスケール1で抽出したエッジの総量を量子化した特徴、別の次元はその2倍のスケールで抽出したエッジの総量を量子化した特徴、さらに別の次元はその3倍のスケールで抽出したエッジの総量を量子化した特徴、などとしてもよい。
また例えば、第2の特徴量は、ある次元はR成分の値を量子化した特徴、別の次元はG成分の値を量子化した特徴、さらに別の次元はB成分の値を量子化した特徴、などとしてもよい。
また例えば、第2の特徴量は、第1の特徴ベクトルの各次元の第1の特徴量の値に応じて決められてもよい。例えば、多形状領域比較特徴量の場合、ある次元の第1の特徴量が+1か−1の場合は、その対応する抽出領域間で輝度の差があることになり、0の場合は輝度の差がないことになる。従って、例えば+1か−1の場合は、輝度の差に関する詳細な情報、例えば、差の大きさに応じて大、中、小に量子化した+1、0、−1のインデックスを、第2の特徴量とする。他方、0の場合は、輝度の差がないので、輝度ではなく、例えば色の情報を第2の特徴量に用いる。例えば、抽出領域のR成分の平均値、G成分の平均値、B成分の平均値を算出して、それらの内の最大の成分の情報を量子化して、第2の特徴量とする。例えば、R成分なら最大なら+1、G成分が最大なら0、B成分が最大なら−1としたインデックスを、第2の特徴量とする。
(3)特徴量種別決定手段130
特徴量種別決定手段130は、第1の特徴量抽出手段110によって抽出された第1の特徴量を解析して、第1の特徴量から構成される第1の特徴ベクトルの有効性の有無を判定する機能を有する。また、特徴量種別決定手段130は、第1の特徴ベクトルに有効性が有る場合には、各次元に用いる特徴量の種別を第1の特徴量に定めた特徴量種別情報を特徴ベクトル生成手段140に出力し、有効性が無い場合には、少なくとも一部の次元に用いる特徴量の種別を第2の特徴量に定め、残りの次元に用いる特徴量の種別を第1の特徴量に定めた特徴量種別情報を特徴ベクトル生成手段140に出力する機能を有する。この特徴量種別決定手段130は、有効性数値化手段131と特徴量種別情報生成手段132とから構成される。
有効性数値化手段131は、第1の特徴量を解析して、第1の特徴ベクトルの有効性の度合いを示す有効性数値を出力する。ここで、有効性の度合いを示す有効性数値とは、有効性の度合いを数値化した情報のことである。
有効性数値化手段131は、識別能力あるいは頑健性のいずれか、あるいは両方について、その度合いを示す指標である有効性数値を生成し、特徴量種別情報生成手段132に出力する。以下、識別能力と、頑健性とに分けて、有効性数値の具体例について説明する。
(3−1)識別能力の度合いを示す有効性数値
(3−1−1)識別能力の度合いを示す有効性数値として、第1の特徴量抽出手段110から出力された第1の特徴量で構成される第1の特徴ベクトルが生起する確率の値を用いることができる。この場合、有効性数値化手段131は、第1の特徴ベクトルが生起する確率を推定し、その推定値を特徴量種別情報生成手段132に出力する。特徴量種別情報生成手段132では、その確率の大小に基づいて、識別能力の有無が判定される。すなわち、推定された生起確率が大きい場合は、その特徴ベクトルが頻繁に生起することを意味するため、異なる画像を識別できる度合いである識別能力は低いと判定される。推定された生起確率が小さい場合は、その特徴ベクトルが生起しにくいことを意味するため、異なる画像を識別できる度合いである識別能力が高いと判定される。
第1の特徴ベクトルが生起する確率を推定する方法としては、例えば、あらかじめ或る画像母集団に対して観測した第1の特徴ベクトルの生起確率の確率密度分布を用いて、推定する方法がある。
またあらかじめ、第1の特徴ベクトルの次元ごとに、特徴量の値が生起する確率が分かっている場合は(この生起確率は、例えば学習画像群から計算することができる)、それらの次元ごとの特徴量の値の生起確率に基づいて、第1の特徴ベクトル全体の生起確率を推定してもよい。最も簡単な方法としては、全ての次元の生起確率の総乗(掛け合わせた値)として算出したり、全ての次元の生起確率の平均値として算出してもよい。
ここで推定された生起確率自体が、有効性の度合いを数値化した情報(生起確率が大きいほど有効性が低く、生起確率が小さいほど有効性が高い)となるため、有効性数値化手段131は、推定した生起確率を有効性数値として特徴量種別情報生成手段132に出力する。特徴量種別情報生成手段132では、推定された生起確率がある閾値よりも大きい場合は、第1の特徴ベクトルの有効性は無く、推定された生起確率がある閾値よりも小さい場合は、第1の特徴ベクトルの有効性は有る、として有効性の有無を判定することができる。
(3−1−2)また、識別能力の度合いを示す有効性数値として、第1の特徴量抽出手段110から出力された第1の特徴量で構成される第1の特徴ベクトルと、頻出する画像パターンから抽出した第1の特徴量で構成される特徴ベクトルとの類似度の値を用いることができる。頻出する画像パターンとは、ある画像母集団(画像識別子を適用して画像の識別を行う対象とする母集団)において、異なる画像であるが、頻繁に出現する類似した画像パターンのことである。例えば、ある画像母集団において、海を撮影した画像が多く含まれる場合、異なる画像ではあるが、画像の下半分が海で、画像の上半分が空であるような、類似した構図の画像パターンが多く存在する。また例えば、ある画像母集団において、ニュース番組の画像が多く含まれる場合、異なる画像ではあるが、画像の下部が机(テーブル)で、画像の中央に人物が正面を向いて座っているような、類似した構図の画像パターンが多く存在する。このように、頻出する画像パターンに類似する画像は、異なる画像であるにもかかわらず、第1の特徴ベクトルが互いに類似したものになるため、その画像から抽出した第1の特徴ベクトルは、異なる画像を識別できる度合いである識別能力が低い。
この場合、有効性数値化手段131は、第1の特徴量抽出手段110で抽出された第1の特徴量で構成される第1の特徴ベクトルと、頻出する画像パターンから事前に抽出した第1の特徴ベクトルとの類似度(例えば、特徴量が一致する次元数)を算出し、算出した類似度を有効性数値として特徴量種別情報生成手段132に出力する。頻出する画像パターンから抽出した第1の特徴ベクトルとしては、例えばあらかじめ頻出する画像パターン(例えば、上述したような画像)から抽出した第1の特徴ベクトルを使用することができ、この第1の特徴ベクトルをテンプレートとして与えておけばよい。また、このテンプレートは、随時更新していくようにしてもよい。特徴量種別情報生成手段132では、算出された類似度が大きい場合には、識別能力が低く、算出した類似度が小さい場合には、識別能力が高いと判定する。具体的には、第1の特徴ベクトルと頻出する画像パターンから抽出した特徴ベクトルとの類似度が、ある閾値よりも大きい場合は、第1の特徴ベクトルの有効性は無く、算出された類似度がある閾値よりも小さい場合は、第1の特徴ベクトルの有効性は有ると判定できる。
(3−1−3)また、識別能力の度合いを示す有効性数値として、第1の特徴量抽出手段110から出力された第1の特徴量で構成される第1の特徴ベクトルの第1の特徴量を所定の方法で量子化した場合に所定の量子化インデックスとなる第1の特徴量の次元の数を用いることができる。これは、第1の特徴ベクトルの識別能力を、第1の特徴ベクトルの特性に応じて判定する方法である。ここでは、第1の特徴ベクトルの第1の特徴量として、上述した多形状領域比較特徴量を用いた場合について説明する。
多形状領域比較特徴量は、次元ごとに2つの抽出領域の平均輝度値を比較し、差がない場合は量子化インデックス0、差がある場合は、その大小を量子化インデックス+1、−1として符号化した特徴量である。すなわち、多形状領域比較特徴量は、輝度画像の起伏を特徴量化したものである。多形状領域比較特徴量は、輝度画像に起伏がある画像に対しては十分な識別能力を有するが、輝度画像に起伏がない、あるいは起伏が少なく、平坦な画像、例えば「青空の画像」、「白い壁の画像」などに対しては、多くの次元(場合によっては全ての次元)の特徴量の値が量子化インデックス0となってしまう。すなわち起伏がない、あるいは起伏が少なく、平坦な画像に対しては、異なる画像であっても、特徴ベクトルが非常に類似したものになってしまうため、識別能力が低くなる。このため、2つの抽出領域の平均輝度値の差がないと判定され、量子化インデックスが0となる次元が多いほど、識別能力が低くなる。すなわち、第1の特徴ベクトルとして多形状領域比較特徴量を用いた場合、有効性数値化手段131は、例えば、量子化インデックスが0となる次元(2つの抽出領域の平均輝度値の差がないと判定された次元)の数を、識別能力の度合いを示す数値として、特徴量種別情報生成手段132へ出力する。特徴量種別情報生成手段132では、量子化インデックスが0となる次元(2つの抽出領域の平均輝度値の差がないと判定された次元)の数が、ある閾値よりも大きい場合は、第1の特徴ベクトルの有効性は無く、量子化インデックスが0となる次元数が、ある閾値よりも大きくない場合は、第1の特徴ベクトルの有効性は有ると判定することができる。
(3−2)頑健性の度合いを示す有効性数値
頑健性の度合いを示す有効性数値として、第1の特徴量抽出手段110から出力された第1の特徴量で構成される第1の特徴ベクトルの第1の特徴量を所定の方法で量子化した場合の各量子化インデックスごとの頑健性の値の平均値、または、第1の特徴ベクトルの第1の特徴量を所定の方法で量子化した場合にその量子化インデックスが所定の閾値以下あるいは以上となる次元の数、または、第1の特徴ベクトルの第1の特徴量を所定の方法で量子化した場合に、頑健性を有しない量子化インデックスが生成される次元の数を用いることができる。これは、第1の特徴ベクトルの各々の次元が量子化インデックスから成る量子化インデックスベクトルである場合に、各量子化インデックスごとの頑健性、すなわち各種改変処理によって量子化インデックスが変化しない度合いが異なる場合がある(量子化インデックスによって頑健性が異なる)点に着目した方法である。
各量子化インデックスごとの頑健性は、例えば、ある学習画像群に対して、各種改変処理を施し、各量子化インデックスごとに、改変処理を施した後に、量子化インデックスが変化しなかった割合(改変前と改変後が一致する割合)を測定することで、求めることができる。このような量子化インデックスごとの頑健性は、有効性数値化手段131に事前に与えられる。
有効性数値化手段131は、第1の特徴量抽出手段110から出力された第1の特徴量で構成される第1の特徴ベクトルの各次元の量子化インデックスと、与えられた量子化インデックスごとの頑健性(改変後に量子化インデックスが変化しない割合)とから、第1の特徴ベクトルの各次元の頑健性を求め、その平均値を頑健性の度合いを示す値として、特徴量種別情報生成手段132に出力する。特徴量種別情報生成手段132では、この頑健性の度合いを示す平均値をある閾値を比較することで、第1の特徴ベクトルの頑健性の有無を判定することができる。
また、有効性数値化手段131は、第1の特徴量抽出手段110から出力された第1の特徴量で構成される第1の特徴ベクトルの次元のうち、その次元の頑健性がある閾値よりも大きい次元の数(ある閾値よりも大きい頑健性の量子化インデックスを持つ次元の数)を求め、その次元数を頑健性の度合いを示す値として、特徴量種別情報生成手段132に出力してもよい。あるいは、有効性数値化手段131は、第1の特徴量抽出手段110から出力された第1の特徴量で構成される第1の特徴ベクトルの次元のうち、その次元の頑健性がある閾値よりも小さい次元の数(ある閾値よりも小さい頑健性の量子化インデックスを持つ次元の数)を求め、その次元数を頑健性の度合いを示す値として、特徴量種別情報生成手段132に出力してもよい。特徴量種別情報生成手段132では、これらの頑健性の度合いを示す値をある閾値と比較することにより、第1の特徴ベクトルの頑健性の有無を判定することができる。
また、有効性数値化手段131は、第1の特徴量抽出手段110から出力された第1の特徴量で構成される第1の特徴ベクトルの次元のうち、頑健性を有しない量子化インデックスとなる次元の数(頑健性を有しない量子化インデックスを持つ次元の数)を求め、その次元数を頑健性の度合いを示す値として、特徴量種別情報生成手段132に出力してもよい。特徴量種別情報生成手段132では、この頑健性の度合いを示す値をある閾値と比較することにより、第1の特徴ベクトルの頑健性の有無を判定することができる。
(3−3)識別能力および頑健性の度合いを示す有効性数値
上述のようにして生成した識別能力の度合いを示す有効性数値と頑健性の度合いを示す有効性数値とを、単純に加算したものを有効性数値として使用してもよいし、重みαを用いて、例えば、{α×識別能力の度合いを示す有効性数値+(1−α)×頑健性の度合いを示す有効性数値}を有効性数値として使用してもよい。
(4)特徴量種別情報生成手段132
特徴量種別情報生成手段132は、有効性数値化手段131から供給される有効性の度合いを示す有効性数値を閾値と比較することにより、第1の特徴量抽出手段110から供給される第1の特徴量で構成される第1の特徴ベクトルの有効性を判定し、その判定結果に従って特徴量種別情報を生成し、特徴ベクトル生成手段140へ出力する。
特徴量種別情報生成手段132は、第1の特徴ベクトルが有効性有りと判定した場合、特徴ベクトルの各次元に用いる特徴量の種別を第1の特徴量に定めた使用特徴量情報を特徴ベクトル生成手段140へ出力する。
また特徴量種別情報生成手段132は、第1の特徴ベクトルが有効性無しと判定した場合、特徴ベクトルの一部の次元またはすべての次元に用いる特徴量の種別を第2の特徴量に定め、残りの次元に用いる特徴量の種別を第1の特徴量に定めた使用特徴量情報を特徴ベクトル生成手段140へ出力する。
特徴量種別情報生成手段132は、第1の特徴ベクトルに有効性が無い場合、第2の特徴量を用いる次元を、以下のいずれかの方法により決定する。
(4−1)第2の特徴量を用いる次元は、例えば、あらかじめ固定的に定められていてもよい。この場合、例えば、第1の特徴ベクトルがN次元から成るものとすると、そのうち第2の特徴量を用いるK次元(K≦N)の情報(次元を特定する情報)が、あらかじめ特徴量種別情報生成手段132に設定されている。特徴量種別情報生成手段132は、第1の特徴ベクトルの有効性が無いと判定した場合、あらかじめ設定された第2の特徴量を用いる次元の情報を参照して、第2の特徴量を用いる次元を決定し、この決定した次元以外の次元は第1の特徴量を用いると決定する。また例えば、特徴量種別情報生成手段132は、第1の特徴ベクトルの有効性が無いと判定した場合、第1の特徴ベクトルの全ての次元を、第2の特徴量を用いる次元として決定してもよい。
(4−2)また、第2の特徴量を用いる次元は、第1の特徴ベクトルの各次元の値に基づいて決定してもよい。具体的には、第1の特徴量を所定の方法で量子化した場合に所定の量子化インデックスとなるか否かに従って定めるようにしてもよい。例えば、所定の量子化インデックスとなる第1の特徴量の次元については、それに用いる特徴量の種別を第2の特徴量に定め、残りの次元に用いる特徴量の種別を第1の特徴量に定める。
例えば、第1の特徴ベクトルとして、上述した多形状領域比較特徴量を用いた場合、量子化インデックスが0である次元は第2の特徴量を使用し、それ以外の次元は第1の特徴量を使用すると決定してよい。その理由は、上述したように多形状領域比較特徴量は、次元の特徴量の値が量子化インデックス0の場合(2つの抽出領域の平均輝度値の差がない)は、識別能力への寄与が少ないためである。
(4−3)また、第2の特徴量を用いる次元は、第1の特徴量を所定の方法で量子化した場合に頑健性が低くなる量子化インデックスとなるか否かに従って定めるようにしてもよい。例えば、頑健性が低くなる量子化インデックス(頑健性がある閾値よりも低い量子化インデックス)となる第1の特徴量の次元については、それに用いる特徴量の種別を第2の特徴量に定め、残りの次元に用いる特徴量の種別は第1の特徴量に定める。
(4−4)上記の4−1〜4−3の方法において、第2の特徴量を用いる次元の数を、第1の特徴ベクトルの有効性の度合いを示す数値の値に応じて決定(有効性の度合いがより低いほど、第2の特徴量を用いる次元の数をより多くする)するようにしてもよい。
例えば、第2の特徴量を用いるK次元(K≦N)が固定的に定められている4−1の方法において、第1の特徴ベクトルの有効性の度合いを示す数値に応じて、最大K次元から最小1次元までの次元数の範囲で、第2の特徴量を用いる次元を増減させてもよい。
また、第1の特徴量を所定の方法で量子化した場合に所定の量子化インデックスとなる第1の特徴量の次元について第2の特徴量を用いる4−2の方法において、第1の特徴ベクトルの有効性の度合いを示す数値に応じて、所定の量子化インデックスとなる第1の特徴量の次元数から最小1次元までの次元数の範囲で、第2の特徴量を用いる次元を増減させてもよい。
また、第1の特徴量を所定の方法で量子化した場合に頑健性が低くなる量子化インデックスとなる第1の特徴量の次元について第2の特徴量を用いる4−3の方法において、第1の特徴ベクトルの有効性の度合いを示す数値に応じて、頑健性が低くなる量子化インデックスとなる第1の特徴量の次元数から最小1次元までの次元数の範囲で、第2の特徴量を用いる次元を増減させてもよい。
(4−5)上記の4−4の方法において、第2の特徴量を用いる次元を無作為に選択して増減するのではなく、第2の特徴量を用いる次元の優先順位を定める優先順位テーブルを特徴量種別情報生成手段132に設定し、特徴量種別情報生成手段132は、優先順位テーブルを参照して、より上位の優先順位の次元から、第2の特徴量を用いると決定した次元数だけ、次元を選択するようにしてもよい。
(4−6)上記の4−1の方法によって第2の特徴量を用いると決定された次元のうち、上記の4−2、4−3または4−4の何れかの方法で決定された次元を、第2の特徴量を用いる次元として決定するようにしてもよい。例えば、第1の特徴ベクトルが、{次元1=0、次元2=0、次元3=+1、次元4=−1、次元5=0、次元6=−1、次元7=0、次元8=0、次元9=0、次元10=0、}であるとする。また、上記の4−1の方法では、偶数次元を第2の特徴量を用いる次元として事前に定めているとする。このとき、量子化インデックスが0である次元を第2の特徴量を使用する次元とする上記の4−2の方法と組み合わせた場合、量子化インデックスが0である偶数次元、つまり次元2、次元8、次元10が、第2の特徴量を使用する次元として決定される。
(5)特徴ベクトル生成手段140
特徴ベクトル生成手段140は、第1の特徴量抽出手段110から次元ごとの第1の特徴量を入力し、第2の特徴量抽出手段120から次元ごとの第2の特徴量を入力し、特徴量種別情報生成手段132から特徴量種別情報を入力し、この特徴量種別情報が第1の特徴量を用いることを示す次元は第1の特徴量抽出手段110から供給される第1の特徴量を使用し、特徴量種別情報が第2の特徴量を用いることを示す次元は第2の特徴量抽出手段120から供給される第2の特徴量を使用して、特徴ベクトルを生成し、生成した特徴ベクトルを画像識別子として出力する。
次に、本実施の形態に係る画像識別子抽出装置100の動作を図3のフローチャートを参照して説明する。
画像識別子抽出装置100が画像識別子を抽出する対象となる画像を図1には図示しない記憶手段などから入力すると、まず第1の特徴量抽出手段110が、その画像から次元ごとの第1の特徴量を抽出する(ステップS101)。次に、第2の特徴量抽出手段110が、その画像から次元ごとの第2の特徴量を抽出する(ステップS102)。
次に、特徴量種別決定手段130の有効性数値化手段131が、第1の特徴量抽出手段110で抽出された次元ごとの第1の特徴量を解析して、第1の特徴量から構成される第1の特徴ベクトルの有効性の度合いを示す有効性数値を生成する(ステップS103)。次に、特徴量種別情報生成手段132が、この生成された有効性数値を閾値と比較して、第1の特徴ベクトルの有効性の有無を判定し、さらに、その判定結果に従って、次元ごとの特徴量として第1および第2の特徴量のうちの何れを使用するかを定めた特徴量種別情報を生成する(ステップS104)。
最後に、特徴ベクトル生成手段140が、特徴量種別情報において第1の特徴量を使用すると定められた次元については、第1の特徴量抽出手段110で抽出された当該次元の第1の特徴量を使用し、特徴量種別情報において第2の特徴量を使用すると定められた次元については、第2の特徴量抽出手段120で抽出された当該次元の第2の特徴量を使用して、複数次元の特徴ベクトルを生成し、画像識別子として、図1には図示しない記憶手段などに出力する(ステップS105)。
以上のようにして生成された画像識別子(特徴ベクトル)は、当該画像と対応付けて管理され、画像を識別する(同一性を判定する)際に利用される。或る画像と別の画像との同一性を判定する場合、これら2つの画像に対応する画像識別子どうしが比較される。画像識別子どうしの比較は、同一の(対応する)次元ごとの特徴量の値を比較し、次元ごとの比較結果を総合して、2つの画像識別子の同一性を判定する尺度を算出する。すなわち、例えば、特徴量の値(量子化インデックス)が一致する次元数を類似度(同一性尺度)として算出する、ハミング距離を算出する、ユークリッド距離を算出する、コサイン類似度(内積)を算出する、などの方法によって、2つの画像識別子の同一性を判定する尺度を算出する。こうして算出された同一性尺度をある閾値と比較して、2つの画像が同一であるか否かを判定することができる。
以上説明したように、本実施の形態によれば、画像識別子のサイズを増大させることなしに、識別できない種類の画像を削減することのできる画像識別子を抽出する画像識別子抽出装置を提供することができる。その理由は以下の通りである。
第1の特徴量を解析して、第1の特徴量から構成される第1の特徴ベクトルの有効性の有無を判定し、若し有効性が無いなら、つまり、今回の画像識別子抽出対象の画像が、第1の特徴量抽出手段110によって抽出する種類の特徴量の組み合わせでは識別できない種類の画像であれば、少なくとも一部の次元に用いる特徴量の種別を第1の特徴量から第2の特徴量に変更する。これは、あたかも、組み合わせる特徴量の種類と次元数を実質的に増やしたことに相当する。この結果、第1の特徴量のみから構成される第1の特徴ベクトルでは識別できなかった画像に対して、その画像を識別可能な画像識別子が得られる。以下、より具体的に説明する。
今、画像A、画像A’、画像Bという3つの画像を考える。画像A’は、画像Aに対して各種改変処理を施した画像(例えば画像Aにテロップを重畳し、画像の圧縮形式を変換するなど)であるとする。すなわち、画像Aと画像A’は、同一の画像として識別する対象の画像対であるとする。また画像Bは、画像Aや画像A’とは異なる画像だが(異なる画像として識別する対象の画像対である)、第1の特徴ベクトルとしては類似した特徴ベクトルとなるような、画像であるとする。すなわち、画像A(画像A’)と画像Bは、第1の特徴ベクトルでは識別能力が低くなる(有効性が低くなる)画像であるとする。
このため、画像A、画像A’、画像Bに対して第1の特徴量ベクトルを抽出すると、いずれも類似した特徴ベクトルとなってしまい、画像A(画像A’)と画像Bを識別することができない。
この場合、画像A、画像A’、画像Bに、本実施の形態を適用すると、第1の特徴ベクトルの有効性が低いため、いずれの画像も特徴ベクトルの少なくとも一部の次元の特徴量が第1の特徴量から第2の特徴量に置換される。第2の特徴量は第1の特徴量と異なる特徴量であるため、少なくとも一部の次元の特徴量が第1の特徴量から第2の特徴量に置換された特徴ベクトルは、その有効性が改善されている可能性が少なからず存在する。つまり、画像A(画像A’)と画像Bは、本来異なる画像であるため、第2の特徴量による特徴量の値の置換が行われると、十分異なる特徴ベクトルとなり得る。他方、画像Aと画像A’は、本来同一の画像であるため、第2の特徴量による特徴量の値の置換が行われた後でも、類似した特徴ベクトルが生成される。
すなわち、第2の特徴量による特徴量の値の置換が行われることにより、同一の画像は類似した特徴ベクトルのままとなり、異なる画像は十分異なる特徴ベクトルに分離するため、第2の特徴量による特徴量の値の置換により、画像識別子(特徴ベクトル)の性能を向上させることができる。
次に、画像A(画像A’)および画像Bとは異なる別の画像Dを考える。この画像Dは、第1の特徴ベクトルの有効性が高く、第2の特徴量による置換処理が不要であり、第1の特徴ベクトルがそのまま出力されるような画像であるとする。
ここで、画像A(画像A’)や画像Bに第2の特徴量による置換処理を行うことにより、画像A(画像A’)や画像Bの特徴ベクトルが、置換処理が行われなかった画像Dの特徴ベクトルに、偶然類似してしまう(近づいてしまう)場合が考えられる。しかしながら、置換処理が行われた画像A(画像A’)や画像Bの特徴ベクトルと、置換処理が行われない画像Dの特徴ベクトルとは、本来異なる第1の特徴量と第2の特徴量とを比較しているため、それらが類似してしまうのはただの偶然であり、その偶然が発生する確率は低い。すなわち、少なくとも一部の次元の特徴量を第1の特徴量から第2の特徴量に置換することによって発生する副作用が発生する可能性は低い。
[第2の実施の形態]
図4を参照すると、本発明の第2の実施の形態に係る画像識別子抽出装置200は、図1に示した画像識別子抽出装置100と比較して、第2の特徴量抽出手段120の代わりに第2の特徴量抽出手段121を備えている点、特徴量種別情報生成手段132から出力される特徴量種別情報が特徴ベクトル生成手段140以外に第2の特徴量抽出手段121にも供給されている点で相違する。
第2の特徴量抽出手段121は、画像識別子を抽出する対象の画像を入力し、特徴量種別情報生成手段132から特徴量種別情報が供給されると、この特徴量種別情報において第2の特徴量を使用するものと定められている次元についてのみ、当該次元について予め規定された第2の特徴量を抽出し、特徴ベクトル生成手段140へ出力する。すなわち、第2の特徴量抽出手段121は、第2の特徴量を必要とする次元についてのみ第2の特徴量を抽出する点で、第1の実施の形態の第2の特徴量抽出手段120と相違する。
次に、本実施の形態に係る画像識別子抽出装置200の動作を図5のフローチャートを参照して説明する。
画像識別子抽出装置200が画像識別子を抽出する対象となる画像を図4には図示しない記憶手段などから入力すると、まず第1の特徴量抽出手段110が、その画像から次元ごとの第1の特徴量を抽出する(ステップS201)。
次に、特徴量種別決定手段130の有効性数値化手段131が、第1の特徴量抽出手段110で抽出された次元ごとの第1の特徴量を解析して、第1の特徴量から構成される第1の特徴ベクトルの有効性の度合いを示す有効性数値を生成する(ステップS202)。次に、特徴量種別情報生成手段132が、この生成された有効性数値を閾値と比較して、第1の特徴ベクトルの有効性の有無を判定し、さらに、その判定結果に従って、次元ごとの特徴量として第1および第2の特徴量のうちの何れを使用するかを定めた特徴量種別情報を生成する(ステップS203)。
次に、第2の特徴量抽出手段121が、特徴量種別情報で第2の特徴量を使うものと定められている次元について、画像識別子抽出対象の画像から第2の特徴量を抽出する(ステップS204)。
最後に、特徴ベクトル生成手段140が、特徴量種別情報において第1の特徴量を使用すると定められた次元については、第1の特徴量抽出手段110で抽出された当該次元の第1の特徴量を使用し、特徴量種別情報において第2の特徴量を使用すると定められた次元については、第2の特徴量抽出手段121で抽出された当該次元の第2の特徴量を使用して、複数次元の特徴ベクトルを生成し、画像識別子として、図4には図示しない記憶手段などに出力する(ステップS205)。
本実施の形態によれば、第1の実施の形態と同様の効果が得られると共に、第2の特徴量抽出手段121は第2の特徴量を必要とする場合に必要な次元についてのみ第2の特徴量を抽出すればよいため、処理コストを低減することができる。
[第3の実施の形態]
図6を参照すると、本発明の第3の実施の形態に係る画像識別子抽出装置300は、図1に示した画像識別子抽出装置100と比較して、第1の特徴量抽出手段110と第2の特徴量抽出手段120と有効性数値化手段131とに代えて、第1の特徴量抽出手段111と第2の特徴量抽出手段121と有効性数値化手段133とを備えている点、有効性数値化手段133には第1の特徴量抽出手段111で抽出された第1の特徴量の代わりに画像識別子抽出対象の画像が入力されている点、特徴量種別情報生成手段132から出力される特徴量種別情報が特徴ベクトル生成手段140以外に第1の特徴量抽出手段111と第2の特徴量抽出手段121にも供給されている点で相違する。
有効性数値化手段133は、画像を解析して、その画像から抽出した第1の特徴量で構成される第1の特徴ベクトルの有効性の度合いを示す有効性数値を出力する。第1の実施の形態では、有効性数値化手段131は、第1の特徴量抽出手段110が抽出した第1の特徴量を解析して第1の特徴ベクトルの有効性の度合いを示す数値を生成したが、本実施の形態では、有効性数値化133は、画像自体から、第1の特徴ベクトルの有効性の度合いを示す有効性数値を生成する。
有効性数値化手段133が、画像自体から、第1の特徴ベクトルの有効性の度合いを示す数値を生成する方法は、第1の特徴ベクトルの有効性の度合いを示す数値を生成できる方法であれば(つまり実際に第1の特徴ベクトルを抽出して有効性の度合いを示す数値を生成した場合と相関があるような数値を生成できる方法であれば)、どのような方法であっても構わない。
例えば、有効性数値化手段133は、第1の特徴ベクトルそのものでなくても、それよりも簡易に(より低い処理コストで)、第1の特徴ベクトルと同様の特性を持っている特徴量や、第1の特徴ベクトルと相関の高い特徴量などを抽出して、それをもとに、第1の特徴ベクトルの有効性の度合いを示す数値を生成してもよい。
また例えば、有効性数値化手段133は、画像から、第1の特徴ベクトルが生起する確率を推定して、その確率の値を有効性の度合いを示す数値として出力してもよい。この場合、確率が大きいほど、有効性(識別能力)の度合いは低下する。また例えば、頻出する画像パターンと(これは事前に与えられるものとする)、供給される画像との類似度の値を有効性の度合いを示す数値として出力してもよい。この場合、類似度が大きいほど、有効性(識別能力)の度合いは低下する。
また例えば、有効性数値化手段133は、画像から、第1の特徴ベクトルの特徴量の頑健性の度合いを示す有効性数値を生成してもよい。例えば、第1の特徴ベクトルが色相(色の角度)に基づいたものである場合、画像自体から画像の彩度に関する情報を抽出すると、第1の特徴ベクトルである色相の頑健性の程度が推定できる。すなわち、彩度が高い場合は、色相情報の頑健性(信頼度)は高く、第1の特徴ベクトルの頑健性(有効性)は高いと判定できる。また逆に、彩度が低い場合は、色相情報の頑健性(信頼度)は低く、第1の特徴ベクトルの頑健性(有効性)は低いと判定できる。従って、彩度の程度を示す数値は、第1の特徴ベクトルの特徴量の頑健性の度合いを示す有効性数値として用いることができる。
また例えば、有効性数値化手段133は、第1の特徴ベクトルが多形状領域比較特徴量の場合、以下のようにして画像から第1の特徴ベクトルの有効性の度合いを示す数値を生成することができる。
(a)画像から、第1の特徴ベクトルの全ての次元ではなく、一部の次元だけの特徴量を抽出して、第1の特徴ベクトルの(全体の)有効性の度合いを示す数値を生成する。
(b)画像を、多形状領域比較特徴量で用いる抽出領域よりも大きい抽出領域に分割して、そこから抽出した特徴量をもとに、第1の特徴ベクトルの有効性の度合いを示す数値を生成する。
(c)画像から、量子化インデックス0が発生する度合いを推定して、第1の特徴ベクトルの有効性の度合いを示す数値を生成する。この場合、量子化インデックス0が発生する度合いを示す数値が大きいほど、第1の特徴ベクトルの有効性は低下する。
(d)画像から、画像の平坦度(起伏の無さ)を求め、この平坦度を第1の特徴ベクトルの有効性の度合いを示す数値とする。この場合、画像の平坦度が大きいほど、有効性(識別能力)が低いと判定される。
第1の特徴量抽出手段111は、画像識別子を抽出する対象の画像を入力し、特徴量種別情報生成手段132から特徴量種別情報が供給されると、この特徴量種別情報において第1の特徴量を使用するものと定められている次元についてのみ、当該次元について予め規定された第1の特徴量を抽出し、特徴ベクトル生成手段140へ出力する。すなわち、第1の特徴量抽出手段111は、第1の特徴量を必要とする次元についてのみ第1の特徴量を抽出する点で、第1の実施の形態の第1の特徴量抽出手段110と相違する。
第2の特徴量抽出手段121は、画像識別子を抽出する対象の画像を入力し、特徴量種別情報生成手段132から特徴量種別情報が供給されると、この特徴量種別情報において第2の特徴量を使用するものと定められている次元についてのみ、当該次元について予め規定された第2の特徴量を抽出し、特徴ベクトル生成手段140へ出力する。すなわち、第2の特徴量抽出手段121は、第2の特徴量を必要とする次元についてのみ第2の特徴量を抽出する点で、第2の特徴量抽出手段120と相違する。
次に、本実施の形態に係る画像識別子抽出装置300の動作を図7のフローチャートを参照して説明する。
画像識別子抽出装置300が画像識別子を抽出する対象となる画像を図6には図示しない記憶手段などから入力すると、まず特徴量種別決定手段130の有効性数値化手段133が、画像を解析して、その画像から抽出される第1の特徴量により構成される第1の特徴ベクトルの有効性の度合いを示す有効性数値を生成する(ステップS301)。次に、特徴量種別情報生成手段132が、この生成された有効性数値を閾値と比較して、第1の特徴ベクトルの有効性の有無を判定し、さらに、その判定結果に従って、次元ごとの特徴量として第1および第2の特徴量のうちの何れを使用するかを定めた特徴量種別情報を生成する(ステップS302)。
次に、第1の特徴量抽出手段111が、特徴量種別情報で第1の特徴量を使うものと定められている次元について、画像識別子抽出対象の画像から第1の特徴量を抽出する(ステップS303)。また、第2の特徴量抽出手段121が、特徴量種別情報で第2の特徴量を使うものと定められている次元について、画像識別子抽出対象の画像から第2の特徴量を抽出する(ステップS304)。
最後に、特徴ベクトル生成手段140が、特徴量種別情報において第1の特徴量を使用すると定められた次元については、第1の特徴量抽出手段111で抽出された当該次元の第1の特徴量を使用し、特徴量種別情報において第2の特徴量を使用すると定められた次元については、第2の特徴量抽出手段121で抽出された当該次元の第2の特徴量を使用して、複数次元の特徴ベクトルを生成し、画像識別子として、図6には図示しない記憶手段などに出力する(ステップS305)。
本実施の形態によれば、第1の実施の形態と同様の効果が得られると共に、以下のような効果が得られる。
画像から第1の特徴ベクトルの有効性の有無を判定することができる。特に、第1の特徴ベクトル自体からその有効性を判定できない場合でも、画像を使えばその有効性を判定できる場合があり、そのような場合に、特に効果を発揮する。以下、具体例を挙げて説明する。
例えば、第1の特徴量としての多形状領域比較特徴量として、各次元に、色相成分ヒストグラムを量子化したものを用いることを考える。ここで、色相(H)とは色の角度(赤、青、黄などの色の方向を示す)であり、色相成分ヒストグラムは、色相の角度区間ごとの出現頻度を表す。色相は、彩度(S:色の鮮やかさ)が小さくなると(円の半径に該当)、信頼度(すなわち頑健性)が低下する(赤方向も、青方向も、黄方向も、彩度が小さくなると、全てグレーに近づく)。すなわち、色相情報の頑健性は、色相情報からは判定できず、彩度情報があって判定できる(すなわち、彩度が小さい場合は、色相の頑健性は低い)。よって、色相成分ヒストグラムを量子化したものを第1の特徴ベクトルとして用いた場合は、その有効性は第1の特徴ベクトル自体からは判定できない。これに対して、各次元ごとに、画像からその次元の抽出領域から、例えば彩度(S)の平均値を算出し、その大小によって、次元ごとの第1の特徴量の有効性を判定できる。これらを全次元で総和すると、第1の特徴ベクトル全体としての有効性を判定できる。
また本実施の形態によれば、第1の特徴量抽出手段111は第1の特徴量を必要とする場合に必要な次元についてのみ第1の特徴量を抽出すればよいため、処理コストを低減することができる。なお、このような処理コストの低減を必要としない場合には、第1の特徴量抽出手段111を第1の実施の形態で使用した第1の特徴量抽出手段110で置き換えるようにしてもよい。
さらに本実施の形態によれば、第2の特徴量抽出手段121は第2の特徴量を必要とする場合に必要な次元についてのみ第2の特徴量を抽出すればよいため、処理コストを低減することができる。なお、このような処理コストの低減を必要としない場合には、第2の特徴量抽出手段121を第1の実施の形態で使用した第2の特徴量抽出手段120で置き換えるようにしてもよい。
[第4の実施の形態]
図8を参照すると、本発明の第4の実施の形態に係る画像識別子抽出装置400は、図1に示した画像識別子抽出装置100と比較して、第2の特徴量抽出手段120と有効性数値化手段131とに代えて、第2の特徴量抽出手段121と有効性数値化手段134とを備えている点、有効性数値化手段134には第1の特徴量抽出手段110で抽出された第1の特徴量と画像識別子抽出対象の画像とが入力されている点、特徴量種別情報生成手段132から出力される特徴量種別情報が特徴ベクトル生成手段140以外に第2の特徴量抽出手段121にも供給されている点で相違する。
有効性数値化手段134は、画像およびその画像から第1の特徴量抽出手段110により抽出された第1の特徴量を解析して、その画像から抽出された第1の特徴量で構成される第1の特徴ベクトルの有効性の度合いを示す有効性数値を出力する。例えば、有効性数値化手段134は、図1の有効性数値化手段131と同様の方法を用いて、第1の特徴量抽出手段110により抽出された第1の特徴量から第1の特徴ベクトルの有効性の度合いを示す有効性数値を生成する。また有効性数値化手段134は、図6の有効性数値化手段133と同様の方法を用いて、画像から第1の特徴ベクトルの有効性の度合いを示す有効性数値を生成する。そして、有効性数値化手段134は、第1の特徴ベクトルから生成した有効性の度合いを示す有効性数値と、画像から生成した有効性の度合いを示す有効性数値とを統合した有効性数値を生成して、特徴量種別情報生成手段132に出力する。
第1の特徴ベクトルから生成した有効性の度合いを示す有効性数値と、画像から生成した有効性の度合いを示す有効性数値との統合は、両者の平均値を求める、両者を重み付けして加算する、両者のうちの最小値あるいは最大値を選択する、といった方法で行うことができる。
第2の特徴量抽出手段121は、画像識別子を抽出する対象の画像を入力し、特徴量種別情報生成手段132から特徴量種別情報が供給されると、この特徴量種別情報において第2の特徴量を使用するものと定められている次元についてのみ、当該次元について予め規定された第2の特徴量を抽出し、特徴ベクトル生成手段140へ出力する。すなわち、第2の特徴量抽出手段121は、第2の特徴量を必要とする次元についてのみ第2の特徴量を抽出する点で、第1の実施の形態の第2の特徴量抽出手段120と相違する。
次に、本実施の形態に係る画像識別子抽出装置400の動作を図9のフローチャートを参照して説明する。
画像識別子抽出装置400が画像識別子を抽出する対象となる画像を図8には図示しない記憶手段などから入力すると、まず第1の特徴量抽出手段110が、その画像から次元ごとの第1の特徴量を抽出する(ステップS401)。
次に特徴量種別決定手段130の有効性数値化手段134が、画像および第1の特徴量抽出手段110で抽出された第1の特徴量を解析して、その画像から抽出される第1の特徴量により構成される第1の特徴ベクトルの有効性の度合いを示す有効性数値を生成する(ステップS402)。次に、特徴量種別情報生成手段132が、この生成された有効性数値を閾値と比較して、第1の特徴ベクトルの有効性の有無を判定し、さらに、その判定結果に従って、次元ごとの特徴量として第1および第2の特徴量のうちの何れを使用するかを定めた特徴量種別情報を生成する(ステップS403)。
次に、第2の特徴量抽出手段121が、特徴量種別情報で第2の特徴量を使うものと定められている次元について、画像識別子抽出対象の画像から第2の特徴量を抽出する(ステップS404)。
最後に、特徴ベクトル生成手段140が、特徴量種別情報において第1の特徴量を使用すると定められた次元については、第1の特徴量抽出手段110で抽出された当該次元の第1の特徴量を使用し、特徴量種別情報において第2の特徴量を使用すると定められた次元については、第2の特徴量抽出手段121で抽出された当該次元の第2の特徴量を使用して、複数次元の特徴ベクトルを生成し、画像識別子として、図8には図示しない記憶手段などに出力する(ステップS405)。
本実施の形態によれば、第1の実施の形態と同様の効果が得られると共に、以下のような効果が得られる。
画像およびその画像から抽出された第1の特徴量から構成される第1の特徴ベクトルから有効性を判定するため、第1の特徴ベクトル自体からその有効性を判定できない場合でも画像を使えばその有効性を判定できる場合や、反対に、画像自体からその有効性を判定できない場合でも第1の特徴ベクトルを使えばその有効性を判定できる場合との双方の場合に、第1の特徴ベクトルの有効性の判定が可能になる。
また本実施の形態によれば、第2の特徴量抽出手段121は第2の特徴量を必要とする場合に必要な次元についてのみ第2の特徴量を抽出すればよいため、処理コストを低減することができる。なお、このような処理コストの低減を必要としない場合には、第2の特徴量抽出手段121を第1の実施の形態で使用した第2の特徴量抽出手段120で置き換えるようにしてもよい。
[第5の実施の形態]
図10を参照すると、本発明の第5の実施の形態に係る画像識別子抽出装置500は、図1に示した画像識別子抽出装置100と比較して、特徴ベクトル生成手段140の代わりに特徴ベクトル生成手段141を備えている点、有効性再判定手段150を新たに備えている点で相違する。
特徴ベクトル生成手段141は、第1の特徴量抽出手段110から次元ごとの第1の特徴量を入力し、第2の特徴量抽出手段120から次元ごとの第2の特徴量を入力し、特徴量種別情報生成手段132から特徴量種別情報を入力し、この特徴量種別情報が第1の特徴量を用いることを示す次元は第1の特徴量抽出手段110から供給される第1の特徴量を使用し、特徴量種別情報が第2の特徴量を用いることを示す次元は第2の特徴量抽出手段120から供給される第2の特徴量を使用して、特徴ベクトルを生成する。そして、この生成した特徴ベクトルが第1の特徴量のみで構成されていれば、この生成した特徴ベクトルを画像識別子として出力する。
他方、生成した特徴ベクトルが第2の特徴量を含む場合、つまり、第1の特徴量のみで構成される第1の特徴ベクトルの有効性が無いと判定された結果、その少なくとも一部の次元の第1の特徴量を第2の特徴量に置換した特徴ベクトル(以下、第2の特徴ベクトルと呼ぶ)を生成した場合、特徴ベクトル生成手段141は、この第2の特徴ベクトルを有効性再判定手段150へ伝達し、第2の特徴ベクトルの有効性の判定を行わせる。そして、有効性再判定手段150から第2の特徴ベクトルの有効性の判定結果を受け取り、有効性有りの判定結果であれば、第2の特徴ベクトルを画像識別子として出力する。反対に有効性無しの判定結果であれば、第1の特徴ベクトルを画像識別子として出力する。
有効性再判定手段150は、第2の特徴ベクトルを解析して、第2の特徴ベクトルの有効性の度合いを示す有効性数値を生成し、この有効性数値を閾値と比較することで、第2の特徴ベクトルの有効性の有無を判定する。第2の特徴ベクトルの有効性の度合いを示す有効性数値を生成する方法には、有効性数値化手段131が第1の特徴ベクトルを解析して第1の特徴ベクトルの有効性の度合いを示す有効性数値を生成した方法と同様の方法を用いることができる。
次に、本実施の形態に係る画像識別子抽出装置500の動作を図11のフローチャートを参照して説明する。
画像識別子抽出装置500が画像識別子を抽出する対象となる画像を図10には図示しない記憶手段などから入力すると、まず画像識別子抽出装置500は、第1の特徴量抽出手段110、第2の特徴量抽出手段120、特徴量種別決定手段130および特徴ベクトル生成手段141を用いて、その画像の特徴ベクトルを生成する(ステップS501)。このステップS501は、図3のステップS101〜S105に相当する。ただし、生成した特徴ベクトルを直ちに画像識別子として出力せず、以下の処理を引き続き実行する。
まず特徴ベクトル生成手段141は、生成した特徴ベクトルが第1の特徴ベクトルかどうかを判定する(ステップS502)。第1の特徴ベクトルであれば、画像識別子として出力する(ステップS505)
生成した特徴ベクトルが第1の特徴ベクトルでなく第2の特徴ベクトルであれば、有効性再判定手段150により、この第2の特徴ベクトルの有効性の有無を判定する(ステップS503、S504)。その結果、第2の特徴ベクトルが有効性有りの場合、特徴ベクトル生成手段141は、第2の特徴ベクトルを画像識別子として出力する(ステップS506)。
反対に、第2の特徴ベクトルが有効性無しの場合、特徴ベクトル生成手段141は、第1の特徴ベクトルを画像識別子として出力する(ステップS505)。第1および第2の特徴ベクトルの双方とも有効性が無いので、第2の特徴ベクトルを出力してもよさそうであるが、第2の特徴ベクトルはその少なくとも一部の次元が第2の特徴量で置換されているので、そのような置換が行われていない第1の特徴ベクトルを出力する。なお、第1および第2の特徴ベクトルの双方とも有効性が無い場合に、それらの有効性の度合いを示す数値を比較し、有効性の度合いがよりよい方を画像識別子として出力するようにしてもよい。
本実施の形態によれば、第1の実施の形態と同様の効果が得られると共に、以下のような効果が得られる。
有効性が無いと判定された第1の特徴ベクトルの少なくとも一部の次元を第2の特徴量で置換した第2の特徴ベクトルについて、その有効性を判定し、有効性が有る場合あるいは有効性が改善されている場合に限り、第2の特徴ベクトルを画像識別子として出力することができる。これにより、第1の特徴ベクトルより有効性が改善していない第2の特徴ベクトルによる画像識別子の生成を抑えることができる。
なお、本実施の形態の画像識別子抽出装置500は、第1の実施の形態の画像識別子抽出装置100に対して有効性再判定手段150を追加したものであるが、第2、第3または第4の実施の形態の画像識別子抽出装置200、300または400に対して有効性再判定手段150を追加した実施の形態も考えられる。
以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、本発明の画像識別子抽出装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における画像識別子抽出装置として機能させる。
なお、本発明は、日本国にて2009年1月23日に特許出願された特願2009−12813の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
100、200、300、400、500…画像識別子抽出装置
110、111…第1の特徴量抽出手段
120、121…第2の特徴量抽出手段
130…特徴量種別決定手段
131、133、134…有効性数値化手段
132…特徴量種別情報生成手段
140、141…特徴ベクトル生成手段
150…有効性再判定手段

Claims (21)

  1. 画像から、特徴ベクトルの各次元に対応して、前記画像から抽出した物理量を量子化した量子化値である第1の特徴量を抽出する第1の特徴量抽出手段と、
    前記画像から、特徴ベクトルの各次元に対応して前記第1の特徴量とは異なる第2の特徴量を抽出する第2の特徴量抽出手段と、
    前記画像および前記抽出された第1の特徴量の少なくとも一方を解析対象として解析して、前記抽出された第1の特徴量から構成される特徴ベクトルの画像を識別する有効性の有無を判定し、有効性が有る場合には各次元に用いる特徴量の種別を前記第1の特徴量と決定し、有効性が無い場合には、第1の特徴量が所定の量子化値となる次元についてはそれに用いる特徴量の種別を前記第2の特徴量とし、残りの次元に用いる特徴量の種別を前記第1の特徴量と決定する特徴量種別決定手段と、
    前記決定した各次元に用いる特徴量の種別に従って、前記抽出された第1および第2の特徴量から前記画像の特徴ベクトルを生成する特徴ベクトル生成手段と、
    を備えることを特徴とする画像識別子抽出装置。
  2. 前記特徴量種別決定手段は、
    前記解析対象を解析して、前記抽出された第1の特徴量から構成される特徴ベクトルの有効性の度合いを有効性数値として算出し、該有効性数値をある閾値と比較することにより前記特徴ベクトルの有効性の有無を判定し、該判定結果に従って各次元に用いる特徴量の種別を決定する
    ことを特徴とする請求項1に記載の画像識別子抽出装置。
  3. 前記特徴量種別決定手段は、前記有効性数値として、前記第1の特徴量から構成される特徴ベクトルの、異なる画像を識別できる度合いである識別能力を数値化する
    ことを特徴とする請求項2に記載の画像識別子抽出装置。
  4. 前記特徴量種別決定手段は、前記有効性数値として、前記第1の特徴量から構成される特徴ベクトルの、画像への各種改変処理によって特徴量の値が変化しない度合いである頑健性を数値化する
    ことを特徴とする請求項2に記載の画像識別子抽出装置。
  5. 前記特徴量種別決定手段は、前記第1の特徴量が前記画像から抽出した物理量を量子化した量子化値の場合に、前記第1の特徴量から構成される特徴ベクトルの、所定の量子化値である次元の数を、前記有効性数値として用いる
    ことを特徴とする請求項2または3に記載の画像識別子抽出装置。
  6. 前記特徴量種別決定手段は、前記第1の特徴量が前記画像から抽出した物理量を量子化した量子化値の場合に、予め定められた各量子化値ごとの画像への各種改変処理によって量子化値が変化しない度合いである頑健性の値に基づいて、前記第1の特徴量から構成される特徴ベクトルの頑健性を求め、前記有効性数値として用いる
    ことを特徴とする請求項2または4に記載の画像識別子抽出装置。
  7. 前記特徴量種別決定手段は、前記予め与えられる各量子化ごとの頑健性の値の平均値を、前記有効性数値として用いる
    ことを特徴とする請求項6に記載の画像識別子抽出装置。
  8. 前記特徴量種別決定手段は、前記有効性数値に基づいて、第2の特徴量を用いる次元の数を決定する
    ことを特徴とする請求項4、5、6または7に記載の画像識別子抽出装置。
  9. 前記特徴量種別決定手段は、前記第2の特徴量を用いる次元の優先順位を定める優先順位テーブルを有し、前記優先順位テーブルを参照して、より上位の優先順位の次元から前記第2の特徴量を用いると決定した次元数だけ、前記第2の特徴量を用いる次元を選択することを
    特徴とする請求項8に記載の画像識別子抽出装置。
  10. 前記第1の特徴量および前記第2の特徴量は、前記画像のエッジに関する情報と、前記画像の色に関する情報である
    ことを特徴とする請求項1、2、3、4、5、6、7、8または9に記載の画像識別子抽出装置。
  11. 画像から、特徴ベクトルの各次元に対応して、前記画像から抽出した物理量を量子化した量子化値である第1の特徴量を抽出し、
    前記画像から、特徴ベクトルの各次元に対応して前記第1の特徴量とは異なる第2の特徴量を抽出し、
    前記画像および前記抽出された第1の特徴量の少なくとも一方を解析対象として解析して、前記抽出された第1の特徴量から構成される特徴ベクトルの画像を識別する有効性の有無を判定し、有効性が有る場合には各次元に用いる特徴量の種別を前記第1の特徴量と決定し、有効性が無い場合には、第1の特徴量が所定の量子化値となる次元についてはそれに用いる特徴量の種別を前記第2の特徴量とし、残りの次元に用いる特徴量の種別を前記第1の特徴量と決定し、
    前記決定した各次元に用いる特徴量の種別に従って、前記抽出された第1および第2の特徴量から前記画像の特徴ベクトルを生成する
    ことを特徴とする画像識別子抽出方法。
  12. 各次元に用いる特徴量の種別の決定では、
    前記解析対象を解析して、前記抽出された第1の特徴量から構成される特徴ベクトルの有効性の度合いを有効性数値として算出し、該有効性数値をある閾値と比較することにより前記特徴ベクトルの有効性の有無を判定し、該判定結果に従って各次元に用いる特徴量の種別を決定する
    ことを特徴とする請求項11に記載の画像識別子抽出方法。
  13. 各次元に用いる特徴量の種別の決定では、前記有効性数値として、前記第1の特徴量から構成される特徴ベクトルの、異なる画像を識別できる度合いである識別能力を数値化する
    ことを特徴とする請求項12に記載の画像識別子抽出方法。
  14. 各次元に用いる特徴量の種別の決定では、前記有効性数値として、前記第1の特徴量から構成される特徴ベクトルの、画像への各種改変処理によって特徴量の値が変化しない度合いである頑健性を数値化する
    ことを特徴とする請求項12に記載の画像識別子抽出方法。
  15. 各次元に用いる特徴量の種別の決定では、前記第1の特徴量が前記画像から抽出した物理量を量子化した量子化値の場合に、前記第1の特徴量から構成される特徴ベクトルの、所定の量子化値である次元の数を、前記有効性数値として用いる
    ことを特徴とする請求項12または13に記載の画像識別子抽出方法。
  16. 各次元に用いる特徴量の種別の決定では、前記第1の特徴量が前記画像から抽出した物理量を量子化した量子化値の場合に、予め定められた各量子化値ごとの画像への各種改変処理によって量子化値が変化しない度合いである頑健性の値に基づいて、前記第1の特徴量から構成される特徴ベクトルの頑健性を求め、前記有効性数値として用いる
    ことを特徴とする請求項12または14に記載の画像識別子抽出方法。
  17. 各次元に用いる特徴量の種別の決定では、前記予め与えられる各量子化ごとの頑健性の値の平均値を、前記有効性数値として用いる
    ことを特徴とする請求項16に記載の画像識別子抽出方法。
  18. 各次元に用いる特徴量の種別の決定では、前記有効性数値に基づいて、第2の特徴量を用いる次元の数を決定する
    ことを特徴とする請求項14、15、16または17に記載の画像識別子抽出方法。
  19. 各次元に用いる特徴量の種別の決定では、前記第2の特徴量を用いる次元の優先順位を定める優先順位テーブルを有し、前記優先順位テーブルを参照して、より上位の優先順位の次元から前記第2の特徴量を用いると決定した次元数だけ、前記第2の特徴量を用いる次元を選択することを特徴とする請求項18に記載の画像識別子抽出方法。
  20. 前記第1の特徴量および前記第2の特徴量は、前記画像のエッジに関する情報と、前記画像の色に関する情報である
    ことを特徴とする請求項11、12、13、14、15、16、17、18または19に記載の画像識別子抽出方法。
  21. コンピュータを、
    画像から、特徴ベクトルの各次元に対応して、前記画像から抽出した物理量を量子化した量子化値である第1の特徴量を抽出する第1の特徴量抽出手段と、
    前記画像から、特徴ベクトルの各次元に対応して前記第1の特徴量とは異なる第2の特徴量を抽出する第2の特徴量抽出手段と、
    前記画像および前記抽出された第1の特徴量の少なくとも一方を解析対象として解析して、前記抽出された第1の特徴量から構成される特徴ベクトルの画像を識別する有効性の有無を判定し、有効性が有る場合には各次元に用いる特徴量の種別を前記第1の特徴量と決定し、有効性が無い場合には、第1の特徴量が所定の量子化値となる次元についてはそれに用いる特徴量の種別を前記第2の特徴量とし、残りの次元に用いる特徴量の種別を前記第1の特徴量と決定する特徴量種別決定手段と、
    前記決定した各次元に用いる特徴量の種別に従って、前記抽出された第1および第2の特徴量から前記画像の特徴ベクトルを生成する特徴ベクトル生成手段と
    して機能させるためのプログラム。
JP2010547423A 2009-01-23 2010-01-14 画像識別子抽出装置 Active JP4831255B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010547423A JP4831255B2 (ja) 2009-01-23 2010-01-14 画像識別子抽出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009012813 2009-01-23
JP2009012813 2009-01-23
JP2010547423A JP4831255B2 (ja) 2009-01-23 2010-01-14 画像識別子抽出装置
PCT/JP2010/000156 WO2010084713A1 (ja) 2009-01-23 2010-01-14 画像識別子抽出装置

Publications (2)

Publication Number Publication Date
JP4831255B2 true JP4831255B2 (ja) 2011-12-07
JPWO2010084713A1 JPWO2010084713A1 (ja) 2012-07-12

Family

ID=42355772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010547423A Active JP4831255B2 (ja) 2009-01-23 2010-01-14 画像識別子抽出装置

Country Status (6)

Country Link
US (1) US8170341B2 (ja)
EP (1) EP2383697A4 (ja)
JP (1) JP4831255B2 (ja)
KR (1) KR101322524B1 (ja)
CN (1) CN102292746B (ja)
WO (1) WO2010084713A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744193B2 (en) * 2009-03-13 2014-06-03 Nec Corporation Image signature extraction device
US9015741B2 (en) 2009-04-17 2015-04-21 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
US8786785B2 (en) * 2011-04-05 2014-07-22 Microsoft Corporation Video signature
JP5822411B2 (ja) 2013-08-12 2015-11-24 株式会社アポロジャパン 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体
JP6393230B2 (ja) * 2015-04-20 2018-09-19 株式会社日立製作所 オブジェクト検出方法及び画像検索システム
JP6997656B2 (ja) * 2018-03-15 2022-01-17 ヤフー株式会社 検索装置、検索方法および検索プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099916A (ja) * 2000-09-25 2002-04-05 Olympus Optical Co Ltd パターン分類方法及びその装置、コンピュータにより読み取り可能な記憶媒体
JP2004192555A (ja) * 2002-12-13 2004-07-08 Fuji Xerox Co Ltd 情報管理方法、情報管理装置及び情報管理プログラム
JP2005100122A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2005250972A (ja) * 2004-03-05 2005-09-15 Nec Corp 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム
JP2005309535A (ja) * 2004-04-16 2005-11-04 Hitachi High-Technologies Corp 画像自動分類方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5425782B2 (ja) * 1973-03-28 1979-08-30
US5157743A (en) * 1987-10-28 1992-10-20 Canon Kabushiki Kaisha Image information coding apparatus
US5485531A (en) * 1987-12-17 1996-01-16 Fuji Electric Co., Ltd. Character-feature extraction device
US5287275A (en) * 1988-08-20 1994-02-15 Fujitsu Limited Image recognition apparatus and method for recognizing a pattern within an image
US5263097A (en) * 1991-07-24 1993-11-16 Texas Instruments Incorporated Parameter normalized features for classification procedures, systems and methods
US5436653A (en) 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5577135A (en) * 1994-03-01 1996-11-19 Apple Computer, Inc. Handwriting signal processing front-end for handwriting recognizers
US5802207A (en) * 1995-06-30 1998-09-01 Industrial Technology Research Institute System and process for constructing optimized prototypes for pattern recognition using competitive classification learning
EP1065881B1 (en) * 1998-03-05 2008-07-09 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding / decoding method, image coder, or image recording/reproducing apparatus
US7203343B2 (en) * 2001-09-21 2007-04-10 Hewlett-Packard Development Company, L.P. System and method for determining likely identity in a biometric database
JP4055886B2 (ja) 2001-11-12 2008-03-05 独立行政法人情報通信研究機構 識別処理装置およびそのコンピュータプログラム
JP4292837B2 (ja) 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
US7643684B2 (en) * 2003-07-15 2010-01-05 Samsung Electronics Co., Ltd. Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor
US7379627B2 (en) * 2003-10-20 2008-05-27 Microsoft Corporation Integrated solution to digital image similarity searching
US20060193520A1 (en) * 2005-02-28 2006-08-31 Takeshi Mita Object detection apparatus, learning apparatus, object detection system, object detection method and object detection program
US20060204107A1 (en) * 2005-03-04 2006-09-14 Lockheed Martin Corporation Object recognition system using dynamic length genetic training
JP4620516B2 (ja) 2005-04-13 2011-01-26 日本テレビ放送網株式会社 画像比較方法、画像比較システム及びプログラム
WO2007148264A1 (en) * 2006-06-20 2007-12-27 Koninklijke Philips Electronics N.V. Generating fingerprints of video signals
US7805011B2 (en) * 2006-09-13 2010-09-28 Warner Bros. Entertainment Inc. Method and apparatus for providing lossless data compression and editing media content
EP2315161A1 (en) * 2006-10-11 2011-04-27 Mitsubishi Electric Information Technology Centre Europe B.V. Image descriptor for image recognition
JP4310356B2 (ja) * 2006-11-13 2009-08-05 シャープ株式会社 画像処理方法、画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム及び記録媒体
JP4936535B2 (ja) 2007-07-05 2012-05-23 株式会社岩田レーベル 容器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099916A (ja) * 2000-09-25 2002-04-05 Olympus Optical Co Ltd パターン分類方法及びその装置、コンピュータにより読み取り可能な記憶媒体
JP2004192555A (ja) * 2002-12-13 2004-07-08 Fuji Xerox Co Ltd 情報管理方法、情報管理装置及び情報管理プログラム
JP2005100122A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2005250972A (ja) * 2004-03-05 2005-09-15 Nec Corp 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム
JP2005309535A (ja) * 2004-04-16 2005-11-04 Hitachi High-Technologies Corp 画像自動分類方法

Also Published As

Publication number Publication date
US20110280487A1 (en) 2011-11-17
CN102292746B (zh) 2014-03-19
KR20110103437A (ko) 2011-09-20
WO2010084713A1 (ja) 2010-07-29
EP2383697A4 (en) 2012-09-05
JPWO2010084713A1 (ja) 2012-07-12
US8170341B2 (en) 2012-05-01
EP2383697A1 (en) 2011-11-02
CN102292746A (zh) 2011-12-21
KR101322524B1 (ko) 2013-10-28

Similar Documents

Publication Publication Date Title
JP4831255B2 (ja) 画像識別子抽出装置
KR101319780B1 (ko) 이미지 시그니처 추출 장치
US7623712B2 (en) Image processing method and apparatus
JP4771906B2 (ja) Jpeg圧縮履歴に関して画像を分類する方法
US8411937B2 (en) Image processing apparatus, image processing method and computer-readable medium
CN108549836B (zh) 照片的翻拍检测方法、装置、设备及可读存储介质
JP4100885B2 (ja) 帳票認識装置、方法、プログラムおよび記憶媒体
Gharde et al. Robust perceptual image hashing using fuzzy color histogram
CN104661037A (zh) 压缩图像量化表篡改的检测方法和系统
JP2005190474A5 (ja)
KR100924690B1 (ko) 디지털 영상 특징 관리 시스템 및 그 방법
JPWO2010084738A1 (ja) 照合加重情報抽出装置
CN110930287A (zh) 一种图像隐写检测方法、装置及计算机设备、存储介质
Singh et al. Forensics for partially double compressed doctored JPEG images
JP4453979B2 (ja) 画像再生装置、画像再生方法、プログラム及び記録媒体
CA2992930A1 (en) Method for choosing a compression algorithm depending on the image type
Voloshynovskiy et al. Robust perceptual hashing as classification problem: decision-theoretic and practical considerations
Bansal et al. Performance evaluation of steganography tools using SVM and NPR tool
JP4659354B2 (ja) 画像処理方法および装置
Li et al. A novel fingerprinting algorithm with blind detection in DCT domain for images
Hu et al. Optimizing pixel predictors based on self-similarities for reversible data hiding
Aljarf et al. Detection System for Grey and Colour Images Based on Extracting Features of Difference Image and Renormalized Histogram.
Babu et al. Canonical Huffman Coding (CHC)-Discrete Wavelet Transform (DWT) Method for Image Steganography
Le et al. A robust fingerprint watermark-based authentication scheme in h. 264/avc video
KR101629138B1 (ko) 망점 구조 영상을 이용한 컬러 레이저 프린터 판별 방법 및 그 장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110905

R150 Certificate of patent or registration of utility model

Ref document number: 4831255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3