JP5261776B2 - 類似データ判別装置、類似データ判別方法およびプログラム - Google Patents
類似データ判別装置、類似データ判別方法およびプログラム Download PDFInfo
- Publication number
- JP5261776B2 JP5261776B2 JP2010098182A JP2010098182A JP5261776B2 JP 5261776 B2 JP5261776 B2 JP 5261776B2 JP 2010098182 A JP2010098182 A JP 2010098182A JP 2010098182 A JP2010098182 A JP 2010098182A JP 5261776 B2 JP5261776 B2 JP 5261776B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- data
- query
- feature data
- media data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、データの内容の特徴が類似している類似データ同士において、その特徴の細かな違いに基づき類似データ同士を判別する類似データ判別装置、類似データ判別方法およびプログラムに関するものである。
例えば、音楽や映像（静止画や動画を含む）等を含むメディアデータから特徴的な要素を特徴パターンとして選択し、共通する特徴パターンを有するメディアデータを類似データとして検出する信号検出方法がある（例えば、特許文献１参照）。
しかしながら、上記特許文献１に係る信号検出方法は、その同一データを特徴パターンに応じて識別しているものであり、類似データにおける細かな特徴の違いを判別することができない。
一方、メディアデータは、同じ映像素材であっても異なるテロップを付与したり、音楽や色彩の編集や加工等を変更して、複数のバージョンを類似データ間において作成する場合がある。例えば、テレビで放送されるＣＭ（ｃｏｍｍｅｒｃｉａｌ ｍｅｓｓａｇｅ）のメディアデータは、放送される時間帯や時期によって、キャンペーンを告知するテロップや、ターゲット層に応じたオブジェクトを付与して、同じ商品内容のＣＭであっても、異なるバージョンを作成する場合が多い。
このように、上記特許文献１においては、その特徴的な要素が共通する類似データを検出できたとしても、メディアデータの詳細なバージョンの違いまで判別することができない問題があった。
一方、メディアデータは、同じ映像素材であっても異なるテロップを付与したり、音楽や色彩の編集や加工等を変更して、複数のバージョンを類似データ間において作成する場合がある。例えば、テレビで放送されるＣＭ（ｃｏｍｍｅｒｃｉａｌ ｍｅｓｓａｇｅ）のメディアデータは、放送される時間帯や時期によって、キャンペーンを告知するテロップや、ターゲット層に応じたオブジェクトを付与して、同じ商品内容のＣＭであっても、異なるバージョンを作成する場合が多い。
このように、上記特許文献１においては、その特徴的な要素が共通する類似データを検出できたとしても、メディアデータの詳細なバージョンの違いまで判別することができない問題があった。
上述の課題を鑑み、本発明は、類似データにおける細かな特徴の違いを判別する類似データ判別装置、類似データ判別方法およびプログラムを提供することを目的とする。
上述の課題を鑑み、本発明に係る類似データ判別装置は、蓄積メディアデータの特徴を示す蓄積特徴データを取得する蓄積特徴データ取得部と、複数のクエリメディアデータから、それぞれ、各クエリメディアデータの特徴を示すクエリ特徴データを取得するクエリ特徴データ取得部と、複数の前記クエリ特徴データ同士を比較して、当該クエリ特徴データに含まれる複数の特徴の要素のうち、他のクエリ特徴データに含まれる特徴の要素と同一の特徴の要素を除いた差分特徴データを抽出する差分特徴抽出部と、前記蓄積特徴データと前記差分特徴データを比較して、前記差分特徴データに含まれる特徴の要素のうち、前記蓄積特徴データに含まれる特徴の要素と一致する特徴の要素の数が多いほど大きい類似度を算出する類似度計算部と、前記類似度計算部によって計算された前記類似度と予め決められた閾値とを前記クエリメディアデータ毎に比較し、比較結果に応じて前記蓄積メディアデータと前記クエリメディアデータとの同一性を判定する判定部とを備える。
また本発明は、上述の類似データ判別装置において、前記蓄積特徴データ取得部によって取得される前記蓄積特徴データは、前記蓄積メディアデータから得られた特徴量を量子化したものであり、前記クエリ特徴データ取得部によって取得される前記クエリ特徴データは、前記クエリメディアデータから得られた特徴量を量子化したものである。
また本発明は、上述の類似データ判別装置において、前記判定部は、前記類似度計算部によって計算された前記類似度が前記閾値以上である場合、前記蓄積メディアデータと前記クエリメディアデータとが同一であると判定し、前記類似度計算部によって計算された前記類似度が前記閾値未満である場合、前記蓄積メディアデータと前記クエリメディアデータとが同一でないと判定する。
また、上述の課題を鑑み、本発明に係る類似データ判別方法は、類似データ判別装置が、蓄積メディアデータの特徴を示す蓄積特徴データを取得する行程と、複数のクエリメディアデータから、それぞれ、各クエリメディアデータの特徴を示すクエリ特徴データを取得する行程と、複数の前記クエリ特徴データ同士を比較して、当該クエリ特徴データに含まれる複数の特徴の要素のうち、他のクエリ特徴データに含まれる特徴の要素と同一の特徴の要素を除いた差分特徴データを抽出する行程と、前記蓄積特徴データと前記差分特徴データを比較して、前記差分特徴データに含まれる特徴の要素のうち、前記蓄積特徴データに含まれる特徴の要素と一致する特徴の要素の数が多いほど大きい類似度を算出し、あるいは、前記蓄積特徴データに含まれる特徴の要素と一致しない特徴の要素の数が多いほど小さい類似度を算出し、もしくは、前記大きい類似度および前記小さい類似度の両方を算出する行程と、前記類似度と予め決められた閾値とを前記クエリメディアデータ毎に比較し、比較結果に応じて前記蓄積メディアデータと前記クエリメディアデータとの同一性を判定する行程と、を備える。
上述の課題を鑑み、本発明に係るプログラムは、上述の類似データ判別装置うち少なくともいずれか一つの類似データ判別装置としてコンピュータを機能させるためのプログラムである。
本発明によれば、類似データにおける細かな特徴の違いを判別することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本実施形態に係る類似データ判別装置の一例を示すブロック図である。
図１に示す通り、類似データ判別装置１００は、蓄積メディアデータ入力部１１と、蓄積特徴データ取得部１２と、クエリメディアデータ入力部１３と、クエリ特徴データ取得部１４と、差分特徴抽出部１５と、類似度計算部１６と、バージョン判定部１７と、バージョン判定結果出力部１８を含む。
この類似データ判別装置１００は、蓄積メディアデータおよびクエリメディアデータを入力し、この入力に基づき判定したバージョン判定結果を出力とする。
図１に示す通り、類似データ判別装置１００は、蓄積メディアデータ入力部１１と、蓄積特徴データ取得部１２と、クエリメディアデータ入力部１３と、クエリ特徴データ取得部１４と、差分特徴抽出部１５と、類似度計算部１６と、バージョン判定部１７と、バージョン判定結果出力部１８を含む。
この類似データ判別装置１００は、蓄積メディアデータおよびクエリメディアデータを入力し、この入力に基づき判定したバージョン判定結果を出力とする。
この蓄積メディアデータおよびクエリメディアデータは、メディアデータに含まれる特徴量が共通している類似データであって、例えば、他の装置等において類似データと判断されたデータである。
例えば、蓄積メディアデータが、そのメディアデータの内容が予めわかっているデータであって、クエリメディアデータが、その内容がわからないデータである。しかし、本発明はこれに限られず、蓄積メディアデータとクエリメディアデータに入力されるデータは、以下に説明する例と逆であってもよい。
例えば、蓄積メディアデータが、そのメディアデータの内容が予めわかっているデータであって、クエリメディアデータが、その内容がわからないデータである。しかし、本発明はこれに限られず、蓄積メディアデータとクエリメディアデータに入力されるデータは、以下に説明する例と逆であってもよい。
ここで、蓄積メディアデータとクエリメディアデータについて具体的に説明する。
この蓄積メディアデータは、例えば、新発売される商品Ｘ（例えば、携帯電話）のＣＭであって、それぞれバージョンが異なるメディアデータＡ，Ｂ，Ｃを含む。
このメディアデータＡは、例えば、商品Ｘの液晶画面が映し出される映像と音声を含むメディアデータであって、ファイル名「商品Ｘの新発売ＣＭ〜朝バージョン〜」である。
また、メディアデータＢは、メディアデータＡにテロップ「キャンペーン実施中」が編集で追加されている映像と音声を含むメディアデータであって、ファイル名「商品Ｘの新発売ＣＭ〜昼バージョン〜」である。
さらに、メディアデータＣは、メディアデータＡの映像において商品Ｘの液晶画面に表示される映像が夜景に差し替えられている映像と音声を含むメディアデータであって、ファイル名「商品Ｘの新発売ＣＭ〜夜バージョン〜」である。
この蓄積メディアデータは、例えば、新発売される商品Ｘ（例えば、携帯電話）のＣＭであって、それぞれバージョンが異なるメディアデータＡ，Ｂ，Ｃを含む。
このメディアデータＡは、例えば、商品Ｘの液晶画面が映し出される映像と音声を含むメディアデータであって、ファイル名「商品Ｘの新発売ＣＭ〜朝バージョン〜」である。
また、メディアデータＢは、メディアデータＡにテロップ「キャンペーン実施中」が編集で追加されている映像と音声を含むメディアデータであって、ファイル名「商品Ｘの新発売ＣＭ〜昼バージョン〜」である。
さらに、メディアデータＣは、メディアデータＡの映像において商品Ｘの液晶画面に表示される映像が夜景に差し替えられている映像と音声を含むメディアデータであって、ファイル名「商品Ｘの新発売ＣＭ〜夜バージョン〜」である。
また、クエリメディアデータは、例えば、その内容がわからないバージョン判定対象であって、メディアデータＡ，Ｂ，Ｃのうち少なくとも１つと類似するメディアデータａ，ｂ，ｃを含む。このメディアデータａ，ｂ，ｃについて、図２を参照して詳細に説明する。なお、図２には、クエリメディアデータａ，ｂ，ｃは、各クエリメディアデータを識別する情報であって、クエリＩＤ（Ｉｄｅｎｔｉｔｙ Ｄｏｃｕｍｅｎｔ）と示す。また、蓄積メディアデータＡ，Ｂ，Ｃは、各蓄積メディアデータを識別する情報であって、蓄積ＩＤと示す。
メディアデータａは、メディアデータＡ，Ｂ，Ｃの特徴量と共通する特徴量を有する類似データである。また、メディアデータｂは、メディアデータＡ，Ｂの特徴量と共通する特徴量を有する類似データである。メディアデータｃは、メディアデータＡ，Ｃの特徴量と共通する特徴量を有する類似データである。なお、このメディアデータａ，ｂ，ｃとしては、例えば、上述の特許文献１の方法により、共通する特徴量を有する類似データとして判定されたデータが利用可能である。
メディアデータａは、メディアデータＡ，Ｂ，Ｃの特徴量と共通する特徴量を有する類似データである。また、メディアデータｂは、メディアデータＡ，Ｂの特徴量と共通する特徴量を有する類似データである。メディアデータｃは、メディアデータＡ，Ｃの特徴量と共通する特徴量を有する類似データである。なお、このメディアデータａ，ｂ，ｃとしては、例えば、上述の特許文献１の方法により、共通する特徴量を有する類似データとして判定されたデータが利用可能である。
蓄積メディアデータ入力部１１は、このメディアデータＡ，Ｂ，Ｃを入力し、蓄積特徴データ取得部１２に出力する。
蓄積特徴データ取得部１２は、メディアデータＡ〜Ｃに基づき、それぞれに含まれる蓄積特徴データを少なくとも１つ以上、メディアデータＡ〜Ｃごとに取得する。この蓄積特徴データ取得部１２は、例えば、メディアデータＡ〜Ｃに含まれる動画像データ、音響データ、静止画像データ等のそれぞれから各メディアデータＡ〜Ｃの特徴を表わす蓄積特徴データを取得する。このメディアデータＡから取得される蓄積特徴データＦＡ、メディアデータＢから取得される蓄積特徴データＦＢ、メディアデータＣから取得される蓄積特徴データＦＣは、例えば、それぞれ以下に示す数式で表わすことができる。
蓄積特徴データ取得部１２は、メディアデータＡ〜Ｃに基づき、それぞれに含まれる蓄積特徴データを少なくとも１つ以上、メディアデータＡ〜Ｃごとに取得する。この蓄積特徴データ取得部１２は、例えば、メディアデータＡ〜Ｃに含まれる動画像データ、音響データ、静止画像データ等のそれぞれから各メディアデータＡ〜Ｃの特徴を表わす蓄積特徴データを取得する。このメディアデータＡから取得される蓄積特徴データＦＡ、メディアデータＢから取得される蓄積特徴データＦＢ、メディアデータＣから取得される蓄積特徴データＦＣは、例えば、それぞれ以下に示す数式で表わすことができる。
ただし、蓄積特徴データＦＡ，ＦＢ，ＦＣは、それぞれ、蓄積メディアデータＡ，Ｂ，Ｃについての特徴量の集合である。また、各要素ｆＡｉ（1≦ｉ≦ｏ)，ｆＢｉ（1≦ｉ≦p)，ｆＣｉ（1≦ｉ≦q)は、蓄積特徴データの特徴量（特徴の要素）であり、ベクトルで表す。また、oはＦＡの特徴量を表すベクトルの総数、pはＦＢの特徴量を表すベクトルの総数、ｑはＦＣの特徴量を表すベクトルの総数である。
クエリメディアデータ入力部１３は、メディアデータａ，ｂ，ｃを入力し、クエリ特徴データ取得部１４に出力する。
クエリ特徴データ取得部１４は、メディアデータａ〜ｃに基づき、それぞれに含まれるクエリ特徴データを、メディアデータａ〜ｃごとに取得する。このクエリ特徴データ取得部１４は、例えば、メディアデータａ〜ｃに含まれる動画像データ、音響データ、静止画像データ等のそれぞれからメディアデータａ〜ｃの特徴を表わす蓄積特徴データを取得する。このメディアデータａから取得される蓄積特徴データＦａ、メディアデータｂから取得される蓄積特徴データＦｂ、メディアデータｃから取得される蓄積特徴データＦｃは、例えば、それぞれ以下に示す数式で表わすことができる。
クエリ特徴データ取得部１４は、メディアデータａ〜ｃに基づき、それぞれに含まれるクエリ特徴データを、メディアデータａ〜ｃごとに取得する。このクエリ特徴データ取得部１４は、例えば、メディアデータａ〜ｃに含まれる動画像データ、音響データ、静止画像データ等のそれぞれからメディアデータａ〜ｃの特徴を表わす蓄積特徴データを取得する。このメディアデータａから取得される蓄積特徴データＦａ、メディアデータｂから取得される蓄積特徴データＦｂ、メディアデータｃから取得される蓄積特徴データＦｃは、例えば、それぞれ以下に示す数式で表わすことができる。
ただし、クエリ特徴データＦａ，Ｆｂ，Ｆｃは、それぞれ、クエリメディアデータａ，ｂ，ｃについての特徴量の集合である。また、各要素ｆａｉ（1≦ｉ≦ｎ），ｆｂｉ（1≦ｉ≦ｍ)，ｆｃｉ（1≦ｉ≦ｌ)は、クエリ特徴データの特徴量（特徴の要素）であり、ベクトルで表す。なお、ｎはＦａの特徴量を表すベクトルの総数、ｍはＦｂの特徴量を表すベクトルの総数、ｌはＦｃの特徴量を表すベクトルの総数である。
なお、蓄積特徴データＦＡ，ＦＢ，ＦＣおよびクエリ特徴データＦａ，Ｆｂ，Ｆｃに含まれるベクトルは、例えば、動画データから取得される特徴量であれば、縦横方向の座標、ＲＧＢのいずれかの色、輝度値、時刻を組み合わせた座標のように、複数の物理量の要素からなる。またベクトルは、音データから取得される特徴量であれば、周波数と時刻などを要素にもつベクトル、静止画であれば、縦方向横方向の空間の座標とＲＧＢ色空間の座標などの要素からなるベクトルである。ただし、ここでベクトルの要素は、離散値をとるクエリメディアデータｂ，ｃについても同様に特徴データを取得する。
ここで、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４による蓄積特徴データおよびクエリ特徴データの取得方法の一例について説明する。なお、ここでは、説明便宜のため、蓄積特徴データおよびクエリ特徴データを総称して、特徴データという。
この特徴データの取得方法は、対象となるメディアデータの種類（例えば、動画像データ、音響データ、静止画像データ等）に応じて異なり、例えば、以下に説明する３つの方法を利用可能である。
この特徴データの取得方法は、対象となるメディアデータの種類（例えば、動画像データ、音響データ、静止画像データ等）に応じて異なり、例えば、以下に説明する３つの方法を利用可能である。
＜動画像データから特徴データを取得する処理＞
例えば、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４が、動画像データから特徴データを取得する場合、次の処理により特徴データを取得することができる。
この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、動画像データからフレーム単位に低解像度画像の画素値を抽出し、得られた画素値を多次元ベクトル化して特徴ベクトルを得る。毎秒２９．９７フレーム、６４０×４８０の解像度で取得された動画像データの場合、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、毎秒１５フレームのフレームレートでフレームを取得し、再度各フレームを５×５に分割しサブ画像ごとにＲＧＢのそれぞれのカラーの輝度値の平均値を取得し、それらを並べた７５次元の特徴ベクトルとして取得する。
例えば、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４が、動画像データから特徴データを取得する場合、次の処理により特徴データを取得することができる。
この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、動画像データからフレーム単位に低解像度画像の画素値を抽出し、得られた画素値を多次元ベクトル化して特徴ベクトルを得る。毎秒２９．９７フレーム、６４０×４８０の解像度で取得された動画像データの場合、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、毎秒１５フレームのフレームレートでフレームを取得し、再度各フレームを５×５に分割しサブ画像ごとにＲＧＢのそれぞれのカラーの輝度値の平均値を取得し、それらを並べた７５次元の特徴ベクトルとして取得する。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、この特徴ベクトルの時系列から、隣接した部分も含む周辺の特徴ベクトルから導いた統計量からなる多次元ベクトルを導く。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、抽出した特徴ベクトルの時系列１５フレームごとに統計量を導き、この統計量において１５フレームの各次元ごとに時間方向に平均値を求め、中心の要素値から平均値を差し引いた値の絶対値とする。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、統計量の多次元ベクトルの時系列において、周辺の統計量と比べて値の大きい箇所を決定する。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、注目する統計量の多次元ベクトルの各要素が、注目する要素の多次元ベクトルを中心とする前後１５フレームに含まれる全ての要素の統計量のうち、上位８個以内に入っているかどうかで決定する。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、この選択された要素の箇所について、隣接した部分も含む周辺の特徴ベクトルから導いた統計量を用いて、選択された箇所の特徴ベクトルの要素を正規化した値を求める。ここでの統計量は、注目する次元について注目する要素を中心とする前後１５フレームの時間方向の平均値と標準偏差を使用し、中心の特徴ベクトルの要素値からその平均値を差し引き標準偏差で割った値を正規化値とする。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、その正規化値を量子化する。例えば、正規化値を、０．８を越える値、−０．８から０．８の間を０．２刻みで区切った値、−０．８を下回る値の１０段階に量子化する。
以上の処理により、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、時間周波数空間においてスパースかつ粗く量子化された特徴量の集合として表現される特徴データを得る。
以上の処理により、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、時間周波数空間においてスパースかつ粗く量子化された特徴量の集合として表現される特徴データを得る。
＜音響データから特徴データを取得する処理＞
音響データの場合は、次の処理により特徴データを取得することができる。
例えば、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、サンプリング単位に周波数毎のパワースペクトル値等を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得る。８０００Ｈｚにサンプリングされた音の場合、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、１０２４個のサンプルを１０ミリ杪毎にＦＦＴ（ Ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ ）により周波数のパワースペクトルを抽出し、０〜４０００Ｈｚまでの周波数のパワーを５１２次元の特徴ベクトルとして取得する。
また、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、さらに５１２次元を４つの要素ごとに平均値を取得し１２８次元とするように、平均化処理により次元を圧縮するようなこともできる。
音響データの場合は、次の処理により特徴データを取得することができる。
例えば、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、サンプリング単位に周波数毎のパワースペクトル値等を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得る。８０００Ｈｚにサンプリングされた音の場合、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、１０２４個のサンプルを１０ミリ杪毎にＦＦＴ（ Ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ ）により周波数のパワースペクトルを抽出し、０〜４０００Ｈｚまでの周波数のパワーを５１２次元の特徴ベクトルとして取得する。
また、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、さらに５１２次元を４つの要素ごとに平均値を取得し１２８次元とするように、平均化処理により次元を圧縮するようなこともできる。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、この特徴ベクトルの時系列から、隣接した部分も含む周辺の特徴ベクトルから導いた統計量からなる多次元ベクトルを導く。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、抽出した特徴ベクトルの時系列１５フレームごとに統計量を導く。
蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、統計量において、１５フレームの各次元ごとに時間方向に平均値を求め、中心の要素値から平均値を差し引いた値の絶対値とする。
蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、統計量において、１５フレームの各次元ごとに時間方向に平均値を求め、中心の要素値から平均値を差し引いた値の絶対値とする。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、統計量の多次元ベクトルの時系列において、周辺の統計量と比べて値の大きい箇所を決定する。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、注目する統計量の多次元ベクトルの各要素が、注目する要素の多次元ベクトルを中心とする前後１５フレームに含まれる全ての要素の統計量のうちの、上位８個以内に入っているかどうかで決定する。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、この選択された要素の箇所について、隣接した部分も含む周辺の特徴ベクトルから導いた統計量を用いて、選択された箇所の特徴ベクトルの要素を正規化した値を求める。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、ここでの統計量が、注目する次元について注目する要素を中心とする前後１５フレームの時間方向の平均値と標準偏差を使用し、中心の特徴ベクトルの要素値からその平均値を差し引き標準偏差で割った値を正規化値とする。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、その正規化値を量子化する。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、正規化値を、１を越える値、０から１の値、−１から０の値、−１を下回る値の４段階に量子化する。
以上の処理により、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、時間周波数空間においてスパースかつ粗く量子化された特徴の集合として表現される特徴データを得る。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、その正規化値を量子化する。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、正規化値を、１を越える値、０から１の値、−１から０の値、−１を下回る値の４段階に量子化する。
以上の処理により、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、時間周波数空間においてスパースかつ粗く量子化された特徴の集合として表現される特徴データを得る。
＜静止画像データから特徴データを取得する処理＞
静止画像データの場合は、次の処理により特徴データを取得することができる。
例えば、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、静止画像から低解像度画像の画素値等を抽出し、得られた画素値を多次元ベクトル化して特徴ベクトルを得る。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、得られた静止画像を６４×４８に分割しサブ画像ごとにＲＧＢのそれぞれのカラーの輝度値の平均値を取得し、それらを並べた９２１６次元の特徴ベクトルとして取得する。
静止画像データの場合は、次の処理により特徴データを取得することができる。
例えば、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、静止画像から低解像度画像の画素値等を抽出し、得られた画素値を多次元ベクトル化して特徴ベクトルを得る。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、得られた静止画像を６４×４８に分割しサブ画像ごとにＲＧＢのそれぞれのカラーの輝度値の平均値を取得し、それらを並べた９２１６次元の特徴ベクトルとして取得する。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、この特徴ベクトルから統計量からなる多次元ベクトルを導く。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、抽出した特徴ベクトルのそれぞれの輝度値について同色の隣接する画素を含む輝度値から統計量を導く。蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、注目の画素と隣接する画素を含む９画素のＲＧＢのうちの同色の輝度値から平均値を求め、中心の輝度値から平均値を差し引いた値の絶対値を統計量とする。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、統計量の多次元ベクトルのうち、周辺の統計量と比べて値の大きい箇所を決定する。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、注目する画素の統計量が、注目する画素や色について、その画素を中心とする１５×１５の画素のＲＧＢの全ての統計量のうちの上位８個以内に入っているかどうかで決定する。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、この選択された要素の箇所について、隣接した部分も含む周辺の画素から導いた統計量を用いて、選択された箇所の画素を正規化した値を求める。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、ここでの統計量において、注目の画素と隣接する画素を含む９画素のＲＧＢのうちの同色の輝度値から平均値と標準偏差を使用し、中心の画素からその平均値を差し引き標準偏差で割った値を正規化値とする。
次に、蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、その正規化値を量子化する。この蓄積特徴データ取得部１２およびクエリ特徴データ取得部１４は、例えば、正規化値を、１を越える値、０から１の値、−１から０の値、−１を下回る値の４段階に量子化する。
以上の処理により時間周波数空間においてスパースかつ粗く量子化された特徴の集合として表現される特徴データを得る。
以上の処理により時間周波数空間においてスパースかつ粗く量子化された特徴の集合として表現される特徴データを得る。
差分特徴抽出部１５は、クエリ特徴データ取得部１４から出力されるクエリ特徴データＦａ，Ｆｂ，Ｆｃのそれぞれについて、他のクエリ特徴データに存在する同一座標の同一特徴を削除して差分クエリ特徴データを抽出する。言い換えると、差分特徴抽出部１５は、クエリ特徴データ取得部１４から出力されるクエリ特徴データＦａ，Ｆｂ，Ｆｃ同士を比較して、一のクエリ特徴データに含まれる複数の特徴の要素のうち、他のクエリ特徴データに含まれる特徴の要素と同一の特徴の要素を除いた特徴の要素を、当該一のクエリ特徴データの差分特徴データとして抽出する。
具体的に説明すると、差分特徴抽出部１５は、クエリ特徴データＦａについて、他のクエリ特徴データＦｂ，Ｆｃと比較して、クエリ特徴データＦａおよび他のクエリ特徴データＦｂ，Ｆｃにおいて共通に存在する同一の特徴要素ｆａｉについては削除し、他のクエリ特徴データＦｂ，Ｆｃには存在しない特徴要素ｆａｉを差分クエリ特徴データとして抽出する。
数式で示すと、差分クエリ特徴データＧａは、他のクエリ特徴データＦｂ，Ｆｃに存在しないクエリ特徴データＦａの固有の特徴量であって、下の式（７）で示す。
数式で示すと、差分クエリ特徴データＧａは、他のクエリ特徴データＦｂ，Ｆｃに存在しないクエリ特徴データＦａの固有の特徴量であって、下の式（７）で示す。
また、差分特徴抽出部１５は、クエリ特徴データＦｂ，Ｆｃについて、他のクエリ特徴データＦａ，ＦｃあるいはＦａ，Ｆｂと比較して、他のクエリ特徴データＦａ，ＦｃあるいはＦａ，Ｆｂにそれぞれ共通に存在する同一の要素ｆｂｉ，ｆｃｉについては削除し、他のクエリ特徴データＦａ，ＦｃあるいはＦａ，Ｆｂには存在しない要素ｆｂｉ，ｆｃｉを差分クエリ特徴データＧｂ，Ｇｃとして抽出する。この差分クエリ特徴データＧｂ，Ｇｃを、式（８）、式（９）にそれぞれ示す。
類似度計算部１６は、蓄積特徴データＦＡ，ＦＢ，ＦＣと差分クエリ特徴データＧａ，Ｇｂ，Ｇｃとの類似度（あるいは非類似度）を計算する。つまり、類似度計算部１６は、蓄積特徴データＦＡ，ＦＢ，ＦＣと差分クエリ特徴データＧａ，Ｇｂ，Ｇｃを比較して、両者の類似の度合い、あるいは非類似の度合いを示す類似度あるいは非類似度を計算する。
具体的に説明すると、類似度計算部１６は、蓄積特徴データＦＡ，ＦＢ，ＦＣと差分クエリ特徴データＧａ，Ｇｂ，Ｇｃとの間で、それぞれ一致する特徴量ｆａｉ，ｆｂｉ，ｆｃｉの数で表わされる一致度を類似度として計算する。
具体的に説明すると、類似度計算部１６は、蓄積特徴データＦＡ，ＦＢ，ＦＣと差分クエリ特徴データＧａ，Ｇｂ，Ｇｃとの間で、それぞれ一致する特徴量ｆａｉ，ｆｂｉ，ｆｃｉの数で表わされる一致度を類似度として計算する。
例えば、類似度計算部１６は、各差分クエリ特徴データＧａ，Ｇｂ，Ｇｃにおいて、蓄積特徴データＦＡに対しての類似度を計算する場合、各差分クエリ特徴データＧａ，Ｇｂ，Ｇｃに含まれる特徴量ｆａｉ，ｆｂｉ，ｆｃｉのうち、蓄積特徴データＦＡとの特徴量ｆＡｉと一致する特徴量の数をカウントする。
この類似度計算部１６は、このカウントされた特徴量の数に応じて、各差分クエリ特徴データＧａ，Ｇｂ，Ｇｃにおける類似度ＮａＡ，ＮｂＡ，ＮｃＡを、それぞれ計算する。
なお、類似度計算部１６は、上述と同様にして、各差分クエリ特徴データＧａ，Ｇｂ，Ｇｃにおける蓄積特徴データＦＢに対する類似度ＮａＢ，ＮｂＢ，ＮｃＢを計算し、各差分クエリ特徴データＧａ，Ｇｂ，Ｇｃにおける蓄積特徴データＦＣに対する類似度ＮａＣ，ＮｂＣ，ＮｃＣを計算する。
この類似度計算部１６は、このカウントされた特徴量の数に応じて、各差分クエリ特徴データＧａ，Ｇｂ，Ｇｃにおける類似度ＮａＡ，ＮｂＡ，ＮｃＡを、それぞれ計算する。
なお、類似度計算部１６は、上述と同様にして、各差分クエリ特徴データＧａ，Ｇｂ，Ｇｃにおける蓄積特徴データＦＢに対する類似度ＮａＢ，ＮｂＢ，ＮｃＢを計算し、各差分クエリ特徴データＧａ，Ｇｂ，Ｇｃにおける蓄積特徴データＦＣに対する類似度ＮａＣ，ＮｂＣ，ＮｃＣを計算する。
なお、類似度計算部１６の類似度の計算において、任意の切片を許すことも可能である。
例えば、類似度計算部１６が、蓄積特徴データＦＡに対して差分クエリ特徴データＧａの類似度を計算する場合の一例について説明する。
下に示す通り、クエリ特徴データＦａの特徴量ｆａｉが式（１０）に示す値であって、蓄積特徴データＦＡの特徴量ｆＡｉが式（１１）に示す値とする。このクエリ特徴データＦａの特徴量ｆａｉと蓄積特徴データＦＡの特徴量ｆＡｉとを比較すると、式（１２）（１３）に示すように、切片ｋにおいて一致度の最大値を類似度とすることもできる（非一致度の場合も同様）。
例えば、類似度計算部１６が、蓄積特徴データＦＡに対して差分クエリ特徴データＧａの類似度を計算する場合の一例について説明する。
下に示す通り、クエリ特徴データＦａの特徴量ｆａｉが式（１０）に示す値であって、蓄積特徴データＦＡの特徴量ｆＡｉが式（１１）に示す値とする。このクエリ特徴データＦａの特徴量ｆａｉと蓄積特徴データＦＡの特徴量ｆＡｉとを比較すると、式（１２）（１３）に示すように、切片ｋにおいて一致度の最大値を類似度とすることもできる（非一致度の場合も同様）。
ただし、式（１３）に示すｔａｉ，ｘａｉ，ｙａｉ，ｚａｉ，ｖａｉは、クエリメディアデータaのi番目の特徴の要素ｆａｉに含まれる時刻、ｘ座標、ｙ座標、ＲＧＢのうちの色、輝度値等を示す特徴量である。
また、類似度計算部１６の類似度の計算は、式（１２）（１３）に示すように１次元の切片を考慮するものに限られず、式（１４）（１５）に示すように、切片を考慮しないものであってもよく、式（１６）（１７）に示すように、複数の次元で切片を考慮するものであってもよい。
なお、類似度の代わりに非類似度を用いても良い。この場合、類似度計算部１６は、差分クエリ特徴データＧａ，Ｇｂ，Ｇｃについて、蓄積メディアデータＡの蓄積特徴データＦＡとの非一致度を非類似度とする。非一致度は、差分クエリ特徴データＧａに含まれる特徴のうち蓄積特徴データＦＡに含まれる特徴量のいずれとも一致しない特徴量を数え上げた値である。
バージョン判定部１７は、類似度計算部１６によって計算された類似度または非類似度に基づき、各クエリメディアデータａ，ｂ，ｃと蓄積メディアデータＡ，Ｂ，Ｃとの同一性を判定し、それぞれの同一性の有無を示す判定結果を、バージョン判定結果出力部１８に出力する。つまり、バージョン判定部１７は、類似度計算部１６によって計算された類似度（または非類似度）が、予め決められている許容範囲内である場合、当該類似度で示される関係にある各クエリメディアデータａ，ｂ，ｃと蓄積メディアデータＡ，Ｂ，Ｃが、それぞれ、同一性を有し、同一のバージョンであると判定する。
具体的に説明すると、バージョン判定部１７は、蓄積メディアデータＡ，Ｂ，Ｃ毎に予め決められている閾値θＡ，θＢ，θＣと、類似度（あるいは非類似度）とを比較する。例えば、バージョン判定部１７は、類似度ＮａＡ，ＮｂＡ，ＮｃＡ（あるいは非類似度）と、蓄積メディアデータＡに対応する閾値θＡとを比較する。このバージョン判定部１７は、閾値θＡ以上である類似度ＮａＡ，ＮｂＡ，ＮｃＡに対応するクエリメディアデータａ，ｂ，ｃを、蓄積メディアデータＡと同一のバージョン（つまり、同一のメディアデータ）であると判定する。
一方、バージョン判定部１７は、閾値θＡ未満である類似度ＮａＡ，ＮｂＡ，ＮｃＡに対応するクエリメディアデータａ，ｂ，ｃを、蓄積メディアデータＡとは異なるバージョン（つまり、異なるメディアデータ）であると判定する。
なお、このバージョン判定部１７は、この閾値と類似度の判定を、クエリメディアデータごと、蓄積メディアデータごとに行い、この判定を数式で表わしたものを、式（１８）に示す。
一方、バージョン判定部１７は、閾値θＡ未満である類似度ＮａＡ，ＮｂＡ，ＮｃＡに対応するクエリメディアデータａ，ｂ，ｃを、蓄積メディアデータＡとは異なるバージョン（つまり、異なるメディアデータ）であると判定する。
なお、このバージョン判定部１７は、この閾値と類似度の判定を、クエリメディアデータごと、蓄積メディアデータごとに行い、この判定を数式で表わしたものを、式（１８）に示す。
ただし、
ｙは、クエリメディアデータの識別子を示す｛ｙ＝ａ，ｂ，ｃ，・・・｝
ｚは、蓄積メディアデータの識別子を示す｛ｚ＝Ａ，Ｂ，Ｃ，・・・｝
ｙは、クエリメディアデータの識別子を示す｛ｙ＝ａ，ｂ，ｃ，・・・｝
ｚは、蓄積メディアデータの識別子を示す｛ｚ＝Ａ，Ｂ，Ｃ，・・・｝
同様にして、バージョン判定部１７は、類似度ＮａＢ，ＮｂＢ，ＮｃＢと、蓄積メディアデータＢに対応する閾値θＢとを比較し、閾値θＢ以上である類似度ＮａＢ，ＮｂＢ，ＮｃＢに対応するクエリメディアデータａ，ｂ，ｃを、蓄積メディアデータＢと同一のバージョンであると判定する。また、バージョン判定部１７は、類似度ＮａＣ，ＮｂＣ，ＮｃＣと、蓄積メディアデータＣに対応する閾値θＣとを比較し、閾値θＣ以上である類似度ＮａＣ，ＮｂＣ，ＮｃＣに対応するクエリメディアデータａ，ｂ，ｃを、蓄積メディアデータＣと同一のバージョンであると判定する。
一方、バージョン判定部１７は、閾値θＢ未満である類似度ＮａＢ，ＮｂＢ，ＮｃＢに対応するクエリメディアデータａ，ｂ，ｃを蓄積メディアデータＢとは異なるバージョンであると判定し、閾値θＣ未満である類似度ＮａＣ，ＮｂＣ，ＮｃＣに対応するクエリメディアデータａ，ｂ，ｃを蓄積メディアデータＣとは異なるバージョンであると判定する。
一方、バージョン判定部１７は、閾値θＢ未満である類似度ＮａＢ，ＮｂＢ，ＮｃＢに対応するクエリメディアデータａ，ｂ，ｃを蓄積メディアデータＢとは異なるバージョンであると判定し、閾値θＣ未満である類似度ＮａＣ，ＮｂＣ，ＮｃＣに対応するクエリメディアデータａ，ｂ，ｃを蓄積メディアデータＣとは異なるバージョンであると判定する。
バージョン判定結果出力部１８は、バージョン判定部１７によって判定された判定結果を出力する。
次に、図３を参照して、本実施形態に係る類似データ判定方法の一例について説明する。図３は、本実施形態に係る類似データ判定方法の一例を示すフローチャートである。
図３に示す通り、類似データ判別装置１００は、少なくとも一つの蓄積メディアデータの入力を待ち（ステップＳＴ１）、蓄積メディアデータ入力部１１が蓄積メディアデータＡ，Ｂ，Ｃを入力する。すると、蓄積特徴データ取得部１２が、この蓄積メディアデータＡ，Ｂ，Ｃから蓄積特徴データＦＡ，ＦＢ，ＦＣを取得し（ステップＳＴ２）、類似度計算部１６に出力する。そして、類似データ判別装置１００は、類似度計算部１６およびバージョン判定部１７におけるバージョン判定処理の待ち状態となる（ステップＳＴ３）。
図３に示す通り、類似データ判別装置１００は、少なくとも一つの蓄積メディアデータの入力を待ち（ステップＳＴ１）、蓄積メディアデータ入力部１１が蓄積メディアデータＡ，Ｂ，Ｃを入力する。すると、蓄積特徴データ取得部１２が、この蓄積メディアデータＡ，Ｂ，Ｃから蓄積特徴データＦＡ，ＦＢ，ＦＣを取得し（ステップＳＴ２）、類似度計算部１６に出力する。そして、類似データ判別装置１００は、類似度計算部１６およびバージョン判定部１７におけるバージョン判定処理の待ち状態となる（ステップＳＴ３）。
一方、クエリメディアデータ入力部１３は、クエリメディアデータａ，ｂ，ｃを入力すると、クエリ特徴データ取得部１４に出力する。このクエリ特徴データ取得部１４は、このクエリメディアデータａ，ｂ，ｃからクエリ特徴データＦａ，Ｆｂ，Ｆｃを取得する（ステップＳＴ４）。
そして、差分特徴抽出部１５は、例えば、クエリ特徴データ取得部１４から出力されるクエリ特徴データＦａについて、他のクエリ特徴データＦｂ，Ｆｃにも存在する同一座標の同一の特徴要素を削除して、他のクエリ特徴データＦｂ，Ｆｃには含まれていないクエリ特徴データＦａにだけ含まれる特徴要素だけを抽出した差分クエリ特徴データＧａを、類似度計算部１６に出力する（ステップＳＴ５）。
次いで、類似度計算部１６は、各差分クエリ特徴データＧａと、例えば、蓄積特徴データＦＡを比較して、一致する特徴量の数をカウントする。
これにより、類似度計算部１６は、各差分クエリ特徴データＧａにおける蓄積特徴データＦＡに対する類似度ＮａＡを計算する（ステップＳＴ６）。
これにより、類似度計算部１６は、各差分クエリ特徴データＧａにおける蓄積特徴データＦＡに対する類似度ＮａＡを計算する（ステップＳＴ６）。
そして、バージョン判定部１７は、類似度計算部１６によって計算された類似度ＮａＡに基づき、各クエリメディアデータａが、蓄積メディアデータＡと同一のバージョンかどうかを判定する（ステップＳＴ７）。
このバージョン判定部１７は、類似度ＮａＡが閾値θＡ以上となった場合、クエリメディアデータａと蓄積メディアデータＡとが同一のバージョンであると判断し、この判断結果を、バージョン判定結果出力部１８に出力する。
このバージョン判定部１７は、類似度ＮａＡが閾値θＡ以上となった場合、クエリメディアデータａと蓄積メディアデータＡとが同一のバージョンであると判断し、この判断結果を、バージョン判定結果出力部１８に出力する。
次いで、バージョン判定部１７は、クエリメディアデータａ，ｂ，ｃの全てにおいて、蓄積メディアデータＡ，Ｂ，Ｃの全てとのバージョン判定が行われたか否かを判断し（ステップＳＴ８）、全ての対応するクエリメディアデータａ，ｂ，ｃと蓄積メディアデータＡ，Ｂ，Ｃとの判定が行われていない場合（ステップＳＴ８−Ｎｏ）、ステップＳＴ３に戻って、全ての対応するクエリメディアデータａ，ｂ，ｃと蓄積メディアデータＡ，Ｂ，Ｃについてバージョン判定処理が行われる。なお、この対応するクエリメディアデータａ，ｂ，ｃと蓄積メディアデータＡ，Ｂ，Ｃの関係は、図２に示すように、類似データであると予め判断されている対応関係をいう。
そして、蓄積メディアデータ入力部１１が、異なる蓄積メディアデータを入力した場合（ステップＳＴ９−Ｎｏ）、ステップＳＴ１に戻って、同様の処理を実行する。
一方、他の蓄積メディアデータの入力がない場合、処理を終了する。
一方、他の蓄積メディアデータの入力がない場合、処理を終了する。
上述の通り、本実施形態に係る類似データ判別装置１００は、類似する蓄積メディアデータＡ，Ｂ，Ｃのうち少なくとも１つと類似すると予め判断されているクエリメディアデータａ，ｂ，ｃを入力する。
そして、類似データ判別装置１００は、互いに類似するクエリメディアデータａ，ｂ，ｃにおいて、共通する特徴要素を削除して、各クエリメディアデータａ，ｂ，ｃの特徴をより表わす特徴要素だけを抽出して、差分クエリ特徴データＧａ，Ｇｂ，Ｇｃを算出する。この類似データ判別装置１００は、この差分クエリ特徴データＧａ，Ｇｂ，Ｇｃと蓄積メディアデータの蓄積特徴データＦＡ，ＦＢ，ＦＣとに基づき、互いの類似度を判断することで、バージョンを判定する。
このように、互いに類似するクエリメディアデータａ，ｂ，ｃから差分クエリ特徴データＧａ，Ｇｂ，Ｇｃを算出した後、この差分クエリ特徴データＧａ，Ｇｂ，Ｇｃに基づき類似度を判断することにより、互いに類似するクエリメディアデータａ，ｂ，ｃにおけるより詳細なメディアデータの違いを判断することができる。
従って、例えば、さまざまな商品のＣＭのメディアデータや他のメディアデータを含む映像から、商品Ｘのメディアデータを検索した場合、この検索した商品Ｘのメディアデータのうち、細かなバージョンの違いを判別することができる。
そして、類似データ判別装置１００は、互いに類似するクエリメディアデータａ，ｂ，ｃにおいて、共通する特徴要素を削除して、各クエリメディアデータａ，ｂ，ｃの特徴をより表わす特徴要素だけを抽出して、差分クエリ特徴データＧａ，Ｇｂ，Ｇｃを算出する。この類似データ判別装置１００は、この差分クエリ特徴データＧａ，Ｇｂ，Ｇｃと蓄積メディアデータの蓄積特徴データＦＡ，ＦＢ，ＦＣとに基づき、互いの類似度を判断することで、バージョンを判定する。
このように、互いに類似するクエリメディアデータａ，ｂ，ｃから差分クエリ特徴データＧａ，Ｇｂ，Ｇｃを算出した後、この差分クエリ特徴データＧａ，Ｇｂ，Ｇｃに基づき類似度を判断することにより、互いに類似するクエリメディアデータａ，ｂ，ｃにおけるより詳細なメディアデータの違いを判断することができる。
従って、例えば、さまざまな商品のＣＭのメディアデータや他のメディアデータを含む映像から、商品Ｘのメディアデータを検索した場合、この検索した商品Ｘのメディアデータのうち、細かなバージョンの違いを判別することができる。
ここで、上述の類似データ判別装置１００によりバージョン処理を行った場合の実験結果の一例について説明する。
この実験では、４６時間分のメディアデータにおいて、バージョンが異なり、かつ、類似する２７種類の蓄積メディアデータ（ＣＭ素材）と、この２７種類の蓄積メディアデータと類似すると判断されたクエリメディアデータとを用いて、本実施形態に係る類似データ判別装置１００によるバージョン判定を行った。また、比較対象として、本実施形態に係る類似データ判別装置１００における差分特徴抽出部１５を用いない比較例によるバージョン判定も行った。
この実験により、図４に示すような結果を得た。この結果は、適合率が１００％となるような閾値θを設定した場合の結果である。この結果からわかるとおり、本実施形態に係る類似データ判別装置１００のように、差分特徴抽出部１５を備えることによって、その再現率が向上することが確認された。
この実験では、４６時間分のメディアデータにおいて、バージョンが異なり、かつ、類似する２７種類の蓄積メディアデータ（ＣＭ素材）と、この２７種類の蓄積メディアデータと類似すると判断されたクエリメディアデータとを用いて、本実施形態に係る類似データ判別装置１００によるバージョン判定を行った。また、比較対象として、本実施形態に係る類似データ判別装置１００における差分特徴抽出部１５を用いない比較例によるバージョン判定も行った。
この実験により、図４に示すような結果を得た。この結果は、適合率が１００％となるような閾値θを設定した場合の結果である。この結果からわかるとおり、本実施形態に係る類似データ判別装置１００のように、差分特徴抽出部１５を備えることによって、その再現率が向上することが確認された。
また、本発明は上記構成に限られず、例えば、以下のような構成を有するものであってもよい。
例えば、差分特徴抽出部１５は、差分クエリ特徴データを抽出することに加えて、各クエリ特徴データに対応付けられている属性情報に基づき、各クエリ特徴データの差分を抽出するものであってもよい。
この属性情報とは、クエリ特徴データのクエリメディアデータに付与されている属性情報であって、例えば、クエリメディアデータのファイル名や、放送時期や放送時間帯等である。
また、類似度計算部１６は、この属性情報に基づき、クエリメディアデータと蓄積メディアデータの類似度の程度を判断するものであってもよい。
例えば、差分特徴抽出部１５は、差分クエリ特徴データを抽出することに加えて、各クエリ特徴データに対応付けられている属性情報に基づき、各クエリ特徴データの差分を抽出するものであってもよい。
この属性情報とは、クエリ特徴データのクエリメディアデータに付与されている属性情報であって、例えば、クエリメディアデータのファイル名や、放送時期や放送時間帯等である。
また、類似度計算部１６は、この属性情報に基づき、クエリメディアデータと蓄積メディアデータの類似度の程度を判断するものであってもよい。
具体例を用いて以下に詳細に説明する。
例えば、クエリメディアデータａには、ａｍ７：００に放送されたことを示す属性情報が付与されており、クエリメディアデータｂには、ｐｍ２：００に放送されたことを示す属性情報が付与されているとする。また、蓄積メディアデータＡは、ファイル名「商品Ｘの新発売ＣＭ〜朝バージョン〜」であって、放送時間帯がａｍ６：００〜ａｍ１１：００の時間帯であることを示す属性情報が付与されている。蓄積メディアデータＡは、ファイル名「商品Ｘの新発売ＣＭ〜昼バージョン〜」であって、放送時間帯がａｍ１１：００〜ｐｍ３：００の時間帯であることを示す属性情報が付与されているとする。
さらに、類似度計算部１６は、クエリメディアデータａ，ｂが、それぞれ、メディアデータＡ，Ｂの両方と、同一のバージョンであると判断したとする。
例えば、クエリメディアデータａには、ａｍ７：００に放送されたことを示す属性情報が付与されており、クエリメディアデータｂには、ｐｍ２：００に放送されたことを示す属性情報が付与されているとする。また、蓄積メディアデータＡは、ファイル名「商品Ｘの新発売ＣＭ〜朝バージョン〜」であって、放送時間帯がａｍ６：００〜ａｍ１１：００の時間帯であることを示す属性情報が付与されている。蓄積メディアデータＡは、ファイル名「商品Ｘの新発売ＣＭ〜昼バージョン〜」であって、放送時間帯がａｍ１１：００〜ｐｍ３：００の時間帯であることを示す属性情報が付与されているとする。
さらに、類似度計算部１６は、クエリメディアデータａ，ｂが、それぞれ、メディアデータＡ，Ｂの両方と、同一のバージョンであると判断したとする。
この場合、バージョン判定部１７は、蓄積メディアデータＡ，Ｂの属性情報およびクエリメディアデータａ，ｂの属性情報に基づき、クエリメディアデータａ，ｂが、メディアデータＡ，Ｂのうちのいずれか一方であるかを判定する。
つまり、バージョン判定部１７は、蓄積メディアデータＡ，Ｂの属性情報として、放送時間帯を得て、この蓄積メディアデータＡ，Ｂの属性情報である放送時間帯と、クエリメディアデータａ，ｂが放送された時間とを比較して、クエリメディアデータａ，ｂが放送された時間帯に対応する蓄積メディアデータＡ，Ｂが、クエリメディアデータと同一のバージョンであると判定する。
つまり、バージョン判定部１７は、蓄積メディアデータＡ，Ｂの属性情報として、放送時間帯を得て、この蓄積メディアデータＡ，Ｂの属性情報である放送時間帯と、クエリメディアデータａ，ｂが放送された時間とを比較して、クエリメディアデータａ，ｂが放送された時間帯に対応する蓄積メディアデータＡ，Ｂが、クエリメディアデータと同一のバージョンであると判定する。
これにより、類似データ判別装置１００は、類似度によるバージョン判定では、複数の蓄積メディアデータのバージョンと同一であると判断された場合であっても、属性情報を用いることで、判定結果をさらに詳細に分類することができる。
なお、上述した実施形態において、類似データ判別装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、安定的にプロジェクタから放たれる画像あるいは映像を安定的に投影するように制御してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１ プロジェクタ、２ スクリーン、３ カメラ、４ 光学投影安定化装置、５ センサ、４１ 制御点推定部、４２ 平面射影制御部、４３ 平面射影変換式記憶部、４４ 事前校正部、４５ 画像入力部
Claims (6)
- 蓄積メディアデータの特徴を示す蓄積特徴データを取得する蓄積特徴データ取得部と、
複数のクエリメディアデータから、それぞれ、各クエリメディアデータの特徴を示すクエリ特徴データを取得するクエリ特徴データ取得部と、
複数の前記クエリ特徴データ同士を比較して、当該クエリ特徴データに含まれる複数の特徴の要素のうち、他のクエリ特徴データに含まれる特徴の要素と同一の特徴の要素を除いた差分特徴データを抽出する差分特徴抽出部と、
前記蓄積特徴データと前記差分特徴データを比較して、前記差分特徴データに含まれる特徴の要素のうち、前記蓄積特徴データに含まれる特徴の要素と一致する特徴の要素の数が多いほど大きい類似度を算出する類似度計算部と、
前記類似度計算部によって計算された前記類似度と予め決められた閾値とを前記クエリメディアデータ毎に比較し、比較結果に応じて前記蓄積メディアデータと前記クエリメディアデータとの同一性を判定する判定部と
を備えることを特徴とする類似データ判別装置。 - 前記蓄積特徴データ取得部によって取得される前記蓄積特徴データは、前記蓄積メディアデータから得られた特徴量を量子化したものであり、
前記クエリ特徴データ取得部によって取得される前記クエリ特徴データは、前記クエリメディアデータから得られた特徴量を量子化したものであることを特徴とする請求項１に記載の類似データ判別装置。 - 前記判定部は、
前記類似度計算部によって計算された前記類似度が前記閾値以上である場合、前記蓄積メディアデータと前記クエリメディアデータとが同一であると判定し、前記類似度計算部によって計算された前記類似度が前記閾値未満である場合、前記蓄積メディアデータと前記クエリメディアデータとが同一でないと判定することを特徴とする請求項１あるいは２に記載の類似データ判別装置。 - 蓄積メディアデータの特徴を示す蓄積特徴データを取得する蓄積特徴データ取得部と、
複数のクエリメディアデータから、それぞれ、各クエリメディアデータの特徴を示すクエリ特徴データを取得するクエリ特徴データ取得部と、
複数の前記クエリ特徴データ同士を比較して、当該クエリ特徴データに含まれる複数の特徴の要素のうち、他のクエリ特徴データに含まれる特徴の要素と同一の特徴の要素を除いた差分特徴データを抽出する差分特徴抽出部と、
前記蓄積特徴データと前記差分特徴データを比較して、前記蓄積特徴データに含まれる特徴の要素と一致しない特徴の要素の数が多いほど大きい非類似度を算出する類似度計算部と、
前記類似度計算部によって計算された前記非類似度と予め決められた閾値とを前記クエリメディアデータ毎に比較し、比較結果に応じて前記蓄積メディアデータと前記クエリメディアデータとの同一性を判定する判定部と
を備えることを特徴とする類似データ判別装置。 - 類似データ判別装置が、
蓄積メディアデータの特徴を示す蓄積特徴データを取得する行程と、
複数のクエリメディアデータから、それぞれ、各クエリメディアデータの特徴を示すクエリ特徴データを取得する行程と、
複数の前記クエリ特徴データ同士を比較して、当該クエリ特徴データに含まれる複数の特徴の要素のうち、他のクエリ特徴データに含まれる特徴の要素と同一の特徴の要素を除いた差分特徴データを抽出する行程と、
前記蓄積特徴データと前記差分特徴データを比較して、前記差分特徴データに含まれる特徴の要素のうち、前記蓄積特徴データに含まれる特徴の要素と一致する特徴の要素の数が多いほど大きい類似度を算出する行程と、
前記類似度と予め決められた閾値とを前記クエリメディアデータ毎に比較し、比較結果に応じて前記蓄積メディアデータと前記クエリメディアデータとの同一性を判定する行程と、
を備えることを特徴とする類似データ判別方法。 - 請求項１から請求項４のいずれか一項に記載の類似データ判別装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010098182A JP5261776B2 (ja) | 2010-04-21 | 2010-04-21 | 類似データ判別装置、類似データ判別方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010098182A JP5261776B2 (ja) | 2010-04-21 | 2010-04-21 | 類似データ判別装置、類似データ判別方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011227775A JP2011227775A (ja) | 2011-11-10 |
| JP5261776B2 true JP5261776B2 (ja) | 2013-08-14 |
Family
ID=45043030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010098182A Active JP5261776B2 (ja) | 2010-04-21 | 2010-04-21 | 類似データ判別装置、類似データ判別方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5261776B2 (ja) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09101970A (ja) * | 1995-10-06 | 1997-04-15 | Omron Corp | 画像検索方法および画像検索装置 |
| JP4074366B2 (ja) * | 1998-02-24 | 2008-04-09 | コニカミノルタビジネステクノロジーズ株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 |
| JP2001005836A (ja) * | 1999-04-23 | 2001-01-12 | Oki Electric Ind Co Ltd | アイリス登録システム |
| JP4363792B2 (ja) * | 2001-03-23 | 2009-11-11 | 富士通株式会社 | 情報検索システムおよび方法 |
| JP2005025511A (ja) * | 2003-07-02 | 2005-01-27 | Fujitsu Ltd | 画像処理装置 |
| JP4297345B2 (ja) * | 2004-01-14 | 2009-07-15 | Ｋｄｄｉ株式会社 | マスメイル検出方式およびメイルサーバ |
| JP4474577B2 (ja) * | 2004-04-19 | 2010-06-09 | 株式会社国際電気通信基礎技術研究所 | 体験マッピング装置 |
| CN1898720B (zh) * | 2004-07-09 | 2012-01-25 | 日本电信电话株式会社 | 音响信号检测系统、音响信号检测服务器、影像信号搜索装置、影像信号搜索方法、影像信号搜索程序与记录介质、信号搜索装置、信号搜索方法、及信号搜索程序与记录介质 |
| JP2006221446A (ja) * | 2005-02-10 | 2006-08-24 | Mitsubishi Electric Corp | 画像検索装置 |
| JP4224095B2 (ja) * | 2006-09-28 | 2009-02-12 | 株式会社東芝 | 情報処理装置、情報処理プログラムおよび情報処理システム |
| JP5061870B2 (ja) * | 2006-12-06 | 2012-10-31 | 幸生 陳 | コンテンツ検索システム、コンテンツ検索方法及びコンテンツ検索プログラム |
-
2010
- 2010-04-21 JP JP2010098182A patent/JP5261776B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011227775A (ja) | 2011-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11132555B2 (en) | Video detection method, server and storage medium | |
| CN107534796B (zh) | 视频处理系统和数字视频分发系统 | |
| US9596520B2 (en) | Method and system for pushing information to a client | |
| CN104519401B (zh) | 视频分割点获得方法及设备 | |
| CN104994426B (zh) | 节目视频识别方法及系统 | |
| US8953884B2 (en) | Detecting objects in images using color histograms | |
| EP3147817A1 (en) | Method and apparatus for video and image match searching | |
| US9418297B2 (en) | Detecting video copies | |
| US8891813B2 (en) | Media fingerprints that reliably correspond to media content with projection of moment invariants | |
| US20070195344A1 (en) | System, apparatus, method, program and recording medium for processing image | |
| CN108063914B (zh) | 监控视频文件生成、播放方法、装置及终端设备 | |
| US8942469B2 (en) | Method for classification of videos | |
| US9977823B2 (en) | Content control method, content control apparatus, and program | |
| JPWO2010084739A1 (ja) | 映像識別子抽出装置 | |
| US11049256B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| KR101968921B1 (ko) | 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법 | |
| KR20140045897A (ko) | 시각적 이미지 매칭을 기반으로 한 미디어 스트림 식별 장치 및 방법 | |
| US20190311744A1 (en) | Comparing frame data to generate a textless version of a multimedia production | |
| CN110659604A (zh) | 视频检测方法、装置、服务器及存储介质 | |
| US8755605B2 (en) | System and method for compact descriptor for visual search | |
| JP5261776B2 (ja) | 類似データ判別装置、類似データ判別方法およびプログラム | |
| CN104219423A (zh) | 一种信息处理方法和装置 | |
| GB2552969A (en) | Image processing system | |
| CN113191210A (zh) | 一种图像处理方法、装置及设备 | |
| Raju et al. | Video copy detection in distributed environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130409 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5261776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |