JP5458815B2 - マルチメディア検索システム - Google Patents
マルチメディア検索システム Download PDFInfo
- Publication number
- JP5458815B2 JP5458815B2 JP2009258166A JP2009258166A JP5458815B2 JP 5458815 B2 JP5458815 B2 JP 5458815B2 JP 2009258166 A JP2009258166 A JP 2009258166A JP 2009258166 A JP2009258166 A JP 2009258166A JP 5458815 B2 JP5458815 B2 JP 5458815B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- matrix
- media
- feature vector
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 181
- 239000011159 matrix material Substances 0.000 claims description 133
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 11
- 238000000354 decomposition reaction Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001169121 Gabriella Species 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
画像と、その画像に関連する情報を示す画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、標本データのいずれに該当するかを検索するものであって、
標本データの画像の局所領域の画像特徴量から、当該画像の画像特徴量ベクトルを生成する画像特徴量ベクトル生成手段と、
標本データのメディアデータから特徴量を抽出し、メディア特徴量ベクトルを生成するメディア特徴量ベクトル生成手段と、
複数の標本データに関して、画像特徴量ベクトルとメディア特徴量ベクトルとを結合した結合特徴量ベクトルを生成するとともに、これらの結合特徴量ベクトルを、結合特徴量ベクトルの次元数よりも少ない次元数の部分空間に写像することにより、標本データセットを複数のクラスタに分類するクラスタリング手段と、
未知の画像が入力された場合に、この画像の画像特徴量ベクトルを生成し、当該画像特徴量ベクトルを部分空間に写像することにより、画像特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、
クラスタに分類されるメディアデータの中で、そのクラスタを代表するメディアデータを抽出して、検索結果として出力する検索結果出力手段と、を備え、
クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、
クラスタ算出手段は、未知の画像の画像特徴量ベクトルを、クラスタリング手段によって分解された基底行列における画像特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、クラスタリング手段により分解された重み行列の中から抽出するものであり、
検索結果出力手段は、クラスタ算出手段により抽出された重み行列の行列要素に対応する、メディア特徴量ベクトルの基底ベクトルの値が最大のメディアデータを、そのクラスタを代表するメディアデータとして抽出することを特徴とする。
標本データの画像の局所領域の画像特徴量から、当該画像の画像特徴量ベクトルを生成する画像特徴量ベクトル生成手段と、
標本データのメディアデータから特徴量を抽出し、メディア特徴量ベクトルを生成するメディア特徴量ベクトル生成手段と、
複数の標本データに関して、画像特徴量ベクトルとメディア特徴量ベクトルとを結合した結合特徴量ベクトルを生成するとともに、これらの結合特徴量ベクトルを、結合特徴量ベクトルの次元数よりも少ない次元数の部分空間に写像することにより、標本データセットを複数のクラスタに分類するクラスタリング手段と、
未知のメディアデータが入力された場合に、このメディアデータのメディア特徴量ベクトルを生成し、当該メディア特徴量ベクトルを部分空間に写像することにより、メディア特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、
クラスタ算出手段により算出されたクラスタに分類される画像の中で、そのクラスタを代表する画像を抽出して、検索結果として出力する検索結果出力手段と、を備え、
クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、
クラスタ算出手段は、未知のメディアデータのメディア特徴量ベクトルを、クラスタリング手段によって分解された基底行列におけるメディア特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、クラスタリング手段により分解された重み行列の中から抽出するものであり、
検索結果出力手段は、クラスタ算出手段により抽出された重み行列の行列要素に対応する画像特徴量ベクトルの基底ベクトルに対して、最も類似した画像特徴量ベクトルを有する画像を、そのクラスタを代表する画像として抽出することを特徴とする。これにより、メディアデータを検索キーとして、そのメディアデータに相応しいと考えられる画像を検索結果として出力することが可能になる。
2…検索部
20,70…画像用特徴変換部
30,80…メディア用特徴変換部
40…結合部
50,90…基底分解部
100…検出部
Claims (4)
- 画像と、その画像に関連する情報を示す画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、前記標本データのいずれに類似するかを検索するマルチメディア検索システムであって、
前記標本データの画像の局所領域の画像特徴量から、当該画像の画像特徴量ベクトルを生成する画像特徴量ベクトル生成手段と、
前記標本データのメディアデータから特徴量を抽出し、メディア特徴量ベクトルを生成するメディア特徴量ベクトル生成手段と、
複数の標本データに関して、画像特徴量ベクトルとメディア特徴量ベクトルとを結合した結合特徴量ベクトルを生成するとともに、これらの結合特徴量ベクトルを、結合特徴量ベクトルの次元数よりも少ない次元数の部分空間に写像することにより、前記標本データセットを複数のクラスタに分類するクラスタリング手段と、
未知の画像が入力された場合に、この画像の画像特徴量ベクトルを生成し、当該画像特徴量ベクトルを前記部分空間に写像することにより、前記画像特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、
前記クラスタに分類されるメディアデータの中で、そのクラスタを代表するメディアデータを抽出して、検索結果として出力する検索結果出力手段と、を備え、
前記クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、前記基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、
前記クラスタ算出手段は、前記未知の画像の画像特徴量ベクトルを、前記クラスタリング手段によって分解された基底行列における画像特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、前記クラスタリング手段により分解された重み行列の中から抽出するものであり、
前記検索結果出力手段は、前記クラスタ算出手段により抽出された重み行列の行列要素に対応する、メディア特徴量ベクトルの基底ベクトルの値が最大のメディアデータを、そのクラスタを代表するメディアデータとして抽出することを特徴とするマルチメディア検索システム。 - 画像と、その画像に関連する情報を示す画像以外のメディアデータからなる標本データを複数まとめた標本データセットに基づき、未知の画像あるいは画像以外のメディアデータが入力された場合に、前記標本データのいずれに類似するかを検索するマルチメディア検索システムであって、
前記標本データの画像の局所領域の画像特徴量から、当該画像の画像特徴量ベクトルを生成する画像特徴量ベクトル生成手段と、
前記標本データのメディアデータから特徴量を抽出し、メディア特徴量ベクトルを生成するメディア特徴量ベクトル生成手段と、
複数の標本データに関して、画像特徴量ベクトルとメディア特徴量ベクトルとを結合した結合特徴量ベクトルを生成するとともに、これらの結合特徴量ベクトルを、結合特徴量ベクトルの次元数よりも少ない次元数の部分空間に写像することにより、前記標本データセットを複数のクラスタに分類するクラスタリング手段と、
未知のメディアデータが入力された場合に、このメディアデータのメディア特徴量ベクトルを生成し、当該メディア特徴量ベクトルを前記部分空間に写像することにより、前記メディア特徴量ベクトルが分類されるべきクラスタを算出するクラスタ算出手段と、
前記クラスタに分類される画像の中で、そのクラスタを代表する画像を抽出して、検索結果として出力する検索結果出力手段と、を備え、
前記クラスタリング手段は、複数の標本データに関する結合特徴量ベクトルをデータ行列として、このデータ行列を、部分空間を定める基底ベクトルからなる基底行列と、前記基底ベクトルにより定められる部分空間に写像するための各基底ベクトルと結合される重みデータをまとめた重み行列とに分解するものであり、
前記クラスタ算出手段は、前記未知のメディアデータのメディア特徴量ベクトルを、前記クラスタリング手段によって分解された基底行列におけるメディア特徴量ベクトルの基底ベクトルのみからなる部分基底行列を用いて、当該部分基底行列による部分空間に写像するための重み行列を算出し、当該重み行列に最も近い行列要素を、前記クラスタリング手段により分解された重み行列の中から抽出するものであり、
前記検索結果出力手段は、前記クラスタ算出手段により抽出された重み行列の行列要素に対応する画像特徴量ベクトルの基底ベクトルに対して、最も類似した画像特徴量ベクトルを有する画像を、そのクラスタを代表する画像として抽出することを特徴とするマルチメディア検索システム。 - 前記メディアデータは、1つ以上の単語から構成される文章、位置情報、時刻情報の中から一つ以上を用いて構成されたデータであることを特徴とする請求項1又は2に記載のマルチメディア検索システム。
- 前記標本データは、インターネットを介して収集することを特徴とする請求項1乃至3のいずれかに記載のマルチメディア検索システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009258166A JP5458815B2 (ja) | 2009-11-11 | 2009-11-11 | マルチメディア検索システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009258166A JP5458815B2 (ja) | 2009-11-11 | 2009-11-11 | マルチメディア検索システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011103082A JP2011103082A (ja) | 2011-05-26 |
JP5458815B2 true JP5458815B2 (ja) | 2014-04-02 |
Family
ID=44193386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009258166A Active JP5458815B2 (ja) | 2009-11-11 | 2009-11-11 | マルチメディア検索システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5458815B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103119606B (zh) * | 2011-07-07 | 2016-01-20 | 华为技术有限公司 | 一种大规模图像数据的聚类方法及装置 |
JP4976578B1 (ja) | 2011-09-16 | 2012-07-18 | 楽天株式会社 | 画像検索装置およびプログラム |
CN102495712B (zh) * | 2011-12-15 | 2014-02-05 | 王飞 | 一种基于多个显示终端的地图拼接显示方法 |
JP5701787B2 (ja) * | 2012-02-17 | 2015-04-15 | 日本電信電話株式会社 | データ分類予測装置、方法、及びプログラム |
JP5577372B2 (ja) | 2012-03-29 | 2014-08-20 | 楽天株式会社 | 画像検索装置、画像検索方法、プログラムおよびコンピュータ読取り可能な記憶媒体 |
JP5577371B2 (ja) | 2012-03-29 | 2014-08-20 | 楽天株式会社 | 画像検索装置、画像検索方法およびプログラム |
US9384553B2 (en) * | 2013-04-03 | 2016-07-05 | Mitsubishi Electric Research Laboratories, Inc. | Method for factorizing images of a scene into basis images |
CN103377025A (zh) * | 2013-05-30 | 2013-10-30 | 光宝电子(广州)有限公司 | 一种多媒体界面控制方法及装置 |
JP6561504B2 (ja) | 2015-03-11 | 2019-08-21 | 富士通株式会社 | データ配置プログラム、データ配置方法およびデータ配置装置 |
JP6397385B2 (ja) * | 2015-08-21 | 2018-09-26 | 日本電信電話株式会社 | 学習装置、探索装置、方法、及びプログラム |
JP6766374B2 (ja) * | 2016-02-26 | 2020-10-14 | 沖電気工業株式会社 | 分類装置、分類方法、プログラム、及びパラメータ生成装置 |
US11651037B2 (en) * | 2019-12-20 | 2023-05-16 | Rakuten Group, Inc. | Efficient cross-modal retrieval via deep binary hashing and quantization |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6424960B1 (en) * | 1999-10-14 | 2002-07-23 | The Salk Institute For Biological Studies | Unsupervised adaptation and classification of multiple classes and sources in blind signal separation |
JP4175390B2 (ja) * | 2006-06-09 | 2008-11-05 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US7739221B2 (en) * | 2006-06-28 | 2010-06-15 | Microsoft Corporation | Visual and multi-dimensional search |
JP5098559B2 (ja) * | 2007-10-11 | 2012-12-12 | 富士ゼロックス株式会社 | 類似画像検索装置、及び類似画像検索プログラム |
JP4228031B1 (ja) * | 2008-06-09 | 2009-02-25 | 株式会社リミックスポイント | 画像解析装置、画像登録装置および画像検索装置 |
-
2009
- 2009-11-11 JP JP2009258166A patent/JP5458815B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011103082A (ja) | 2011-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5458815B2 (ja) | マルチメディア検索システム | |
US20180341686A1 (en) | System and method for data search based on top-to-bottom similarity analysis | |
Costa et al. | Comparing textural features for music genre classification | |
CN106203508A (zh) | 一种基于Hadoop平台的图像分类方法 | |
Qi et al. | A new method for visual stylometry on impressionist paintings | |
JP5463873B2 (ja) | マルチメディア分類システム及びマルチメディア検索システム | |
CN111368126A (zh) | 一种面向图像检索的生成方法 | |
JP7116969B2 (ja) | 2次元マップ生成装置、2次元マップ生成方法および2次元マップ生成用プログラム | |
CN111414958B (zh) | 一种视觉词袋金字塔的多特征图像分类方法及系统 | |
JP5569698B2 (ja) | 類型化装置、類型化方法及び類型化プログラム | |
JP5382786B2 (ja) | 特徴量生成装置、特徴量生成方法および特徴量生成プログラム、ならびにクラス判別装置、クラス判別方法およびクラス判別プログラム | |
JP4453440B2 (ja) | 視覚的情報分類方法及び装置及びプログラム及び視覚的情報分類プログラムを記録した記憶媒体 | |
CN113254632B (zh) | 基于事件检测技术的时间线摘要自动生成方法 | |
Smith et al. | A comparison of Fisher vectors and Gaussian supervectors for document versus non-document image classification | |
JP2010250359A (ja) | 擬似文書検索システム及び擬似文書検索方法 | |
Vanegas et al. | Bioingenium at Image. CLEF 2012: Textual and Visual Indexing for Medical Images | |
Kleber et al. | Form classification and retrieval using bag of words with shape features of line structures | |
Gu et al. | Scene classification based on spatial pyramid representation by superpixel lattices and contextual visual features | |
Dhumal et al. | Retrieval and extraction of unique patterns from compressed text data using the SVD technique on Hadoop Apache MAHOUT framework | |
Mahamuni et al. | Study of CBIR methods for retrieval of digital images based on colour and texture extraction | |
Guyomard et al. | Contextual detection of drawn symbols in old maps | |
Guo et al. | A case study of BoVW for keyword spotting on historical Mongolian document images | |
Arunlal et al. | Design and implementation of content-based natural image retrieval approach using feature distance | |
Soni | FDEIR: Content-Based Image Retrieval using Fast Demeanor Ensemble Features | |
Patil et al. | 3-D image analysis using MapReduce |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131230 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5458815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |