JP6757913B2 - 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム - Google Patents
画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム Download PDFInfo
- Publication number
- JP6757913B2 JP6757913B2 JP2016035704A JP2016035704A JP6757913B2 JP 6757913 B2 JP6757913 B2 JP 6757913B2 JP 2016035704 A JP2016035704 A JP 2016035704A JP 2016035704 A JP2016035704 A JP 2016035704A JP 6757913 B2 JP6757913 B2 JP 6757913B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- graph
- vertices
- input images
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
Description
まず、本実施の形態に従うコミュニティ構造検出手法および当該コミュニティ構造検出手法を応用した画像クラスタリングの概要について説明する。
次に、本実施の形態に従うコミュニティ構造検出手法を応用した画像クラスタリング処理の手順について説明する。
次に、本実施の形態に従う画像クラスタリングを実現するためのクラスタリングシステムのハードウェア構成の一例について説明する。
次に、本実施の形態に従う画像クラスタリングを実現するためのクラスタリングシステムのソフトウェア構成の一例について説明する。
次に、本実施の形態に従うマッチグラフ200の生成処理について説明する。
図5は、本実施の形態に従うクラスタリングシステム100により生成されるマッチグラフ200の一例を示す模式図である。なお、図5に示すマッチグラフそのものが視覚化されている必要はなく、クラスタリングシステム100内部で論理的に生成されるようなものであってもよい。
画像マッチング方法としては、任意の手法を採用することができる。本実施の形態においては、一例として、画像マッチング処理として、入力画像間で対応する特徴点を探索する処理を採用する。より具体的には、非特許文献3に詳述されるような、局所的な画像特徴量を用いる方式などを採用する。
無向グラフを用いる場合には、いずれの頂点を辺で接続するかという点において、上述したような特徴点マッチング処理の特性を考慮することが好ましい。例えば、ある2つの入力画像について、一方を参照画像とし、他方を対象画像とした場合に、対応する特徴点が見つかり、その逆の場合も対応する特徴点が見つかったときに限って、それら2つの入力画像にそれぞれ対応する2つの頂点間を接続する辺を設けるという方法を採用してもよい。
次に、本実施の形態に従うコミュニティ構造検出処理について説明する。
本実施の形態に従うコミュニティ構造検出処理(ランダムウォーク類似度法)においては、図5に示すようなマッチグラフに対して、「ランダムウォーク」を実行し、その実行結果に基づいてコミュニティを判断する。「ランダムウォーク」は、グラフ内の任意の頂点を出発して、現在の頂点に接続されている辺(すなわち、選択可能な辺)のうち1つをランダムに選択し、その選択された辺に沿って次の頂点へ移動するという処理を複数回に亘って繰返す処理である。このとき有向グラフによる場合には、辺の向きも考慮して移動可能かどうかが判断される。
本実施の形態に従うコミュニティ構造検出処理は、無向グラフおよび有向グラフのいずれにも適用可能である。但し、有向グラフに適用した場合には、ランダムウォークのステップ数が指定された所定数に到達する前に、ウォーカが移動できなくなる恐れがある。例えば、他の頂点へ移動する辺が存在しない頂点へ到達したような場合などである。そのため、所定ステップ数に亘る移動の完了前に、他の頂点へ移動する辺が存在しない頂点へウォーカが到達した場合には、通過履歴を取得する処理(ランダムウォーク)を終了するようにしてもよい。
次に、図9のステップS84における、異常値(外れ値)を除外する処理について説明する。この異常値の除外処理では、同一の頂点を出発点とする複数の通過履歴から統計上の異常値を除外する。より具体的には、出発頂点毎にランダムウォークによってウォーカが通過した頂点のうち、統計的にその頻度が小さいものを異常値として除外する。
次に、図9のステップS88における類似度の算出方法のいくつかの具体的手法について例示する。この類似度は、出発頂点毎に実行したランダムウォークにおいて、その通過頂点が互いにどの程度似ているかを示す指標である。なお、以下の説明では、2つのランダムウォーク間の類似度を算出する場合について例示するが、3つ以上のランダムウォーク間での類似度を算出するようにしてもよい。
頂点viを出発点としたウォーカの通過頂点集合Siとし、頂点vjを出発点としたウォーカの通過頂点集合をSjとすると、類似度simijとしてのJaccard係数は、以下の(1)式に従って算出できる。
通過頂点集合Sの各頂点についての通過頻度を多次元ベクトルとみなすことで、そのベクトル同士の類似度を用いるようにしてもよい。
異常値の除外処理として、1クラスSVM(Support Vector Machine)を用いるようにしてもよい。
次に、図9のステップS89におけるコミュニティへの分類処理について説明する。
上述の説明においては、マッチグラフに含まれる辺の重みについては限定していなかったが、各辺に重みが付与されている重み付きグラフについても適用可能である。重み付きグラフを生成する場合には、例えば、上述した画像マッチング処理において、見つかった対応する特徴点の数、画像マッチング処理の信頼度などに応じて、ある頂点と他の頂点をと接続する辺に対する重みを設定してもよい。すなわち、マッチグラフの辺には、接続する2つの頂点間のマッチングの度合いに応じた重みが付与されていてもよい。
次に、本実施の形態に従う画像クラスタリングシステムによるクラスタリング性能について評価した実験結果の一例について説明する。
被写体として、「東大寺」、「日光東照宮」、「法隆寺」を想定し、クリエイティブコモンズライセンスの下で公開されている画像を収集した。具体的には、「東大寺」については、検索タームとして"todaiji"を入力して検索された4015枚の画像を用い、「日光東照宮」については、検索タームとして"toshoguを入力して検索された3808枚の画像を用い、「法隆寺」については、検索タームとして"horyuji"を入力して検索された1102枚の画像を用いた。
評価指標としては、Global Purity、Inverse Purity、F-measureの3つを用いた。Global Purityは、検出された各コミュニティにおいて、最も多いクラスに属する要素の比率の加重平均であり、この値が大きいほど、他のクラスに属する要素(ノイズ)が混在している比率が低いことを意味する。Inverse Purityは、各ラベルで定められた要素の各クラスタ(コミュニティ)における比率の加重平均である。F-measureは、Global PurityとInverse Purityとの調和平均である。
次に、本実施の形態に従うコミュニティ構造検出手法を応用したいくつかのシステムについて例示する。
本実施の形態に従うコミュニティ構造検出手法の応用例として、画像に対する自動ラベリングシステムについて説明する。
図12に示すような自動ラベリングシステム500によって生成された画像データベースを用いて、画像検索システムを提供することもできる。
上述の図12および図13に示すシステムは、本実施の形態に従うコミュニティ構造検出手法の応用例の一部に過ぎず、これらに限定されるものではない。本実施の形態に従うコミュニティ構造検出手法は、要素間の繋がりをグラフの形で表現できるものであれば、どのようなものにも適用可能である。
本実施の形態に従う画像クラスタリングシステムによれば、入力画像群に含まれる入力画像同士の画像マッチング処理の結果を反映したマッチグラフに対して、コミュニティ構造検出手法を適用することで、ラベルが付与されていない入力画像の集合であっても、被写体毎の自動的な分類が可能となる。
Claims (5)
- 入力画像群に含まれる入力画像同士の画像マッチング処理の結果を反映したマッチグラフを取得する取得手段を備え、前記マッチグラフは、入力画像の各々に対応する頂点と、マッチングすると判断された入力画像同士に対応する頂点同士を接続する辺とを含み、
前記マッチグラフの構造に基づいて入力画像同士を互いに関連付けるコミュニティ構造検出手段と、
互いに関連付けられた入力画像の集合をクラスタとして出力する出力手段とを備え、
前記コミュニティ構造検出手段は、
前記マッチグラフに含まれる各頂点を出発点として、接続されている辺を確率的に選択しつつ、所定ステップ数に亘って前記マッチグラフ内を順次移動して、移動に係る通過履歴を取得する試行手段と、
前記試行手段により取得される各頂点を出発点とする通過履歴同士の類似度に基づいて、互いに関連付けられる通過履歴を決定するとともに、当該互いに関連付けられる通過履歴の出発点にそれぞれ対応する入力画像同士を互いに関連付ける関連付け手段とを含む、画像クラスタリングシステム。 - 外部から問合せ対象の画像を受信すると、当該受信した画像に対応する入力画像を各クラスタに含まれる入力画像の集合から検索するととともに、対応する入力画像が属するクラスタの情報を応答する検索手段をさらに備える、請求項1に記載の画像クラスタリングシステム。
- コンピュータにより実行される画像クラスタリング方法であって、
前記コンピュータが入力画像群に含まれる入力画像同士の画像マッチング処理の結果を反映したマッチグラフを取得するステップを備え、前記マッチグラフは、入力画像の各々に対応する頂点と、マッチングすると判断された入力画像同士に対応する頂点同士を接続する辺とを含み、
前記コンピュータが前記マッチグラフの構造に基づいて入力画像同士を互いに関連付けるステップと、
前記コンピュータが互いに関連付けられた入力画像の集合をクラスタとして出力するステップとを備え、
前記関連付けるステップは、
前記マッチグラフに含まれる各頂点を出発点として、接続されている辺を確率的に選択しつつ、所定ステップ数に亘って前記マッチグラフ内を順次移動して、移動に係る通過履歴を取得するステップと、
前記通過履歴を取得するステップにおいて取得される各頂点を出発点とする通過履歴同士の類似度に基づいて、互いに関連付けられる通過履歴を決定するとともに、当該互いに関連付けられる通過履歴の出発点にそれぞれ対応する入力画像同士を互いに関連付けるステップとを含む、画像クラスタリング方法。 - 画像クラスタリングプログラムであって、前記画像クラスタリングプログラムは、コンピュータに、
入力画像群に含まれる入力画像同士の画像マッチング処理の結果を反映したマッチグラフを取得するステップを実行させ、前記マッチグラフは、入力画像の各々に対応する頂点と、マッチングすると判断された入力画像同士に対応する頂点同士を接続する辺とを含み、
前記マッチグラフの構造に基づいて入力画像同士を互いに関連付けるステップと、
互いに関連付けられた入力画像の集合をクラスタとして出力するステップとを実行させ、
前記関連付けるステップは、
前記マッチグラフに含まれる各頂点を出発点として、接続されている辺を確率的に選択しつつ、所定ステップ数に亘って前記マッチグラフ内を順次移動して、移動に係る通過履歴を取得するステップと、
前記通過履歴を取得するステップにおいて取得される各頂点を出発点とする通過履歴同士の類似度に基づいて、互いに関連付けられる通過履歴を決定するとともに、当該互いに関連付けられる通過履歴の出発点にそれぞれ対応する入力画像同士を互いに関連付けるステップとを含む、画像クラスタリングプログラム。 - 複数の頂点および頂点間を接続する辺を含むグラフを取得する取得手段と、
前記グラフに含まれる各頂点を出発点として、接続されている辺を確率的に選択しつつ、所定ステップ数に亘って前記グラフ内を順次移動して、移動に係る通過履歴を取得する試行手段と、
前記試行手段により取得される各頂点を出発点とする通過履歴同士の類似度に基づいて、互いに関連付けられる通過履歴を決定するとともに、当該互いに関連付けられる通過履歴の出発点であるそれぞれの頂点同士を互いに関連付ける関連付け手段と、
互いに関連付けられた頂点の集合をクラスタとして出力する出力手段とを備える、コミュニティ構造検出システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035704A JP6757913B2 (ja) | 2016-02-26 | 2016-02-26 | 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム |
US15/441,453 US20170249340A1 (en) | 2016-02-26 | 2017-02-24 | Image clustering system, image clustering method, non-transitory storage medium storing thereon computer-readable image clustering program, and community structure detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035704A JP6757913B2 (ja) | 2016-02-26 | 2016-02-26 | 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017151876A JP2017151876A (ja) | 2017-08-31 |
JP6757913B2 true JP6757913B2 (ja) | 2020-09-23 |
Family
ID=59678916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016035704A Active JP6757913B2 (ja) | 2016-02-26 | 2016-02-26 | 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170249340A1 (ja) |
JP (1) | JP6757913B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10346466B2 (en) * | 2016-04-18 | 2019-07-09 | International Business Machines Corporation | Methods and systems of personalized photo albums based on social media data |
US11343352B1 (en) * | 2017-06-21 | 2022-05-24 | Amazon Technologies, Inc. | Customer-facing service for service coordination |
CN108073687B (zh) * | 2017-11-17 | 2020-09-08 | 阿里巴巴集团控股有限公司 | 随机游走、基于集群的随机游走方法、装置以及设备 |
WO2019205069A1 (en) * | 2018-04-27 | 2019-10-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for updating 3d model of building |
CN111201524B (zh) * | 2018-08-30 | 2023-08-25 | 谷歌有限责任公司 | 百分位链接聚类 |
JP7182264B2 (ja) * | 2018-12-20 | 2022-12-02 | 国立研究開発法人情報通信研究機構 | ランダムウォークを制御する制御方法および観光支援システム |
CN110019989B (zh) * | 2019-04-08 | 2023-11-03 | 腾讯科技(深圳)有限公司 | 一种数据处理方法及装置 |
CN110209825B (zh) * | 2019-06-17 | 2021-02-12 | 大连海事大学 | 一种基于宽度学习系统的快速网络表征学习方法 |
CN110716778B (zh) * | 2019-09-10 | 2023-09-26 | 创新先进技术有限公司 | 应用兼容性测试方法、装置及系统 |
CN110851655A (zh) * | 2019-11-07 | 2020-02-28 | 中国银联股份有限公司 | 一种用于简化复杂网络的方法和系统 |
CN111444366B (zh) * | 2020-04-10 | 2024-02-20 | Oppo广东移动通信有限公司 | 图像分类方法、装置、存储介质及电子设备 |
CN112348815B (zh) * | 2021-01-07 | 2021-04-06 | 新东方教育科技集团有限公司 | 图像处理方法、图像处理装置以及非瞬时性存储介质 |
JP7360411B2 (ja) * | 2021-03-29 | 2023-10-12 | 株式会社Zozo | 情報表示装置、情報表示方法及び情報表示プログラム |
JP7360412B2 (ja) * | 2021-03-29 | 2023-10-12 | 株式会社Zozo | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7360413B2 (ja) * | 2021-03-29 | 2023-10-12 | 株式会社Zozo | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7154454B1 (ja) * | 2021-04-26 | 2022-10-17 | 三菱電機株式会社 | 情報処理装置、制御方法、及び制御プログラム |
CN113326880A (zh) * | 2021-05-31 | 2021-08-31 | 南京信息工程大学 | 基于社团划分的无监督图像分类方法 |
CN113568666A (zh) * | 2021-06-07 | 2021-10-29 | 阿里巴巴新加坡控股有限公司 | 图像的处理方法、装置、存储介质和处理器 |
WO2023053830A1 (ja) * | 2021-09-29 | 2023-04-06 | 日本電気株式会社 | 画像処理装置、画像処理方法および記録媒体 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7933915B2 (en) * | 2006-02-27 | 2011-04-26 | The Regents Of The University Of California | Graph querying, graph motif mining and the discovery of clusters |
US20140093174A1 (en) * | 2012-09-28 | 2014-04-03 | Canon Kabushiki Kaisha | Systems and methods for image management |
-
2016
- 2016-02-26 JP JP2016035704A patent/JP6757913B2/ja active Active
-
2017
- 2017-02-24 US US15/441,453 patent/US20170249340A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2017151876A (ja) | 2017-08-31 |
US20170249340A1 (en) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6757913B2 (ja) | 画像クラスタリングシステム、画像クラスタリング方法、画像クラスタリングプログラム、および、コミュニティ構造検出システム | |
US9152870B2 (en) | Computer vision as a service | |
US20190354689A1 (en) | Deep neural network system for similarity-based graph representations | |
US20160358036A1 (en) | Searching for Images by Video | |
US11036790B1 (en) | Identifying visual portions of visual media files responsive to visual portions of media files submitted as search queries | |
US20190332849A1 (en) | Detection of near-duplicate images in profiles for detection of fake-profile accounts | |
US9208401B2 (en) | System and method for using an image to provide search results | |
Guan et al. | On-device mobile landmark recognition using binarized descriptor with multifeature fusion | |
Du et al. | Representation and discovery of building patterns: A three-level relational approach | |
Figueroa-Mata et al. | Using deep learning to identify Costa Rican native tree species from wood cut images | |
Chen et al. | Towards a robust visual place recognition in large-scale vSLAM scenarios based on a deep distance learning | |
Ozdemir et al. | Comparison of deep learning techniques for classification of the insects in order level with mobile software application | |
US20200097735A1 (en) | System and Method for Display of Object Movement Scheme | |
Peretroukhin et al. | Inferring sun direction to improve visual odometry: A deep learning approach | |
Choi et al. | Similarity learning to enable building searches in post‐event image data | |
Kargah-Ostadi et al. | Automated real-time roadway asset inventory using artificial intelligence | |
US11080173B2 (en) | Boundary search test support device and boundary search test support method | |
Barz et al. | Finding relevant flood images on Twitter using content-based filters | |
Lydia et al. | Data integration and data privacy through “pay-as-you-go” approach | |
Yokota et al. | A revisited visual-based geolocalization framework for forensic investigation support tools | |
Peng et al. | The knowing camera 2: recognizing and annotating places-of-interest in smartphone photos | |
CN111291829A (zh) | 一种精选图片的自动确定方法和系统 | |
Wang et al. | Automatic Pollen Detection Based on Feature Fusion and Self-attention Mechanism | |
Djoufack Basso | CLIP-RS: A Cross-modal Remote Sensing Image Retrieval Based on CLIP, a Northern Virginia Case Study | |
CN117708366A (zh) | 基于人工智能的图像检索方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6757913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |