JP4703487B2 - 画像分類方法及び装置及びプログラム - Google Patents
画像分類方法及び装置及びプログラム Download PDFInfo
- Publication number
- JP4703487B2 JP4703487B2 JP2006148896A JP2006148896A JP4703487B2 JP 4703487 B2 JP4703487 B2 JP 4703487B2 JP 2006148896 A JP2006148896 A JP 2006148896A JP 2006148896 A JP2006148896 A JP 2006148896A JP 4703487 B2 JP4703487 B2 JP 4703487B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- positive case
- concept
- thesaurus
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
画像にキーワードを手動で事前に付与しておき、キーワードの照合により画像の類似性を判定することで画像を分類する方法である。
画像から色、テクスチャ、形状などの特徴量を抽出し、これらの特徴量を用いた照合による画像を分類する方法がある(例えば、非特許文献1参照)。
インターネット画像をテキストで検索するときに、クエリワードに関係する画像を検索結果として提示するときに画像内容が似ているものを分類して提示する方法が検討されている(例えば、非特許文献2参照)。この方法は次の2つのステップにより実現される。インターネット画像を含むWebサイトでは、画像とその画像を説明する説明テキストから構成されていることが多いので、まず、クエリのワードと説明テキストの照合により、クエリワードに関係のある画像を収集する。次に、画像の色やテクスチャに関する特徴量を用いて収集した画像を分類する。この方法は、説明テキストを用いて関連のある画像を収集したものを分類対象とするので、内容が似ているものが多い画像を分類対象とできる点が上記の(2)の技術と異なる。
Yixin Chen, James Z Wang, Robert Krovets, "content-based image retrieval by clustering", Multimedia Information Retrieval 2003, pp.193-200 Deng Cai, Xiaofei He, Zhiwei Li, Wei-Ying Ma and Ji-rong Wen, "Hierarchical Clustering of WWW Image Search Results Using Visual, Textual and Link Analysis", 12th ACM International conference on Multimedia, New York City, USA, Oct. 2004
概念・シソーラス取得手段が、入力されたクエリキーワードに基づいて、ワードの持つ複数の概念と各概念のシソーラスを記憶したワード辞書を検索し、n個の概念と該概念のシソーラスを取得する概念・シソーラス取得ステップ(ステップ1)と、
画像収集手段が、概念のシソーラスとクエリキーワードのAND条件によりウェブ検索し、画像の周辺にある説明テキストを照合し、該クエリキーワードと該シソーラスに関連する画像を収集して記憶手段に格納する画像収集ステップ(ステップ2)と、
画像フィルタリング手段が、各概念n(n=1,2,…,N)について、記憶手段の収集された画像群から、クエリキーワードと概念のシソーラスとのAND検索したときの類似度が高いM個の画像を正事例候補、それ以外の画像をラベル無し画像として抽出する画像フィルタリングステップ(ステップ3)と、
正事例生成手段が、正事例候補について、P個の特徴量のそれぞれについて標準偏差を求め、該標準偏差が最小となる特徴量を代表特徴量とし、該代表特徴量の特徴空間における正事例候補画像の中心Cを求め、正事例候補画像と該中心Cとの距離を算出し、該距離が所定の閾値以下である場合は、該正事例候補画像を正事例とする正事例生成ステップ(ステップ4)と、
負事例生成手段が、ラベル無し画像から代表特徴量を求め、該ラベル無し画像の中で中心Cからの距離が所定の閾値よりも大きいものを負事例とする負事例生成ステップ(ステップ5)と、
識別関数算出手段が、正事例生成ステップで求めた正事例と、負事例生成ステップで求めた負事例を学習データとして正事例と負事例を識別するための識別関数を求める識別関数算出ステップ(ステップ6)と、
識別手段が、正事例候補と、ラベル無し画像群とから、識別関数を用いて、概念nに対応する画像を求める識別ステップ(ステップ7)と、
全ての概念nに対して、画像収集ステップ以降の処理を繰り返す(ステップ8)。
ワードの持つ複数の概念と各概念のシソーラスを記憶したワード辞書107と、
入力されたクエリキーワードに基づいて、ワード辞書107を検索し、n個の概念と該概念のシソーラスを取得する概念・シソーラス取得手段100と、
概念のシソーラスとクエリキーワードのAND条件によりウェブ検索し、画像の周辺にある説明テキストを照合し、該クエリキーワードと該シソーラスに関連する画像を収集して記憶手段に格納する画像収集手段101と、
各概念n(n=1,2,…,N)について、記憶手段の収集された画像群を、クエリキーワードと概念のシソーラスとのAND検索したときの類似度が高いM個の画像を正事例候補、それ以外の画像をラベル無し画像とする画像フィルタリング手段102と、
正事例候補について、P個の特徴量のそれぞれについて標準偏差を求め、該標準偏差が最小となる特徴量を代表特徴量とし、該代表特徴量の特徴空間における正事例候補画像の中心Cを求め、正事例候補画像と該中心Cとの距離を算出し、該距離が所定の閾値以下である場合は、該正事例候補画像を正事例とする正事例生成手段103と、
ラベル無し画像から代表特徴量を求め、該ラベル無し画像の中で中心Cからの距離が所定の閾値よりも大きいものを負事例とする負事例生成手段104と、
正事例生成手段103で求めた正事例と、負事例生成手段104で求めた負事例を学習データとして正事例と負事例を識別するための識別関数を求める識別関数算出手段105と、
正事例候補と、ラベル無し画像群とから、識別関数を用いて、概念nに対応する画像を求める識別手段と、
全ての概念nに対して、画像収集手段101、画像フィルタリング手段102、正事例生成手段103、負事例生成手段104、識別関数算出手段105、識別手段106を繰り返す手段と、を有する。
・様々な人が様々な目的でとった多種多様な画像;
・画像の意味は周辺テキスト情報と画像情報で表現される:
という特徴を有していることにより、まず、クエリとなるキーワードが与えられたときに、そのキーワードが持つ複数概念に応じた画像を、当該画像の周辺の説明テキストの照合により収集し、画像から抽出した特徴量で構成される特徴空間において、各概念に対応する画像を識別するための識別関数を各概念に対応する画像群から適切な学習データを抽出することにより求め、当該識別関数に基づいて各概念に対応した画像を分類する。これにより、概念に対応した画像を精度よく分類することができる。
ステップ209) 識別処理部106は、全てのクエリキーワードに関連するN個の概念において、上記のステップ203からステップ208に至る画像分類処理を行ったかを判定する。行っていなければ、ステップ203からステップ208の処理を繰り返す。そうでなければステップ210に移行する。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
2 ウェブ画像検索エンジン
3 ウェブサイト
4 インターネット
100 概念・シソーラス取得手段、概念・シソーラス取得部
101 画像収集手段、画像収集部
102 画像フィルタリング手段、画像フィルタリング部
103 正事例生成手段、正事例生成部
104 負事例生成手段、負事例生成部
105 識別関数算出手段、識別関数算出部
106 識別手段、識別処理部
107 ワード辞書、ワード辞書記憶部
Claims (3)
- テキストと画像で表現されたマルチメディア情報を対象として、キーワードにより画像を検索したときに検索結果の画像を画像内容に従って分類する画像分類方法であって、
概念・シソーラス取得手段が、入力されたクエリキーワードに基づいて、ワードの持つ複数の概念と各概念のシソーラスを記憶したワード辞書を検索し、n個の概念と該概念のシソーラスを取得する概念・シソーラス取得ステップと、
画像収集手段が、前記概念のシソーラスと前記クエリキーワードのAND条件によりウェブ検索し、画像の周辺にある説明テキストを照合し、該クエリキーワードと該シソーラスに関連する画像を収集して記憶手段に格納する画像収集ステップと、
画像フィルタリング手段が、前記各概念n(n=1,2,…,N)について、前記記憶手段の収集された画像群から、前記クエリキーワードと前記概念のシソーラスとのAND検索したときの類似度が高いM個の画像を正事例候補、それ以外の画像をラベル無し画像として抽出する画像フィルタリングステップと、
正事例生成手段が、前記正事例候補について、P個の特徴量のそれぞれについて標準偏差を求め、該標準偏差が最小となる特徴量を代表特徴量とし、該代表特徴量の特徴空間における正事例候補画像の中心Cを求め、正事例候補画像と該中心Cとの距離を算出し、該距離が所定の閾値以下である場合は、該正事例候補画像を正事例とする正事例生成ステップと、
負事例生成手段が、前記ラベル無し画像から前記代表特徴量を求め、該ラベル無し画像の中で前記中心Cからの距離が所定の閾値よりも大きいものを負事例とする負事例生成ステップと、
識別関数算出手段が、前記正事例生成ステップで求めた前記正事例と、前記負事例生成ステップで求めた前記負事例を学習データとして正事例と負事例を識別するための識別関数を求める識別関数算出ステップと、
識別手段が、前記正事例候補と、前記ラベル無し画像群とから、前記識別関数を用いて、前記概念nに対応する画像を求める識別ステップと、
全ての概念nに対して、前記画像収集ステップ以降の処理を繰り返す
ことを特徴とする画像分類方法。 - テキストと画像で表現されたマルチメディア情報を対象として、キーワードにより画像を検索したときに検索結果の画像を画像内容に従って分類する画像分類装置であって、
ワードの持つ複数の概念と各概念のシソーラスを記憶したワード辞書と、
入力されたクエリキーワードに基づいて、前記ワード辞書を検索し、n個の概念と該概念のシソーラスを取得する概念・シソーラス取得手段と、
前記概念のシソーラスと前記クエリキーワードのAND条件によりウェブ検索し、画像の周辺にある説明テキストを照合し、該クエリキーワードと該シソーラスに関連する画像を収集して記憶手段に格納する画像収集手段と、
前記各概念n(n=1,2,…,N)について、前記記憶手段の収集された画像群を、前記クエリキーワードと前記概念のシソーラスとのAND検索したときの類似度が高いM個の画像を正事例候補、それ以外の画像をラベル無し画像とする画像フィルタリング手段と、
前記正事例候補について、P個の特徴量のそれぞれについて標準偏差を求め、該標準偏差が最小となる特徴量を代表特徴量とし、該代表特徴量の特徴空間における正事例候補画像の中心Cを求め、正事例候補画像と該中心Cとの距離を算出し、該距離が所定の閾値以下である場合は、該正事例候補画像を正事例とする正事例生成手段と、
前記ラベル無し画像から前記代表特徴量を求め、該ラベル無し画像の中で前記中心Cからの距離が所定の閾値よりも大きいものを負事例とする負事例生成手段と、
前記正事例生成手段で求めた前記正事例と、前記負事例生成手段で求めた前記負事例を学習データとして正事例と負事例を識別するための識別関数を求める識別関数算出手段と、
前記正事例候補と、前記ラベル無し画像群とから、前記識別関数を用いて、前記概念nに対応する画像を求める識別手段と、
全ての概念nに対して、前記画像収集手段、前記画像フィルタリング手段、前記正事例生成手段、前記負事例生成手段、前記識別関数算出手段、前記識別手段を繰り返す手段と、
を有することを特徴とする画像分類装置。 - コンピュータに、
請求項2記載の画像分類装置の各手段を実行させることを特徴とする画像分類プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006148896A JP4703487B2 (ja) | 2006-05-29 | 2006-05-29 | 画像分類方法及び装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006148896A JP4703487B2 (ja) | 2006-05-29 | 2006-05-29 | 画像分類方法及び装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007317133A JP2007317133A (ja) | 2007-12-06 |
JP4703487B2 true JP4703487B2 (ja) | 2011-06-15 |
Family
ID=38850911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006148896A Expired - Fee Related JP4703487B2 (ja) | 2006-05-29 | 2006-05-29 | 画像分類方法及び装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4703487B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4838272B2 (ja) * | 2008-01-30 | 2011-12-14 | 日本電信電話株式会社 | 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 |
JP4995770B2 (ja) * | 2008-05-21 | 2012-08-08 | 日本電信電話株式会社 | 画像辞書生成装置,画像辞書生成方法,および画像辞書生成プログラム |
JP5279129B2 (ja) * | 2009-02-27 | 2013-09-04 | 日本電信電話株式会社 | 言語横断型情報検索システムおよび言語横断型情報検索方法 |
JP5969502B2 (ja) * | 2011-01-05 | 2016-08-17 | プライマル フュージョン インコーポレイテッド | 1人以上のユーザに関心ある情報を提供する方法及び装置 |
CN116994076B (zh) * | 2023-09-28 | 2024-01-19 | 中国海洋大学 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029901A (ja) * | 1998-07-14 | 2000-01-28 | Canon Inc | 画像検索装置及び方法 |
JP2001344246A (ja) * | 2000-05-30 | 2001-12-14 | Kansai Electric Power Co Inc:The | 用語集データベース作成方法および電子文書検索方法 |
JP2003076694A (ja) * | 2001-09-05 | 2003-03-14 | Canon Inc | 画像検索装置及びその方法、プログラム |
JP2004192555A (ja) * | 2002-12-13 | 2004-07-08 | Fuji Xerox Co Ltd | 情報管理方法、情報管理装置及び情報管理プログラム |
JP2006099565A (ja) * | 2004-09-30 | 2006-04-13 | Kddi Corp | コンテンツ識別装置 |
-
2006
- 2006-05-29 JP JP2006148896A patent/JP4703487B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029901A (ja) * | 1998-07-14 | 2000-01-28 | Canon Inc | 画像検索装置及び方法 |
JP2001344246A (ja) * | 2000-05-30 | 2001-12-14 | Kansai Electric Power Co Inc:The | 用語集データベース作成方法および電子文書検索方法 |
JP2003076694A (ja) * | 2001-09-05 | 2003-03-14 | Canon Inc | 画像検索装置及びその方法、プログラム |
JP2004192555A (ja) * | 2002-12-13 | 2004-07-08 | Fuji Xerox Co Ltd | 情報管理方法、情報管理装置及び情報管理プログラム |
JP2006099565A (ja) * | 2004-09-30 | 2006-04-13 | Kddi Corp | コンテンツ識別装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2007317133A (ja) | 2007-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9589208B2 (en) | Retrieval of similar images to a query image | |
CN106202124B (zh) | 网页分类方法及装置 | |
CN106202256B (zh) | 基于语义传播及混合多示例学习的Web图像检索方法 | |
JP5749279B2 (ja) | アイテム関連付けのための結合埋込 | |
CN108280114B (zh) | 一种基于深度学习的用户文献阅读兴趣分析方法 | |
WO2009133856A1 (ja) | 物体認識用画像データベースの作成方法、処理装置および処理用プログラム | |
US8788503B1 (en) | Content identification | |
US20180341686A1 (en) | System and method for data search based on top-to-bottom similarity analysis | |
CN112347244A (zh) | 基于混合特征分析的涉黄、涉赌网站检测方法 | |
Liu et al. | Heterogeneous features and model selection for event-based media classification | |
CN106980664B (zh) | 一种双语可比较语料挖掘方法及装置 | |
CN110728151B (zh) | 基于视觉特征的信息深度处理方法及系统 | |
CN107357765B (zh) | Word文档碎片化方法及装置 | |
CN113569050B (zh) | 基于深度学习的政务领域知识图谱自动化构建方法和装置 | |
CN110008365B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
KR20220134695A (ko) | 인공지능 학습 모델을 이용한 저자 식별 시스템 및 그 방법 | |
JP4703487B2 (ja) | 画像分類方法及び装置及びプログラム | |
Tian et al. | Image classification based on the combination of text features and visual features | |
CN109948154A (zh) | 一种基于邮箱名的人物获取及关系推荐系统和方法 | |
CN109960730B (zh) | 一种基于特征扩展的短文本分类方法、装置以及设备 | |
JP2013003663A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN114117038A (zh) | 一种文档分类方法、装置、系统及电子设备 | |
Tian et al. | Automatic image annotation with real-world community contributed data set | |
James et al. | Ontology matching for the semantic annotation of images | |
CN114238735B (zh) | 一种互联网数据智能采集方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110308 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |