JP3489615B2 - 画像分類方法、画像問い合わせ方法、画像分類装置、画像問い合わせ装置 - Google Patents
画像分類方法、画像問い合わせ方法、画像分類装置、画像問い合わせ装置Info
- Publication number
- JP3489615B2 JP3489615B2 JP11377999A JP11377999A JP3489615B2 JP 3489615 B2 JP3489615 B2 JP 3489615B2 JP 11377999 A JP11377999 A JP 11377999A JP 11377999 A JP11377999 A JP 11377999A JP 3489615 B2 JP3489615 B2 JP 3489615B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- base shape
- base
- shape
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/912—Applications of a database
- Y10S707/913—Multimedia
- Y10S707/915—Image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、一般に、画像デー
タベースの分類及び照会の分野に関するものである。
タベースの分類及び照会の分野に関するものである。
【０００２】
【従来の技術】ワールド・ワイド・ウェブ（ＷＷＷ）上
では、膨大な量の情報が毎日配付され続けている。さら
に、美術館や写真貯蔵機関では、オン・ラインで使用す
るために何百万もの画像が蓄えられている。情報の量と
配付数の爆発的な増大により、より高度な情報の処理と
管理が重要になった。画像の検索、画像の分類、照会の
インタフェース及びＷＷＷ情報検索に関連する問題に対
処するために、目的のデータにアクセスする様々な方法
が開発されている。
では、膨大な量の情報が毎日配付され続けている。さら
に、美術館や写真貯蔵機関では、オン・ラインで使用す
るために何百万もの画像が蓄えられている。情報の量と
配付数の爆発的な増大により、より高度な情報の処理と
管理が重要になった。画像の検索、画像の分類、照会の
インタフェース及びＷＷＷ情報検索に関連する問題に対
処するために、目的のデータにアクセスする様々な方法
が開発されている。
【０００３】いくつかの実験的な画像分類システムも提
案されている。
案されている。
【０００４】1994年10月のNEC Research & Developmen
t, Vol. 35, No. 4, pp410-420 における平田他による
「The Concept of Media-based Navigation and Its Im
plementation on Hypermedia System 'Miyabi"」では本
発明者が色情報に焦点を当てている。画像より画像中に
含まれる物体の色情報が抽出され、色相、明度、彩度(H
LS) 色空間上にマッピングされる。システムはマッピン
グされた情報をもとに画像を分類する。利用者は、この
マッピング情報をもとに、色情報から、画像情報を引き
出すことができる。検索の際に、問い合わせ画像に含ま
れる色と同じカテゴリに含まれる画像のみを検索するこ
とによって、検索速度を向上させたり、色を指定するこ
とによってその色が含まれている画像を抽出することが
できる。
t, Vol. 35, No. 4, pp410-420 における平田他による
「The Concept of Media-based Navigation and Its Im
plementation on Hypermedia System 'Miyabi"」では本
発明者が色情報に焦点を当てている。画像より画像中に
含まれる物体の色情報が抽出され、色相、明度、彩度(H
LS) 色空間上にマッピングされる。システムはマッピン
グされた情報をもとに画像を分類する。利用者は、この
マッピング情報をもとに、色情報から、画像情報を引き
出すことができる。検索の際に、問い合わせ画像に含ま
れる色と同じカテゴリに含まれる画像のみを検索するこ
とによって、検索速度を向上させたり、色を指定するこ
とによってその色が含まれている画像を抽出することが
できる。
【０００５】1997年6 月のInternational Conference o
n Multimedia Computing and Systems, pp. 370-377 に
おけるA. Del. Bimbo 他による「Shape Indexing by St
ructural Properties 」では、形状類似度に基づくクラ
スタ化について述べられている。Del. Bimbo他は境界情
報の複数の改造度における解析に基づいて画像を形状に
基づいて階層的に分類している。この階層的な構造によ
り、効率的な検索機能の提供している。この手法は境界
分析に基づくものであるが、境界情報は画像から正しく
抽出されるという前提に基づいている。インタネットよ
り抽出される画像は、通常多くの要素含まれていて、境
界情報が正しく抽出されるという前提は成り立たず、し
たがってインタネット上の画像の分類には適用が困難で
ある。Del Bimbo 他の論文ではこの問題を解決する手法
について述べられていない。
n Multimedia Computing and Systems, pp. 370-377 に
おけるA. Del. Bimbo 他による「Shape Indexing by St
ructural Properties 」では、形状類似度に基づくクラ
スタ化について述べられている。Del. Bimbo他は境界情
報の複数の改造度における解析に基づいて画像を形状に
基づいて階層的に分類している。この階層的な構造によ
り、効率的な検索機能の提供している。この手法は境界
分析に基づくものであるが、境界情報は画像から正しく
抽出されるという前提に基づいている。インタネットよ
り抽出される画像は、通常多くの要素含まれていて、境
界情報が正しく抽出されるという前提は成り立たず、し
たがってインタネット上の画像の分類には適用が困難で
ある。Del Bimbo 他の論文ではこの問題を解決する手法
について述べられていない。
【０００６】特徴ベクトルを利用した画像インデクシン
グとして、モーメント特徴に基づく方式（たとえば1995
年9 月のIntelligent Multimedia Information Retriev
al,edited by Mark T. Maybury, Chapter 1, Reprinted
from IEEE Computer, 28(9): pp 23-31 におけるFlick
ner他による「Query by Image and Vide Content: The
QBIC System」を参照されたい）または、境界特徴（199
5年9 月のIEEE Computer, pp. 57-62における、R. Mehr
otra 他による「Similar Shape Retrieval inShape Dat
a Management」を参照されたい）に基づくものがある。
こうした画像インデクシングは、やはり、対象の正確な
抽出（あるいは利用者による入力）を前提としている。
この方法は、自動分類を必要とするＷＷＷのような大規
模画像システムに直接適用するのは極めて困難である。
グとして、モーメント特徴に基づく方式（たとえば1995
年9 月のIntelligent Multimedia Information Retriev
al,edited by Mark T. Maybury, Chapter 1, Reprinted
from IEEE Computer, 28(9): pp 23-31 におけるFlick
ner他による「Query by Image and Vide Content: The
QBIC System」を参照されたい）または、境界特徴（199
5年9 月のIEEE Computer, pp. 57-62における、R. Mehr
otra 他による「Similar Shape Retrieval inShape Dat
a Management」を参照されたい）に基づくものがある。
こうした画像インデクシングは、やはり、対象の正確な
抽出（あるいは利用者による入力）を前提としている。
この方法は、自動分類を必要とするＷＷＷのような大規
模画像システムに直接適用するのは極めて困難である。
【０００７】IEEE Transaction on Pattern Analysis a
nd Machine Intelligence, in review(httpL//www.cs.v
erkeley.edu/~carson/papers/pami.html) におけるC.Ca
rson他による「Color- and Texture-based Image Segme
ntation using EM and its Application to Image Quer
ying and Classification 」では、色及びテクスチャに
基づいて画像から物体を抽出する。Carson他は、抽出さ
れた物体及びその属性（主要な２つの色情報とテクスチ
ャ）の組み合わせを利用して、画像をいくつかのグルー
プに分類しようとした。しかしながら、形状または位置
情報は考慮されていない。
nd Machine Intelligence, in review(httpL//www.cs.v
erkeley.edu/~carson/papers/pami.html) におけるC.Ca
rson他による「Color- and Texture-based Image Segme
ntation using EM and its Application to Image Quer
ying and Classification 」では、色及びテクスチャに
基づいて画像から物体を抽出する。Carson他は、抽出さ
れた物体及びその属性（主要な２つの色情報とテクスチ
ャ）の組み合わせを利用して、画像をいくつかのグルー
プに分類しようとした。しかしながら、形状または位置
情報は考慮されていない。
【０００８】
【発明が解決しようとする課題】以上その他の課題を克
服するために、本発明は、画像データベース中の画像の
内容に基づく画像分類の方法及び装置を提供する。
服するために、本発明は、画像データベース中の画像の
内容に基づく画像分類の方法及び装置を提供する。
【０００９】本発明のもうひとつの目的は、上述の分類
の方法及び装置における分類結果を利用したデータベー
スへの問い合わせの方法及び装置を提供することにあ
る。
の方法及び装置における分類結果を利用したデータベー
スへの問い合わせの方法及び装置を提供することにあ
る。
【００１０】
【課題を解決するための手段】本発明の第１の態様によ
れば、データベース中の画像を分類する方法であって、
画像分類をおこなうための基本となる形状を記述した一
組の基底形状を指定して、（ａ−１）分類するためのしきい値を指定するステップ
と、 （ａ−２） 前記画像のそれぞれと、前記基底形状のそれ
ぞれとの間の類似度を計算するステップと、 （ｂ）計算された前記類似度と前記しきい値とを比較し
て、前記類似度が前記しきい値以上である画像を前記基
底形状によってあらわされるカテゴリに分類するステッ
プとを含むことを特徴とする画像分類方法が得られる。
れば、データベース中の画像を分類する方法であって、
画像分類をおこなうための基本となる形状を記述した一
組の基底形状を指定して、（ａ−１）分類するためのしきい値を指定するステップ
と、 （ａ−２） 前記画像のそれぞれと、前記基底形状のそれ
ぞれとの間の類似度を計算するステップと、 （ｂ）計算された前記類似度と前記しきい値とを比較し
て、前記類似度が前記しきい値以上である画像を前記基
底形状によってあらわされるカテゴリに分類するステッ
プとを含むことを特徴とする画像分類方法が得られる。
【００１１】また、本発明の第２の態様によれば、画像
データベースの問い合わせ方法で、 （ａ）画像データベースに対する問い合わせとして、用
意された基底形状のうちの少なくとも一つの基底形状を
選択するステップと、 （ｂ）前記選択された基底形状のそれぞれについて、対
応する前記画像データベース中のカテゴリを選択するス
テップと、 （ｃ）前記選択されたカテゴリにおける画像のいくつか
を表示するステップとを含み、前記対応する前記画像デ
ータベース中のカテゴリは、分類するためのしきい値を
指定し、前記データベース中の画像のそれぞれと、前記
基底形状のそれぞれとの間における類似度を計算し、計
算された前記類似度値と前記しきい値との比較に基づい
て分類された前記基底形状に基づくカテゴリであること
を特徴とする画像問い合わせ方法が得られる。
データベースの問い合わせ方法で、 （ａ）画像データベースに対する問い合わせとして、用
意された基底形状のうちの少なくとも一つの基底形状を
選択するステップと、 （ｂ）前記選択された基底形状のそれぞれについて、対
応する前記画像データベース中のカテゴリを選択するス
テップと、 （ｃ）前記選択されたカテゴリにおける画像のいくつか
を表示するステップとを含み、前記対応する前記画像デ
ータベース中のカテゴリは、分類するためのしきい値を
指定し、前記データベース中の画像のそれぞれと、前記
基底形状のそれぞれとの間における類似度を計算し、計
算された前記類似度値と前記しきい値との比較に基づい
て分類された前記基底形状に基づくカテゴリであること
を特徴とする画像問い合わせ方法が得られる。
【００１２】また、本発明の第３の態様によれば、デー
タベース中の画像を分類する装置であって、（ａ）シス
テムに画像を入力するための画像入力手段と、（ｂ）前
記画像入力手段より画像を受け取り、この画像を格納す
る画像格納手段と、（ｃ）画像分類を行うための基本と
なる形状を記述した基底形状を入力するための基底形状
入力手段と、（ｄ）前記基底形状入力手段より基底形状
を受け取り、この基底形状を格納する基底形状格納手段
と、（ｅ）分類するためのしきい値を入力し、このしき
い値を格納する閾値入力格納手段と、（ｆ）前記画像格
納手段より画像を受け取り、前記基底形状格納手段より
基底形状を受け取り、基底形状と画像との類似度を測定
する類似度導出手段と、（ｇ）前記類似度導出手段より
類似度をうけとり、前記閾値入力格納手段より分類のた
めのしきい値を受け取り、画像の分類結果を判定する分
類判定手段と、（ｈ）前記分類判定手段より分類結果を
受け取り、この分類結果を格納する分類結果格納手段
と、（ｉ）画像または基底形状の情報を受け取り、前記
分類結果格納手段よりから該当する分類情報をうけと
り、画像の属する基底形状または、基底形状に分類され
る画像情報を出力する分類結果検索手段とを有すること
を特徴とする画像分類装置が得られる。
タベース中の画像を分類する装置であって、（ａ）シス
テムに画像を入力するための画像入力手段と、（ｂ）前
記画像入力手段より画像を受け取り、この画像を格納す
る画像格納手段と、（ｃ）画像分類を行うための基本と
なる形状を記述した基底形状を入力するための基底形状
入力手段と、（ｄ）前記基底形状入力手段より基底形状
を受け取り、この基底形状を格納する基底形状格納手段
と、（ｅ）分類するためのしきい値を入力し、このしき
い値を格納する閾値入力格納手段と、（ｆ）前記画像格
納手段より画像を受け取り、前記基底形状格納手段より
基底形状を受け取り、基底形状と画像との類似度を測定
する類似度導出手段と、（ｇ）前記類似度導出手段より
類似度をうけとり、前記閾値入力格納手段より分類のた
めのしきい値を受け取り、画像の分類結果を判定する分
類判定手段と、（ｈ）前記分類判定手段より分類結果を
受け取り、この分類結果を格納する分類結果格納手段
と、（ｉ）画像または基底形状の情報を受け取り、前記
分類結果格納手段よりから該当する分類情報をうけと
り、画像の属する基底形状または、基底形状に分類され
る画像情報を出力する分類結果検索手段とを有すること
を特徴とする画像分類装置が得られる。
【００１３】また、本発明の第４の態様によれば、画像
データベースに問い合わせするための装置であって、
（ａ）システムに画像を入力するための画像入力手段
と、（ｂ）前記画像入力手段より画像を受け取り、この
画像を格納する画像格納手段と、（ｃ）画像分類を行う
ための基本となる形状を記述した基底形状を入力するた
めの基底形状入力手段と、（ｄ）前記基底形状入力手段
より基底形状を受け取り、この基底形状を格納する基底
形状格納手段と、（ｅ）分類するためのしきい値を入力
し、このしきい値を格納する閾値入力格納手段と、
（ｆ）前記画像格納手段より画像を受け取り、前記基底
形状格納手段より基底形状を受け取り、基底形状と画像
との類似度を測定する類似度導出手段と、（ｇ）前記類
似度導出手段より類似度を受け取り、前記閾値入力格納
手段より分類のためのしきい値を受け取り、画像の分類
結果を判定する分類判定手段と、（ｈ）前記分類判定手
段より分類結果を受け取り、分類結果を格納する分類結
果格納手段と、（ｉ）前記基底形状格納手段に格納され
ている、基底形状のうちの一つまたは複数を指定するた
めの検索条件指定手段と、（ｊ）前記検索条件指定手段
より指定された一つまたは複数の基底形状を受け取り、
前記分類結果格納手段より前記指定された基底形状カテ
ゴリに属する画像情報を検索する画像検索手段と、
（ｋ）前記画像検索手段から画像候補を受け取り、選択
された画像の全部または一部分を表示させる表示手段と
を有することを特徴とする画像問い合わせ装置が得られ
る。
データベースに問い合わせするための装置であって、
（ａ）システムに画像を入力するための画像入力手段
と、（ｂ）前記画像入力手段より画像を受け取り、この
画像を格納する画像格納手段と、（ｃ）画像分類を行う
ための基本となる形状を記述した基底形状を入力するた
めの基底形状入力手段と、（ｄ）前記基底形状入力手段
より基底形状を受け取り、この基底形状を格納する基底
形状格納手段と、（ｅ）分類するためのしきい値を入力
し、このしきい値を格納する閾値入力格納手段と、
（ｆ）前記画像格納手段より画像を受け取り、前記基底
形状格納手段より基底形状を受け取り、基底形状と画像
との類似度を測定する類似度導出手段と、（ｇ）前記類
似度導出手段より類似度を受け取り、前記閾値入力格納
手段より分類のためのしきい値を受け取り、画像の分類
結果を判定する分類判定手段と、（ｈ）前記分類判定手
段より分類結果を受け取り、分類結果を格納する分類結
果格納手段と、（ｉ）前記基底形状格納手段に格納され
ている、基底形状のうちの一つまたは複数を指定するた
めの検索条件指定手段と、（ｊ）前記検索条件指定手段
より指定された一つまたは複数の基底形状を受け取り、
前記分類結果格納手段より前記指定された基底形状カテ
ゴリに属する画像情報を検索する画像検索手段と、
（ｋ）前記画像検索手段から画像候補を受け取り、選択
された画像の全部または一部分を表示させる表示手段と
を有することを特徴とする画像問い合わせ装置が得られ
る。
【００１４】以上のように本発明は、基底オブジェクト
あるいは、基底形状の概念を利用する画像分類方法及び
装置である。基底オブジェクトまたは基底形状は、画像
における一つの単純な成分または一つの単純なオブジェ
クトに対応し、アプリケーションにしたがって定義され
る。本発明によれば、探索エンジンがクラスタ中心とし
て、基底オブジェクトを利用し、データベースにおける
画像の分類を行う。この分類を実施するために、探索エ
ンジンは境界線類似度基準を利用する。１組の基底オブ
ジェクトを用いて、画像の構造・レイアウト情報が記述
される。これらの分類方法によって、図形照会操作並び
に探索速度が向上する。
あるいは、基底形状の概念を利用する画像分類方法及び
装置である。基底オブジェクトまたは基底形状は、画像
における一つの単純な成分または一つの単純なオブジェ
クトに対応し、アプリケーションにしたがって定義され
る。本発明によれば、探索エンジンがクラスタ中心とし
て、基底オブジェクトを利用し、データベースにおける
画像の分類を行う。この分類を実施するために、探索エ
ンジンは境界線類似度基準を利用する。１組の基底オブ
ジェクトを用いて、画像の構造・レイアウト情報が記述
される。これらの分類方法によって、図形照会操作並び
に探索速度が向上する。
【００１５】また、本発明は、前述の分類結果を利用し
た基底形状に基づく新規な上述した問い合わせ方法及び
問い合わせ装置をも提供する。利用者は、一つまたは複
数の基底形状を指定して問い合わせを生成することだけ
である。これは、問い合わせにおける利用者の認識に関
する障壁を軽減するのに役立つ。
た基底形状に基づく新規な上述した問い合わせ方法及び
問い合わせ装置をも提供する。利用者は、一つまたは複
数の基底形状を指定して問い合わせを生成することだけ
である。これは、問い合わせにおける利用者の認識に関
する障壁を軽減するのに役立つ。
【００１６】
【発明の実施の形態】本発明の第１の実施の形態によれ
ば、図１にその構成を機能ブロック図として示したよう
に、データベース中の画像を分類する装置であって、
（ａ）システムに画像を入力するための画像入力手段
と、（ｂ）前記画像入力手段より画像を受け取り、この
画像を格納する画像格納手段と、（ｃ）画像分類を行う
ための基本となる形状を記述した基底形状を入力するた
めの基底形状入力手段と、（ｄ）前記基底形状入力手段
より基底形状を受け取り、この基底形状を格納する基底
形状格納手段と、（ｅ）分類するためのしきい値を入力
し、このしきい値を格納する閾値入力格納手段と、
（ｆ）前記画像格納手段より画像を受け取り、前記基底
形状格納手段より基底形状を受け取り、基底形状と画像
との類似度を測定する類似度導出手段と、（ｇ）前記類
似度導出手段より類似度をうけとり、前記閾値入力格納
手段より分類のためのしきい値を受け取り、画像の分類
結果を判定する分類判定手段と、（ｈ）前記分類判定手
段より分類結果を受け取り、この分類結果を格納する分
類結果格納手段と、（ｉ）画像または基底形状の情報を
受け取り、前記分類結果格納手段よりから該当する分類
情報をうけとり、画像の属する基底形状または、基底形
状に分類される画像情報を出力する分類結果検索手段と
を有することを特徴とする画像分類装置が得られる。
ば、図１にその構成を機能ブロック図として示したよう
に、データベース中の画像を分類する装置であって、
（ａ）システムに画像を入力するための画像入力手段
と、（ｂ）前記画像入力手段より画像を受け取り、この
画像を格納する画像格納手段と、（ｃ）画像分類を行う
ための基本となる形状を記述した基底形状を入力するた
めの基底形状入力手段と、（ｄ）前記基底形状入力手段
より基底形状を受け取り、この基底形状を格納する基底
形状格納手段と、（ｅ）分類するためのしきい値を入力
し、このしきい値を格納する閾値入力格納手段と、
（ｆ）前記画像格納手段より画像を受け取り、前記基底
形状格納手段より基底形状を受け取り、基底形状と画像
との類似度を測定する類似度導出手段と、（ｇ）前記類
似度導出手段より類似度をうけとり、前記閾値入力格納
手段より分類のためのしきい値を受け取り、画像の分類
結果を判定する分類判定手段と、（ｈ）前記分類判定手
段より分類結果を受け取り、この分類結果を格納する分
類結果格納手段と、（ｉ）画像または基底形状の情報を
受け取り、前記分類結果格納手段よりから該当する分類
情報をうけとり、画像の属する基底形状または、基底形
状に分類される画像情報を出力する分類結果検索手段と
を有することを特徴とする画像分類装置が得られる。
【００１７】本発明の第２の実施の形態によれば、図２
にその構成を機能ブロック図として示したように、画像
データベースに問い合わせするための装置であって、
（ａ）システムに画像を入力するための画像入力手段
と、（ｂ）前記画像入力手段より画像を受け取り、この
画像を格納する画像格納手段と、（ｃ）画像分類を行う
ための基本となる形状を記述した基底形状を入力するた
めの基底形状入力手段と、（ｄ）前記基底形状入力手段
より基底形状を受け取り、この基底形状を格納する基底
形状格納手段と、（ｅ）分類するためのしきい値を入力
し、このしきい値を格納する閾値入力格納手段と、
（ｆ）前記画像格納手段より画像を受け取り、前記基底
形状格納手段より基底形状を受け取り、基底形状と画像
との類似度を測定する類似度導出手段と、（ｇ）前記類
似度導出手段より類似度を受け取り、前記閾値入力格納
手段より分類のためのしきい値を受け取り、画像の分類
結果を判定する分類判定手段と、（ｈ）前記分類判定手
段より分類結果を受け取り、分類結果を格納する分類結
果格納手段と、（ｉ）前記基底形状格納手段に格納され
ている、基底形状のうちの一つまたは複数を指定するた
めの検索条件指定手段と、（ｊ）前記検索条件指定手段
より指定された一つまたは複数の基底形状を受け取り、
前記分類結果格納手段より前記指定された基底形状カテ
ゴリに属する画像情報を検索する画像検索手段と、
（ｋ）前記画像検索手段から画像候補を受け取り、選択
された画像の全部または一部分を表示させる表示手段と
を有することを特徴とする画像問い合わせ装置が得られ
る。
にその構成を機能ブロック図として示したように、画像
データベースに問い合わせするための装置であって、
（ａ）システムに画像を入力するための画像入力手段
と、（ｂ）前記画像入力手段より画像を受け取り、この
画像を格納する画像格納手段と、（ｃ）画像分類を行う
ための基本となる形状を記述した基底形状を入力するた
めの基底形状入力手段と、（ｄ）前記基底形状入力手段
より基底形状を受け取り、この基底形状を格納する基底
形状格納手段と、（ｅ）分類するためのしきい値を入力
し、このしきい値を格納する閾値入力格納手段と、
（ｆ）前記画像格納手段より画像を受け取り、前記基底
形状格納手段より基底形状を受け取り、基底形状と画像
との類似度を測定する類似度導出手段と、（ｇ）前記類
似度導出手段より類似度を受け取り、前記閾値入力格納
手段より分類のためのしきい値を受け取り、画像の分類
結果を判定する分類判定手段と、（ｈ）前記分類判定手
段より分類結果を受け取り、分類結果を格納する分類結
果格納手段と、（ｉ）前記基底形状格納手段に格納され
ている、基底形状のうちの一つまたは複数を指定するた
めの検索条件指定手段と、（ｊ）前記検索条件指定手段
より指定された一つまたは複数の基底形状を受け取り、
前記分類結果格納手段より前記指定された基底形状カテ
ゴリに属する画像情報を検索する画像検索手段と、
（ｋ）前記画像検索手段から画像候補を受け取り、選択
された画像の全部または一部分を表示させる表示手段と
を有することを特徴とする画像問い合わせ装置が得られ
る。
【００１８】次に図面を参照して、本発明の画像データ
ベースにおける画像分類および、問い合わせを行うため
の方法及び装置の望ましい実施態様について詳述する。
以下の説明は内容志向情報検索エンジン(Content-orien
ted Information RetrievalEngine: COIRエンジン) に
関連して提示され、本発明者は、COIRエンジンの開発を
行ったが、本発明はそうした制限を受けるものではない
という点に留意されたい。本発明は、ＷＷＷ、マルチメ
ディアデータベース等のためのさまざまな探索エンジン
に適用可能である。
ベースにおける画像分類および、問い合わせを行うため
の方法及び装置の望ましい実施態様について詳述する。
以下の説明は内容志向情報検索エンジン(Content-orien
ted Information RetrievalEngine: COIRエンジン) に
関連して提示され、本発明者は、COIRエンジンの開発を
行ったが、本発明はそうした制限を受けるものではない
という点に留意されたい。本発明は、ＷＷＷ、マルチメ
ディアデータベース等のためのさまざまな探索エンジン
に適用可能である。
【００１９】本発明によれば、既存の検索エンジンのも
つ問題点を改良した検索機能を得ることができる。利用
者が画像データベースから画像を検索を行う場合、デー
タベースに格納されている画像についてその概要を把握
することは有用である。しかしながら、大規模な画像デ
ータベースにおいては、格納された画像に関する概要を
正確に把握することは困難である。キーワードに基づく
分類は利用者の格納されている画像に対する理解を助け
る。視覚情報に基づく画像分類もキーワードによる分類
と同様に利用者の画像データに対する状態把握を助け、
検索を容易なものにするとともに、検索速度の向上にも
役立つ。
つ問題点を改良した検索機能を得ることができる。利用
者が画像データベースから画像を検索を行う場合、デー
タベースに格納されている画像についてその概要を把握
することは有用である。しかしながら、大規模な画像デ
ータベースにおいては、格納された画像に関する概要を
正確に把握することは困難である。キーワードに基づく
分類は利用者の格納されている画像に対する理解を助け
る。視覚情報に基づく画像分類もキーワードによる分類
と同様に利用者の画像データに対する状態把握を助け、
検索を容易なものにするとともに、検索速度の向上にも
役立つ。
【００２０】既存の画像の内容検索をサポートする検索
エンジンに関する問題点として、問い合わせ画像の生成
が困難であるという問題があげられる。検索を行うため
には、利用者は問い合わせようの画像を生成しなくては
ならない。しかしながら、所望の問い合わせ画像のおお
まかなスケッチを描くのは必ずしも容易ではない。ま
た、ランダムな選択によって類似の画像を探すことも困
難であり、より簡単でユーザフレンドリィな問い合わせ
画像指定（作成）方法が必要とされていた。
エンジンに関する問題点として、問い合わせ画像の生成
が困難であるという問題があげられる。検索を行うため
には、利用者は問い合わせようの画像を生成しなくては
ならない。しかしながら、所望の問い合わせ画像のおお
まかなスケッチを描くのは必ずしも容易ではない。ま
た、ランダムな選択によって類似の画像を探すことも困
難であり、より簡単でユーザフレンドリィな問い合わせ
画像指定（作成）方法が必要とされていた。
【００２１】本発明のよれば、検索エンジンの機能を拡
張することによって、これらの問題に関する解決策が提
供される。図３にはCOIRエンジンに関して、拡張機能が
示されている。次に機能のいくつかについて解説を加え
る。
張することによって、これらの問題に関する解決策が提
供される。図３にはCOIRエンジンに関して、拡張機能が
示されている。次に機能のいくつかについて解説を加え
る。
【００２２】第１の拡張機能は、基底形状に基づく分類
である。このステップにおいて、画像は画像中に含まれ
ている物体（オブジェクト）に基づいて分類される。物
体の構成要素に基づく分類のため、境界に基づく類似度
が利用される。これについては、本出願と同じ日（1998
年4 月22日）に提出され、本出願の譲受人に譲渡され
た、平田による、「Method and Apparatus for Image q
uerying Using Object Boundaries 」と題するアメリカ
合衆国特許出願第09/064061 号により詳細が述べられて
おり、その内容が、本明細書において参考までに援用さ
れている。本発明によれば、基底形状は、画像における
特定のオブジェクトまたは、特定の成分に焦点を当て、
意味のある単位に基づいて画像を分類するために利用さ
れる。基底オブジェクトまたは基底形状は、画像におけ
る単純な成分または、単純なオブジェクトをあらわして
いる。円、三角形、四角形、線分といったものが基底オ
ブジェクト（基底形状）のいくつかの例である。他の基
底形状を用いることも可能である。それらはアプリケー
ションに応じて柔軟に定義される。データベース中の画
像は、これらの基底形状をクラスタ中心として利用する
ことによって分類される。各カテゴリは基底形状を利用
して表現される。これらの基底形状は直感的であるた
め、利用者はカテゴリ毎に格納されている画像要素を容
易に類推することが可能である。
である。このステップにおいて、画像は画像中に含まれ
ている物体（オブジェクト）に基づいて分類される。物
体の構成要素に基づく分類のため、境界に基づく類似度
が利用される。これについては、本出願と同じ日（1998
年4 月22日）に提出され、本出願の譲受人に譲渡され
た、平田による、「Method and Apparatus for Image q
uerying Using Object Boundaries 」と題するアメリカ
合衆国特許出願第09/064061 号により詳細が述べられて
おり、その内容が、本明細書において参考までに援用さ
れている。本発明によれば、基底形状は、画像における
特定のオブジェクトまたは、特定の成分に焦点を当て、
意味のある単位に基づいて画像を分類するために利用さ
れる。基底オブジェクトまたは基底形状は、画像におけ
る単純な成分または、単純なオブジェクトをあらわして
いる。円、三角形、四角形、線分といったものが基底オ
ブジェクト（基底形状）のいくつかの例である。他の基
底形状を用いることも可能である。それらはアプリケー
ションに応じて柔軟に定義される。データベース中の画
像は、これらの基底形状をクラスタ中心として利用する
ことによって分類される。各カテゴリは基底形状を利用
して表現される。これらの基底形状は直感的であるた
め、利用者はカテゴリ毎に格納されている画像要素を容
易に類推することが可能である。
【００２３】もう一つの拡張機能は、利用者が基底形状
を利用して問い合わせ画像を生成するというものであ
る。本発明によれば、利用者はコンピュータがサンプル
として表示した画像を指定したり、あるいは、大まかな
概略を表現したスケッチを描くかわりに、一つまたは複
数の基底形状を指定することにより問い合わせ画像を生
成することができる。利用者は単に一つまたは複数の基
底形状を指定するだけであるため、スケッチを描くこと
と比較して、容易に行うことができる。利用者は複数の
基底形状を指定することにより、個々のもつ基底形状の
組み合わせて利用することが可能であり、比較的少数の
基底形状で多種多様な検索問い合わせ画像を生成するこ
とができる。基底形状は単純であり、直感的であるた
め、利用者は容易に複数の基底形状を組み合わせた結果
を想像することが可能である。更に、各基底形状に関す
る閾値を指定することが可能であり、閾値を指定するこ
とにより、利用者は、各基底形状で表現される画像中の
物体の重要度を考慮した問い合わせをすることができ
る。
を利用して問い合わせ画像を生成するというものであ
る。本発明によれば、利用者はコンピュータがサンプル
として表示した画像を指定したり、あるいは、大まかな
概略を表現したスケッチを描くかわりに、一つまたは複
数の基底形状を指定することにより問い合わせ画像を生
成することができる。利用者は単に一つまたは複数の基
底形状を指定するだけであるため、スケッチを描くこと
と比較して、容易に行うことができる。利用者は複数の
基底形状を指定することにより、個々のもつ基底形状の
組み合わせて利用することが可能であり、比較的少数の
基底形状で多種多様な検索問い合わせ画像を生成するこ
とができる。基底形状は単純であり、直感的であるた
め、利用者は容易に複数の基底形状を組み合わせた結果
を想像することが可能である。更に、各基底形状に関す
る閾値を指定することが可能であり、閾値を指定するこ
とにより、利用者は、各基底形状で表現される画像中の
物体の重要度を考慮した問い合わせをすることができ
る。
【００２４】また、別の拡張機能として、通常の類似度
に基づく画像検索の結果を、基底形状に基づいて分類し
て表示するという機能がある。利用者は、画像全体の類
似度に基づいて検索された結果に対して、検索された類
似点や、結果候補にどのような種類の画像が含まれてい
るか等を容易に知ることができる。また、検索結果を基
底形状に基づいて分類して表示することにより、利用者
は基底形状であらわされた、問い合わせ画像の一部の特
徴に基づいて検索結果を得ることができる。これによ
り、利用者は、問いあわせ画像内の特定の形状成分に焦
点をあてて、検索を実行することが可能になる。
に基づく画像検索の結果を、基底形状に基づいて分類し
て表示するという機能がある。利用者は、画像全体の類
似度に基づいて検索された結果に対して、検索された類
似点や、結果候補にどのような種類の画像が含まれてい
るか等を容易に知ることができる。また、検索結果を基
底形状に基づいて分類して表示することにより、利用者
は基底形状であらわされた、問い合わせ画像の一部の特
徴に基づいて検索結果を得ることができる。これによ
り、利用者は、問いあわせ画像内の特定の形状成分に焦
点をあてて、検索を実行することが可能になる。
【００２５】次にこれらの機能について、さらに詳述す
ることにする。まず、画像分類について論ずる。一般に
画像分類としては、画像間の類似度に基づいて画像を分
類する手法が提案されている。また、その際、分類され
た各クラスタを代表する画像を定義することも可能であ
る。このようなシステムは通常以下のように実行され
る。
ることにする。まず、画像分類について論ずる。一般に
画像分類としては、画像間の類似度に基づいて画像を分
類する手法が提案されている。また、その際、分類され
た各クラスタを代表する画像を定義することも可能であ
る。このようなシステムは通常以下のように実行され
る。
【００２６】（１）システムにおいてすべての画像対間
における類似度を計算する（この際の類似度としては、
色、形状、レイアウトを含む画像の全体的な類似度や、
その中の特定の類似基準であってもよい。）。
における類似度を計算する（この際の類似度としては、
色、形状、レイアウトを含む画像の全体的な類似度や、
その中の特定の類似基準であってもよい。）。
【００２７】（２）計算された類似度値に基づき、画像
の分布を評価し、画像をクラスタ化する。
の分布を評価し、画像をクラスタ化する。
【００２８】（３）各クラスタから、クラスタ内におけ
る分布に基づき代表的な画像を抽出する（たとえば、ク
ラスタ内における代表的な候補と他のすべての画像との
類似度を計算し、その平均値を算出し、平均値のもっと
も高い画像をクラスタの代表画像とする。）。
る分布に基づき代表的な画像を抽出する（たとえば、ク
ラスタ内における代表的な候補と他のすべての画像との
類似度を計算し、その平均値を算出し、平均値のもっと
も高い画像をクラスタの代表画像とする。）。
【００２９】類似度の観点が一様に表現される場合には
このアプローチは有効であり、結果として利用者にとっ
ても直感的な分類結果が得られる。しかしながら、通常
画像には多くの類似基準があり、この画像間の類似度対
に基づく手法では、利用者にとって直感的な画像分類結
果を生成することが困難な場合が多い。
このアプローチは有効であり、結果として利用者にとっ
ても直感的な分類結果が得られる。しかしながら、通常
画像には多くの類似基準があり、この画像間の類似度対
に基づく手法では、利用者にとって直感的な画像分類結
果を生成することが困難な場合が多い。
【００３０】図４は前述の画像対間の類似度に基づく画
像分類結果の一例を示している。図４においては画像の
類似度として、形状と色を用いている。図４中線分で接
続された画像は互いに類似していることをあらわす。図
４（ａ）は線分で接続された画像はすべて互いに類似し
ている。図４（ａ）中で中心に表示されたクラスタ代表
画像はクラスタ内の他のすべての画像と視覚的に類似し
ている。図４（ｂ）は同手法に基づいて分類された別の
クラスタである。図４（ｂ）によれば、分類に際して２
つの類似基準が別々に働いていることがわかる。上方の
４つの画像は、主に画像の色に基づいて分類されてお
り、下方の３つの画像は主に画像の形状情報に基づいて
分類されている。図４（ｂ）の場合、クラスタの代表
が、正確にこのクラスタの特性を表しているとはいいが
たい。この場合、クラスタの特性を的確にあらわすクラ
スタ代表の選択は困難である。一般に複数の特徴量に基
づく類似度に基づいて評価を行う場合、画像Ａと画像Ｂ
が互いに類似していて、画像Ｂと画像Ｃが互いに類似し
ていたとしても、画像Ａと画像Ｃは類似しているとは限
らない。画像の分類を行う際に、画像対間の類似度に基
づく分類を適用したのではうまくいかないことが多い。
像分類結果の一例を示している。図４においては画像の
類似度として、形状と色を用いている。図４中線分で接
続された画像は互いに類似していることをあらわす。図
４（ａ）は線分で接続された画像はすべて互いに類似し
ている。図４（ａ）中で中心に表示されたクラスタ代表
画像はクラスタ内の他のすべての画像と視覚的に類似し
ている。図４（ｂ）は同手法に基づいて分類された別の
クラスタである。図４（ｂ）によれば、分類に際して２
つの類似基準が別々に働いていることがわかる。上方の
４つの画像は、主に画像の色に基づいて分類されてお
り、下方の３つの画像は主に画像の形状情報に基づいて
分類されている。図４（ｂ）の場合、クラスタの代表
が、正確にこのクラスタの特性を表しているとはいいが
たい。この場合、クラスタの特性を的確にあらわすクラ
スタ代表の選択は困難である。一般に複数の特徴量に基
づく類似度に基づいて評価を行う場合、画像Ａと画像Ｂ
が互いに類似していて、画像Ｂと画像Ｃが互いに類似し
ていたとしても、画像Ａと画像Ｃは類似しているとは限
らない。画像の分類を行う際に、画像対間の類似度に基
づく分類を適用したのではうまくいかないことが多い。
【００３１】本発明は基底オブジェクトに基づく新しい
タイプの分類機能を設けることにより先行システムによ
り困難であった画像分類を利用者にとって直感的に行う
ことを実現している。次にこれについて更に詳述する。
タイプの分類機能を設けることにより先行システムによ
り困難であった画像分類を利用者にとって直感的に行う
ことを実現している。次にこれについて更に詳述する。
【００３２】本発明では、画像中に含まれる典型的な物
体からを基底形状として採用し、画像集合に対して、一
組の基底形状（基底オブジェクト）を定義する。次にこ
の基底形状と各画像との類似度を測定し、その測定結果
に基づいて画像分類を行う。基底形状は、画像における
類似度の視点を均一にするという効果をもつ。各基底形
状は、画像中における一つまたは複数の単純な物体（成
分）に対応する。画像中に含まれる物体間の関連に関す
る情報は、複数の基底形状を組み合わせることによって
表現される。個々の基底形状についてはアプリケーショ
ンに依存して定義される。
体からを基底形状として採用し、画像集合に対して、一
組の基底形状（基底オブジェクト）を定義する。次にこ
の基底形状と各画像との類似度を測定し、その測定結果
に基づいて画像分類を行う。基底形状は、画像における
類似度の視点を均一にするという効果をもつ。各基底形
状は、画像中における一つまたは複数の単純な物体（成
分）に対応する。画像中に含まれる物体間の関連に関す
る情報は、複数の基底形状を組み合わせることによって
表現される。個々の基底形状についてはアプリケーショ
ンに依存して定義される。
【００３３】本発明の実施例としては、「円形形状」
「矩形形状」「三角形形状」等を含むいくつかの基本基
底形状を定義している。各基本基底形状の大きさ並びに
縦横比率を変更することにより、基底形状を定義してい
る。図５は基底形状の一例を示したものである。
「矩形形状」「三角形形状」等を含むいくつかの基本基
底形状を定義している。各基本基底形状の大きさ並びに
縦横比率を変更することにより、基底形状を定義してい
る。図５は基底形状の一例を示したものである。
【００３４】各基底形状は単純であり、各基底形状と画
像の類似度の基準は利用者にとって明らかである。ま
た、各基底形状が画像中に含まれている物体を表現して
いるので、利用者が基底形状に基づいて、画像中に含ま
れている物体を類推することが容易である。基底形状は
画像分類結果の代表画像として利用することが可能であ
る。
像の類似度の基準は利用者にとって明らかである。ま
た、各基底形状が画像中に含まれている物体を表現して
いるので、利用者が基底形状に基づいて、画像中に含ま
れている物体を類推することが容易である。基底形状は
画像分類結果の代表画像として利用することが可能であ
る。
【００３５】本発明によれば、画像は下記のステップに
従い、基底形状に基づいて分類される。
従い、基底形状に基づいて分類される。
【００３６】（１）基本基底形状を指定する
基本基底形状を指定する。利用者がアプリケーションに
応じて基本基底形状を対話形式で指定する、自動的に基
本基底形状を決定するなどの方法がある。図８では、５
つの基本基底形状が指定されている。特定のアプリケー
ションによっては、人間や自動車といった複合形状を基
本基底形状として指定することも可能である。
応じて基本基底形状を対話形式で指定する、自動的に基
本基底形状を決定するなどの方法がある。図８では、５
つの基本基底形状が指定されている。特定のアプリケー
ションによっては、人間や自動車といった複合形状を基
本基底形状として指定することも可能である。
【００３７】（２）基底形状を生成する
COIRエンジンは基本基底形状の大きさ並びに縦横比率を
変化させて、基底形状を生成する。図５においてCOIRエ
ンジンは水平と垂直の両方向に対して４段階に大きさを
変更させて、基底形状を生成している。その結果一つの
基本基底形状から１６の基底形状が生成されている。変
形の数はアプリケーションに応じて決定される。また、
あらたな基底形状をこの段階で追加することも可能であ
る。
変化させて、基底形状を生成する。図５においてCOIRエ
ンジンは水平と垂直の両方向に対して４段階に大きさを
変更させて、基底形状を生成している。その結果一つの
基本基底形状から１６の基底形状が生成されている。変
形の数はアプリケーションに応じて決定される。また、
あらたな基底形状をこの段階で追加することも可能であ
る。
【００３８】（３）基底形状と画像との類似度を計算す
る 「Method and Apparatus for Image Querying Using Ob
ject Boundaries 」と題するアメリカ合衆国特許出願第
09/064061 号（出願日:1998 年4 月22日）に記載のアル
ゴリズムを利用して、COIRエンジンは基底形状とデータ
ベース中における画像から自動抽出したメタデータとの
類似度を計算する。COIRエンジンはすべてのメタデータ
に対して境界情報に基づく分析を行う。アプリケーショ
ンの要求に応じて、類似度の基準として、位置依存の類
似度を採用するか、位置独立の類似度を採用するか指定
することができる。位置独立の類似度を採用する際に
は、COIRエンジンは、基底形状の位置をずらしたものを
生成し、そのおのおのに対して、類似度を計算する。図
６に基底形状をずらした際の画像整合の様子が示されて
いる。COIRエンジンはあらかじめその整合プロセスにお
いて、位置ずれを考慮しているので、基底形状のシフト
画像を大量に生成する必要はない。整合手順がすむとCO
IRエンジンはすべてのシフト画像に関する類似度値をあ
つめて、最大値を抽出して出力する。
る 「Method and Apparatus for Image Querying Using Ob
ject Boundaries 」と題するアメリカ合衆国特許出願第
09/064061 号（出願日:1998 年4 月22日）に記載のアル
ゴリズムを利用して、COIRエンジンは基底形状とデータ
ベース中における画像から自動抽出したメタデータとの
類似度を計算する。COIRエンジンはすべてのメタデータ
に対して境界情報に基づく分析を行う。アプリケーショ
ンの要求に応じて、類似度の基準として、位置依存の類
似度を採用するか、位置独立の類似度を採用するか指定
することができる。位置独立の類似度を採用する際に
は、COIRエンジンは、基底形状の位置をずらしたものを
生成し、そのおのおのに対して、類似度を計算する。図
６に基底形状をずらした際の画像整合の様子が示されて
いる。COIRエンジンはあらかじめその整合プロセスにお
いて、位置ずれを考慮しているので、基底形状のシフト
画像を大量に生成する必要はない。整合手順がすむとCO
IRエンジンはすべてのシフト画像に関する類似度値をあ
つめて、最大値を抽出して出力する。
【００３９】（４）分類カテゴリを決定する
あらかじめ指定されたしきい値に基づき、COIRエンジン
は各画像ごとに分類結果を規定する。閾値を動的に変化
させることにより、一つの基底形状のもとに分類される
画像の数を制御することが可能である。類似度は類似度
値の平均と分散に基づいて正規化されているので、しき
い値の値から、一つの基底形状のもとに分類される画像
の数を容易に推定することが可能である。
は各画像ごとに分類結果を規定する。閾値を動的に変化
させることにより、一つの基底形状のもとに分類される
画像の数を制御することが可能である。類似度は類似度
値の平均と分散に基づいて正規化されているので、しき
い値の値から、一つの基底形状のもとに分類される画像
の数を容易に推定することが可能である。
【００４０】次に上述の分類結果を利用して、COIR検索
エンジンが利用者に提供するインタフェースについて詳
述する。本発明による分類は、大規模データベースにお
ける利用者の検索・ブラウジング過程を向上させること
に役立つ。分類によってあらかじめ類似しない画像を整
合対象から省くことにより、詳細な整合手順を適用する
画像の総数を減らすことができ、これにより処理の高速
化を図ることが可能になる。また、通常の画像検索結果
を分類結果を利用して分類して表示することにより、利
用者は検索の類似度の基準について理解を深めることが
可能になる。
エンジンが利用者に提供するインタフェースについて詳
述する。本発明による分類は、大規模データベースにお
ける利用者の検索・ブラウジング過程を向上させること
に役立つ。分類によってあらかじめ類似しない画像を整
合対象から省くことにより、詳細な整合手順を適用する
画像の総数を減らすことができ、これにより処理の高速
化を図ることが可能になる。また、通常の画像検索結果
を分類結果を利用して分類して表示することにより、利
用者は検索の類似度の基準について理解を深めることが
可能になる。
【００４１】基底形状を利用して、利用者は検索問い合
わせのための問い合わせ画像を生成すること可能であ
る。また、この際、各基底形状の重要度を指定すること
も可能である。
わせのための問い合わせ画像を生成すること可能であ
る。また、この際、各基底形状の重要度を指定すること
も可能である。
【００４２】図７は、本発明による基底形状に基づく検
索方法の例をあらわしている。アプリケーションに応じ
て、画像と基底形状間の類似基準として、位置依存また
は位置独立を選択することが可能である。図７では、基
底形状の位置に依存した類似基準が採用されている。図
７では、利用者は、画像の下部に水平線のある基底形状
と、画像の中心に楕円形の物体のある基底形状を問い合
わせとして指定した。検索結果として、画像下部に水平
線が見られ、かつ、画像中央に縦長の物体がある、基底
形状を統合した物体を含んだ画像が検索されている。図
８は基底形状の一例である。
索方法の例をあらわしている。アプリケーションに応じ
て、画像と基底形状間の類似基準として、位置依存また
は位置独立を選択することが可能である。図７では、基
底形状の位置に依存した類似基準が採用されている。図
７では、利用者は、画像の下部に水平線のある基底形状
と、画像の中心に楕円形の物体のある基底形状を問い合
わせとして指定した。検索結果として、画像下部に水平
線が見られ、かつ、画像中央に縦長の物体がある、基底
形状を統合した物体を含んだ画像が検索されている。図
８は基底形状の一例である。
【００４３】本発明による基底形状に基づくインタフェ
ースには次の利点がある。
ースには次の利点がある。
【００４４】まず、第１に、入力は、利用者が画面上に
表示された基底形状を指定するという形式で行われる。
利用者は単に基底形状をスクリーン上から選ぶだけなの
で容易に問い合わせ画像を生成することができる。スケ
ッチを描くのと比較すると、利用者は本発明の基底形状
をもちいて、問い合わせ用の画像をより簡単に生成する
ことができる。基底形状の形状は単純かつ直感的である
ため、利用者はその組み合わせの効果も容易に類推する
ことが可能である。
表示された基底形状を指定するという形式で行われる。
利用者は単に基底形状をスクリーン上から選ぶだけなの
で容易に問い合わせ画像を生成することができる。スケ
ッチを描くのと比較すると、利用者は本発明の基底形状
をもちいて、問い合わせ用の画像をより簡単に生成する
ことができる。基底形状の形状は単純かつ直感的である
ため、利用者はその組み合わせの効果も容易に類推する
ことが可能である。
【００４５】第２に、基底形状を利用して、多様な問い
合わせ画像を指定することが可能になる。利用者は、一
回に複数の基底形状を指定し、複数の基底形状を組み合
わせて利用することができるので、比較的少数の基底形
状を利用して、多種多様な問い合わせ画像を作成するこ
とが可能である。問い合わせ画像として、データベース
に蓄積されている既存の画像を利用するのと比較して、
利用者は様々なタイプの検索問い合わせを容易に実現す
ることができる。
合わせ画像を指定することが可能になる。利用者は、一
回に複数の基底形状を指定し、複数の基底形状を組み合
わせて利用することができるので、比較的少数の基底形
状を利用して、多種多様な問い合わせ画像を作成するこ
とが可能である。問い合わせ画像として、データベース
に蓄積されている既存の画像を利用するのと比較して、
利用者は様々なタイプの検索問い合わせを容易に実現す
ることができる。
【００４６】第３に、本発明では、利用者は指定された
基底形状の重要性を指定することが可能である。整合部
において、各基底形状は個別に評価される。これによ
り、利用者は指定された基底形状のそれぞれに対してそ
の重要度を付与することができる。たとえば、画像中の
左右に物体が並んだ画像を検索する際に、利用者にとっ
て、左側にたっている物体が重要であったとしたとき、
利用者は、左側に物体のある基底形状に対して高い閾値
を設定することにより、利用者の物体ごとに対する重要
度を表現することが可能になる。
基底形状の重要性を指定することが可能である。整合部
において、各基底形状は個別に評価される。これによ
り、利用者は指定された基底形状のそれぞれに対してそ
の重要度を付与することができる。たとえば、画像中の
左右に物体が並んだ画像を検索する際に、利用者にとっ
て、左側にたっている物体が重要であったとしたとき、
利用者は、左側に物体のある基底形状に対して高い閾値
を設定することにより、利用者の物体ごとに対する重要
度を表現することが可能になる。
【００４７】第４に、類似度は平均並びに分散に基づい
て正規化されているので、利用者は検索される画像の数
を検索前におおまかに予想することができる。
て正規化されているので、利用者は検索される画像の数
を検索前におおまかに予想することができる。
【００４８】最後に、基底形状の選択には柔軟性がある
ので、システム設計者は、アプリケーションや格納され
る画像のタイプに応じて自由に基底形状を定義すること
ができる。たとえば、博物館におけるアプリケーション
では、壷の形等を基底形状として指定することにより、
よりアプリケーションに則した検索が可能になる。
ので、システム設計者は、アプリケーションや格納され
る画像のタイプに応じて自由に基底形状を定義すること
ができる。たとえば、博物館におけるアプリケーション
では、壷の形等を基底形状として指定することにより、
よりアプリケーションに則した検索が可能になる。
【００４９】基底形状を用いた問い合わせ、並びに分類
に基づく検索によって、利用者は、検索結果をより直感
的に理解することが可能になる。利用者が基底形状を指
定して、問い合わせ画像を作成し、指定された基底形状
の重要度を付与するというインタフェースを採用するこ
とにより、利用者は特定の物体に焦点をあてた検索が可
能になる。本発明に基づく基底形状による分類によって
利用者の問い合わせ指定能力を拡張することができる。
に基づく検索によって、利用者は、検索結果をより直感
的に理解することが可能になる。利用者が基底形状を指
定して、問い合わせ画像を作成し、指定された基底形状
の重要度を付与するというインタフェースを採用するこ
とにより、利用者は特定の物体に焦点をあてた検索が可
能になる。本発明に基づく基底形状による分類によって
利用者の問い合わせ指定能力を拡張することができる。
【００５０】図９には、本発明による画像分類の例のい
くつかが示されている。図９に示す各画像組の上方左側
にある、画像がカテゴリを代表する基底形状である。各
基底形状下に分類された画像が続けて示されている。こ
の際の類似基準として図９では位置独立な基準を採用し
ている。図１０には円形の基底形状により分類された画
像が示されている。理解を助けるため、対応する円（楕
円）を画像中に書き入れてある。図１０にみられるよう
に、対応する円形の物体は、大きさや位置情報などで、
わずかに異なっているが、指定された基底形状と整合を
とった結果同じカテゴリに分類されている。
くつかが示されている。図９に示す各画像組の上方左側
にある、画像がカテゴリを代表する基底形状である。各
基底形状下に分類された画像が続けて示されている。こ
の際の類似基準として図９では位置独立な基準を採用し
ている。図１０には円形の基底形状により分類された画
像が示されている。理解を助けるため、対応する円（楕
円）を画像中に書き入れてある。図１０にみられるよう
に、対応する円形の物体は、大きさや位置情報などで、
わずかに異なっているが、指定された基底形状と整合を
とった結果同じカテゴリに分類されている。
【００５１】図１１は位置依存の類似基準に基づいて画
像分類を行った結果の一例である。COIRエンジンは図８
で示された基底形状を利用して画像を分類している。図
１１の場合、画像は画像左上方に示された基底形状と画
像とを比較することによって分類されている。
像分類を行った結果の一例である。COIRエンジンは図８
で示された基底形状を利用して画像を分類している。図
１１の場合、画像は画像左上方に示された基底形状と画
像とを比較することによって分類されている。
【００５２】
【発明の効果】以上説明したように、本発明によれば、
基底形状の概念に基づく新しい、画像の分類並びに問い
合わせの方法及び装置がえられる。本発明は、画像に含
まれている物体情報に基づいて、画像を分類する、本発
明を利用すれば、利用者はスケッチを描いて検索問い合
わせのための画像を生成する必要はなくなる。利用者は
単に問い合わせのために必要な基底形状を一つまたは複
数指定するだけでよい。さらに利用者はおのおのの物体
についてその重要度を指定することにより木目の細かい
条件指定が可能になる。
基底形状の概念に基づく新しい、画像の分類並びに問い
合わせの方法及び装置がえられる。本発明は、画像に含
まれている物体情報に基づいて、画像を分類する、本発
明を利用すれば、利用者はスケッチを描いて検索問い合
わせのための画像を生成する必要はなくなる。利用者は
単に問い合わせのために必要な基底形状を一つまたは複
数指定するだけでよい。さらに利用者はおのおのの物体
についてその重要度を指定することにより木目の細かい
条件指定が可能になる。
【００５３】当業者であれば、以上の開示及び教示から
本発明に対するほかの修正及び変更が明らかになるであ
ろう。したがって、本明細書では、特に、本発明のいく
つかの実施形態についてしか説明しなかったが、本発明
の精神及び範囲を逸脱することなく様々な修正を施すこ
とができるのは明らかである。
本発明に対するほかの修正及び変更が明らかになるであ
ろう。したがって、本明細書では、特に、本発明のいく
つかの実施形態についてしか説明しなかったが、本発明
の精神及び範囲を逸脱することなく様々な修正を施すこ
とができるのは明らかである。
【図１】本発明の第１の実施の形態（画像分類装置）を
説明するためのブロック図である。
説明するためのブロック図である。
【図２】本発明の第２の実施の形態（画像問い合わせ装
置）を説明するためのブロック図である。
置）を説明するためのブロック図である。
【図３】本発明を説明するための図であり、COIRエンジ
ンの拡張機能を示す図である。
ンの拡張機能を示す図である。
【図４】本発明を説明するための図であり、従来手法で
ある、画像対間の類似度に基づく画像分類の手法の問題
点を示すための図である。
ある、画像対間の類似度に基づく画像分類の手法の問題
点を示すための図である。
【図５】本発明を説明するための図であり、基本基底形
状とそこから生成される基底形状について例を示してい
る。
状とそこから生成される基底形状について例を示してい
る。
【図６】本発明に実施例を示すための図であり、類似基
準として、位置独立を採用した際の画像分類手順を示す
図である。
準として、位置独立を採用した際の画像分類手順を示す
図である。
【図７】本発明の基底形状に基づく画像問い合わせの例
とその検索結果について示す図である。
とその検索結果について示す図である。
【図８】本発明を説明するための図であり、基底形状の
例（大きさ・位置依存）を示した図である。
例（大きさ・位置依存）を示した図である。
【図９】本発明を説明するための図であり、基底形状に
基づく画像分類結果を示している（位置独立）。
基づく画像分類結果を示している（位置独立）。
【図１０】本発明を説明するための図であり、基底形状
に基づく画像分類結果を示している。図中対応するオブ
ジェクトに、円形の円をオーバーラップさせている。
に基づく画像分類結果を示している。図中対応するオブ
ジェクトに、円形の円をオーバーラップさせている。
【図１１】本発明を説明するための図であり、基底形状
に基づく画像分類結果を示している（位置依存）。
に基づく画像分類結果を示している（位置依存）。
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00
G06F 17/30
G06T 1/00
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (18)
- 【請求項１】 画像データベースの問い合わせ方法で、 （ａ）画像データベースに対する問い合わせとして、用
意された基底形状のうちの少なくとも一つの基底形状を
選択するステップと、 （ｂ）前記選択された基底形状のそれぞれについて、対
応する前記画像データベース中のカテゴリを選択するス
テップと、 （ｃ）前記選択されたカテゴリにおける画像のいくつか
を表示するステップとを含み、 前記対応する前記画像データベース中のカテゴリは、分
類するためのしきい値を指定し、前記データベース中の
画像のそれぞれと、前記基底形状のそれぞれとの間にお
ける類似度を計算し、計算された前記類似度値と前記し
きい値との比較に基づいて分類された前記基底形状に基
づくカテゴリである画像問い合わせ方法であって、 ２つ以上の基底形状を選択する際に、基底形状に対する
重要度を入力すると、選択された基底形状に前記カテゴ
リに分類される画像と基底形状の間の類似度に基づい
て、カテゴリの共通部分を導出するステップを更に含む
ことを特徴とする画像問い合わせ方法。 - 【請求項２】 請求項１に記載の画像問い合わせ方法に
おいて、２つ以上の基底形状が選択されたとき、対応す
るカテゴリの共通部分を選択するステップを更に有し、
前記カテゴリの共通部分を選択するステップの出力画像
のみを表示することを特徴とする画像問い合わせ方法。 - 【請求項３】 請求項１に記載の画像問い合わせ方法に
おいて、２つ以上の基底形状が選択されたとき、基底形
状の空間的な位置関係まで考慮にいれて前記カテゴリか
ら共通する画像を選択するステップを更に含むことを特
徴とする画像問い合わせ方法。 - 【請求項４】 請求項１に記載の画像問い合わせ方法に
おいて、前記基底形状に、円、四角形、三角形、及び線
分を含む基本基底形状が含まれていることを特徴とする
画像問い合わせ方法。 - 【請求項５】 請求項１に記載の画像問い合わせ方法に
おいて、前記基底形状に、円、四角形、三角形、及び線
分を含む基本基底形状の組み合わせが含まれていること
を特徴とする画像問い合わせ方法。 - 【請求項６】 請求項１に記載の画像問い合わせ方法に
おいて、前記基底形状として、円、四角形、三角形、及
び線分を含む基本基底形状の大きさ及び縦横の比率を変
化させたものを含むことを特徴とする画像問い合わせ方
法。 - 【請求項７】 請求項１に記載の画像問い合わせ方法に
おいて、前記類似度値は画像内における基底形状の位置
に依存して求められることを特徴とする画像問い合わせ
方法。 - 【請求項８】 請求項１に記載の画像問い合わせ方法に
おいて、前記類似度値は画像内における基底形状の位置
に依存しないで求められることを特徴とする画像問い合
わせ方法。 - 【請求項９】 請求項１に記載の画像問い合わせ方法に
おいて、前記しきい値によって表示される画像数を指定
することを特徴とする画像問い合わせ方法。 - 【請求項１０】 画像データベースに問い合わせするた
めの装置であって、 （ａ）システムに画像を入力するための画像入力手段
と、 （ｂ）前記画像入力手段より画像を受け取り、この画像
を格納する画像格納手段と、 （ｃ）画像分類を行うための基本となる形状を記述した
基底形状を入力するための基底形状入力手段と、 （ｄ）前記基底形状入力手段より基底形状を受け取り、
この基底形状を格納する基底形状格納手段と、 （ｅ）分類するためのしきい値を入力し、このしきい値
を格納する閾値入力格納手段と、 （ｆ）前記画像格納手段より画像を受け取り、前記基底
形状格納手段より基底形状を受け取り、基底形状と画像
との類似度を測定する類似度導出手段と， （ｇ）前記類似度導出手段より類似度を受け取り、前記
閾値入力格納手段より分類のためのしきい値を受け取
り、画像の分類結果を判定する分類判定手段と、 （ｈ）前記分類判定手段より分類結果を受け取り、分類
結果を格納する分類結果格納手段と、 （ｉ）前記基底形状格納手段に格納されている、基底形
状のうちの一つまたは複数を指定するための検索条件指
定手段と、 （ｊ）前記検索条件指定手段より指定された一つまたは
複数の基底形状を受け取り、前記分類結果格納手段より
前記指定された基底形状カテゴリに属する画像情報を検
索する画像検索手段と、 （ｋ）前記画像検索手段から画像候補を受け取り、選択
された画像の全部または一部分を表示させる表示手段と
を有する画像問い合わせ装置であって、 ２つ以上の基底形状を選択する際に、前記基底形状に対
する重要度を入力するための基底形状重要度入力手段を
更に有し、前記画像検索手段が、選択された基底形状に
前記カテゴリに分類される画像と基底形状の間の類似度
に基づいて、カテゴリの共通部分を導出する機能を更に
含むことを特徴とする画像問い合わせ装置。 - 【請求項１１】 請求項１０に記載の画像問い合わせ装
置において、前記検索条件指定手段において、２つ以上
の基底形状が指定された際に、前記画像検索手段は、前
記指定された基底形状によるカテゴリに共通して属する
画像を検索することを特徴とする画像問い合わせ装置。 - 【請求項１２】 請求項１０に記載の画像問い合わせ装
置において、前記検索条件指定手段において、２つ以上
の基底形状が指定された際に、前記画像検索手段は、前
記選択された基底形状の空間的な位置関係まで考慮にい
れて前記カテゴリから共通する画像を選択することを特
徴とする画像問い合わせ装置。 - 【請求項１３】 請求項１０に記載の画像問い合わせ装
置において、前記基底形状に、円、四角形、三角形、及
び線分を含む基本基底形状が含まれていることを特徴と
する画像問い合わせ装置。 - 【請求項１４】 請求項１０に記載の画像問い合わせ装
置において、前記基底形状に、円、四角形、三角形、及
び線分を含む基本基底形状の組み合わせが含まれている
ことを特徴とする画像問い合わせ装置。 - 【請求項１５】 請求項１０に記載の画像問い合わせ装
置において、前記基底形状に、円、四角形、三角形、及
び線分を含む基本基底形状の大きさ及び縦横の比率を変
化させたものを含むことを特徴とする画像問い合わせ装
置。 - 【請求項１６】 請求項１０に記載の画像問い合わせ装
置において、前記画像類似度導出手段によって導出され
る画像類似度値は画像内における基底形状の位置に依存
して求められることを特徴とする画像問い合わせ装置。 - 【請求項１７】 請求項１０に記載の画像問い合わせ装
置において、前記画像類似度導出手段によって導出され
る画像類似度値は画像内における基底形状の位置に依存
しないで求められることを特徴とする画像問い合わせ装
置。 - 【請求項１８】 請求項１０に記載の画像問い合わ装置
において、前記しきい値によって表示される画像数を指
定することを特徴とする画像問い合わせ装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/064,086 US6240424B1 (en) | 1998-04-22 | 1998-04-22 | Method and system for similarity-based image classification |
| US09/064086 | 1998-04-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11345340A JPH11345340A (ja) | 1999-12-14 |
| JP3489615B2 true JP3489615B2 (ja) | 2004-01-26 |
Family
ID=22053467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11377999A Expired - Fee Related JP3489615B2 (ja) | 1998-04-22 | 1999-04-21 | 画像分類方法、画像問い合わせ方法、画像分類装置、画像問い合わせ装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6240424B1 (ja) |
| JP (1) | JP3489615B2 (ja) |
Families Citing this family (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6813699B1 (en) | 1995-06-02 | 2004-11-02 | Transmeta Corporation | Speculative address translation for processor using segmentation and optional paging |
| US6735253B1 (en) | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US6285995B1 (en) * | 1998-06-22 | 2001-09-04 | U.S. Philips Corporation | Image retrieval system using a query image |
| US6564206B1 (en) * | 1998-10-05 | 2003-05-13 | Canon Kabushiki Kaisha | Information search apparatus and method, and storage medium |
| US7143434B1 (en) * | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
| US6512850B2 (en) * | 1998-12-09 | 2003-01-28 | International Business Machines Corporation | Method of and apparatus for identifying subsets of interrelated image objects from a set of image objects |
| US7730426B2 (en) | 1998-12-31 | 2010-06-01 | Microsoft Corporation | Visual thesaurus as applied to media clip searching |
| US6502105B1 (en) * | 1999-01-15 | 2002-12-31 | Koninklijke Philips Electronics N.V. | Region-based image archiving and retrieving system |
| JP4173246B2 (ja) * | 1999-04-28 | 2008-10-29 | 株式会社リコー | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 |
| US6418434B1 (en) * | 1999-06-25 | 2002-07-09 | International Business Machines Corporation | Two stage automated electronic messaging system |
| KR100518860B1 (ko) * | 1999-07-05 | 2005-09-30 | 엘지전자 주식회사 | 이미지의 특징소 정규화 정보를 사용한 이미지 검색 방법 |
| GB2352076B (en) * | 1999-07-15 | 2003-12-17 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
| WO2001026024A1 (fr) * | 1999-09-30 | 2001-04-12 | Fujitsu Limited | Dispositif et procede d'identification de document |
| IT1311443B1 (it) * | 1999-11-16 | 2002-03-12 | St Microelectronics Srl | Metodo di classificazione di immagini digitali in base al lorocontenuto. |
| JP2001256244A (ja) * | 2000-03-14 | 2001-09-21 | Fuji Xerox Co Ltd | 画像データ分類装置および画像データ分類方法 |
| DE10038836A1 (de) * | 2000-08-04 | 2002-02-21 | Deutsches Krebsforsch | Verfahren und Messanordnung zur Bestimmung der Lage einer Rotationsachse eines Körpers sowie Verfahren zum Ausrichten eines Patiententisches |
| US6891960B2 (en) | 2000-08-12 | 2005-05-10 | Facet Technology | System for road sign sheeting classification |
| JP4063486B2 (ja) * | 2000-09-06 | 2008-03-19 | 日本電気株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
| US20090106192A1 (en) * | 2001-02-09 | 2009-04-23 | Harris Scott C | Visual database for online transactions |
| US20030028504A1 (en) * | 2001-05-08 | 2003-02-06 | Burgoon David A. | Method and system for isolating features of defined clusters |
| JP2003132090A (ja) * | 2001-10-26 | 2003-05-09 | Olympus Optical Co Ltd | 類似データ検索装置および方法 |
| US7130864B2 (en) * | 2001-10-31 | 2006-10-31 | Hewlett-Packard Development Company, L.P. | Method and system for accessing a collection of images in a database |
| US7339992B2 (en) * | 2001-12-06 | 2008-03-04 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
| US20030120631A1 (en) * | 2001-12-21 | 2003-06-26 | Eastman Kodak Company | Method and system for hierarchical data entry |
| US20030190090A1 (en) * | 2002-04-09 | 2003-10-09 | Beeman Edward S. | System and method for digital-image enhancement |
| JP2004062804A (ja) * | 2002-07-31 | 2004-02-26 | Ricoh Co Ltd | 画像の分類方法、画像特徴量空間表示方法、プログラムおよび記録媒体 |
| JP4245872B2 (ja) * | 2002-08-28 | 2009-04-02 | 富士フイルム株式会社 | 類似度判定方法および装置並びにプログラム |
| US7315833B2 (en) * | 2003-01-16 | 2008-01-01 | Rosetta Holdings, Llc | Graphical internet search system and methods |
| US7725544B2 (en) * | 2003-01-24 | 2010-05-25 | Aol Inc. | Group based spam classification |
| US7089241B1 (en) * | 2003-01-24 | 2006-08-08 | America Online, Inc. | Classifier tuning based on data similarities |
| US7590695B2 (en) | 2003-05-09 | 2009-09-15 | Aol Llc | Managing electronic messages |
| JP2005043977A (ja) * | 2003-07-23 | 2005-02-17 | Hitachi Ltd | 文書間の類似度算出方法および装置 |
| US7313574B2 (en) * | 2003-10-02 | 2007-12-25 | Nokia Corporation | Method for clustering and querying media items |
| US8775436B1 (en) * | 2004-03-19 | 2014-07-08 | Google Inc. | Image selection for news search |
| US20050223031A1 (en) * | 2004-03-30 | 2005-10-06 | Andrew Zisserman | Method and apparatus for retrieving visual object categories from a database containing images |
| GB2412756A (en) * | 2004-03-31 | 2005-10-05 | Isis Innovation | Method and apparatus for retrieving visual object categories from a database containing images |
| EP1589444A3 (en) * | 2004-04-21 | 2008-03-12 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus for detecting situation change of digital photos and method, medium, and apparatus for situation-based photo clustering in digital photo album |
| US7590310B2 (en) | 2004-05-05 | 2009-09-15 | Facet Technology Corp. | Methods and apparatus for automated true object-based image analysis and retrieval |
| US7653249B2 (en) * | 2004-11-17 | 2010-01-26 | Eastman Kodak Company | Variance-based event clustering for automatically classifying images |
| KR20060066340A (ko) * | 2004-12-13 | 2006-06-16 | 삼성전자주식회사 | 3차원 구조 스케치 제작장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록매체 |
| US7924473B2 (en) * | 2004-12-15 | 2011-04-12 | Fujifilm Corporation | Apparatus and method for image evaluation and program thereof |
| US8566705B2 (en) * | 2004-12-21 | 2013-10-22 | Ricoh Co., Ltd. | Dynamic document icons |
| US7831599B2 (en) * | 2005-03-04 | 2010-11-09 | Eastman Kodak Company | Addition of new images to an image database by clustering according to date/time and image content and representative image comparison |
| WO2006096612A2 (en) * | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
| WO2006121986A2 (en) * | 2005-05-06 | 2006-11-16 | Facet Technology Corp. | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
| JP4768358B2 (ja) * | 2005-08-22 | 2011-09-07 | 株式会社日立ソリューションズ | 画像検索方法 |
| JP5009577B2 (ja) * | 2005-09-30 | 2012-08-22 | 富士フイルム株式会社 | 画像検索装置および方法並びにプログラム |
| JP4738976B2 (ja) * | 2005-10-25 | 2011-08-03 | 富士フイルム株式会社 | 重要度設定装置および方法並びにプログラム |
| US20070120844A1 (en) * | 2005-11-28 | 2007-05-31 | Baumer Optronic Gmbh | Method and apparatus for the graphical operation of real-time image processing systems |
| WO2007129474A1 (ja) * | 2006-05-10 | 2007-11-15 | Nikon Corporation | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 |
| WO2008018064A2 (en) * | 2006-08-07 | 2008-02-14 | Yeda Research And Development Co. Ltd. | Data similarity and importance using local and global evidence scores |
| US8090222B1 (en) | 2006-11-15 | 2012-01-03 | Google Inc. | Selection of an image or images most representative of a set of images |
| US20080208791A1 (en) * | 2007-02-27 | 2008-08-28 | Madirakshi Das | Retrieving images based on an example image |
| JP4859057B2 (ja) * | 2007-03-16 | 2012-01-18 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| US7465241B2 (en) * | 2007-03-23 | 2008-12-16 | Acushnet Company | Functionalized, crosslinked, rubber nanoparticles for use in golf ball castable thermoset layers |
| US20080240572A1 (en) * | 2007-03-26 | 2008-10-02 | Seiko Epson Corporation | Image Search Apparatus and Image Search Method |
| US8041120B2 (en) * | 2007-06-26 | 2011-10-18 | Microsoft Corporation | Unified digital ink recognition |
| US8094939B2 (en) * | 2007-06-26 | 2012-01-10 | Microsoft Corporation | Digital ink-based search |
| US8315482B2 (en) * | 2007-06-26 | 2012-11-20 | Microsoft Corporation | Integrated platform for user input of digital ink |
| US8862582B2 (en) * | 2007-11-15 | 2014-10-14 | At&T Intellectual Property I, L.P. | System and method of organizing images |
| DE102008007035A1 (de) | 2008-01-31 | 2009-07-23 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Bildähnlichkeitsanalyse |
| ES2306616B1 (es) | 2008-02-12 | 2009-07-24 | Fundacion Cidaut | Procedimiento de determinacion de la luminancia de señales de trafico y dispositivo para su realizacion. |
| DE102008013608A1 (de) * | 2008-03-11 | 2009-10-29 | Vodafone Holding Gmbh | Verfahren und Einrichtung zum Analysieren digitaler Bilder |
| WO2009126785A2 (en) | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
| WO2009155281A1 (en) * | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
| US9607327B2 (en) * | 2008-07-08 | 2017-03-28 | Dan Atsmon | Object search and navigation method and system |
| GB0813666D0 (en) * | 2008-07-25 | 2008-09-03 | Ixico Ltd | Image data management systems |
| US20100106732A1 (en) * | 2008-10-29 | 2010-04-29 | Microsoft Corporation | Identifying Visually Similar Objects |
| US8611677B2 (en) | 2008-11-19 | 2013-12-17 | Intellectual Ventures Fund 83 Llc | Method for event-based semantic classification |
| US8112428B2 (en) * | 2008-11-24 | 2012-02-07 | Yahoo! Inc. | Clustering image search results through voting: reciprocal election |
| US20100131499A1 (en) * | 2008-11-24 | 2010-05-27 | Van Leuken Reinier H | Clustering Image Search Results Through Folding |
| JP5188372B2 (ja) * | 2008-11-26 | 2013-04-24 | 株式会社デンソーアイティーラボラトリ | 情報提示装置、方法およびプログラム |
| US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
| US20100325552A1 (en) * | 2009-06-19 | 2010-12-23 | Sloo David H | Media Asset Navigation Representations |
| US8707453B2 (en) * | 2010-01-29 | 2014-04-22 | Christopher Liam Ivey | System and method for restricting access to a computer system to live persons by means of semantic association of images |
| US8868569B2 (en) * | 2010-02-24 | 2014-10-21 | Yahoo! Inc. | Methods for detecting and removing duplicates in video search results |
| US10108620B2 (en) | 2010-04-29 | 2018-10-23 | Google Llc | Associating still images and videos |
| KR20130083829A (ko) * | 2010-04-30 | 2013-07-23 | 톰슨 라이센싱 | 디스플레이된 텔레비전 컨텐츠에 대한 자동 이미지 디스커버리 및 추천 |
| US8555192B2 (en) * | 2010-06-03 | 2013-10-08 | Microsoft Corporation | Sketching and searching application for idea generation |
| US8655016B2 (en) * | 2011-07-29 | 2014-02-18 | International Business Machines Corporation | Example-based object retrieval for video surveillance |
| TWI456525B (zh) * | 2011-09-21 | 2014-10-11 | Univ Ming Chi Technology | 景點資訊的自動分類方法及其系統 |
| US9218365B2 (en) | 2011-12-15 | 2015-12-22 | Yeda Research And Development Co. Ltd. | Device, system, and method of visual inference by collaborative composition |
| US9147125B2 (en) | 2013-05-03 | 2015-09-29 | Microsoft Technology Licensing, Llc | Hand-drawn sketch recognition |
| US9183467B2 (en) | 2013-05-03 | 2015-11-10 | Microsoft Technology Licensing, Llc | Sketch segmentation |
| KR101912794B1 (ko) * | 2013-11-27 | 2018-10-29 | 한화테크윈 주식회사 | 영상 검색 시스템 및 영상 검색 방법 |
| US10169702B2 (en) * | 2013-12-30 | 2019-01-01 | Htc Corporation | Method for searching relevant images via active learning, electronic device using the same |
| CN104598534B (zh) * | 2014-12-30 | 2018-04-06 | 小米科技有限责任公司 | 图片折叠方法及装置 |
| US9911173B2 (en) | 2014-12-30 | 2018-03-06 | Xiaomi Inc. | Method and device for displaying images |
| US11042586B2 (en) * | 2016-12-29 | 2021-06-22 | Shutterstock, Inc. | Clustering search results based on image composition |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| US5647058A (en) * | 1993-05-24 | 1997-07-08 | International Business Machines Corporation | Method for high-dimensionality indexing in a multi-media database |
| US5893095A (en) * | 1996-03-29 | 1999-04-06 | Virage, Inc. | Similarity engine for content-based retrieval of images |
| US5852823A (en) * | 1996-10-16 | 1998-12-22 | Microsoft | Image classification and retrieval system using a query-by-example paradigm |
-
1998
- 1998-04-22 US US09/064,086 patent/US6240424B1/en not_active Expired - Lifetime
-
1999
- 1999-04-21 JP JP11377999A patent/JP3489615B2/ja not_active Expired - Fee Related
-
2000
- 2000-06-16 US US09/595,807 patent/US6269358B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6269358B1 (en) | 2001-07-31 |
| US6240424B1 (en) | 2001-05-29 |
| JPH11345340A (ja) | 1999-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3489615B2 (ja) | 画像分類方法、画像問い合わせ方法、画像分類装置、画像問い合わせ装置 | |
| JP3522146B2 (ja) | 画像照合方法および画像照会装置 | |
| US6115717A (en) | System and method for open space metadata-based storage and retrieval of images in an image database | |
| US7043474B2 (en) | System and method for measuring image similarity based on semantic meaning | |
| US6816175B1 (en) | Orthogonal browsing in object hierarchies | |
| US6996268B2 (en) | System and method for gathering, indexing, and supplying publicly available data charts | |
| Samet et al. | Marco: Map retrieval by content | |
| US20030123737A1 (en) | Perceptual method for browsing, searching, querying and visualizing collections of digital images | |
| US20070237426A1 (en) | Generating search results based on duplicate image detection | |
| Agouris et al. | An environment for content-based image retrieval from large spatial databases | |
| JPH11328228A (ja) | 問い合わせ検索結果精緻化方法及び装置 | |
| US20030093437A1 (en) | Hierarchical image feature-based visualization | |
| Assa et al. | Displaying data in multidimensional relevance space with 2D visualization maps | |
| Marques et al. | MUSE: A content-based image search and retrieval system using relevance feedback | |
| Hirata et al. | Object-based navigation: An intuitive navigation style for content-oriented integration environment | |
| Nakazato et al. | ImageGrouper: Search, annotate and organize images by groups | |
| Cinque et al. | A multidimensional image browser | |
| Goh et al. | MOSAIC: A fast multi-feature image retrieval system | |
| Jin et al. | A scheme for intelligent image retrieval in multimedia databases | |
| Eler et al. | Coordinated and multiple views for visualizing text collections | |
| Jin et al. | Using browsing to improve content-based image retrieval | |
| Hirata et al. | Integration of image matching and classification for multimedia navigation | |
| JPH04145578A (ja) | 検索用キーワード指定の処理方法及び情報検索装置 | |
| Kakimoto et al. | Browsing functions in three-dimensional space for digital libraries | |
| Liu et al. | Structured image retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030604 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031008 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |