JP3671691B2 - 類似画像検索装置、類似画像検索方法及び記録媒体 - Google Patents
類似画像検索装置、類似画像検索方法及び記録媒体 Download PDFInfo
- Publication number
- JP3671691B2 JP3671691B2 JP25523298A JP25523298A JP3671691B2 JP 3671691 B2 JP3671691 B2 JP 3671691B2 JP 25523298 A JP25523298 A JP 25523298A JP 25523298 A JP25523298 A JP 25523298A JP 3671691 B2 JP3671691 B2 JP 3671691B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- search target
- reference image
- target images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、複数の検索対象の画像の中から特定の画像（以下「キー画像」という）と類似する画像を検索する技術に関する。
【０００２】
【従来の技術】
近年、情報処理分野の発展はめざましく、特にパーソナルコンピュータ等の性能の向上により、ビジネス分野や特定用途に限らず、一般のユーザーやコンシューマーにおいても、画像データベースや電子ファイリングの技術が普及している。例えば、画像や文書を入力機器で取り込んで、キーワード等の付加情報と共に蓄積・管理を行い、必要に応じて出力装置によって印刷することが行われている。
【０００３】
しかし、大量の画像データベース内において、画像を検索しようとする場合、画像に適切なキーワード等の付加情報が付加されていないと迅速性に劣り、実用上不便である。
【０００４】
かかる画像の検索において、複数の画像からキー画像に類似する画像を検索する技術として、画像の特徴量を比較する方法を採用するものがある。例えば色やテクスチャの特徴量として、それぞれ彩度、エッジの強さを求め、その値がキー画像と近い画像を複数の画像から検索される。かかる技術については、例えばExculibur社の検索ソフトウエアであるVisual RetrievalWareや、Virage社の検索ソフトウエアであるVIR Image Engineが公知である。
【０００５】
【発明が解決しようとする課題】
しかし、これらの公知の類似画像検索技術においては、互いに比較されるべき画像の解像度は考慮されていない。同じ画像であってもその解像度を変化させれば抽出される特徴量はそれに伴って変化するのは自明である。例えば解像度の低い画像よりも高い画像の方が細かいエッジが明確になり、テクスチャの特徴量は大きくなる。また、解像度の高い画像では種々の色が独立して存在していても、解像度の低い画像ではこれらの色は混合され、それぞれの色の特徴量は異なってくる。
【０００６】
キー画像と、検索対象の画像とを画像に表示して視認しつつ画像検索を行う際、画面の大きさに制限されてこれらの画像が縮小して表示され、解像度が低くなることがある。かかる場合であっても、原画像の解像度で類似検索を行いたい場合がある。その一方、ブラウザで表示された画像から受ける印象と合致した類似検索を行いたい場合もある。
【０００７】
本願は上記の事情に鑑み、比較される画像の特徴量を解像度に応じて求め、ユーザーの検索時の操作性を高める技術を提供するものである。
【０００８】
【課題を解決するための手段】
この発明のうち請求項１にかかるものは、複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める解像度変換手段と、ユーザーによる解像度の指定を受け付ける解像度指定手段と、前記解像度指定手段を介して指定された前記解像度に対する前記基準画像の前記特徴量を抽出する第１の抽出手段と、前記解像度指定手段を介して指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する第２の抽出手段と、前記基準画像について抽出された前記特徴量と前記複数の検索対象画像のそれぞれについて抽出された前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する手段と、算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する検索手段とを備える類似画像検索装置である。
【０００９】
この発明のうち請求項２にかかるものは、請求項１記載の類似画像検索装置であって、前記第１の抽出手段及び前記第２の抽出手段はいずれも、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記解像度指定手段を介して指定された前記解像度に対する前記特徴量を読み出す。
【００１０】
この発明のうち請求項３にかかるものは、複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する解像度変換手段と、基準画像を所定の解像度で表示する表示手段と、前記変換画像の解像度のうち、前記表示手段により表示された基準画像の解像度に最も近い解像度を指定する解像度指定手段と、前記基準画像の特徴量である第１の特徴量と、前記解像度指定手段により指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する特徴量演算手段と、前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する類似度演算手段と、前記類似度演算手段により演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する検索手段と、を備える類似画像検索装置である。
【００１１】
この発明のうち請求項４にかかるものは、類似画像検索方法であって、（ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める工程と、（ｂ）前記解像度毎に前記複数の検索対象画像及び前記基準画像の特徴量を求める工程と、（ｃ）ユーザーによる解像度の指定を受け付ける工程と、（ｄ）前記工程（ｃ）で指定された前記解像度に対する前記基準画像の前記特徴量を抽出する工程と、（ｅ）前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する工程と、（ｆ）前記工程（ｄ）で抽出された基準画像についての前記特徴量と、前記工程（ｅ）で抽出された前記複数の検索対象画像のそれぞれについての前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する工程と、（ｇ）前記工程（ｆ）で算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程とを備える。
【００１２】
この発明のうち請求項５にかかるものは、請求項４記載の類似画像検索方法であって、前記工程（ｄ）（ｅ）のいずれにおいても、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記工程（ｃ）で指定された前記解像度に対する前記特徴量が読み出される。
【００１３】
この発明のうち請求項６にかかるものは、類似画像検索方法であって、（ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する工程と、（ｂ）基準画像を所定の解像度で表示する工程と、（ｃ）前記変換画像の解像度のうち、前記工程（ｂ）により表示された基準画像の解像度に最も近い解像度を指定する工程と、（ｄ）前記基準画像の特徴量である第１の特徴量と、前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する工程と、（ｅ）前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する工程と、（ｆ）前記工程（ｅ）で演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程とを備える。
【００１４】
この発明のうち請求項７にかかるものは、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは（ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める工程と、（ｂ）前記解像度毎に前記複数の検索対象画像及び前記基準画像の特徴量を求める工程と、（ｃ）ユーザーによる解像度の指定を受け付ける工程と、（ｄ）前記工程（ｃ）で指定された前記解像度に対する前記基準画像の前記特徴量を抽出する工程と、（ｅ）前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する工程と、（ｆ）前記工程（ｄ）で抽出された基準画像についての前記特徴量と、前記工程（ｅ）で抽出された前記複数の検索対象画像のそれぞれについての前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する工程と、（ｇ）前記工程（ｆ）で算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程とをコンピュータに実現させる。
【００１５】
この発明のうち請求項８にかかるものは、請求項７記載の記録媒体であって、前記工程（ｄ）（ｅ）のいずれにおいても、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記工程（ｃ）で指定された前記解像度に対する前記特徴量が読み出される。
【００１６】
この発明のうち請求項９にかかるものは、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは（ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する工程と、（ｂ）基準画像を所定の解像度で表示する工程と、（ｃ）前記変換画像の解像度のうち、前記工程（ｂ）により表示された基準画像の解像度に最も近い解像度を指定する工程と、（ｄ）前記基準画像の特徴量である第１の特徴量と、前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する工程と、（ｅ）前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する工程と、（ｆ）前記工程（ｅ）で演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程とをコンピュータに実現させる。
【００２３】
【発明の実施の形態】
図１はこの発明のある実施の形態である、類似画像検出システムを実現することができる構成を示す概念図である。
【００２４】
当該システムは、ＣＰＵを中心として構成されてシステム全体を制御するコンピュータ１と、文字等を含めた画像を表示するディスプレイ２と、指示や操作を入力するキーボード３及びマウス４と、データが保存される媒体であるフレキシブルディスクをドライブするフレキシブルディスクドライバ５と、ハードディスクドライバ６と、画像データあるいは画像を編成して得られた図面などを出力するプリンタ７と、画像データを取り込むスキャナー８及びデータが保存される媒体であるＣＤ−ＲＯＭをドライブするＣＤ−ＲＯＭドライバ９と、音声を含めた音響を出力するスピーカー１０と、音響を入力するマイクロフォン１１とを備えている。これらはコンピュータ１を中心として相互に接続されており、データの授受が行われる。
【００２５】
図２はコンピュータ１の構成と、その周辺機器２〜１１との接続の概略を示すブロック図である。コンピュータ１は例えばインテル社製の品番ｉ８０４８６ＤＸ等のＣＰＵ２０１、ＣＰＵ２０１及び後述する種々の制御回路のクロック信号を供給するクロック発生回路２０２と、データバス２２０とを備えている。更にいずれもデータバス２２０に接続され、本システムを制御するプログラム等が格納されるＲＯＭ２０３、データやプログラムを記憶するＲＡＭ２０４、ディスプレイ２の動作を制御する表示制御回路２０５、キーボード３からの入力の転送を制御するキーボード制御回路２０６、マウス４からの入力の転送を制御するマウス制御回路２０７、フレキシブルディスクドライバ５の動作を制御するフレキシブルディスクドライバ制御回路２０８、ハードディスクドライバ６の動作を制御するハードディスクドライバ制御回路２０９、プリンタ７への出力を制御するプリンタ制御回路２１０、スキャナー８の動作を制御するスキャナー制御回路２１１、ＣＤ−ＲＯＭドライバ９の動作を制御するＣＤ−ＲＯＭドライバ制御回路２１２、スピーカー１０への出力を制御するスピーカー制御回路２１３、マイクロフォン１１からの入力を制御するマイクロフォン制御回路２１４も備えられている。更に、拡張ボードを接続するための拡張スロット２１５もデータバス２２０に接続されて設けられている。拡張スロット２１５にＳＣＳＩＩボードを接続し、これを介してフレキシブルディスクドライバ５、ハードディスクドライバ６、スキャナー８、ＣＤ−ＲＯＭドライバ９を接続することもできる。
【００２６】
検索対象となる複数の画像や、キー画像はフレキシブルディスクや、ハードディスクに格納されている。あるいは更にＭＯ媒体等の情報記憶装置を採用し、これに画像を格納してもよい。勿論、新たにスキャナー８や、ＣＤ−ＲＯＭから画像を取り込んで、これらの媒体に格納することもできるし、図示されないデジタルカメラ等を採用して画像を取り込むことができる。
【００２７】
図３は、図１及び図２で示されたシステムにおける情報処理プログラムのメインルーチンを示すフローチャートである。本プログラムは、この実施の形態において説明される類似画像検索に関係の無いステップを含んでいても良い。
【００２８】
ステップＳ１において初期設定が行われる。具体的には例えば情報処理に必要なフラグの初期化、画面表示の初期化（例えば情報処理の種類を示すメニューを表示する）等が挙げられる。その後ステップＳ２へ進み、どのような情報処理を行うかのメニューを選択する入力を待つ。選択が行われなければステップＳ２は繰り返し実行される。
【００２９】
入力された選択に応じて、ここでは３つの経路が例示されている。経路＃１は画像の特徴量を算出する処理に進み、経路＃２は類似画像を検索する処理に進み、経路＃３はその他の情報処理に進む。画像の特徴量の算出という情報処理が選択された場合には、経路＃１を経由してステップＳ３に進み、特徴量の算出が行われる。類似画像の検索という情報処理が選択された場合には、経路＃２を経由してステップＳ４に進み、類似画像の検索が行われる。その他の情報処理が選択された場合には、経路＃３を経由してステップＳ５に進み、当該情報処理が行われる。そして、いずれの経路＃１〜＃３を経由する場合もステップＳ６でその他の情報処理が行われる。上述のように、ステップＳ５，Ｓ６はこの実施の形態において説明される類似画像検索に関係の無い処理であっても良い。
【００３０】
図４は、コンピュータ１が実現する機能の概念を示すブロック図である。コンピュータ１を用いることなく、この図でブロックとして示される機能を発揮する装置を用いても本実施の形態を実現することができるのはいうまでもない。
【００３１】
データ格納部Ｖ０は原画像データを格納する画像データ格納部Ｖ１と、画像の特徴量を格納する特徴量格納部Ｖ２とを備えており、画像と当該画像から得られる特徴量とは、互いに対応つけて格納される。データ格納部Ｖ０は例えばフレキシブルディスクドライバ５及びハードディスクドライバ６により実現できる。
【００３２】
特徴量算出部Ｖ３は、画像データ格納部Ｖ１から原画像データを得て原画像の縮小処理を行い、縮小画像データを生成して画像データ格納部Ｖ１に追加して格納させる。また特徴量を原画像、縮小画像の何れについても求め、特徴量格納部Ｖ２に格納する。画像データ格納部Ｖ１は、原画像とこれを縮小して得られた縮小画像とを共に纏めて画像群として格納しておくことができる。
【００３３】
類似画像検索部Ｖ４は、画像群及び解像度を指定し、この画像群の中のある画像についての画像データ（これは原画像、縮小画像の何れであるかを問わない）及びその特徴量をデータ格納部Ｖ０から得てステップＳ４の処理を実行する。特徴量算出部Ｖ３、類似画像検索部Ｖ４は、いずれもコンピュータ１の機能により実現することができる。
【００３４】
図５はステップＳ３の詳細を示すフローチャートである。まずステップＳ３０１において原画像データをロードする。次にステップＳ３０２においてループ制御値ｉに値“０”を代入する。
【００３５】
ステップＳ３０３へ進み、ロードされた原画像データについてサイズの正規化を行う。「正規化」とは、ある規定の大きさに縮小させる画像処理であり、画像処理時間の短縮とノイズの削減を図っている。例えば４８０×４８０ピクセルの大きさに画像が収まるように縦横比を維持したまま縮小させる。但し、原画像のサイズが上記規定の大きさに満たない場合には正規化処理は行わない。
【００３６】
その後、ステップＳ３の中心となる特徴量の計算をステップＳ３０４で行う。ステップＳ３０４において計算される特徴量としては、例えば彩度の平均値等の色の特徴量、スペクトラム画像のピーク値や、エッジの強さ等のテクスチャの特徴が公知である。
【００３７】
ステップＳ３０５においてループ制御値ｉの値が１だけ増加し、ステップＳ３０６で上限値Ｎと比較される。ステップＳ３０６においてループ制御値ｉはステップＳ３０４が実行された回数を示している。この回数が上限値Ｎよりも小さいと、ステップＳ３０７に進んで画像縮小処理が行われた後、ステップＳ３０４に戻り、縮小画像についての特徴量が改めて求められる。画像縮小処理は所定の比率（例えば１／２や１／３）に基づいて行われ、ステップＳ３０７が繰り返し実行されることで解像度は低下する。
【００３８】
解像度は上記規定の大きさ（原画像が上記規定の大きさに満たない場合には原画像の大きさ）、所定の比率及びループ制御値ｉの値から求めることができる。つまり、画像縮小処理部Ｖ３４は画像の解像度の変換を行っていることになる。所定の比率はループ制御値ｉの関数であってもよい。
【００３９】
ステップＳ３０５により初めてｉ≧Ｎとなった場合にステップＳ３０６からステップＳ３０８へと進む。ステップＳ３０８では縮小画像データ及び解像度を保存する。このようにして、ある原画像データについて縮小画像データが求められ、それぞれに応じた特徴量も求められてデータベース化される。なお、正規化処理が行われた画像も縮小画像として扱われる。
【００４０】
図６は機能の概念を示すブロックである特徴量算出部Ｖ３の詳細を示すブロック図である。原画像データロード部Ｖ３１、画像サイズ正規化部Ｖ３２、特徴量計算部Ｖ３３、画像縮小処理部Ｖ３４は、それぞれステップＳ３０１，Ｓ３０３，Ｓ３０４，Ｓ３０７を実行する。ステップＳ３０８は図４に示されたデータ格納部Ｖ０によって実行される。
【００４１】
図７はステップＳ４の詳細を示すフローチャートであり、図８は類似画像検索部Ｖ４の詳細と、その周辺のブロックとの接続とを示すブロック図である。類似画像検索部Ｖ４は、キー画像指定部Ｖ４１と、解像度指定部Ｖ４２と、類似度算出部Ｖ４３と、総合類似度算出部Ｖ４４と、比較部Ｖ４５とを備えている。キー画像指定部Ｖ４１は、例えばディスプレイ２で実現できる表示部Ｖ５、キーボード３及びマウス４で実現できる入力部Ｖ６、並びにデータ格納部Ｖ０と接続されている。また比較部Ｖ４５には総合類似度算出部から出力される総合類似度Ｒａ（後に詳述する）についての比較基準となるしきい値ＴＨが入力される。しきい値ＴＨは例えばデータ格納部Ｖ０に記憶させておくことができる。
【００４２】
まずステップＳ４０１においてキー画像を指定する。これは入力部Ｖ６に対してユーザーが操作することにより、キー画像指定部Ｖ４１にキー画像指定命令Ａ１をデータ格納部Ｖ０に与えさせることで実現できる。キー画像の選択に際し、表示部Ｖ５に複数の画像を表示させ、ユーザーがこれらの画像の中から指定する手順をとってもよい。その場合にはキー画像指定命令Ａ１がデータ格納部Ｖ０に与えられる前に、予めデータ格納部Ｖ０から複数の画像の、例えば縮小画像等のカタログ表示を表示部Ｖ５に行わせることも望ましい態様の一つである。
【００４３】
次にステップＳ４０２において比較時の解像度を指定し、更に後述する総合類似度Ｒａを計算する為に用いられる類似度係数をも入力する。図８に即して言えば、このステップは、入力部Ｖ６が解像度指定部Ｖ４２に対してデータ格納部Ｖ０へと解像度情報Ａ２を与えさせ、また総合類似度算出部Ｖ４４に対して色についての類似度係数Ｗｃと、テクスチャについての類似度係数Ｗｔとを入力することで実現できる。
【００４４】
この際、ユーザーが解像度を指定し易いように、表示部Ｖ５において比較可能な解像度を複数表示し、その中から選択させるようにしてもよい。図９はそのような選択に供せられる表示画面の一例を示す図である。表示画面に表示されたブラウザにおいて、解像度選択ダイアログＱ１が複数の解像度の選択項目を列挙している。図中の数字はピクセル数を示している。これら項目の内、いずれかを選択し、更に選択された解像度で画像同士の比較を実行させるための指定ボタン（図中「ＯＫ」と表示されている）を入力部Ｖ６でクリックすれば選択された解像度での画像の検索が行われる。これらの項目において提示される解像度は、ステップＳ３０７が繰り返して実行されて得られる解像度に対応している。
【００４５】
この際「原画像」を指定すれば、表示画面に表示されたキー画像、あるいは更に検索結果として表示された類似画像の解像度によらず、原画像同士の特徴量での比較が行われるので、キー画像と、検索対象の画像とを画像に表示して視認しつつ画像検索を行う際、画面の大きさに制限されてこれらの画像が縮小して表示され、解像度が低くなっても、原画像の解像度で類否判断を行うことができる。これは原画像が大きくてブラウザで表示しにくい場合に有効な指定である。
【００４６】
また、「ブラウザの解像度」を指定すれば、縮小画像の内、表示画面に表示されたキー画像に最も近い解像度のものについて、特徴量の比較が行われる。従って、解像度を指定する煩わしさが無い上、キー画像と、検索対象の画像とを画像に表示して画像検索を行う際、視認される画像から受ける印象と合致した類否検索を行うことができ、プレゼンテーションの効果も高い。
【００４７】
図７に戻り、ステップＳ４０３において、指定されたキー画像についての指定された解像度の特徴量がロードされる。指定された解像度が原画像のそれよりも低ければ、キー画像の属する画像群から対応する縮小画像が決定され、その特徴量がロードされる。この処理は図８において、データ格納部Ｖ０にキー画像指定命令Ａ１及び解像度情報Ａ２とからキー画像の属する画像群の原画像もしくは縮小画像の特徴量Ａ３を出力させることで実現できる。
【００４８】
次にステップＳ４０４に進み、検索対象となる画像を格納している記憶領域のレコードポインタを先頭に移動させる。これ以降、検索対象の画像について逐次に類似度を求め、キー画像との類否を調べるのである。これは図８で言えば、データ格納部Ｖ０におけるレコードポインタの初期化に相当する。
【００４９】
次にステップＳ４０５において検索対象の画像の特徴量をロードする。これは更に正確にいえば、検索対象の画像である原画像が属する画像群のうち、原画像自身、あるいはステップＳ４０２で入力された解像度に対応する縮小原画の特徴量をロードすることである。この処理は、データ格納部Ｖ０に検索対象の画像（原画像であるか縮小画像であるかを問わない）の特徴量Ａ３を出力させることで実現できる。
【００５０】
そしてステップＳ４０６において、互いに共通した解像度を有するキー画像と検索対象の画像との類似度を算出する。この処理は図８においてキー画像の特徴量Ａ３と、検索対象の画像の特徴量Ａ４とを用いて類似度算出部Ｖ４４が類似度Ｒｃとテクスチャの類似度Ｒｔとを計算することで実現できる。
【００５１】
ここで「共通した解像度」とは必ずしも同一の解像度の場合に限らず、原画像の解像度が所定の解像度よりも低い場合にも、それら２つの解像度を同一として取り扱うことを含む意味である。多くの画像はステップＳ３０３で画像サイズの正規化が行われた上でステップＳ３０７で解像度の変換が行われるので、解像度の等しい縮小画像が得られているが、原画像同士の比較対象を行う場合には解像度は一致しない。一方の原画像の解像度を所定の解像度とし、他方の原画像の解像度がこの所定の解像度よりも低いと考えることができるが、同一の解像度である場合と同様にして取り扱う。
【００５２】
また原画像のサイズが規定の大きさ、例えば４８０×４８０ピクセルという所定の解像度よりも低い場合、ステップＳ３０３で正規化処理が行われない。この場合、ステップＳ３０７において得られた縮小画像の解像度は、画像群毎に異なっている。しかし、指定された解像度に最も近い解像度に対応した特徴量が類否判断に採用される。例えば原画像が４８０×４８０ピクセル未満である場合に、図９に示された解像度選択ダイアログＱ１において「４８０×４８０ピクセル」の解像度を選択した場合には、本実施の形態ではステップＳ４０５において、原画像の特徴量をロードすることとする。
【００５３】
ステップＳ４０７に進み、総合類似度算出が行われる。総合類似度とは、色の類似度、テクスチャの類似度など、複数の類似度に基づいて得られる単一の指標であり、その際にはステップＳ４０２で入力した類似度係数が考慮される。即ち、類似度係数の高い類似度ほど総合類似度に対する寄与率は高い。例えば総合類似度は、Ｒａ＝ΣＷｋ・Ｒｋとして定義される。ここでｋは類似度の種類を表し、Ｗｋはキー画像についての第ｋの特徴量についてのウェイトを、Ｒｋはキー画像と検索対象の画像との第ｋの特徴量についての類似度を表し、Σはパラメタｋについての総和を表している。この処理は総合類似度算出部Ｖ４４において色のウェイトＷｃ及びテクスチャのウェイトＷｔ、並びに色の類似度Ｒｃとテクスチャの類似度Ｒｔから、総合類似度ＲａをＷｃＲｃ＋ＷｔＲｔとして求めることで実現できる。
【００５４】
ステップＳ４０８においては総合類似度が所定のしきい値よりも大きいか否かの判断を行い、大きい場合にはキー画像と検索対象の画像とが類似していると判断してステップＳ４０９において検索対象の画像を表示する。これはしきい値ＴＨと総合類似度Ｒａとを比較部Ｖ４５が比較し、Ｒａ＞ＴＨの場合に表示命令Ｄ１を表示部Ｖ５に与えて実現することができる。
【００５５】
図１０は解像度１２０×１２０ピクセルの解像度で検索している状態のブラウザＢ１の表示を、図１１は解像度２４０×２４０ピクセルの解像度で検索している状態のブラウザＢ２の表示を、それぞれ例示する図である。縮小画像Ｌ１０，Ｌ２０はキー画像であり、縮小画像Ｌ１１〜Ｌ１７，Ｌ２１は検索対象となる画像である。但し、図８では繁雑を避けるため、画像データがデータ格納部Ｖ０から表示部Ｖ５へと伝達される経路は省略している。
【００５６】
ステップＳ４０８において総合類似度が所定のしきい値以下であれば、あるいはステップＳ４０９が実行されれば、ステップＳ４１０へ進み次に検索対象となる画像が有るか否かが判断され、有ればステップＳ４１１においてレコードポインタをインクリメントする。これはしきい値ＴＨと総合類似度Ｒａとを比較部Ｖ４５が比較し、Ｒａ≦ＴＨの場合、あるいは表示命令Ｄ１を表示部Ｖ５に与えた場合に、検索命令Ｄ２をデータ格納部Ｖ０に与え、データ格納部Ｖ０から新たな画像データについての特徴量Ａ４を類似度算出部Ｖ４３に入力させることで実現できる。
【００５７】
ステップＳ４１０でもはや全ての検索対象の画像についての検索が終了していればステップＳ４の処理は終了する。
【００５８】
以上のようにして本発明では、キー画像及び検索対象の画像の特徴量に基いて類否の検索を行う際に、比較対象となる画像の解像度に応じた特徴量を採用して行う。従って、原画像が大きくてブラウザで表示しにくい場合に画面の大きさに制限されてこれらの画像が縮小して表示され、解像度が低くなっても、原画像の解像度で類否判断を行うことができる。あるいは逆に、ブラウザで表示された画像の解像度で類否判断を行うことにより、視認される画像から受ける印象と検索結果とを合致させることができる。
【００５９】
上記説明において、ステップＳ４０５以下に進む前にしきい値をユーザーが設定できるステップを追加してもよい。
【００６０】
上述の実施の形態では、縮小した画像を画像データ格納部Ｖ１に格納する構成を採用したが、縮小画像から得られた特徴量のみを格納する構成を採用しても良い。縮小されてるとはいえ、画像はデータ量が多いので、このように変形することにより記憶容量が大幅に削減できる。かかる変形においては、縮小画像の表示に際してはその都度、縮小画像を作成することになる。
【００６１】
また、上述の実施の形態では各縮小画像に対する特徴量を算出して格納するステップＳ３を設けているが、複数の解像度に対する特徴量が予め格納されている画像データベースが別途に用意されるなら、検索するステップＳ４のみが設けられていれば足りる。
【００６２】
また、上述の実施の形態では複数の解像度について予め特徴量を算出して特徴量格納部Ｖ２に格納する構成を採用したが、検索の都度、特徴量を算出するようにしてもよい。この場合、複数の解像度について特徴量を算出する必要はなく、指定された解像度についてのみ特徴量を算出すれば良い。
【００６３】
また、上述の実施の形態では、類似画像を検索する際に、ステップＳ４０２において解像度そのものを指定しているが、必ずしも解像度を直接に指定する必要はない。解像度に関するパラメータ、例えば画像サイズや画素数等で間接的に解像度を指定するようにしてもよい。
【００６４】
なお、上記説明において示されたフローチャートは、ＲＯＭ２０３に記憶されているプログラムに基づいてコンピュータ１が各機能を果たすことによって実現されるが、フレキシブルディスクなどの記録媒体に記録されたプログラムがフレキシブルディスクドライバ５を介してコンピュータ１に読み込まれ、コンピュータ１が各機能を果たすことによって実現されてもよい。更に、記録媒体に記録されたプログラムは、上記フローチャートの全てをコンピュータに実現させるものではなく、その一部を実現させるプログラムであってもよい。既にコンピュータ１に読み込まれたプログラムと連携して動作しても上記フローチャートは実現できるからである。
【００６５】
【発明の効果】
この発明にかかる類似画像検索装置、及び類似画像検索方法によれば、基準画像及び検索対象画像の特徴量に基いて類否の検索を行う際に、比較対象となる画像の解像度に応じた特徴量を採用して行う。従って、基準画像や検索対象画像が大きくて表示しにくい場合に、画面の大きさに制限されてこれらの画像が縮小して表示され、解像度が低くなっても、縮小前の画像の解像度で類否判断を行うことができる。あるいは逆に、表示された画像の解像度で類否判断を行うことにより、視認される画像から受ける印象と検索結果とを合致させることができる。
【００６６】
この発明にかかる記録媒体によれば、解像度毎に画像の類否を効率的に決定する処理に資することができる。
【図面の簡単な説明】
【図１】 この発明にかかる類似画像検出システムの構成を示す概念図である。
【図２】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図３】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図４】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図５】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図６】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図７】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図８】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図９】 この発明にかかる実施の形態での表示動作を説明する図である。
【図１０】 この発明にかかる実施の形態での表示動作を説明する図である。
【図１１】 この発明にかかる実施の形態での表示動作を説明する図である。
【符号の説明】
Ｖ０ データ格納部、Ｖ３ 特徴量算出部、Ｖ３３ 特徴量計算部、Ｖ３４ 画像縮小処理部、Ｖ４ 類似画像検索部、Ｖ４２ 解像度指定部、Ｖ４３ 類似度算出部、Ｖ４４ 総合類似度算出部、Ｖ４５ 比較部、Ｖ５ 表示部
【発明の属する技術分野】
この発明は、複数の検索対象の画像の中から特定の画像（以下「キー画像」という）と類似する画像を検索する技術に関する。
【０００２】
【従来の技術】
近年、情報処理分野の発展はめざましく、特にパーソナルコンピュータ等の性能の向上により、ビジネス分野や特定用途に限らず、一般のユーザーやコンシューマーにおいても、画像データベースや電子ファイリングの技術が普及している。例えば、画像や文書を入力機器で取り込んで、キーワード等の付加情報と共に蓄積・管理を行い、必要に応じて出力装置によって印刷することが行われている。
【０００３】
しかし、大量の画像データベース内において、画像を検索しようとする場合、画像に適切なキーワード等の付加情報が付加されていないと迅速性に劣り、実用上不便である。
【０００４】
かかる画像の検索において、複数の画像からキー画像に類似する画像を検索する技術として、画像の特徴量を比較する方法を採用するものがある。例えば色やテクスチャの特徴量として、それぞれ彩度、エッジの強さを求め、その値がキー画像と近い画像を複数の画像から検索される。かかる技術については、例えばExculibur社の検索ソフトウエアであるVisual RetrievalWareや、Virage社の検索ソフトウエアであるVIR Image Engineが公知である。
【０００５】
【発明が解決しようとする課題】
しかし、これらの公知の類似画像検索技術においては、互いに比較されるべき画像の解像度は考慮されていない。同じ画像であってもその解像度を変化させれば抽出される特徴量はそれに伴って変化するのは自明である。例えば解像度の低い画像よりも高い画像の方が細かいエッジが明確になり、テクスチャの特徴量は大きくなる。また、解像度の高い画像では種々の色が独立して存在していても、解像度の低い画像ではこれらの色は混合され、それぞれの色の特徴量は異なってくる。
【０００６】
キー画像と、検索対象の画像とを画像に表示して視認しつつ画像検索を行う際、画面の大きさに制限されてこれらの画像が縮小して表示され、解像度が低くなることがある。かかる場合であっても、原画像の解像度で類似検索を行いたい場合がある。その一方、ブラウザで表示された画像から受ける印象と合致した類似検索を行いたい場合もある。
【０００７】
本願は上記の事情に鑑み、比較される画像の特徴量を解像度に応じて求め、ユーザーの検索時の操作性を高める技術を提供するものである。
【０００８】
【課題を解決するための手段】
この発明のうち請求項１にかかるものは、複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める解像度変換手段と、ユーザーによる解像度の指定を受け付ける解像度指定手段と、前記解像度指定手段を介して指定された前記解像度に対する前記基準画像の前記特徴量を抽出する第１の抽出手段と、前記解像度指定手段を介して指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する第２の抽出手段と、前記基準画像について抽出された前記特徴量と前記複数の検索対象画像のそれぞれについて抽出された前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する手段と、算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する検索手段とを備える類似画像検索装置である。
【０００９】
この発明のうち請求項２にかかるものは、請求項１記載の類似画像検索装置であって、前記第１の抽出手段及び前記第２の抽出手段はいずれも、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記解像度指定手段を介して指定された前記解像度に対する前記特徴量を読み出す。
【００１０】
この発明のうち請求項３にかかるものは、複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する解像度変換手段と、基準画像を所定の解像度で表示する表示手段と、前記変換画像の解像度のうち、前記表示手段により表示された基準画像の解像度に最も近い解像度を指定する解像度指定手段と、前記基準画像の特徴量である第１の特徴量と、前記解像度指定手段により指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する特徴量演算手段と、前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する類似度演算手段と、前記類似度演算手段により演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する検索手段と、を備える類似画像検索装置である。
【００１１】
この発明のうち請求項４にかかるものは、類似画像検索方法であって、（ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める工程と、（ｂ）前記解像度毎に前記複数の検索対象画像及び前記基準画像の特徴量を求める工程と、（ｃ）ユーザーによる解像度の指定を受け付ける工程と、（ｄ）前記工程（ｃ）で指定された前記解像度に対する前記基準画像の前記特徴量を抽出する工程と、（ｅ）前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する工程と、（ｆ）前記工程（ｄ）で抽出された基準画像についての前記特徴量と、前記工程（ｅ）で抽出された前記複数の検索対象画像のそれぞれについての前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する工程と、（ｇ）前記工程（ｆ）で算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程とを備える。
【００１２】
この発明のうち請求項５にかかるものは、請求項４記載の類似画像検索方法であって、前記工程（ｄ）（ｅ）のいずれにおいても、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記工程（ｃ）で指定された前記解像度に対する前記特徴量が読み出される。
【００１３】
この発明のうち請求項６にかかるものは、類似画像検索方法であって、（ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する工程と、（ｂ）基準画像を所定の解像度で表示する工程と、（ｃ）前記変換画像の解像度のうち、前記工程（ｂ）により表示された基準画像の解像度に最も近い解像度を指定する工程と、（ｄ）前記基準画像の特徴量である第１の特徴量と、前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する工程と、（ｅ）前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する工程と、（ｆ）前記工程（ｅ）で演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程とを備える。
【００１４】
この発明のうち請求項７にかかるものは、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは（ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める工程と、（ｂ）前記解像度毎に前記複数の検索対象画像及び前記基準画像の特徴量を求める工程と、（ｃ）ユーザーによる解像度の指定を受け付ける工程と、（ｄ）前記工程（ｃ）で指定された前記解像度に対する前記基準画像の前記特徴量を抽出する工程と、（ｅ）前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する工程と、（ｆ）前記工程（ｄ）で抽出された基準画像についての前記特徴量と、前記工程（ｅ）で抽出された前記複数の検索対象画像のそれぞれについての前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する工程と、（ｇ）前記工程（ｆ）で算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程とをコンピュータに実現させる。
【００１５】
この発明のうち請求項８にかかるものは、請求項７記載の記録媒体であって、前記工程（ｄ）（ｅ）のいずれにおいても、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記工程（ｃ）で指定された前記解像度に対する前記特徴量が読み出される。
【００１６】
この発明のうち請求項９にかかるものは、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは（ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する工程と、（ｂ）基準画像を所定の解像度で表示する工程と、（ｃ）前記変換画像の解像度のうち、前記工程（ｂ）により表示された基準画像の解像度に最も近い解像度を指定する工程と、（ｄ）前記基準画像の特徴量である第１の特徴量と、前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する工程と、（ｅ）前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する工程と、（ｆ）前記工程（ｅ）で演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程とをコンピュータに実現させる。
【００２３】
【発明の実施の形態】
図１はこの発明のある実施の形態である、類似画像検出システムを実現することができる構成を示す概念図である。
【００２４】
当該システムは、ＣＰＵを中心として構成されてシステム全体を制御するコンピュータ１と、文字等を含めた画像を表示するディスプレイ２と、指示や操作を入力するキーボード３及びマウス４と、データが保存される媒体であるフレキシブルディスクをドライブするフレキシブルディスクドライバ５と、ハードディスクドライバ６と、画像データあるいは画像を編成して得られた図面などを出力するプリンタ７と、画像データを取り込むスキャナー８及びデータが保存される媒体であるＣＤ−ＲＯＭをドライブするＣＤ−ＲＯＭドライバ９と、音声を含めた音響を出力するスピーカー１０と、音響を入力するマイクロフォン１１とを備えている。これらはコンピュータ１を中心として相互に接続されており、データの授受が行われる。
【００２５】
図２はコンピュータ１の構成と、その周辺機器２〜１１との接続の概略を示すブロック図である。コンピュータ１は例えばインテル社製の品番ｉ８０４８６ＤＸ等のＣＰＵ２０１、ＣＰＵ２０１及び後述する種々の制御回路のクロック信号を供給するクロック発生回路２０２と、データバス２２０とを備えている。更にいずれもデータバス２２０に接続され、本システムを制御するプログラム等が格納されるＲＯＭ２０３、データやプログラムを記憶するＲＡＭ２０４、ディスプレイ２の動作を制御する表示制御回路２０５、キーボード３からの入力の転送を制御するキーボード制御回路２０６、マウス４からの入力の転送を制御するマウス制御回路２０７、フレキシブルディスクドライバ５の動作を制御するフレキシブルディスクドライバ制御回路２０８、ハードディスクドライバ６の動作を制御するハードディスクドライバ制御回路２０９、プリンタ７への出力を制御するプリンタ制御回路２１０、スキャナー８の動作を制御するスキャナー制御回路２１１、ＣＤ−ＲＯＭドライバ９の動作を制御するＣＤ−ＲＯＭドライバ制御回路２１２、スピーカー１０への出力を制御するスピーカー制御回路２１３、マイクロフォン１１からの入力を制御するマイクロフォン制御回路２１４も備えられている。更に、拡張ボードを接続するための拡張スロット２１５もデータバス２２０に接続されて設けられている。拡張スロット２１５にＳＣＳＩＩボードを接続し、これを介してフレキシブルディスクドライバ５、ハードディスクドライバ６、スキャナー８、ＣＤ−ＲＯＭドライバ９を接続することもできる。
【００２６】
検索対象となる複数の画像や、キー画像はフレキシブルディスクや、ハードディスクに格納されている。あるいは更にＭＯ媒体等の情報記憶装置を採用し、これに画像を格納してもよい。勿論、新たにスキャナー８や、ＣＤ−ＲＯＭから画像を取り込んで、これらの媒体に格納することもできるし、図示されないデジタルカメラ等を採用して画像を取り込むことができる。
【００２７】
図３は、図１及び図２で示されたシステムにおける情報処理プログラムのメインルーチンを示すフローチャートである。本プログラムは、この実施の形態において説明される類似画像検索に関係の無いステップを含んでいても良い。
【００２８】
ステップＳ１において初期設定が行われる。具体的には例えば情報処理に必要なフラグの初期化、画面表示の初期化（例えば情報処理の種類を示すメニューを表示する）等が挙げられる。その後ステップＳ２へ進み、どのような情報処理を行うかのメニューを選択する入力を待つ。選択が行われなければステップＳ２は繰り返し実行される。
【００２９】
入力された選択に応じて、ここでは３つの経路が例示されている。経路＃１は画像の特徴量を算出する処理に進み、経路＃２は類似画像を検索する処理に進み、経路＃３はその他の情報処理に進む。画像の特徴量の算出という情報処理が選択された場合には、経路＃１を経由してステップＳ３に進み、特徴量の算出が行われる。類似画像の検索という情報処理が選択された場合には、経路＃２を経由してステップＳ４に進み、類似画像の検索が行われる。その他の情報処理が選択された場合には、経路＃３を経由してステップＳ５に進み、当該情報処理が行われる。そして、いずれの経路＃１〜＃３を経由する場合もステップＳ６でその他の情報処理が行われる。上述のように、ステップＳ５，Ｓ６はこの実施の形態において説明される類似画像検索に関係の無い処理であっても良い。
【００３０】
図４は、コンピュータ１が実現する機能の概念を示すブロック図である。コンピュータ１を用いることなく、この図でブロックとして示される機能を発揮する装置を用いても本実施の形態を実現することができるのはいうまでもない。
【００３１】
データ格納部Ｖ０は原画像データを格納する画像データ格納部Ｖ１と、画像の特徴量を格納する特徴量格納部Ｖ２とを備えており、画像と当該画像から得られる特徴量とは、互いに対応つけて格納される。データ格納部Ｖ０は例えばフレキシブルディスクドライバ５及びハードディスクドライバ６により実現できる。
【００３２】
特徴量算出部Ｖ３は、画像データ格納部Ｖ１から原画像データを得て原画像の縮小処理を行い、縮小画像データを生成して画像データ格納部Ｖ１に追加して格納させる。また特徴量を原画像、縮小画像の何れについても求め、特徴量格納部Ｖ２に格納する。画像データ格納部Ｖ１は、原画像とこれを縮小して得られた縮小画像とを共に纏めて画像群として格納しておくことができる。
【００３３】
類似画像検索部Ｖ４は、画像群及び解像度を指定し、この画像群の中のある画像についての画像データ（これは原画像、縮小画像の何れであるかを問わない）及びその特徴量をデータ格納部Ｖ０から得てステップＳ４の処理を実行する。特徴量算出部Ｖ３、類似画像検索部Ｖ４は、いずれもコンピュータ１の機能により実現することができる。
【００３４】
図５はステップＳ３の詳細を示すフローチャートである。まずステップＳ３０１において原画像データをロードする。次にステップＳ３０２においてループ制御値ｉに値“０”を代入する。
【００３５】
ステップＳ３０３へ進み、ロードされた原画像データについてサイズの正規化を行う。「正規化」とは、ある規定の大きさに縮小させる画像処理であり、画像処理時間の短縮とノイズの削減を図っている。例えば４８０×４８０ピクセルの大きさに画像が収まるように縦横比を維持したまま縮小させる。但し、原画像のサイズが上記規定の大きさに満たない場合には正規化処理は行わない。
【００３６】
その後、ステップＳ３の中心となる特徴量の計算をステップＳ３０４で行う。ステップＳ３０４において計算される特徴量としては、例えば彩度の平均値等の色の特徴量、スペクトラム画像のピーク値や、エッジの強さ等のテクスチャの特徴が公知である。
【００３７】
ステップＳ３０５においてループ制御値ｉの値が１だけ増加し、ステップＳ３０６で上限値Ｎと比較される。ステップＳ３０６においてループ制御値ｉはステップＳ３０４が実行された回数を示している。この回数が上限値Ｎよりも小さいと、ステップＳ３０７に進んで画像縮小処理が行われた後、ステップＳ３０４に戻り、縮小画像についての特徴量が改めて求められる。画像縮小処理は所定の比率（例えば１／２や１／３）に基づいて行われ、ステップＳ３０７が繰り返し実行されることで解像度は低下する。
【００３８】
解像度は上記規定の大きさ（原画像が上記規定の大きさに満たない場合には原画像の大きさ）、所定の比率及びループ制御値ｉの値から求めることができる。つまり、画像縮小処理部Ｖ３４は画像の解像度の変換を行っていることになる。所定の比率はループ制御値ｉの関数であってもよい。
【００３９】
ステップＳ３０５により初めてｉ≧Ｎとなった場合にステップＳ３０６からステップＳ３０８へと進む。ステップＳ３０８では縮小画像データ及び解像度を保存する。このようにして、ある原画像データについて縮小画像データが求められ、それぞれに応じた特徴量も求められてデータベース化される。なお、正規化処理が行われた画像も縮小画像として扱われる。
【００４０】
図６は機能の概念を示すブロックである特徴量算出部Ｖ３の詳細を示すブロック図である。原画像データロード部Ｖ３１、画像サイズ正規化部Ｖ３２、特徴量計算部Ｖ３３、画像縮小処理部Ｖ３４は、それぞれステップＳ３０１，Ｓ３０３，Ｓ３０４，Ｓ３０７を実行する。ステップＳ３０８は図４に示されたデータ格納部Ｖ０によって実行される。
【００４１】
図７はステップＳ４の詳細を示すフローチャートであり、図８は類似画像検索部Ｖ４の詳細と、その周辺のブロックとの接続とを示すブロック図である。類似画像検索部Ｖ４は、キー画像指定部Ｖ４１と、解像度指定部Ｖ４２と、類似度算出部Ｖ４３と、総合類似度算出部Ｖ４４と、比較部Ｖ４５とを備えている。キー画像指定部Ｖ４１は、例えばディスプレイ２で実現できる表示部Ｖ５、キーボード３及びマウス４で実現できる入力部Ｖ６、並びにデータ格納部Ｖ０と接続されている。また比較部Ｖ４５には総合類似度算出部から出力される総合類似度Ｒａ（後に詳述する）についての比較基準となるしきい値ＴＨが入力される。しきい値ＴＨは例えばデータ格納部Ｖ０に記憶させておくことができる。
【００４２】
まずステップＳ４０１においてキー画像を指定する。これは入力部Ｖ６に対してユーザーが操作することにより、キー画像指定部Ｖ４１にキー画像指定命令Ａ１をデータ格納部Ｖ０に与えさせることで実現できる。キー画像の選択に際し、表示部Ｖ５に複数の画像を表示させ、ユーザーがこれらの画像の中から指定する手順をとってもよい。その場合にはキー画像指定命令Ａ１がデータ格納部Ｖ０に与えられる前に、予めデータ格納部Ｖ０から複数の画像の、例えば縮小画像等のカタログ表示を表示部Ｖ５に行わせることも望ましい態様の一つである。
【００４３】
次にステップＳ４０２において比較時の解像度を指定し、更に後述する総合類似度Ｒａを計算する為に用いられる類似度係数をも入力する。図８に即して言えば、このステップは、入力部Ｖ６が解像度指定部Ｖ４２に対してデータ格納部Ｖ０へと解像度情報Ａ２を与えさせ、また総合類似度算出部Ｖ４４に対して色についての類似度係数Ｗｃと、テクスチャについての類似度係数Ｗｔとを入力することで実現できる。
【００４４】
この際、ユーザーが解像度を指定し易いように、表示部Ｖ５において比較可能な解像度を複数表示し、その中から選択させるようにしてもよい。図９はそのような選択に供せられる表示画面の一例を示す図である。表示画面に表示されたブラウザにおいて、解像度選択ダイアログＱ１が複数の解像度の選択項目を列挙している。図中の数字はピクセル数を示している。これら項目の内、いずれかを選択し、更に選択された解像度で画像同士の比較を実行させるための指定ボタン（図中「ＯＫ」と表示されている）を入力部Ｖ６でクリックすれば選択された解像度での画像の検索が行われる。これらの項目において提示される解像度は、ステップＳ３０７が繰り返して実行されて得られる解像度に対応している。
【００４５】
この際「原画像」を指定すれば、表示画面に表示されたキー画像、あるいは更に検索結果として表示された類似画像の解像度によらず、原画像同士の特徴量での比較が行われるので、キー画像と、検索対象の画像とを画像に表示して視認しつつ画像検索を行う際、画面の大きさに制限されてこれらの画像が縮小して表示され、解像度が低くなっても、原画像の解像度で類否判断を行うことができる。これは原画像が大きくてブラウザで表示しにくい場合に有効な指定である。
【００４６】
また、「ブラウザの解像度」を指定すれば、縮小画像の内、表示画面に表示されたキー画像に最も近い解像度のものについて、特徴量の比較が行われる。従って、解像度を指定する煩わしさが無い上、キー画像と、検索対象の画像とを画像に表示して画像検索を行う際、視認される画像から受ける印象と合致した類否検索を行うことができ、プレゼンテーションの効果も高い。
【００４７】
図７に戻り、ステップＳ４０３において、指定されたキー画像についての指定された解像度の特徴量がロードされる。指定された解像度が原画像のそれよりも低ければ、キー画像の属する画像群から対応する縮小画像が決定され、その特徴量がロードされる。この処理は図８において、データ格納部Ｖ０にキー画像指定命令Ａ１及び解像度情報Ａ２とからキー画像の属する画像群の原画像もしくは縮小画像の特徴量Ａ３を出力させることで実現できる。
【００４８】
次にステップＳ４０４に進み、検索対象となる画像を格納している記憶領域のレコードポインタを先頭に移動させる。これ以降、検索対象の画像について逐次に類似度を求め、キー画像との類否を調べるのである。これは図８で言えば、データ格納部Ｖ０におけるレコードポインタの初期化に相当する。
【００４９】
次にステップＳ４０５において検索対象の画像の特徴量をロードする。これは更に正確にいえば、検索対象の画像である原画像が属する画像群のうち、原画像自身、あるいはステップＳ４０２で入力された解像度に対応する縮小原画の特徴量をロードすることである。この処理は、データ格納部Ｖ０に検索対象の画像（原画像であるか縮小画像であるかを問わない）の特徴量Ａ３を出力させることで実現できる。
【００５０】
そしてステップＳ４０６において、互いに共通した解像度を有するキー画像と検索対象の画像との類似度を算出する。この処理は図８においてキー画像の特徴量Ａ３と、検索対象の画像の特徴量Ａ４とを用いて類似度算出部Ｖ４４が類似度Ｒｃとテクスチャの類似度Ｒｔとを計算することで実現できる。
【００５１】
ここで「共通した解像度」とは必ずしも同一の解像度の場合に限らず、原画像の解像度が所定の解像度よりも低い場合にも、それら２つの解像度を同一として取り扱うことを含む意味である。多くの画像はステップＳ３０３で画像サイズの正規化が行われた上でステップＳ３０７で解像度の変換が行われるので、解像度の等しい縮小画像が得られているが、原画像同士の比較対象を行う場合には解像度は一致しない。一方の原画像の解像度を所定の解像度とし、他方の原画像の解像度がこの所定の解像度よりも低いと考えることができるが、同一の解像度である場合と同様にして取り扱う。
【００５２】
また原画像のサイズが規定の大きさ、例えば４８０×４８０ピクセルという所定の解像度よりも低い場合、ステップＳ３０３で正規化処理が行われない。この場合、ステップＳ３０７において得られた縮小画像の解像度は、画像群毎に異なっている。しかし、指定された解像度に最も近い解像度に対応した特徴量が類否判断に採用される。例えば原画像が４８０×４８０ピクセル未満である場合に、図９に示された解像度選択ダイアログＱ１において「４８０×４８０ピクセル」の解像度を選択した場合には、本実施の形態ではステップＳ４０５において、原画像の特徴量をロードすることとする。
【００５３】
ステップＳ４０７に進み、総合類似度算出が行われる。総合類似度とは、色の類似度、テクスチャの類似度など、複数の類似度に基づいて得られる単一の指標であり、その際にはステップＳ４０２で入力した類似度係数が考慮される。即ち、類似度係数の高い類似度ほど総合類似度に対する寄与率は高い。例えば総合類似度は、Ｒａ＝ΣＷｋ・Ｒｋとして定義される。ここでｋは類似度の種類を表し、Ｗｋはキー画像についての第ｋの特徴量についてのウェイトを、Ｒｋはキー画像と検索対象の画像との第ｋの特徴量についての類似度を表し、Σはパラメタｋについての総和を表している。この処理は総合類似度算出部Ｖ４４において色のウェイトＷｃ及びテクスチャのウェイトＷｔ、並びに色の類似度Ｒｃとテクスチャの類似度Ｒｔから、総合類似度ＲａをＷｃＲｃ＋ＷｔＲｔとして求めることで実現できる。
【００５４】
ステップＳ４０８においては総合類似度が所定のしきい値よりも大きいか否かの判断を行い、大きい場合にはキー画像と検索対象の画像とが類似していると判断してステップＳ４０９において検索対象の画像を表示する。これはしきい値ＴＨと総合類似度Ｒａとを比較部Ｖ４５が比較し、Ｒａ＞ＴＨの場合に表示命令Ｄ１を表示部Ｖ５に与えて実現することができる。
【００５５】
図１０は解像度１２０×１２０ピクセルの解像度で検索している状態のブラウザＢ１の表示を、図１１は解像度２４０×２４０ピクセルの解像度で検索している状態のブラウザＢ２の表示を、それぞれ例示する図である。縮小画像Ｌ１０，Ｌ２０はキー画像であり、縮小画像Ｌ１１〜Ｌ１７，Ｌ２１は検索対象となる画像である。但し、図８では繁雑を避けるため、画像データがデータ格納部Ｖ０から表示部Ｖ５へと伝達される経路は省略している。
【００５６】
ステップＳ４０８において総合類似度が所定のしきい値以下であれば、あるいはステップＳ４０９が実行されれば、ステップＳ４１０へ進み次に検索対象となる画像が有るか否かが判断され、有ればステップＳ４１１においてレコードポインタをインクリメントする。これはしきい値ＴＨと総合類似度Ｒａとを比較部Ｖ４５が比較し、Ｒａ≦ＴＨの場合、あるいは表示命令Ｄ１を表示部Ｖ５に与えた場合に、検索命令Ｄ２をデータ格納部Ｖ０に与え、データ格納部Ｖ０から新たな画像データについての特徴量Ａ４を類似度算出部Ｖ４３に入力させることで実現できる。
【００５７】
ステップＳ４１０でもはや全ての検索対象の画像についての検索が終了していればステップＳ４の処理は終了する。
【００５８】
以上のようにして本発明では、キー画像及び検索対象の画像の特徴量に基いて類否の検索を行う際に、比較対象となる画像の解像度に応じた特徴量を採用して行う。従って、原画像が大きくてブラウザで表示しにくい場合に画面の大きさに制限されてこれらの画像が縮小して表示され、解像度が低くなっても、原画像の解像度で類否判断を行うことができる。あるいは逆に、ブラウザで表示された画像の解像度で類否判断を行うことにより、視認される画像から受ける印象と検索結果とを合致させることができる。
【００５９】
上記説明において、ステップＳ４０５以下に進む前にしきい値をユーザーが設定できるステップを追加してもよい。
【００６０】
上述の実施の形態では、縮小した画像を画像データ格納部Ｖ１に格納する構成を採用したが、縮小画像から得られた特徴量のみを格納する構成を採用しても良い。縮小されてるとはいえ、画像はデータ量が多いので、このように変形することにより記憶容量が大幅に削減できる。かかる変形においては、縮小画像の表示に際してはその都度、縮小画像を作成することになる。
【００６１】
また、上述の実施の形態では各縮小画像に対する特徴量を算出して格納するステップＳ３を設けているが、複数の解像度に対する特徴量が予め格納されている画像データベースが別途に用意されるなら、検索するステップＳ４のみが設けられていれば足りる。
【００６２】
また、上述の実施の形態では複数の解像度について予め特徴量を算出して特徴量格納部Ｖ２に格納する構成を採用したが、検索の都度、特徴量を算出するようにしてもよい。この場合、複数の解像度について特徴量を算出する必要はなく、指定された解像度についてのみ特徴量を算出すれば良い。
【００６３】
また、上述の実施の形態では、類似画像を検索する際に、ステップＳ４０２において解像度そのものを指定しているが、必ずしも解像度を直接に指定する必要はない。解像度に関するパラメータ、例えば画像サイズや画素数等で間接的に解像度を指定するようにしてもよい。
【００６４】
なお、上記説明において示されたフローチャートは、ＲＯＭ２０３に記憶されているプログラムに基づいてコンピュータ１が各機能を果たすことによって実現されるが、フレキシブルディスクなどの記録媒体に記録されたプログラムがフレキシブルディスクドライバ５を介してコンピュータ１に読み込まれ、コンピュータ１が各機能を果たすことによって実現されてもよい。更に、記録媒体に記録されたプログラムは、上記フローチャートの全てをコンピュータに実現させるものではなく、その一部を実現させるプログラムであってもよい。既にコンピュータ１に読み込まれたプログラムと連携して動作しても上記フローチャートは実現できるからである。
【００６５】
【発明の効果】
この発明にかかる類似画像検索装置、及び類似画像検索方法によれば、基準画像及び検索対象画像の特徴量に基いて類否の検索を行う際に、比較対象となる画像の解像度に応じた特徴量を採用して行う。従って、基準画像や検索対象画像が大きくて表示しにくい場合に、画面の大きさに制限されてこれらの画像が縮小して表示され、解像度が低くなっても、縮小前の画像の解像度で類否判断を行うことができる。あるいは逆に、表示された画像の解像度で類否判断を行うことにより、視認される画像から受ける印象と検索結果とを合致させることができる。
【００６６】
この発明にかかる記録媒体によれば、解像度毎に画像の類否を効率的に決定する処理に資することができる。
【図面の簡単な説明】
【図１】 この発明にかかる類似画像検出システムの構成を示す概念図である。
【図２】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図３】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図４】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図５】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図６】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図７】 この発明にかかる実施の形態の動作を示すフローチャートである。
【図８】 この発明にかかる実施の形態の構成を説明するブロック図である。
【図９】 この発明にかかる実施の形態での表示動作を説明する図である。
【図１０】 この発明にかかる実施の形態での表示動作を説明する図である。
【図１１】 この発明にかかる実施の形態での表示動作を説明する図である。
【符号の説明】
Ｖ０ データ格納部、Ｖ３ 特徴量算出部、Ｖ３３ 特徴量計算部、Ｖ３４ 画像縮小処理部、Ｖ４ 類似画像検索部、Ｖ４２ 解像度指定部、Ｖ４３ 類似度算出部、Ｖ４４ 総合類似度算出部、Ｖ４５ 比較部、Ｖ５ 表示部
Claims (9)
- 複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める解像度変換手段と、
前記解像度毎に前記複数の検索対象画像及び前記基準画像の特徴量を求める特徴量計算手段と、
ユーザーによる解像度の指定を受け付ける解像度指定手段と、
前記解像度指定手段を介して指定された前記解像度に対する前記基準画像の前記特徴量を抽出する第１の抽出手段と、
前記解像度指定手段を介して指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する第２の抽出手段と、
前記基準画像について抽出された前記特徴量と前記複数の検索対象画像のそれぞれについて抽出された前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する手段と、
算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する検索手段と
を備える類似画像検索装置。 - 前記第１の抽出手段及び前記第２の抽出手段はいずれも、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記解像度指定手段を介して指定された前記解像度に対する前記特徴量を読み出す、請求項１記載の類似画像検索装置。
- 複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する解像度変換手段と、
基準画像を所定の解像度で表示する表示手段と、
前記変換画像の解像度のうち、前記表示手段により表示された基準画像の解像度に最も近い解像度を指定する解像度指定手段と、
前記基準画像の特徴量である第１の特徴量と、前記解像度指定手段により指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する特徴量演算手段と、
前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する類似度演算手段と、
前記類似度演算手段により演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する検索手段と、
を備える類似画像検索装置。 - （ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める工程と、
（ｂ）前記解像度毎に前記複数の検索対象画像及び前記基準画像の特徴量を求める工程と、
（ｃ）ユーザーによる解像度の指定を受け付ける工程と、
（ｄ）前記工程（ｃ）で指定された前記解像度に対する前記基準画像の前記特徴量を抽出する工程と、
（ｅ）前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する工程と、
（ｆ）前記工程（ｄ）で抽出された基準画像についての前記特徴量と、前記工程（ｅ）で抽出された前記複数の検索対象画像のそれぞれについての前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する工程と、
（ｇ）前記工程（ｆ）で算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程と
を備える、類似画像検索方法。 - 前記工程（ｄ）（ｅ）のいずれにおいても、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記工程（ｃ）で指定された前記解像度に対する前記特徴量が読み出される、請求項４記載の類似画像検索方法。
- （ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する工程と、
（ｂ）基準画像を所定の解像度で表示する工程と、
（ｃ）前記変換画像の解像度のうち、前記工程（ｂ）により表示された基準画像の解像度に最も近い解像度を指定する工程と、
（ｄ）前記基準画像の特徴量である第１の特徴量と、前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する工程と、
（ｅ）前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する工程と、
（ｆ）前記工程（ｅ）で演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程と
を備える類似画像検索方法。 - （ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度を異ならせて変換画像を求める工程と、
（ｂ）前記解像度毎に前記複数の検索対象画像及び前記基準画像の特徴量を求める工程と、
（ｃ）ユーザーによる解像度の指定を受け付ける工程と、
（ｄ）前記工程（ｃ）で指定された前記解像度に対する前記基準画像の前記特徴量を抽出する工程と、
（ｅ）前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての前記特徴量を抽出する工程と、
（ｆ）前記工程（ｄ）で抽出された基準画像についての前記特徴量と、前記工程（ｅ）で抽出された前記複数の検索対象画像のそれぞれについての前記特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を算出する工程と、
（ｇ）前記工程（ｆ）で算出された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程と
をコンピュータに実現させるプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記工程（ｄ）（ｅ）のいずれにおいても、予め複数の前記解像度に対する前記特徴量が記憶された記憶手段から、前記工程（ｃ）で指定された前記解像度に対する前記特徴量が読み出される、請求項７記載の記録媒体。
- （ａ）複数の検索対象画像及び基準画像のそれぞれに対し、解像度の異なる変換画像を複数生成する工程と、
（ｂ）基準画像を所定の解像度で表示する工程と、
（ｃ）前記変換画像の解像度のうち、前記工程（ｂ）により表示された基準画像の解像度に最も近い解像度を指定する工程と、
（ｄ）前記基準画像の特徴量である第１の特徴量と、前記工程（ｃ）で指定された前記解像度に対する前記複数の検索対象画像のそれぞれについての特徴量である第２の特徴量とを演算する工程と、
（ｅ）前記第１の特徴量と、前記第２の特徴量とを用いて、前記基準画像と前記複数の検索対象画像のそれぞれについての類似度を演算する工程と、
（ｆ）前記工程（ｅ）で演算された前記類似度に基づいて、前記複数の検索対象画像から前記基準画像に類似する画像を検索する工程と
をコンピュータに実現させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25523298A JP3671691B2 (ja) | 1998-09-09 | 1998-09-09 | 類似画像検索装置、類似画像検索方法及び記録媒体 |
| US09/365,184 US6463432B1 (en) | 1998-08-03 | 1999-08-02 | Apparatus for and method of retrieving images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25523298A JP3671691B2 (ja) | 1998-09-09 | 1998-09-09 | 類似画像検索装置、類似画像検索方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000090101A JP2000090101A (ja) | 2000-03-31 |
| JP3671691B2 true JP3671691B2 (ja) | 2005-07-13 |
Family
ID=17275875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25523298A Expired - Fee Related JP3671691B2 (ja) | 1998-08-03 | 1998-09-09 | 類似画像検索装置、類似画像検索方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3671691B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4966077B2 (ja) | 2007-04-12 | 2012-07-04 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| TWI453680B (zh) * | 2010-10-08 | 2014-09-21 | Micro Star Int Co Ltd | 可抑制雜訊及環境影響之臉部辨識方法 |
| US11215535B2 (en) * | 2019-11-14 | 2022-01-04 | Hitachi, Ltd. | Predictive maintenance for robotic arms using vibration measurements |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08137908A (ja) * | 1994-11-15 | 1996-05-31 | Canon Inc | 画像検索方法及び装置 |
| JPH0944518A (ja) * | 1995-08-02 | 1997-02-14 | Adoin Kenkyusho:Kk | 画像データベースの構築方法と、画像データベースの検索方法及び検索装置 |
| JPH09293082A (ja) * | 1996-04-26 | 1997-11-11 | Toshiba Corp | 画像検索装置及び画像検索方法 |
-
1998
- 1998-09-09 JP JP25523298A patent/JP3671691B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000090101A (ja) | 2000-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4074366B2 (ja) | 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 | |
| JP3747589B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
| US7930634B2 (en) | Document display apparatus and document display program | |
| US5428727A (en) | Method and system for registering and filing image data | |
| EP1993064A2 (en) | Image processing apparatus and image retrieval method | |
| JP2007286864A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP2008192055A (ja) | コンテンツ検索方法、およびコンテンツ検索装置 | |
| JP2007034663A (ja) | 情報処理装置および方法、並びにプログラム | |
| JP4214568B2 (ja) | 画像データ逐次表示装置、画像データ逐次表示方法及び記録媒体 | |
| US7542984B2 (en) | Database system for control data storage | |
| JP2007317034A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| US8031226B2 (en) | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program | |
| JP3812161B2 (ja) | 画像比較装置、画像比較方法及び記録媒体 | |
| JP5336759B2 (ja) | 画像出力装置及び画像出力方法 | |
| JP3671691B2 (ja) | 類似画像検索装置、類似画像検索方法及び記録媒体 | |
| US6421062B1 (en) | Apparatus and method of information processing and storage medium that records information processing programs | |
| US6792417B1 (en) | Information processing apparatus and method for storing and managing objects together with additional information | |
| JP3290600B2 (ja) | ネットワークシステム | |
| JPH10340272A (ja) | 類似画像検索装置及び方法 | |
| JP2010044498A (ja) | 画像処理装置 | |
| JP2002162958A (ja) | 画像表示方法および装置 | |
| JP2009015774A (ja) | 情報処理装置及び情報処理方法 | |
| JP4344207B2 (ja) | 文書検索装置、文書検索方法、文書検索プログラム、および記録媒体 | |
| JPH10326278A (ja) | 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体 | |
| JP3198942B2 (ja) | 情報処理装置及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20041008 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |