JP3635368B2 - 内容基盤イメージ検索システム及びその検索方法 - Google Patents
内容基盤イメージ検索システム及びその検索方法 Download PDFInfo
- Publication number
- JP3635368B2 JP3635368B2 JP2000367732A JP2000367732A JP3635368B2 JP 3635368 B2 JP3635368 B2 JP 3635368B2 JP 2000367732 A JP2000367732 A JP 2000367732A JP 2000367732 A JP2000367732 A JP 2000367732A JP 3635368 B2 JP3635368 B2 JP 3635368B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- art
- content
- function
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99932—Access augmentation or optimizing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99934—Query formulation, input preparation, or translation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99935—Query augmenting and refining, e.g. inexact access
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99936—Pattern matching access
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99943—Generating database or data structure, e.g. via user interface
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明が属する技術分野】
本発明は、内容基盤イメージ検索システムに関し、特にインターネットを含んだネットワーク環境で停止画像及び動画像に含まれている客体形状の類似度をART(Angular Radial Transform)係数を用いて自動的に判断することによって、ユーザが質疑したイメージと位置、大きさ及び回転角度に関係なく類似した形状を有するイメージを検索することのできる内容基盤イメージ検索システム及びその方法と、これを実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体に関する。
【0002】
【従来の技術】
最近インターネットの発達とディジタル(digital)イメージ(image)及びマルチメディアデータ(multimedia data)の使用が急増するにつれて、従来のテキストを利用したイメージ検索は信頼性のある検索結果を保障できなくなった。
【0003】
これによって、最近、イメージの直接入力を介してイメージを検索する方法が脚光を浴びている。
【0004】
イメージを用いたイメージ検索とは、イメージから該当イメージの特徴を記述するイメージ記述子(image descriptor)を抽出した後、ユーザが入力した質疑イメージとデータベースに格納されているイメージのイメージ記述子の類似度とを比較することによって、類似したイメージを検索する方法をいう。ここで、イメージ記述子は、イメージの色相を記述する色相記述子(color descriptor)、質感を記述する質感記述子(texture descriptor)及び形状を記述する形状記述子(shape descriptor)等種々のものがあるが、イメージを用いたイメージ検索システムの効率は、イメージ記述子がイメージの特徴をどれほど效率的に表すかによって左右される。
【0005】
従来の形状記述子では、回転不変モーメント記述子(invariant moment descriptor)が主に用いられており、回転不変モーメント記述子は、イメージの大きさの変換、移動及び回転に対して不変の値を有する特性を有している。
【0006】
入力されたイメージからモーメント記述子を獲得するためには、まず、イメージの空間的な特徴を利用して背景と客体とを分離するためのエッジ(edge)検出と2進化過程とを行い、上記分離された背景から客体の外郭境界線を検出し、分離された客体から客体の形態ベクトル(vector)を獲得する。
【0007】
次に、入力されたイメージとデータベースに格納されたイメージとの間の類似性測定のために、以下の「数式1」のようなユークリッド(Euclidean)距離測定方法が用いられる。
【0008】
【数41】
【0009】
ここで、qは、入力イメージあって、tは、データベースに格納されたイメージであって、H q は、入力イメージqのモーメント値であって、Htは、データベースイメージtのモーメント値を意味し、Mは、0〜6のいずれか一つの値を有する。
【0010】
しかしながら、上記したような、従来のモーメント記述子を利用した内容基盤イメージ検索システムは、基底関数に用いられる多項関数が互いに直交しないので、抽出されたモーメント値間に情報の重複性が存在してイメージを表現する記述子としての効率が落ち、ユーザの認知的特性をまともに反映できなくて、ユーザが感じる類似した形状のイメージを正しく検索できない問題がある。
【0011】
このような問題点を解決するため、ツェルニケ・モーメント(Zernike moment)を利用した検索方法が用いられている。ツェルニケ・モーメントは、直交性を有しているので、情報の重複性問題は解決されたが、イメージの円柱方向特性はよく示さない短所がある。したがって、ユーザの認知的特性をまともに反映できなくてユーザが感じる類似した形状のイメージを正しく検索できない問題がある。
【0012】
【発明が解決しようとする課題】
したがって、上記のような問題点を解決するために案出された本発明は、所望のイメージを迅速かつ正確に検索することのできる内容基盤イメージ検索システム及びその方法を提供することにその目的がある。
【0013】
【課題を解決するための手段】
上記目的を達成するため、本発明は、内容基盤イメージ検索システムでイメージ及び上記イメージの特性を表すイメージ記述子を格納するデータベース(database)の製造方法において、イメージを受信する第1ステップと、上記イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記イメージからイメージ記述子を抽出する第2ステップと、上記イメージをイメージデータベースに格納する第3ステップと、上記イメージ記述子をイメージ記述子データベースに格納する第4ステップとを含み、上記質疑イメージ記述子が、所定個数のART(angular radial transform)係数を含み、各々の上記ART係数が、
【数42】
(ただし、n及びmは、ART基底関数の次数を決定する整数であって、Fnmは、ART係数であって、Vnm(ρ,θ)は、ART基底関数であって、f(ρ,θ)は、極座標系(ρ,θ)で表現されたイメージであって、上付き文字「*」は共役複素数を意味する)
で表現されることを特徴としている。
【0014】
また、本発明は、ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子を格納しているデータベース(database)を含む内容基盤イメージ検索方法であって、質疑イメージを受信する第1ステップと、上記質疑イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記質疑イメージから質疑イメージ記述子を抽出するための第2ステップと、上記質疑イメージ記述子を利用して上記ウェブサーバにイメージ検索を要求する第3ステップと、上記データベースから少なくとも一つの質疑イメージと類似したイメージを受信して出力する第4ステップとを含み、上記質疑イメージ記述子が、所定個数のART(angular radial transform)係数を含み、各々の上記ART係数が、上記した「数式2」で表現されることを特徴としている。
【0015】
また、本発明は、ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索方法であって、質疑イメージの偏角(angular)成分及び放射(radial)成分に基づく質疑イメージ記述子を受信する第1ステップと、上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較する第2ステップと、上記イメージ記述子を類似度順に整列する第3ステップと、上記質疑イメージと類似した上記イメージを少なくともひとつ受信して出力する第4ステップとを含み、上記質疑イメージ記述子が、所定個数のART(angular radial transform)係数を含み、各々の上記ART係数が、上記した「数式2」で表現されることを特徴としている。
【0016】
また、本発明は、ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索方法であって、質疑イメージを受信する第1ステップと、質疑イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記質疑イメージから質疑イメージ記述子を抽出する第2ステップと、上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較する第3ステップと、上記イメージ記述子を類似度順に整列する第4ステップと、上記質疑イメージと類似した少なくとも一つの上記イメージを出力する第5ステップとを含み、上記質疑イメージ記述子が、所定個数のART(angular radial transform)係数を含み、各々の上記ART係数が、上記した「数式2」で表現されることを特徴としている。
【0018】
また、本発明は、内容基盤イメージ検索システムでイメージ及び上記イメージの特性を表すイメージ記述子を格納するデータベース(database)を構築するための装置において、イメージを受信するためのイメージ入力手段と、上記イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記イメージからイメージ記述子を抽出するためのイメージ抽出手段と、上記イメージをイメージデータベースに格納するためのイメージ格納手段と、上記イメージ記述子をイメージ記述子データベースに格納するためのイメージ記述子貯蔵手段とを含み、上記質疑イメージ記述子が、所定個数の ART(angular radial transform) 係数を含み、各々の上記 ART 係数が、上記した「数式2」で表現されることを特徴としている。
【0019】
また、本発明は、ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索システムにおいて、質疑イメージを受信するための質疑イメージ入力手段と、上記質疑イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記質疑イメージから質疑イメージ記述子を抽出するための質疑イメージ記述子抽出手段と、上記質疑イメージ記述子を利用して上記ウェブサーバにイメージ検索を要求するための手段と、上記データベースから少なくとも一つの質疑イメージと類似したイメージを受信して出力するためのイメージ出力手段とを含み、上記質疑イメージ記述子が、所定個数の ART(angular radial transform) 係数を含み、各々の上記 ART 係数が、上記した「数式2」で表現されることを特徴としている。
【0020】
また、本発明は、ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索システムにおいて、質疑イメージの偏角(angular)成分及び放射(radial)成分に基づく質疑イメージ記述子を受信するための手段と、上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較するための手段と、上記イメージ記述子を類似度順に整列するための手段と、上記質疑イメージと類似した上記イメージを受信して少なくともひとつを出力するための手段とを含み、上記質疑イメージ記述子が、所定個数の ART(angular radial transform) 係数を含み、各々の上記 ART 係数が、上記した「数式2」で表現されることを特徴としている。
【0021】
また、本発明は、ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索システムにおいて、質疑イメージを受信するための手段と、質疑イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記質疑イメージから質疑イメージ記述子を抽出するための手段と、上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較するための手段と、上記イメージ記述子を類似度順に整列するための手段と、上記質疑イメージと類似した少なくとも一つの上記イメージを出力するための手段とを含み、上記質疑イメージ記述子が、所定個数の ART(angular radial transform) 係数を含み、各々の上記 ART 係数が、上記した「数式2」で表現されることを特徴としている。
【0022】
また、本発明は、マイクロプロセッサを備えた内容基盤イメージ検索システムにおいて、質疑イメージの偏角(angular)成分及び放射(radial)成分に基づく質疑イメージ記述子を受信する第1機能と、上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較する第2機能と、上記イメージ記述子を類似度順に整列する第3機能と、上記質疑イメージと類似した上記イメージを少なくともひとつ受信して出力する第4機能とを実現させるためのプログラムであって、上記イメージ記述子が、所定個数の ART(angular radial transform) 係数を含み、各々の上記 ART 係数が、上記した「数式2」で表現されるプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供する。
【0023】
また、本発明は、マイクロプロセッサを備えた内容基盤イメージ検索システムにおいて、質疑イメージを受信する第1機能と、質疑イメージの偏角(angular)成分及び放射(radial)成分とに基づいて上記質疑イメージから質疑イメージ記述子を抽出する第2機能と、上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較する第3機能と、上記イメージ記述子を類似度順に整列する第4機能と、上記質疑イメージと類似した少なくとも一つの上記イメージを出力する第5機能とを実現させるためのプログラムであって、上記イメージ記述子が、所定個数の ART(angular radial transform) 係数を含み、各々の上記 ART 係数が、上記した「数式2」で表現されるプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供する。
【0024】
【発明の実施の形態】
以下、添付した図面を参照し本発明にかかる好ましい一実施形態を詳細に説明する。
【0025】
図1は、本発明にかかる内容基盤イメージ検索システムの概略的な構成を示したブロック図である。
【0026】
図1に示したように、内容基盤検索システムは、遠隔ユーザウェブブラウザ(web browser)、ウェブサーバ(web server)及びデータベースサーバ(database server)を含む。
【0027】
データベースサーバは、イメージ及びイメージ記述子データベースを構築するためのイメージを入力されるイメージ入力部100、上記イメージ入力部100に入力されたイメージのARTイメージ記述子を抽出するイメージ記述子抽出部101、上記イメージ入力部100から入力されたイメージを格納するイメージデータベース102及び上記イメージ記述子抽出部101から抽出されたイメージ記述子を格納するイメージ記述子データベース103を含む。遠隔ユーザウェブブラウザは、ユーザが検索するイメージを入力する質疑イメージ入力部104及び検索されたイメージを出力するイメージ出力部107を含む。ウェブサーバは、上記遠隔ユーザウェブブラウザから入力された質疑イメージからイメージ記述子を抽出する質疑イメージ記述子抽出部105及び上記質疑イメージ記述子抽出部105から質疑イメージに対するイメージ記述子を受信して上記イメージ記述子データベース103に記録されたデータベースイメージのイメージ記述子と類似度を判別するイメージ記述子類似度比較部106を含む。
【0028】
上記イメージ出力部107は、上記イメージ記述子類似度比較部106で検索された検索結果に応じて質疑イメージと類似したイメージを上記データベースサーバのイメージデータベース102から受信してユーザが確認できるように出力する。
【0029】
本発明では、内容基盤イメージ検索のためのイメージ記述子として、形状記述子(shape descriptor)を使用し、その中でもARTイメージ記述子、すなわち、所定個数のART(Angular Radial Transform)係数の絶対値を用いる。
【0030】
ART(Angular Radial Transform)は、イメージ検索において必須的な要素である回転不変性を有する。ここで、回転不変性とは、イメージが回転されてもARTにより抽出されたイメージ記述子が変わらないことを意味する。ARTイメージ記述子は、所定個数のART係数の絶対値を組合せて得られる。ART係数の個数は、システムに応じて変更し得る。
【0031】
第一に、ARTイメージ記述子を得るためのART係数の定義式は、次の「数式2」で表現される。
【0032】
【数43】
【0033】
(ただし、n及びmは、ART基底関数の次数を決定する整数であって、Fnmは、ART係数であって、Vnm(ρ、θ)は、ART基底関数であって、f(ρ、θ)は、極座標系(ρ、θ)で表現されたイメージ、上付き文字「*」は、共役複素数を意味する)
【0034】
上記ART定義式(「数式2」参照)のART基底関数Vnm(ρ、θ)は、以下の「数式3」に定義される。
【0035】
【数44】
【0036】
(ただし、Am(θ)は、ART基底関数を構成する偏角関数(Angular function)であって、Rn(ρ)は、ART基底関数を構成する放射関数(Radial Function)である)
【0037】
そして、上記「数式3」の偏角関数Am(θ)は、また以下の「数式4」に定義される。
【0038】
【数45】
【0039】
上記ART定義式(「数式2」参照)は、回転不変性を得るために、(x、y)直角座標系を使用しなく、(ρ、θ)極座標系を使用する。極座標系は、原点から離隔された距離ρと、x軸となす角度θで座標を表現する方法である。
【0040】
上記「数式3」のRn(ρ)は、種々のタイプを有し得るし、そのタイプに応じて、例えば、次の「数式5」のようなART-Cに表示できる。また、添付した図4は、ART-CタイプのART基底関数集合の例示図である。
【0041】
【数46】
【0042】
上記「数式2」から得られるART係数Fnmは、一連の複素数値であって、本発明では、以下の「数式6」のように、上記Fnmの値に絶対値を取ったベクトルを形状記述子(Shape Descriptor:以下簡単に「SD」という)と定義する。
【0043】
【数47】
(ただし、n=0、1、2、、、、kであって、m=0、1、2、、、、lである)
【0044】
イメージから抽出されたART係数は、元のイメージにART基底関数の成分がどれほど含まれているのかを表すものであるので、ART係数とART基底関数との積を組合せれば、元のイメージを復元することができる。理論的には、数多いART係数と基底関数との積を組合せば、元のイメージと完全に同一のイメージを獲得することができるが、実際には、20個ないし30個の情報のみを組合せても元のイメージと誤差のほとんどないイメージを獲得することができる(図5参照)。すなわち、イメージが20個ないし30個の数字で表現可能であるということであり、これは、ART係数がイメージに対する効率的な記述子となり得ることを意味するものである。
【0045】
一方、上記ARTは、以下の「数式7」が意味することのような直交性(Orthogornality)を有する。
【0046】
【数48】
(ただし、δは、Kroneker delta関数であって、n=n'、m=m'であれば0であって、その他の場合には1の値を有する。)
【0047】
そして、上記ART係数の絶対値は、以下の「数式8」が意味することのような回転不変性(Rotation Invariance)を有する。
【0048】
【数49】
【0049】
原本イメージf(ρ、θ)と角度αほど回転されたイメージf α (ρ、θ) が上記「数式8」のような関係がある時、イメージf α (ρ、θ)から抽出されたART係数は、以下の「数式9」のように与えられ、原本イメージf(ρ、θ)と角度αほど回転されたイメージf α (ρ、θ)から抽出されたART係数間の関係は、以下の「数式10」と同様である。
【0050】
【数50】
(ただし、Fα nmは、f(ρ、θ)が角度αほど回転されたイメージfα(ρ、θ)から抽出されたART係数である)
【0051】
【数51】
(ただし、FnmとFα nmは、各々f(ρ、θ)とfα(ρ、θ)から抽出されたART係数である)
【0052】
ところが、回転されたイメージのF α nm値の絶対値を取れば、以下の「数式11」のように、原本イメージのFnm値と同一となるので、結局、ARTの大きさは回転不変の特性を有することが分かる。
【0053】
【数52】
【0054】
以下の「数式12」は、質疑イメージとデータベースイメージとの間の非類似(Dissimilarity)程度を表す数式である。すなわち、似通った形状のイメージから抽出された記述子は、類似した値を有し、異なる形状のイメージから抽出された記述子は、完全に異なる値を有するために、以下の「数式12」のように、二つのイメージから抽出された記述子の差を比較すれば、二つのイメージがどれほど似通った形状を有しているのかが判断できることとなる。
【0055】
【数53】
(ただし、Dは、質疑イメージとデータベースイメージとの間の非類似度であって、Wiは、定数係数、Si qは、質疑イメージのi番目のイメージ記述子であって、Si rは、データベースイメージのi番目のイメージ記述子を意味する)
【0056】
次は、ARTイメージ記述子を利用した内容基盤イメージ検索方法について詳細に説明する。
【0057】
添附した図2は、本発明にかかる内容基盤イメージ検索方法の一実施形態における処理フローチャートを示している。
【0058】
まず、イメージ検索のためのイメージデータベースを構築する過程で、データベースサーバ用イメージ入力部100及びイメージ記述子抽出部101を利用してイメージ記述子データベース103及びイメージデータベース102を構築し(S200)、ユーザは、遠隔ユーザウェブブラウザで検索しようとするイメージを質疑イメージ入力部104に入力する(S202)。この場合、質疑イメージ入力部104は、マウスまたはデジタイザ(digitizer)を用いてユーザが直接検索するイメージを作成する機能、ウェブサーバから提供するプロトタイプイメージ(prototype image)の中からイメージを選択する機能、及びユーザのハードディスク(hard disk)に格納されているイメージを読み出すことのできる機能、ユーザが既存のイメージを判読して変更できる機能などを有する。
【0059】
上記ユーザが質疑イメージを入力すれば、質疑イメージ記述子抽出部105は、入力された質疑イメージのイメージ記述子を抽出し(S204)、そのイメージ記述子をイメージ記述子類似度比較部106に伝達する。
【0060】
上記質疑イメージ記述子抽出部104から質疑イメージのイメージ記述子を受信した上記イメージ記述子類似度比較部106は、上記イメージ記述子データベース103に格納されているイメージ記述子と類似度を比較して、質疑イメージと類似したイメージを判別し(S206)、上記判別されたイメージ記述子に該当するイメージをイメージデータベース102から獲得して類似度順に整列した後、イメージ出力部107に伝送すれば(S208)、上記イメージ出力部107は、ユーザが検索したイメージを確認できるようにウェブブラウザにディスプレーする(S210)。ここで、検索したイメージは、ウェブサーバから提供するプロトタイプイメージに再び用いられ、ユーザは、ウェブサーバが遠隔ユーザウェブブラウザに提供するプロトタイプイメージを変形して再び検索することができる。また、上記イメージ出力部107は、ユーザの初期接続の際、代表イメージをプロトタイプイメージでユーザに提供し、ユーザがこの中でいずれか一つを選択すれば、選択されたプロトタイプイメージを上記イメージ質疑部104に伝送する。
【0061】
添附した図3は、上記図2でデータベースサーバ用イメージ入力部100及びイメージ記述子抽出部101を用いてイメージ記述子データベース103及びイメージデータベース102を構築する過程(S200)の詳細フローチャートとして、上記イメージ入力部100を用いてデータベースに格納するイメージを入力し(S300)、上記イメージ記述子抽出部101は、入力されたイメージからイメージ記述子を抽出して(S302)、イメージ記述子データベース103に記録する(S304)。
【0062】
また、上記イメージ入力部100を用いてイメージはイメージデータベース102に記録される(S306)。
【0063】
図4は、本発明にかかるイメージ関数集合の例示図として、上記「数式5」に記述されたART-CタイプのART基底関数集合の例示図である。図面で、nは原点からの距離を示し、mは、x軸からの角度を示す。
【0064】
図5は、本発明にかかるイメージ関数個数に応じた内容基盤イメージ検索結果の例示図として、ART定義式の組合を利用して質疑イメージと類似のイメージとを合成する例を示したものであって、図面で、数字で表記された部分は、組合わせたART定義式の個数を示すものである。
【0065】
図面に示したように、組合わせたART定義式の個数が多くなるにつれて質疑イメージと類似したイメージとが合成されることが分かる。
【0066】
本発明の技術思想は、上記好ましい実施形態によって具体的に記述されたが、上記した実施形態はその説明のためのものであって、その制限のためのものでないことに留意されるべきである。また、本発明の技術分野の通常の専門家であるならば、本発明の技術思想の範囲内で種々の実施形態が可能であることを理解されるべきである。
【0067】
【発明の効果】
上記のような本発明は、内容基盤イメージ検索のためのイメージ記述子として直交基底関数を用いて情報の重複性がなく、回転不変の特性を有し、人間の視覚的特性をよく反映する効率的なイメージ記述子であるART(Angular Radial Transform)記述子を用いるので、イメージをデータベース上からユーザが入力した質疑イメージと類似した形状のイメージを迅速かつ正確に検索できる効果がある。ユーザが入力した質疑イメージまたは検索された結果イメージをプロトタイプ(prototype)イメージに再び用いることによって、さらに精密なイメージ検索を行うことのできる優れた効果がある。
【図面の簡単な説明】
【図1】 本発明にかかる内容基盤イメージ検索システムの概略的な構成を示したブロック図である。
【図2】 本発明にかかる内容基盤イメージ検索方法を実行するための一実施形態を示す処理フローチャートである。
【図3】 上記図2におけるイメージデータベース構築過程の一実施形態の詳細を示す処理フローチャートである。
【図4】 本発明にかかるART基底関数集合の例を示す図である。
【図5】 本発明にかかるイメージデータベースのイメージ分類の例を示す図である。
【符号の説明】
100 イメージ入力部
101 イメージ記述子抽出部
102 イメージデータベース
103 イメージ記述子データベース
104 質疑イメージ入力部
105 質疑イメージ記述子抽出部
106 イメージ記述子類似度比較部
107 イメージ出力部
Claims (58)
- 内容基盤イメージ検索システムでイメージ及び上記イメージの特性を表すイメージ記述子を格納するデータベース(database)の製造方法において、
イメージを受信する第1ステップと、
上記イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記イメージからイメージ記述子を抽出する第2ステップと、
上記イメージをイメージデータベースに格納する第3ステップと、
上記イメージ記述子をイメージ記述子データベースに格納する第4ステップと
を含み、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現されるデータベースの製造方法。 - ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子を格納しているデータベース(database)を含む内容基盤イメージ検索システムにおけるイメージ検索方法であって、
質疑イメージを受信する第1ステップと、
上記質疑イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記質疑イメージから抽出された質疑イメージ記述子を利用して上記ウェブサーバにイメージ検索を要求する第2ステップと、
上記データベースから少なくとも一つの質疑イメージと類似したイメージを受信して出力する第3ステップと
を含み、
上記質疑イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現される内容基盤イメージ検索方法。 - 上記質疑イメージは、ユーザから直接入力される請求項5に記載の内容基盤イメージ検索方法。
- 上記質疑イメージは、ウェブサーバから提供するプロトタイプ(prototype)イメージの中から選択される請求項5に記載の内容基盤イメージ検索方法。
- 上記質疑イメージは、記録媒体に格納されているイメージの中から選択される請求項5に記載の内容基盤イメージ検索方法。
- ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索システムにおけるイメージ検索方法であって、
質疑イメージを受信する第1ステップと、
上記質疑イメージから偏角(angular)成分及び放射(radial)成分に基づく質疑イメージ記述子を抽出する第2ステップと、
上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較する第3ステップと、
上記イメージ記述子を類似度順に整列する第4ステップと、
上記質疑イメージと類似した上記イメージを少なくともひとつ受信して出力する第5ステップと
を含み、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現される内容基盤イメージ検索方法。 - 上記質疑イメージは、ユーザから直接入力される請求項13に記載の内容基盤イメージ検索方法。
- 上記質疑イメージは、ウェブサーバから提供するプロトタイプ(prototype)イメージの中から選択される請求項13に記載の内容基盤イメージ検索方法。
- 上記質疑イメージは、記録媒体に格納されているイメージの中から選択される請求項13に記載の内容基盤イメージ検索方法。
- ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索システムにおけるイメージ検索方法であって、
質疑イメージを受信する第1ステップと、
質疑イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記質疑イメージから質疑イメージ記述子を抽出する第2ステップと、
上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較する第3ステップと、
上記イメージ記述子を類似度順に整列する第4ステップと、
上記質疑イメージと類似した少なくとも一つの上記イメージを出力する第5ステップと
を含み、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現される内容基盤イメージ検索方法。 - 上記質疑イメージは、ユーザから直接入力される請求項21に記載の内容基盤イメージ検索方法。
- 上記質疑イメージは、ウェブサーバから提供するプロトタイプ(prototype)イメージの中から選択される請求項21に記載の内容基盤イメージ検索方法。
- 上記質疑イメージは、記録媒体に格納されているイメージの中から選択される請求項21に記載の内容基盤イメージ検索方法。
- 内容基盤イメージ検索システムでイメージ及び上記イメージの特性を表すイメージ記述子を格納するデータベース(database)を構築するための装置において、
イメージを受信するためのイメージ入力手段と、
上記イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記イメージからイメージ記述子を抽出するためのイメージ抽出手段と、
上記イメージをイメージデータベースに格納するためのイメージ格納手段と、
上記イメージ記述子をイメージ記述子データベースに格納するためのイメージ記述子貯蔵手段と
を含み、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現されるデータベース構築装置。 - ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索システムにおいて、
質疑イメージを受信するための質疑イメージ入力手段と、
上記質疑イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記質疑イメージから質疑イメージ記述子を抽出するための質疑イメージ記述子抽出手段と、
上記質疑イメージ記述子を利用して上記ウェブサーバにイメージ検索を要求するための手段と、
上記データベースから少なくとも一つの質疑イメージと類似したイメージを受信して出力するためのイメージ出力手段と
を含み、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現される内容基盤イメージ検索システム。 - 上記質疑イメージは、ユーザから直接入力される請求項33に記載の内容基盤イメージ検索システム。
- 上記質疑イメージは、ウェブサーバから提供するプロトタイプ(prototype)イメージの中から選択される請求項33に記載の内容基盤イメージ検索システム。
- 上記質疑イメージは、記録媒体に格納されているイメージの中から選択される請求項33に記載の内容基盤イメージ検索システム。
- ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索システムにおいて、
質疑イメージの偏角(angular)成分及び放射(radial)成分に基づく質疑イメージ記述子を受信するための手段と、
上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較するための手段と、
上記イメージ記述子を類似度順に整列するための手段と、
上記質疑イメージと類似した上記イメージを受信して少なくともひとつを出力するための手段と
を含み、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現される内容基盤イメージ検索システム。 - 上記質疑イメージは、ユーザから直接入力される請求項41に記載の内容基盤イメージ検索システム。
- 上記質疑イメージは、ウェブサーバから提供するプロトタイプ(prototype)イメージの中から選択される請求項41に記載の内容基盤イメージ検索システム。
- 上記質疑イメージは、記録媒体に格納されているイメージの中から選択される請求項41に記載の内容基盤イメージ検索システム。
- ウェブブラウザ(web browser)、ウェブサーバ(web server)及びイメージとイメージ記述子とを格納しているデータベース(database)を含む内容基盤イメージ検索システムにおいて、
質疑イメージを受信するための手段と、
質疑イメージの偏角(angular)成分及び放射(radial)成分に基づいて上記質疑イメージから質疑イメージ記述子を抽出するための手段と、
上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較するための手段と、
上記イメージ記述子を類似度順に整列するための手段と、
上記質疑イメージと類似した少なくとも一つの上記イメージを出力するための手段と
を含み、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現される内容基盤イメージ検索システム。 - 上記質疑イメージは、ユーザから直接入力される請求項49に記載の内容基盤イメージ検索システム。
- 上記質疑イメージは、ウェブサーバから提供するプロトタイプ(prototype)イメージの中から選択される請求項49に記載の内容基盤イメージ検索システム。
- 上記質疑イメージは、記録媒体に格納されているイメージの中から選択される請求項49に記載の内容基盤イメージ検索システム。
- マイクロプロセッサを備えた内容基盤イメージ検索システムにおいて、
質疑イメージの偏角(angular)成分及び放射(radial)成分に基づく質疑イメージ記述子を受信する第1機能と、
上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較する第2機能と、
上記イメージ記述子を類似度順に整列する第3機能と、
上記質疑イメージと類似した上記イメージを少なくともひとつ受信して出力する第4機能と
を実現させるためのプログラムを記録し、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現されるコンピュータで読み出すことのできる記録媒体。 - マイクロプロセッサを備えた内容基盤イメージ検索システムにおいて、
質疑イメージを受信する第1機能と、
質疑イメージの偏角(angular)成分及び放射(radial)成分とに基づいて上記質疑イメージから質疑イメージ記述子を抽出する第2機能と、
上記質疑イメージ記述子をデータベースに格納されている多数のイメージ記述子と比較する第3機能と、
上記イメージ記述子を類似度順に整列する第4機能と、
上記質疑イメージと類似した少なくとも一つの上記イメージを出力する第5機能と
を実現させるためのプログラムを記録し、
上記イメージ記述子が、所定個数のART(angular radial transform)係数を含み、
各々の上記ART係数が、
で表現されるコンピュータで読み出すことのできる記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1999-54300 | 1999-12-01 | ||
KR1019990054300A KR100353798B1 (ko) | 1999-12-01 | 1999-12-01 | 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001209803A JP2001209803A (ja) | 2001-08-03 |
JP3635368B2 true JP3635368B2 (ja) | 2005-04-06 |
Family
ID=19623064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000367732A Expired - Fee Related JP3635368B2 (ja) | 1999-12-01 | 2000-12-01 | 内容基盤イメージ検索システム及びその検索方法 |
Country Status (10)
Country | Link |
---|---|
US (2) | US6754667B2 (ja) |
EP (1) | EP1107136B1 (ja) |
JP (1) | JP3635368B2 (ja) |
KR (1) | KR100353798B1 (ja) |
AT (1) | ATE352817T1 (ja) |
CY (1) | CY1106537T1 (ja) |
DE (1) | DE60033118T2 (ja) |
DK (1) | DK1107136T3 (ja) |
ES (1) | ES2281326T3 (ja) |
PT (1) | PT1107136E (ja) |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6094492A (en) * | 1999-05-10 | 2000-07-25 | Boesen; Peter V. | Bone conduction voice transmission apparatus and system |
KR100406508B1 (ko) * | 2000-06-23 | 2003-11-20 | 주식회사 코난테크놀로지 | 컬러영상 처리 시스템 및 그 방법 |
JP4063486B2 (ja) * | 2000-09-06 | 2008-03-19 | 日本電気株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
KR100442126B1 (ko) * | 2001-01-12 | 2004-07-30 | 주식회사 코어트러스트 | 아이템간의 연관성을 이용한 비디오 추천 시스템 및 방법 |
US20030012441A1 (en) * | 2001-07-02 | 2003-01-16 | Jasc Software, Inc. | Detection of lines in images |
US7353224B2 (en) * | 2001-12-04 | 2008-04-01 | Hewlett-Packard Development Company, L.P. | System and method for efficiently finding near-similar images in massive databases |
US20040190793A1 (en) * | 2002-03-01 | 2004-09-30 | Rorvig Mark E. | Method for retrieving images by content measure metadata encoding |
US7076093B2 (en) * | 2002-09-16 | 2006-07-11 | Lee Shih-Jong J | Structure-guided image inspection |
US7202867B1 (en) | 2003-01-31 | 2007-04-10 | Microsoft Corporation | Generation of glow effect |
US7274365B1 (en) * | 2003-01-31 | 2007-09-25 | Microsoft Corporation | Graphical processing of object perimeter information |
US20050033719A1 (en) * | 2003-08-04 | 2005-02-10 | Tirpak Thomas M. | Method and apparatus for managing data |
EP1530156B1 (en) * | 2003-11-07 | 2012-03-14 | Mitsubishi Electric Information Technology Centre Europe B.V. | Visual object detection |
FR2865050B1 (fr) * | 2004-01-12 | 2006-04-07 | Canon Res Ct France S A S | Procede et dispositif de recherche rapide d'entites multimedia. |
US8144921B2 (en) | 2007-07-11 | 2012-03-27 | Ricoh Co., Ltd. | Information retrieval using invisible junctions and geometric constraints |
US8838591B2 (en) | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
US8156427B2 (en) | 2005-08-23 | 2012-04-10 | Ricoh Co. Ltd. | User interface for mixed media reality |
US8276088B2 (en) | 2007-07-11 | 2012-09-25 | Ricoh Co., Ltd. | User interface for three-dimensional navigation |
US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
US8156116B2 (en) | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
US8195659B2 (en) | 2005-08-23 | 2012-06-05 | Ricoh Co. Ltd. | Integration and use of mixed media documents |
US8005831B2 (en) | 2005-08-23 | 2011-08-23 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment with geographic location information |
US8856108B2 (en) | 2006-07-31 | 2014-10-07 | Ricoh Co., Ltd. | Combining results of image retrieval processes |
US8086038B2 (en) | 2007-07-11 | 2011-12-27 | Ricoh Co., Ltd. | Invisible junction features for patch recognition |
US7991778B2 (en) | 2005-08-23 | 2011-08-02 | Ricoh Co., Ltd. | Triggering actions with captured input in a mixed media environment |
US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
US8600989B2 (en) | 2004-10-01 | 2013-12-03 | Ricoh Co., Ltd. | Method and system for image matching in a mixed media environment |
US8369655B2 (en) | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US8949287B2 (en) | 2005-08-23 | 2015-02-03 | Ricoh Co., Ltd. | Embedding hot spots in imaged documents |
US8521737B2 (en) | 2004-10-01 | 2013-08-27 | Ricoh Co., Ltd. | Method and system for multi-tier image matching in a mixed media environment |
US8156115B1 (en) | 2007-07-11 | 2012-04-10 | Ricoh Co. Ltd. | Document-based networking with mixed media reality |
US8510283B2 (en) * | 2006-07-31 | 2013-08-13 | Ricoh Co., Ltd. | Automatic adaption of an image recognition system to image capture devices |
US7702673B2 (en) | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
US8825682B2 (en) | 2006-07-31 | 2014-09-02 | Ricoh Co., Ltd. | Architecture for mixed media reality retrieval of locations and registration of images |
US8184155B2 (en) | 2007-07-11 | 2012-05-22 | Ricoh Co. Ltd. | Recognition and tracking using invisible junctions |
US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
US7812986B2 (en) * | 2005-08-23 | 2010-10-12 | Ricoh Co. Ltd. | System and methods for use of voice mail and email in a mixed media environment |
US8332401B2 (en) | 2004-10-01 | 2012-12-11 | Ricoh Co., Ltd | Method and system for position-based image matching in a mixed media environment |
US7970171B2 (en) | 2007-01-18 | 2011-06-28 | Ricoh Co., Ltd. | Synthetic image and video generation from ground truth data |
US8176054B2 (en) | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
US8335789B2 (en) | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
US8385589B2 (en) | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
US8868555B2 (en) | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
US20070030523A1 (en) * | 2005-08-02 | 2007-02-08 | Kabushiki Kaisha Toshiba | System and method for identifying a submitter of a printed or scanned document |
US20070061429A1 (en) * | 2005-09-12 | 2007-03-15 | Microsoft Corporation | Optimizing utilization of application resources |
JP5009577B2 (ja) | 2005-09-30 | 2012-08-22 | 富士フイルム株式会社 | 画像検索装置および方法並びにプログラム |
KR20080073357A (ko) * | 2005-11-29 | 2008-08-08 | 구글 인코포레이티드 | 방송 미디어에서 반복 콘텐츠 탐지 |
KR100681245B1 (ko) * | 2006-03-29 | 2007-02-09 | 햄펙스 주식회사 | 이미지 기반의 컨텐츠 제공 시스템 및 그 방법 |
KR100782047B1 (ko) * | 2006-04-27 | 2007-12-04 | 인하대학교 산학협력단 | 모바일 웹 기반의 이미지검색을 위한 초기질의 집합의자동생성방법 |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US8676810B2 (en) | 2006-07-31 | 2014-03-18 | Ricoh Co., Ltd. | Multiple index mixed media reality recognition using unequal priority indexes |
US8073263B2 (en) | 2006-07-31 | 2011-12-06 | Ricoh Co., Ltd. | Multi-classifier selection and monitoring for MMR-based image recognition |
US9020966B2 (en) * | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
US8411977B1 (en) | 2006-08-29 | 2013-04-02 | Google Inc. | Audio identification using wavelet-based signatures |
JP5096776B2 (ja) * | 2007-04-04 | 2012-12-12 | キヤノン株式会社 | 画像処理装置及び画像検索方法 |
US8050503B2 (en) * | 2007-07-05 | 2011-11-01 | General Electric Company | Systems and methods for computer vision using curvelets |
US20110029510A1 (en) * | 2008-04-14 | 2011-02-03 | Koninklijke Philips Electronics N.V. | Method and apparatus for searching a plurality of stored digital images |
CN101669117A (zh) * | 2008-05-09 | 2010-03-10 | 韩国外国语大学校研究产学协力团 | 用形状描述符匹配图像 |
US8538941B2 (en) * | 2008-07-31 | 2013-09-17 | Adobe Systems Incorporated | Visual information search tool |
US8254678B2 (en) | 2008-08-27 | 2012-08-28 | Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation | Image segmentation |
GB0820273D0 (en) | 2008-11-05 | 2008-12-10 | Imp Innovations Ltd | Improvements in relation to image processing |
US8385660B2 (en) | 2009-06-24 | 2013-02-26 | Ricoh Co., Ltd. | Mixed media reality indexing and retrieval for repeated content |
US8478053B2 (en) * | 2009-07-15 | 2013-07-02 | Nikon Corporation | Image sorting apparatus |
US9367523B2 (en) | 2009-09-25 | 2016-06-14 | Adobe Systems Incorporated | System and method for using design features to search for page layout designs |
US8391611B2 (en) * | 2009-10-21 | 2013-03-05 | Sony Ericsson Mobile Communications Ab | Methods, systems and computer program products for identifying descriptors for an image |
KR101103671B1 (ko) * | 2009-11-17 | 2012-01-11 | 엔에이치엔(주) | 사용자의 요청에 대응하여 동적으로 가장 적합한 이미지를 추출하고 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
WO2012176317A1 (ja) * | 2011-06-23 | 2012-12-27 | サイバーアイ・エンタテインメント株式会社 | 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム |
US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
WO2015155628A1 (en) * | 2014-04-07 | 2015-10-15 | Eyeways Systems Ltd. | Apparatus and method for image-based positioning, orientation and situational awareness |
CN105809087B (zh) * | 2014-12-30 | 2020-03-27 | 清华大学 | 辐射检查系统及车型模板检索方法 |
US20170263031A1 (en) * | 2016-03-09 | 2017-09-14 | Trendage, Inc. | Body visualization system |
US9591047B1 (en) * | 2016-04-11 | 2017-03-07 | Level 3 Communications, Llc | Invalidation in a content delivery network (CDN) |
KR102058393B1 (ko) | 2017-11-30 | 2019-12-23 | 국민대학교산학협력단 | 스케치 기반의 영상표절 검사 방법 및 장치 |
US10832083B1 (en) | 2019-04-23 | 2020-11-10 | International Business Machines Corporation | Advanced image recognition for threat disposition scoring |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4747147A (en) * | 1985-09-03 | 1988-05-24 | Sparrow Malcolm K | Fingerprint recognition and retrieval system |
JPS6320579A (ja) * | 1986-07-14 | 1988-01-28 | Hitachi Ltd | 画像の特徴量抽出処理方式 |
JP3067966B2 (ja) * | 1993-12-06 | 2000-07-24 | 松下電器産業株式会社 | 画像部品を検索する装置及びその方法 |
US5465353A (en) * | 1994-04-01 | 1995-11-07 | Ricoh Company, Ltd. | Image matching and retrieval by multi-access redundant hashing |
JP3118174B2 (ja) * | 1995-12-11 | 2000-12-18 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | グリフ・イメージの検索方法と検索装置及びグリフ・イメージ管理システム |
US5893095A (en) * | 1996-03-29 | 1999-04-06 | Virage, Inc. | Similarity engine for content-based retrieval of images |
US6016487A (en) * | 1997-03-26 | 2000-01-18 | National Research Council Of Canada | Method of searching three-dimensional images |
JPH1131153A (ja) * | 1997-07-11 | 1999-02-02 | Hitachi Ltd | 画像類似度計算方法 |
JPH11167634A (ja) * | 1997-12-03 | 1999-06-22 | Omron Corp | 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラムを記録した記録媒体、画像検索方法、画像検索装置および画像検索プログラムを記録した記録媒体 |
KR19990051743A (ko) | 1997-12-19 | 1999-07-05 | 정선종 | 내용 기반 영상 정보를 이용한 등록 상표 자동 검색 방법 |
KR100319150B1 (ko) * | 1999-02-01 | 2002-01-04 | 구자홍 | 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 |
-
1999
- 1999-12-01 KR KR1019990054300A patent/KR100353798B1/ko active IP Right Grant
-
2000
- 2000-12-01 ES ES00310716T patent/ES2281326T3/es not_active Expired - Lifetime
- 2000-12-01 US US09/728,450 patent/US6754667B2/en not_active Expired - Lifetime
- 2000-12-01 DK DK00310716T patent/DK1107136T3/da active
- 2000-12-01 PT PT00310716T patent/PT1107136E/pt unknown
- 2000-12-01 DE DE60033118T patent/DE60033118T2/de not_active Expired - Lifetime
- 2000-12-01 EP EP00310716A patent/EP1107136B1/en not_active Expired - Lifetime
- 2000-12-01 AT AT00310716T patent/ATE352817T1/de active
- 2000-12-01 JP JP2000367732A patent/JP3635368B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-23 US US10/831,005 patent/US20040199531A1/en not_active Abandoned
-
2007
- 2007-04-23 CY CY20071100547T patent/CY1106537T1/el unknown
Also Published As
Publication number | Publication date |
---|---|
PT1107136E (pt) | 2007-05-31 |
DK1107136T3 (da) | 2007-05-29 |
DE60033118D1 (de) | 2007-03-15 |
KR100353798B1 (ko) | 2002-09-26 |
ATE352817T1 (de) | 2007-02-15 |
JP2001209803A (ja) | 2001-08-03 |
CY1106537T1 (el) | 2012-01-25 |
US20040199531A1 (en) | 2004-10-07 |
DE60033118T2 (de) | 2007-11-22 |
KR20010053788A (ko) | 2001-07-02 |
EP1107136B1 (en) | 2007-01-24 |
US20020010704A1 (en) | 2002-01-24 |
ES2281326T3 (es) | 2007-10-01 |
US6754667B2 (en) | 2004-06-22 |
EP1107136A1 (en) | 2001-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3635368B2 (ja) | 内容基盤イメージ検索システム及びその検索方法 | |
Liu et al. | A survey of content-based image retrieval with high-level semantics | |
JP3560159B2 (ja) | 周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びテクスチャ基盤映像検索方法 | |
Funkhouser et al. | A search engine for 3D models | |
JP4540970B2 (ja) | 情報検索装置及びその方法 | |
US7769248B2 (en) | Method and apparatus for representing and searching for an object using shape | |
US9092458B1 (en) | System and method for managing search results including graphics | |
US20090150376A1 (en) | Mutual-Rank Similarity-Space for Navigating, Visualising and Clustering in Image Databases | |
JP2010519659A (ja) | 見本画像に基づく画像の検索 | |
WO2008100248A2 (en) | Feature matching method | |
KR20010012020A (ko) | 주파수 공간상에서의 질감표현방법 및 질감기반 검색방법 | |
Zhu et al. | Creating a large-scale content-based airphoto image digital library | |
JP2008276768A (ja) | 情報検索装置及び方法 | |
Qian et al. | Landmark summarization with diverse viewpoints | |
Zachary et al. | Content based image retrieval systems | |
Hu et al. | Coherent phrase model for efficient image near-duplicate retrieval | |
JPH11250106A (ja) | 内容基盤の映像情報を利用した登録商標の自動検索方法 | |
JP2004110834A (ja) | 情報記憶検索システム及び方法 | |
JP3510980B2 (ja) | 直線による画像の検索装置,検索方法およびそのプログラム記録媒体 | |
EP2465056B1 (en) | Method, system and controller for searching a database | |
Afifi | Image retrieval based on content using color feature | |
Lakdashti et al. | Semantic-based image retrieval: A fuzzy modeling approach | |
Chalechale | Content-based retrieval from image databases using sketched queries | |
Mahajan et al. | A Model for Content-Based Image Retrieval Using Machine Learning | |
Sarode et al. | Design and Development of a Content-Based Image Retrieval (CBIR) System for Computing Similarity. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3635368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |