WO2012108623A1 - 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2012108623A1
WO2012108623A1 PCT/KR2011/010348 KR2011010348W WO2012108623A1 WO 2012108623 A1 WO2012108623 A1 WO 2012108623A1 KR 2011010348 W KR2011010348 W KR 2011010348W WO 2012108623 A1 WO2012108623 A1 WO 2012108623A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
database
unrecognized
query
Prior art date
Application number
PCT/KR2011/010348
Other languages
English (en)
French (fr)
Inventor
김태훈
박민제
최송기
Original Assignee
(주)올라웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)올라웍스 filed Critical (주)올라웍스
Priority to EP11858235.2A priority Critical patent/EP2674884A4/en
Priority to CN201180068995.XA priority patent/CN103430179B/zh
Priority to JP2013553340A priority patent/JP5617095B2/ja
Publication of WO2012108623A1 publication Critical patent/WO2012108623A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures

Definitions

  • the present invention relates to a method, a system and a computer readable recording medium for adding a new image and information about it to an image database. More specifically, in adding a new image and information on the image database, the present invention stores and groups unrecognized images that do not match as a result of searching the search image database with reference to the input query image. And, by verifying this by using the images (or images manually provided by the user) and tags automatically obtained by a web crawling method, it is easier to add the unrecognized image and tag information to the image database.
  • a method, a system, and a computer readable recording medium are provided for enabling the storage of the same.
  • search service is a function used by many users, and the visit of the site is generally directly related to the advertising revenue, and many portal sites provide a search function.
  • the conventional method has to infer a keyword that is supposed to be related to the image, and then perform a search by inputting the keyword.
  • a keyword that is supposed to be related to the image
  • an image retrieval system that enables a user or the like to search for a specific image by using the image itself rather than the text.
  • the conventional image retrieval system has the following problems.
  • the object of the present invention is to solve all the above-mentioned problems.
  • the present invention stores a group of unrecognized images that do not match as a result of searching the query image with reference to the search image database, and the image is automatically obtained by a method such as web crawling (or manually by the user) By using the image provided) and tag information (ie, information corresponding to the image) to verify, it is another object to make it easier to add unrecognized image and tag information to the image database.
  • a method for adding a new image and information thereof to an image database comprising: (a) when a query image is input, matching the query image with an image previously stored in the image database; (B) storing the query image in the unrecognized image database if there is no image similar to the query image as a result of the search; (c) storing the query image in the unrecognized image database.
  • a method is provided that includes automatically adding to a.
  • a system for adding a new image and information on the image database wherein when a query image is input, an image similar to the query image by matching the query image with an image previously stored in the image database.
  • a search unit for searching whether the image is in the image database an unrecognized image storage unit for storing the query image in the unrecognized image database when the search result does not have an image similar to the query image, and images stored in the unrecognized image database.
  • An unrecognized image set configuration unit constituting an image set by collecting images that are related to each other based on the similarity between the stored images among the stored images, when a specific image and tag information thereof are input from the outside, Compare at least some images in a specific image set of the set with the inputted specific images to determine whether they have a similarity above a predetermined threshold, and if it is determined that they have a similarity above a predetermined threshold, the at least some images are included in the input tag.
  • a system is provided that includes a new image adder for automatically adding to the image database with information.
  • the unrecognized images that fail to match the images stored in the image database among the query images are recycled without discarding, so that it is reasonable to match the newly input query images later. It can be used to achieve the effect of creating an image database that eventually evolves automatically.
  • FIG. 1 is a diagram schematically illustrating a configuration of an entire system for adding a new image and information on the image database according to an embodiment of the present invention.
  • FIG. 2 is a diagram exemplarily illustrating an internal configuration of an image processing system 200 according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating an example of configuring an image set by grouping based on similarities between images stored in an unrecognized image database in the unrecognized image set configuration unit.
  • FIGS. 4A and 4B illustrate an embodiment in which an image recognition unit assembles an image set by collecting similar images among images stored in an image recognition database in accordance with an embodiment of the present invention.
  • FIG. 5 is a diagram exemplarily illustrating a configuration for normalizing a feature region according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating distribution of feature regions included in an image collected by a web crawler and an image belonging to an image set according to an embodiment of the present invention.
  • control unit 280 control unit
  • FIG. 1 is a diagram schematically illustrating a configuration of an entire system for adding a new image and information on the image database according to an embodiment of the present invention.
  • the entire system includes a communication network 100, an image processing system 200 capable of adding a new image and information thereof to an image database, and a user terminal device. 300.
  • the communication network 100 may be configured regardless of its communication mode such as wired and wireless, and may include a local area network (LAN), a metropolitan area network (MAN), and a wide area network (WAN). Network).
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • the communication network 100 according to the present invention may be a known World Wide Web (WWW).
  • WWW World Wide Web
  • the image processing system 200 capable of adding a new image and information thereof to the image database to be described later. Performs a function that matches an image already stored in the image database with a query image to search for an image similar to the query image in the image database, and if there is no image similar to the query image, stores the query image in the unrecognized image database. can do. At this time, by matching the normalized feature region of the image previously stored in the image database with the normalized feature region of the query image, it is possible to search whether an image similar to the query image exists in the image database.
  • the image processing system 200 based on the similarity between the images stored among the images stored in the unrecognized image database can be composed of a set of images tied to each other.
  • a specific image and tag information ie, information corresponding to the corresponding image
  • the outside for example, a web crawler or an arbitrary user terminal
  • at least some images in the specific image set among the image sets are specified.
  • it is determined whether there is a similarity more than a predetermined threshold it is determined whether there is a similarity more than a predetermined threshold, and if it is determined that the similarity is greater than the predetermined threshold, the at least some images may be automatically added to the image database to be described later together with the acquired tag information. have.
  • the image processing system 200 for example, if the data of the image set (data in a specific image set or all data stored in the unrecognized image database) is sufficiently collected more than a predetermined number,
  • crawled data and / or data entered by a user e.g., images and corresponding tag information
  • at least some of the images in a particular set of images are associated with the crawled image and / or images entered by the user. If it is determined whether or not there is an association, the at least some images may be added to the image database along with the crawled tag information and / or tag information input by the user.
  • crawled data and / or data entered by a user e.g., images and corresponding tag information
  • the user terminal device 300 is a digital device that includes a function that allows the user to communicate after connecting to the image processing system 200, a personal computer (for example, desktop Computer, laptop computer, etc.), a workstation, a PDA, a web pad, a mobile phone, etc., any memory having a memory means and equipped with a microprocessor equipped with arithmetic capabilities, any number of the digital terminal adopting as the user terminal device 300 according to the present invention Can be.
  • FIG. 2 is a diagram exemplarily illustrating an internal configuration of an image processing system 200 according to an exemplary embodiment.
  • the image processing system 200 may include an image database 250, an unrecognized image database 260, a communication unit 270, and a controller 280.
  • the image database 260, the communication unit 270, and the control unit 280 may be program modules in which at least some of them are communicated with the user terminal device 300.
  • Such program modules may be included in the image processing system 200 in the form of operating systems, application modules, and other program modules, and may be physically stored on various known storage devices.
  • these program modules may be stored in a remote storage device that can communicate with the image processing system 200.
  • such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the search unit 210 matches the image already stored in the image database 250 with the query image so that the image similar to the query image is the image database 250. ) Function to search for the existence of.
  • the search unit 210 matches the normalized feature region of the image already stored in the image database 250 with the normalized feature region of the query image to obtain an image similar to the query image. May perform a function of searching whether a is present in the image database 250.
  • the searcher 210 may pre-extract feature points and feature areas from the image to match the images.
  • the feature point refers to a point including the feature elements of the object included in the image
  • the feature area refers to the area around the feature point including the object's characteristics, so that the feature point is robust to the view point and the light change of the image. Can be set.
  • a predetermined feature extraction technique is required to extract feature points and feature regions from an image.
  • a feature recognition technique is jointly written by C. Harris et al. And the article “A combined corner and edge detector” described in "In Alvey Vision Conference," 1988, the contents of which should be considered to be incorporated herein in their entirety.
  • This paper describes a method for estimating an elliptic feature region using a second moment matrix representing a distribution of slopes around a feature point.
  • the object recognition technology applicable to the present invention is not limited to the method described in the above paper, and various modifications may be applied to implement the present invention.
  • the unrecognized image storage unit 220 when the unrecognized image storage unit 220 does not have an image in the image database 250 similar to the search result query image of the searcher 210 described above, the query image is stored. A function of storing the unrecognized image database 260 is performed.
  • the unrecognized image set configuration unit 230 has a high relation (for example, with respect to each other) with reference to the similarity between the stored images among the images stored in the unrecognized image database 260.
  • the similarity between the two is higher than the predetermined value to bundle the images to form a set of images.
  • the unrecognized image set configuration unit 230 compares feature points or feature areas of images stored in the unrecognized image database 260 and performs a function of forming an image set by combining images determined to be similar. .
  • FIG. 3 illustrates that an image recognition component set unit 230 combines images having a high degree of similarity among the images stored in the image recognition database 260 to form an image set according to an embodiment of the present invention. It is.
  • the unrecognized image set configuration unit 230 groups the images stored in the unrecognized image database 260 by the unrecognized image storage unit 220 based on their similarities, respectively, to be 310, 320, and 330.
  • An embodiment of configuring an image set as shown is shown.
  • FIGS. 4A and 4B are images of high similarity among images stored in the unrecognized image database 260 in the unrecognized image set configuration unit 230 according to an embodiment of the present invention.
  • One embodiment constituting a set is shown.
  • the unrecognized image set configuration unit 230 according to an embodiment of the present invention first displays an image determined as a similar image by using an image matching technique in the unrecognized image database as shown in FIG. 4A. Gather together
  • the unrecognized image set configuration unit 230 according to an embodiment of the present invention may arrange, structure, and store images according to time slots and various viewpoints in order to configure the images gathered together in FIG. 4A into a structured image set. have.
  • FIG. 4B illustrates an embodiment in which the unrecognized image set configuration unit 230 arranges and structures images according to time slots and various viewpoints, but need not be limited thereto.
  • the unrecognized image set configuration unit 230 according to an embodiment, it may be possible to construct an image set in various ways.
  • the new image adding unit 240 may determine a specific image of the image set. It is determined whether at least some images in the set have a similarity above a predetermined threshold by comparing with the acquired specific image, and when it is determined that they have a similarity above a predetermined threshold, the at least some images together with the obtained tag information It performs a function to be automatically added to the image database (250).
  • the new image adding unit 240 according to an embodiment of the present invention, the number of data included in the specific image set by the unrecognized image set configuration unit 230 is collected enough or more than the predetermined number or unrecognized If a sufficient number of data included in the image database 260 is collected more than a predetermined number, an analysis operation (that is, an image matching operation) may be performed.
  • an analysis operation that is, an image matching operation
  • the image collected by the web crawler, etc. that is the target of image matching and the image belonging to the image set through different views in different lighting environment Since the image may be a photographed image, the feature region included in each image may also be extracted differently in size and shape according to a viewpoint or lighting. For this reason, it may be difficult to perform accurate image matching only by directly comparing the feature region of the image collected by the web crawler and the like with the feature region of the images included in the image set.
  • an image collected by the web crawler is assumed, but of course, the image collected from the user terminal 300 will be included.
  • the new image adder 240 may have different sizes and shapes of feature regions included in images collected by a web crawler or the like that belong to an image set.
  • the size and shape of each feature region included in an image collected by a web crawler or the like and images belonging to the image set are normalized, and based on the normalized feature region, By performing the image matching, it is possible to correct an error caused by the difference in the field of view and lighting between each image.
  • Image (a) of FIG. 5 shows a feature area A 510 extracted from an image collected by a web crawler or the like as part of an image collected by a web crawler or the like, and image (b) of FIG. 5 belongs to an image set.
  • the feature region B 520 extracted from the image is shown.
  • images (a) and (b) of FIG. 5 it is shown that, due to viewpoint or lighting differences, each image actually represents the same object, but the same feature portions of the same object are displayed in different sizes and shapes in each image.
  • feature regions 510 and 520 having different sizes and shapes are extracted from the same feature portion of the image collected by the web crawler or the like and the image belonging to the image set.
  • the new image adder 240 uses a predetermined normalization technique to convert a pair of feature regions having different sizes and shapes into a pair of feature regions having the same size and shape.
  • the pair of feature regions 510, 520 such as images (a) and (b) of FIG. 5, can be normalized, and thus the pair of feature regions (images (c) and (d) of FIG. 530, 540 can be normalized.
  • K. MIKOLAJCZYK et al. The author may refer to a paper entitled “A Comparison of Affine Region Detectors” in the November 2005 "International Journal of Computer Vision” (the content of which is incorporated herein in its entirety). Should be considered).
  • M L 1/2 and M R 1/2 as the second moment matrix for estimating the viewpoint and lighting conditions of the image, the feature region composed of ellipses having various sizes and shapes has a specific size and shape.
  • a method of normalizing a circle is described, and a method of rotating a normalized feature region using a rotation matrix R to determine whether a pair of normalized feature regions point to the same object is described.
  • the normalization technique applicable to the present invention is not limited to the method described in the above paper, and various modifications may be applied to implement the present invention.
  • the new image adder 240 compares at least one normalized feature region of the image belonging to the image set with each of the at least one normalized feature region of the collected image. At least one pair of feature regions determined to point to the same object may be searched for. In addition, when at least two pairs of feature regions are searched, the new image adder 240 according to an embodiment of the present invention belongs to an image set corresponding to at least two pairs of feature regions using a topology. Compare the relative positional relationship between the at least two feature regions on the image and the relative positional relationship between the at least two feature regions on the collected image corresponding to the at least two pairs of feature regions, and compare the result to the image set with reference to the comparison result. It may be determined whether the belonging image and the collected image match.
  • FIG. 6 is a diagram exemplarily illustrating distribution of feature regions included in an image collected by a web crawler or the like and an image belonging to an image set according to an embodiment of the present invention.
  • the new image adder 240 may be used to determine a relative positional relationship between a plurality of feature regions on an image (ie, image (a)) collected by a web crawler or the like. By comparing the relative positional relationship of the plurality of feature regions on the belonging image (ie, image (b)), it is possible to determine the similarity between the two images.
  • a predetermined topology technique is required.
  • DERDAR Salah and two others may refer to a paper entitled “Image matching using algebraic topology” in January 2006 "Proceedings of SPIE, Vol. 6066". Should be considered to be incorporated herein).
  • This paper describes a method for performing image matching by measuring the similarity between boundary elements of features included in an image using an algebraic topology.
  • the topology technology applicable to the present invention is not limited to the method described in the above paper, and various modifications may be applied to implement the present invention.
  • an effect of improving the accuracy of image matching between an image collected by a web crawler and the image belonging to the image set is achieved.
  • the new image adding unit 240 when the new image adding unit 240 according to an embodiment of the present invention adds a new image and information about the new image to the image database 250, the new image adding unit 240 includes n representative images representing the added images and the representative images. You can add the assigned representative tag together.
  • the new image adding unit 240 when adding a representative image, the new image adding unit 240 according to an embodiment of the present invention may add m sub-images reflecting different viewpoints or time zones different from the representative image together with the representative image.
  • a sub tag for a sub image to be added may be selectively included and added.
  • the representative image and the sub image refer to an image having a relationship sharing one or more feature points or feature areas.
  • the image database 250 is a database including the image and tag information with verification of the image is completed
  • the unrecognized image database 260 is a search unit 210
  • the database stores the query images that do not match the image as unrecognized images.
  • the image database 250 and the unrecognized image database 260 are not only a consensus database but also a broad meaning database including data recording based on a computer file system. It should be understood that even a set of processing logs can be included in the database according to the present invention as long as it can retrieve it and extract predetermined data.
  • the image database 250 and the unrecognized image database 260 are illustrated as being included in the image processing system 200 in FIG. 2, according to the needs of those skilled in the art of implementing the present invention, 250 and the unrecognized image database 260 may be configured separately from the image processing system 200.
  • the communication unit 270 performs a function of allowing the image processing system 200 to communicate with an external device such as the user terminal device 300.
  • control unit 280 is a search unit 210, unrecognized image storage unit 220, unrecognized image set configuration unit 230, new image adder 240, image database 250, a function of controlling the flow of data between the unrecognized image database 260 and the communication unit 270. That is, the controller 280 controls the flow of data from the outside or between the respective components of the image processing system 200, so that the search unit 210, the unrecognized image storage unit 220, and the unrecognized image collection unit are configured.
  • the new image adding unit 240, the image database 250, the unrecognized image database 260, and the communication unit 270 control to perform unique functions.
  • the entire image processing system 200 according to an embodiment of the present invention or each component of the image processing system, the search unit 210, the unrecognized image storage unit 220, the unrecognized image set configuration unit 230
  • the at least some components of the new image adding unit 240, the image database 250, the unrecognized image database 260, the communication unit 270, and the control unit 280 share a computing resource or a server resource. It may be implemented by a cloud computing server that virtualizes them.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 태양에 따르면, (a) 이미지 데이터베이스에 기저장된 이미지와 쿼리 이미지를 매칭하여 쿼리 이미지와 유사한 이미지가 이미지 데이터베이스 내에 있는지 검색하는 단계, (b) 검색 결과 쿼리 이미지와 유사한 이미지가 없는 경우, 쿼리 이미지를 미인식 이미지 데이터베이스에 저장하는 단계, (c) 미인식 이미지 데이터베이스에 저장된 이미지들간의 유사도를 기반으로 서로 연관 관계에 있는 이미지끼리 모아 이미지 집합을 구성하는 단계, (d) 특정 이미지 및 이에 대한 태그 정보가 입력되면 구성된 이미지 집합 중 특정 이미지 집합 내의 일부 이미지를 입력된 특정 이미지와 비교하고, 기설정된 임계치 이상의 유사도를 가지는지 판단되면 해당 이미지를 입력된 태그 정보와 함께 이미지 데이터베이스에 자동으로 추가되도록 하는 단계를 포함하는 방법이 제공된다.

Description

이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
본 발명은 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 보다 상세하게는, 본 발명은, 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가함에 있어서, 입력된 쿼리 이미지에 대하여 검색용 이미지 데이터베이스를 참조로 검색한 결과 매칭되지 않는 미인식 이미지들을 따로 저장하여 그룹화하고, 이를 웹 크롤링 등의 방법에 의하여 자동으로 취득한 이미지(또는 사용자에 의해 수동으로 제공되는 이미지) 및 태그들을 이용하여 검증함으로써, 상기 미인식 이미지와 이에 대한 태그 정보를 이미지 데이터베이스에 보다 손쉽게 추가할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
최근, 통신 기술이 발전하고 인터넷 사용이 확산됨에 따라 다양한 방식의 검색이 이루어지고 있다. 예를 들어, 컴퓨터 사용자들은 자신이 알고자 하는 정보를 찾기 위해 사전을 직접 찾아보거나 해당 정보에 정통한 타인에게 물어보는 것 이외에 인터넷(보다 정확하게는 웹 서비스)을 이용한 검색에 의해 원하는 정보를 찾을 수 있다. 즉, 웹 브라우저를 이용하여 검색 서비스를 제공하는 웹 서버에 접속한 후에, 찾고자 하는 정보에 관련된 키워드를 입력하여, 웹 서버와 연동된 검색 서비스를 제공받을 수 있는 것이다.
검색 서비스는 그 종류가 다양하게 발전하고 있고, 특히 우리나라에서는 지식 검색의 비중이 높아지고 있는 등, 정보획득을 위한 검색의 활용도가 증가하고 있는 추세이다. 이처럼 검색 서비스는 많은 사용자들에 의해 사용되는 기능이고, 사용자들의 사이트 방문은 곧 광고 수익과 직결되는 경우가 일반적인바 많은 포털 사이트들이 검색기능을 제공하고 있는 실정이다.
그러나 이처럼 검색 기능을 제공하는 사이트들이 양적으로는 증가하였지만, 그 검색방법은 대부분 키워드 등의 텍스트를 중심으로 한 천편일률적인 검색이어서, 보다 다양한 방식을 이용하여 원하는 정보를 보다 쉽게 얻고자 하는 사용자의 욕구를 충족시키지는 못하였다.
특히, 원하는 정보가 텍스트가 아니라 이미지로 이루어진 경우, 종래의 방식은 해당 이미지와 관련되었을 것으로 추측되는 키워드를 추론한 후에 해당 키워드를 입력하여 검색을 수행해야만 했다. 물론 검색 범위의 설정을 통해 이미지에 해당하는 결과만을 보여주도록 할 수는 있지만 이와 같은 이미지 검색 자체는 키워드 등의 텍스트를 기반으로 한 검색의 한 종류에 불과하였다.
이러한 방식은 사용자가 해당 이미지가 무엇인지조차 모르고 있을 때에는 관련 키워드를 쉽게 추론할 수 없고, 그에 따라 검색을 위한 키워드 입력 횟수가 증가하게 되며, 원하는 정보를 쉽게 검색할 수 없는 문제점이 있었다.
따라서 이러한 문제점을 해결하기 위하여 사용자 등이 특정 이미지에 대한 정보를 얻고자 하는 경우 텍스트 기반이 아닌 이미지 자체를 이용하여 검색할 수 있도록 하는 이미지 검색 시스템이 개발된 바 있다.
그러나, 종래의 이미지 검색 시스템은 다음과 같은 문제점을 안고 있었다. 먼저, 이미지 검색 시스템을 제공하기 위해서는 충분한 데이터 량을 포함하고 있는 이미지 데이터베이스를 필요로 하게 되는데, 이미지 데이터베이스에 충분한 데이터가 포함되어 있지 않은 경우에는 쿼리 이미지가 입력되어도 쿼리 이미지에 대한 검색 결과 정보를 제공할 수 없었고 쿼리 이미지와 이미지 데이터베이스에 저장된 이미지들과의 매칭 결과, 매칭에 실패한, 즉 미인식된 이미지들은 재활용되지 않고 모두 버려지게 되는 문제점이 있었다. 이와 같은 경우, 미인식된 이미지들이 이미지 데이터베이스에 수동으로 반영되기 전까지는, 재검색을 반복하여도 여전히 동일하게 기존의 미인식된 이미지들에 대한 검색 결과 정보를 제공할 수 없었다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 쿼리 이미지에 대하여 검색용 이미지 데이터베이스를 참조로 검색한 결과 매칭되지 않는 미인식 이미지들을 따로 저장하여 그룹화하고, 이를 웹 크롤링 등의 방법에 의하여 자동으로 취득한 이미지(또는 사용자에 의해 수동으로 제공되는 이미지) 및 태그 정보(즉, 해당 이미지에 대응되는 정보)들을 이용하여 검증함으로써, 미인식 이미지와 이에 대한 태그 정보가 이미지 데이터베이스에 보다 손쉽게 추가될 수 있도록 하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법으로서, (a) 쿼리 이미지가 입력되면, 상기 이미지 데이터베이스에 기 저장된 이미지와 상기 쿼리 이미지를 매칭하여 상기 쿼리 이미지와 유사한 이미지가 상기 이미지 데이터베이스 내에 있는지 검색하는 단계, (b) 상기 검색 결과 상기 쿼리 이미지와 유사한 이미지가 없는 경우, 상기 쿼리 이미지를 미인식 이미지 데이터베이스에 저장하는 단계, (c) 상기 미인식 이미지 데이터베이스에 저장된 이미지들 중에서 상기 저장된 이미지들간의 유사도를 기반으로 서로 연관 관계에 있는 이미지끼리 모아 이미지 집합을 구성하는 단계, (d) 외부로부터 특정 이미지 및 이에 대한 태그 정보가 입력되면, 상기 구성된 이미지 집합 중 특정 이미지 집합 내의 적어도 일부 이미지를 상기 입력된 특정 이미지와 비교하여 기설정된 임계치 이상의 유사도를 가지는지 판단하고, 상기 기설정된 임계치 이상의 유사도를 가지는 것으로 판단되면, 상기 적어도 일부 이미지를 상기 입력된 태그 정보와 함께 상기 이미지 데이터베이스에 자동으로 추가되도록 하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 시스템으로서, 쿼리 이미지가 입력되면, 상기 이미지 데이터베이스에 기 저장된 이미지와 상기 쿼리 이미지를 매칭하여 상기 쿼리 이미지와 유사한 이미지가 상기 이미지 데이터베이스 내에 있는지 검색하는 검색부, 상기 검색 결과 상기 쿼리 이미지와 유사한 이미지가 없는 경우, 상기 쿼리 이미지를 미인식 이미지 데이터베이스에 저장하는 미인식 이미지 저장부, 상기 미인식 이미지 데이터베이스에 저장된 이미지들 중에서 상기 저장된 이미지들간의 유사도를 기반으로 서로 연관 관계에 있는 이미지끼리 모아 이미지 집합을 구성하는 미인식 이미지 집합 구성부, 외부로부터 특정 이미지 및 이에 대한 태그 정보가 입력되면, 상기 구성된 이미지 집합 중 특정 이미지 집합 내의 적어도 일부 이미지를 상기 입력된 특정 이미지와 비교하여 기설정된 임계치 이상의 유사도를 가지는지 판단하고, 상기 기설정된 임계치 이상의 유사도를 가지는 것으로 판단되면, 상기 적어도 일부 이미지를 상기 입력된 태그 정보와 함께 상기 이미지 데이터베이스에 자동으로 추가되도록 하는 신규 이미지 추가부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 이미지 데이터베이스에 충분한 데이터가 포함되어 있지 않은 경우에 쿼리 이미지 중에서 이미지 데이터베이스에 저장된 이미지들과의 매칭에 실패한 미인식된 이미지들을 버리지 않고 재활용하여 추후 새롭게 입력될 쿼리 이미지의 매칭에 합리적으로 사용될 수 있도록 함으로써 종국적으로 자동적으로 진화하는 이미지 데이터베이스를 구현하는 효과를 달성할 수 있다.
도 1은 본 발명의 일 실시예에 따라 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 전체 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 시스템(200)의 내부 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라, 미인식 이미지 집합 구성부에서 미인식 이미지 데이터베이스에 저장된 이미지들간의 유사성을 기반으로 그룹화하여 이미지 집합을 구성한 것을 도시한 것이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따라, 미인식 이미지 집합 구성부에서 미인식 이미지 데이터베이스에 저장된 이미지들 중에서 유사성이 있는 이미지들을 모아 이미지 집합을 구성하는 일 실시예를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 특징 영역을 정규화하는 구성을 예시적으로 나타내는 도면이다.
도 6는 본 발명의 일 실시예에 따라 웹 크롤러에 의해 수집된 이미지 및 이미지 집합에 속한 이미지에 포함되는 특징 영역의 분포를 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 통신망
200: 이미지 처리 시스템
210: 검색부
220: 미인식 이미지 저장부
230: 미인식 이미지 집합 구성부
240: 신규 이미지 추가부
250: 이미지 데이터베이스
260: 미인식 이미지 데이터베이스
270: 통신부
280: 제어부
300: 사용자 단말 장치
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
[본 발명의 바람직한 실시예]
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 전체 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1에 도시되어 있는 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은, 통신망(100), 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가할 수 있는 이미지 처리 시스템(200), 사용자 단말 장치(300)로 구성될 수 있다.
먼저, 통신망(100)은 유선 및 무선과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 발명에서 말하는 통신망(100)은 공지의 월드와이드웹(WWW: World Wide Web)일 수 있다.
본 발명의 일 실시예에 따르면, 후술할 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가할 수 있는 이미지 처리 시스템(200)은 사용자 단말 장치(300)로부터 통신망(100)을 통하여 쿼리 이미지가 입력되면, 이미지 데이터베이스에 기 저장된 이미지와 쿼리 이미지를 매칭하여 쿼리 이미지와 유사한 이미지가 이미지 데이터베이스 내에 있는지 검색하고, 검색 결과 쿼리 이미지와 유사한 이미지가 없는 경우, 쿼리 이미지를 미인식 이미지 데이터베이스에 저장하는 기능을 수행할 수 있다. 이때, 이미지 데이터베이스에 기 저장된 이미지의 정규화된 특징 영역과 쿼리 이미지의 정규화된 특징 영역을 매칭함으로써 쿼리 이미지와 유사한 이미지가 이미지 데이터베이스 내에 있는지 검색할 수 있다.
또한, 본 발명의 일 실시예에 따른 이미지 처리 시스템(200)은, 미인식 이미지 데이터베이스에 저장된 이미지들 중에서 저장된 이미지들간의 유사도를 기반으로 서로 연관 관계에 있는 이미지끼리 묶어 이미지 집합을 구성할 수 있는데, 이때 외부(가령, 웹 크롤러 또는 임의의 사용자 단말)로부터 특정 이미지 및 이에 대한 태그 정보(즉, 해당 이미지에 대응되는 정보)가 획득되면, 상기 이미지 집합 중에서 특정 이미지 집합 내의 적어도 일부 이미지가 상기 특정 이미지와 비교하여 기설정된 임계치 이상의 유사도를 가지는지 판단하고, 상기 기설정된 임계치 이상의 유사도를 가지는 것으로 판단되면, 상기 적어도 일부 이미지를 상기 획득된 태그 정보와 함께 후술할 이미지 데이터베이스에 자동으로 추가되도록 할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 이미지 처리 시스템(200)은, 가령, 이미지 집합의 데이터(특정 이미지 집합 내의 데이터 또는 미인식 이미지 데이터베이스에 저장된 모든 데이터)가 기설정된 개수 이상 충분히 수집되면, 크롤링된 데이터 및/또는 사용자에 의해 입력된 데이터(가령, 이미지와 해당 태그 정보) 등을 참조로 하여 특정 이미지 집합 내의 적어도 일부 이미지가 크롤링된 이미지 및/또는 사용자에 의해 입력된 이미지와 연관 관계가 있는지 여부를 판단하고, 연관 관계가 있는 것으로 판단되면 상기 적어도 일부 이미지를 크롤링된 태그 정보 및/또는 사용자에 의해 입력된 태그 정보와 함께 이미지 데이터베이스에 추가하는 기능을 수행할 수 있다. 이미지 처리 시스템(200)의 내부 구성에 대한 자세한 설명은 후술하기로 한다.
한편, 본 발명의 일 실시예에 따른 사용자 단말 장치(300)는 사용자가 이미지 처리 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 사용자 단말 장치(300)로서 채택될 수 있다.
이미지 처리 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 이미지 처리 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 시스템(200)의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(200)은, 검색부(210), 미인식 이미지 저장부(220), 미인식 이미지 집합 구성부(230), 신규 이미지 추가부(240), 이미지 데이터베이스(250), 미인식 이미지 데이터베이스(260), 통신부(270) 및 제어부(280)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 검색부(210), 미인식 이미지 저장부(220), 미인식 이미지 집합 구성부(230), 신규 이미지 추가부(240), 이미지 데이터베이스(250), 미인식 이미지 데이터베이스(260), 통신부(270) 및 제어부(280)는 그 중 적어도 일부가 사용자 단말 장치(300)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 이미지 처리 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 이미지 처리 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따르면, 검색부(210)는 쿼리 이미지가 입력되면, 이미지 데이터베이스(250)에 이미 저장되어 있는 이미지와 쿼리 이미지를 매칭하여 쿼리 이미지와 유사한 이미지가 이미지 데이터베이스(250) 내에 존재하는지 검색하는 기능을 수행한다.
구체적으로, 본 발명의 일 실시예에 따르면, 검색부(210)는 이미지 데이터베이스(250)에 이미 저장되어 있는 이미지의 정규화된 특징 영역과 쿼리 이미지의 정규화된 특징 영역을 매칭하여 쿼리 이미지와 유사한 이미지가 이미지 데이터베이스(250) 내에 존재하는지 검색하는 기능을 수행할 수 있다.
여기서, 검색부(210) 및 후술할 미인식 이미지 집합 구성부(230), 신규 이미지 추가부(240)에서는 이미지 간의 매칭을 위하여 이미지로부터 특징점 및 특징 영역이 미리 추출되도록 할 수 있다. 여기서, 특징점은 해당 이미지에 포함된 객체의 특징 요소를 포함하고 있는 포인트를 의미하고, 특징 영역은 객체의 특성을 포함하고 있는 특징점 주변의 영역을 의미하는 것으로서 이미지의 시점 및 조명 변화에 대하여 강인하도록 설정될 수 있다.
위에서 언급한 바와 같이, 이미지로부터 특징점 및 특징 영역을 추출하기 위해서는 소정의 특징 추출 기술이 요구되는데, 본 발명의 일 실시예에 따르면, 이러한 특징 인식 기술로서, C. Harris 외 1인이 공동으로 저술하고 1988년 "In Alvey Vision Conference"에 기재된 "A combined corner and edge detector"라는 논문 등을 참조할 수 있을 것이다(상기 논문의 내용은 그 전체가 본 명세서에 병합되어 있는 것으로 고려되어야 한다). 상기 논문에는 특징점 주변의 기울기 분포를 나타내는 이차 모멘트 행렬을 이용하여 타원 모양의 특징 영역을 추정하는 방법에 대하여 기재되어 있다. 물론, 본 발명에 적용 가능한 객체 인식 기술이 상기 논문에 기재된 방법에만 한정되는 것은 아니며, 다양한 변형예를 적용하여 본 발명을 구현할 수 있을 것이다.
다음으로, 본 발명의 일 실시예에 따르면, 미인식 이미지 저장부(220)는 위에서 살펴본 검색부(210)의 검색 결과 쿼리 이미지와 유사한 이미지가 이미지 데이터베이스(250) 내에 없는 경우, 그 쿼리 이미지를 미인식 이미지 데이터베이스(260)에 저장하는 기능을 수행한다.
또한, 본 발명의 일 실시예에 따른 미인식 이미지 집합 구성부(230)는, 미인식 이미지 데이터베이스(260)에 저장된 이미지들 중에서 저장된 이미지들간의 유사도를 참조로 하여 연관 관계가 높은(가령, 서로간의 유사도가 기설정된 값 이상으로 높은) 이미지들을 묶어서 이미지 집합을 구성하는 기능을 수행한다. 보다 구체적으로, 미인식 이미지 집합 구성부(230)는 미인식 이미지 데이터베이스(260)에 저장된 이미지들의 특징점 또는 특징영역을 비교하여 유사성이 있다고 판단되는 이미지들끼리 묶어 이미지 집합을 구성하는 기능을 수행한다.
도 3은 본 발명의 일 실시예에 따라, 미인식 이미지 집합 구성부(230)에서 미인식 이미지 데이터베이스(260)에 저장된 이미지들을 대상으로 하여 유사도가 높은 이미지들끼리 서로 묶어 이미지 집합을 구성한 것을 도시한 것이다. 도 3을 참조하면, 미인식 이미지 집합 구성부(230)는 미인식 이미지 저장부(220)에 의하여 미인식 이미지 데이터베이스(260)에 저장된 이미지들을 그 유사성을 기반으로 그룹화하여 각각 310, 320, 330과 같은 이미지 집합을 구성한 실시예를 보여주고 있다.
또한, 도 4a 및 도 4b는 본 발명의 일 실시예에 따라, 미인식 이미지 집합 구성부(230)에서 미인식 이미지 데이터베이스(260)에 저장된 이미지들을 대상으로 하여 유사도가 높은 이미지들끼리 서로 묶어 이미지 집합을 구성하는 일 실시예를 도시한 것이다. 도 4a 및 도 4b를 참조하면, 본 발명의 일 실시예에 의한 미인식 이미지 집합 구성부(230)는 먼저 미인식 이미지 데이터베이스에서 이미지 매칭 기법을 이용하여 유사한 이미지로 판단되는 이미지를 도 4a와 같이 한데 모은다. 다음으로 본 발명의 일 실시예에 의한 미인식 이미지 집합 구성부(230)는 도 4a에서 한데 모은 이미지들을 구조화된 이미지 집합으로 구성하기 위하여, 시간대별 및 다양한 시점별로 이미지들을 배열하고 구조화하여 저장할 수 있다. 도 4b에서는 본 발명의 일 실시예에 의한 미인식 이미지 집합 구성부(230)가 시간대별 및 다양한 시점별로 이미지들을 배열하고 구조화하는 일 실시예를 도시하였으나, 이에 한정될 필요는 없으며, 본 발명의 일 실시예에 의한 미인식 이미지 집합 구성부(230)에서는 다양한 방법으로 이미지 집합을 구성하는 것이 가능할 것이다.
본 발명의 일 실시예에 따르면, 소정의 웹 크롤러(미도시) 또는 사용자 단말(300) 등으로부터 특정 이미지 및 이에 대한 태그 정보가 획득되면, 신규 이미지 추가부(240)는 상기 이미지 집합 중 특정 이미지 집합 내의 적어도 일부 이미지가 상기 획득된 특정 이미지와 비교하여 기설정된 임계치 이상의 유사도를 가지는지 판단하고, 상기 기설정된 임계치 이상의 유사도를 가지는 것으로 판단되면, 상기 적어도 일부 이미지를 상기 획득된 태그 정보와 함께 상기 이미지 데이터베이스(250)에 자동으로 추가되도록 하는 기능을 수행한다. 이때, 본 발명의 일 실시예에 의한 신규 이미지 추가부(240)는, 미인식 이미지 집합 구성부(230)에 의해 특정 이미지 집합에 포함된 데이터 개수가 기 설정된 개수 이상으로 충분히 많이 수집되거나 미인식 이미지 데이터베이스(260)에 포함된 데이터 개수가 기 설정된 개수 이상으로 충분히 많이 수집되면, 분석 작업(즉, 이미지 매칭 작업)이 수행되도록 할 수 있다.
한편, 신규 이미지 추가부(240)에서 위와 같은 이미지 매칭 작업을 수행할 때, 이미지 매칭의 대상이 되는 웹 크롤러 등에 의해 수집된 이미지와 이미지 집합에 속한 이미지는 서로 다른 조명 환경에서 서로 다른 시점을 통하여 촬영된 이미지일 수 있기 때문에, 각각의 이미지에 포함되어 있는 특징 영역도 시점 또는 조명에 따라 크기 및 형태가 서로 다르게 추출될 수 있다. 이로 인하여, 웹 크롤러 등에 의해 수집된 이미지의 특징 영역과 이미지 집합에 속한 이미지들의 특징 영역을 직접적으로 비교하는 것만으로는 정확한 이미지 매칭을 수행하기 어려울 수 있다. 이하에서는 편의 상 웹 크롤러에 의해 수집되는 이미지를 상정하였지만 당연히 사용자 단말(300) 등으로부터 수집되는 이미지의 경우도 포함한다 할 것이다.
따라서, 본 발명의 일 실시예에 따른 신규 이미지 추가부(240)는 이미지 매칭의 대상이 되는 웹 크롤러 등에 의해 수집된 이미지 및 이미지 집합에 속한 이미지에 각각 포함되는 특징 영역의 크기 및 형태가 서로 다르게 추출되는 것에서 기인하는 상기 문제점을 해결하기 위하여, 웹 크롤러 등에 의해 수집된 이미지 및 이미지 집합에 속한 이미지에 포함되어 있는 각각의 특징 영역의 크기 및 형태를 정규화하고, 상기 정규화된 특징 영역을 기준으로 하여 이미지 매칭을 수행함으로써 각각의 이미지 사이의 시야 및 조명에 따른 차이에서 기인하는 오차를 보정할 수 있게 된다.
도 5는 본 발명의 일 실시예에 따라 특징 영역을 정규화하는 구성을 예시적으로 나타내는 도면이다. 도 5의 이미지 (a)는 웹 크롤러 등에 의해 수집된 이미지의 일부분으로서 웹 크롤러 등에 의해 수집된 이미지로부터 추출된 특징 영역 A(510)를 나타내고 있고, 도 5의 이미지 (b)는 이미지 집합에 속한 이미지로부터 추출된 특징 영역 B(520)를 나타내고 있다. 도 5의 이미지 (a) 및 (b)를 살펴보면, 시점 또는 조명 차이로 인하여 각각의 이미지가 사실은 동일한 객체를 나타내는 것이지만 동일한 객체의 동일한 특징 부분이 각 이미지에서 서로 다른 크기 및 형태로 표시되는 것을 확인할 수 있으며, 이에 따라 웹 크롤러 등에 의해 수집된 이미지 및 이미지 집합에 속한 이미지의 동일한 특징 부분으로부터 서로 다른 크기 및 형태의 특징 영역(510, 520)이 추출되는 것을 확인할 수 있다.
본 발명의 일 실시예에 따른 신규 이미지 추가부(240)는, 소정의 정규화 기술을 이용하여 서로 다른 크기 및 형태를 갖는 한 쌍의 특징 영역을 서로 같은 크기 및 형태를 갖는 한 쌍의 특징 영역으로 정규화할 수 있으며, 이에 따라 도 5의 이미지 (a) 및 (b)와 같은 한 쌍의 특징 영역(510, 520)은 도 5의 이미지 (c) 및 (d)와 같은 한 쌍의 특징 영역(530, 540)으로 정규화될 수 있다.
한편, 위에서 언급한 바와 같이, 이미지로부터 추출된 특징 영역을 정규화하기 위해서는 소정의 특정 영역 정규화 기술이 요구되는데, 본 발명의 일 실시예에 따르면, 이러한 특징 영역 정규화 기술로서, K. MIKOLAJCZYK 외 7인이 공동으로 저술하고 2005년 11월 "International Journal of Computer Vision"에 기재된 "A Comparison of Affine Region Detectors"이라는 논문 등을 참조할 수 있을 것이다(상기 논문의 내용은 그 전체가 본 명세서에 병합되어 있는 것으로 고려되어야 한다). 상기 논문에는 해당 이미지의 시점 및 조명 조건을 추정하는 이차 모멘트 행렬을 M L 1/2 및 M R 1/2을 이용하여, 다양한 크기 및 형태를 갖는 타원으로 이루어진 특징 영역을 특정 크기 및 형태를 갖는 원으로 되도록 정규화하는 방법에 대하여 기재되어 있으며, 한 쌍의 정규화된 특징 영역이 서로 동일한 객체를 가리키는 것인지 판단하기 위하여 회전 행렬 R을 이용하여 정규화된 특징 영역을 회전시키는 방법에 대하여 기재되어 있다. 물론, 본 발명에 적용 가능한 정규화 기술이 상기 논문에 기재된 방법에만 한정되는 것은 아니며, 다양한 변형예를 적용하여 본 발명을 구현할 수 있을 것이다.
또한, 본 발명의 일 실시예에 의한 신규 이미지 추가부(240)는 이미지 집합에 속한 이미지의 적어도 하나의 정규화된 특징 영역을 상기 수집된 이미지의 적어도 하나의 정규화된 특징 영역과 비교하여, 각 이미지에서 서로 동일한 객체를 가리키는 것으로 판단되는 적어도 한 쌍의 특징 영역을 탐색할 수 있다. 또한, 본 발명의 일 실시예에 따른 신규 이미지 추가부(240)는, 적어도 두 쌍의 특징 영역이 탐색되는 경우, 토폴로지(topology)를 이용하여 적어도 두 쌍의 특징 영역에 해당되는 이미지 집합에 속한 이미지 상의 적어도 두 개의 특징 영역 사이의 상대적인 위치 관계와 적어도 두 쌍의 특징 영역에 해당되는 수집된 이미지 상의 적어도 두 개의 특징 영역 사이의 상대적인 위치 관계를 비교하고, 상기 비교 결과를 참조로 하여 이미지 집합에 속한 이미지와 수집된 이미지의 매칭 여부를 판단할 수 있다.
도 6은 본 발명의 일 실시예에 따라 웹 크롤러 등에 의해 수집된 이미지 및 이미지 집합에 속한 이미지에 포함되는 특징 영역의 분포를 예시적으로 나타내는 도면이다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 신규 이미지 추가부(240)는 웹 크롤러 등에 의해 수집된 이미지(즉, 이미지 (a)) 상의 복수 개의 특징 영역의 상대적인 위치 관계와 이미지 집합에 속한 이미지(즉, 이미지 (b)) 상의 복수 개의 특징 영역의 상대적인 위치 관계를 비교함으로써 양 이미지 간의 유사 여부를 결정할 수 있게 된다.
한편, 위에서 언급한 바와 같이, 특징 영역의 상대적인 위치 관계를 이용하여 서로 다른 두 이미지 사이의 유사 여부를 판단하기 위해서는 소정의 토폴로지 기술이 요구되는데, 본 발명의 일 실시예에 따르면, 이러한 토폴로지 기술로서, DERDAR Salah 외 2인이 공동으로 저술하고 2006년 1월 "Proceedings of SPIE, Vol. 6066"에 기재된 "Image matching using algebraic topology"라는 논문 등을 참조할 수 있을 것이다(상기 논문의 내용은 그 전체가 본 명세서에 병합되어 있는 것으로 고려되어야 한다). 상기 논문에는 대수학적인 토폴로지를 이용하여 이미지에 포함된 특징의 경계 요소 사이의 유사도를 측정함으로써 이미지 매칭을 수행하는 방법에 대하여 기재되어 있다. 물론, 본 발명에 적용 가능한 토폴로지 기술이 상기 논문에 기재된 방법에만 한정되는 것은 아니며, 다양한 변형예를 적용하여 본 발명을 구현할 수 있을 것이다.
이상에서 살펴본 바와 같이, 본 발명에 따른 이미지 매칭 방법에 의하면, 웹 크롤러 등에 의해 수집된 이미지와 이미지 집합에 속한 이미지 사이의 이미지 매칭의 정확도를 향상시킬 수 있게 되는 효과가 달성된다.
한편, 본 발명의 일 실시예에 따른 신규 이미지 추가부(240)는 이미지 데이터베이스(250)에 신규 이미지 및 이에 대한 정보를 추가할 때, 추가되는 이미지를 대표하는 n개의 대표 이미지와 상기 대표 이미지에 부여된 대표 태그를 함께 추가하도록 할 수 있다. 또한, 본 발명의 일 실시예에 따른 신규 이미지 추가부(240)는 대표 이미지를 추가할 때, 대표 이미지와 다른 시점 또는 다른 시간대를 반영하는 m개의 서브 이미지를 대표 이미지와 함께 추가할 수도 있다. 또한, 이 경우 추가되는 서브 이미지에 대한 서브 태그를 선택적으로 포함시켜 추가할 수도 있다. 여기서, 대표 이미지와 서브 이미지는 1개 이상의 특징점 또는 특징영역을 공유하는 관계에 있는 이미지를 말한다.
또한, 본 발명의 일 실시예에 의한, 이미지 데이터베이스(250)는 이미지에 대한 검증이 완료되어 해당 이미지와 태그 정보를 함께 포함하고 있는 데이터베이스이며, 미인식 이미지 데이터베이스(260)는 검색부(210)에서 이미지 데이터베이스(250)를 검색한 결과 이미지 매칭되지 않는 쿼리 이미지들을 미인식된 이미지로서 저장하는 데이터베이스이다.
한편, 본 발명에 있어서 이미지 데이터베이스(250) 및 미인식 이미지 데이터베이스(260)는, 협의의 데이터베이스뿐만 아니라, 컴퓨터 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스까지도 포함하는 개념으로서, 단순한 연산 처리 로그의 집합이라도 이를 검색하여 소정의 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스에 포함될 수 있음이 이해되어야 한다. 비록, 도 2에서 이미지 데이터베이스(250) 및 미인식 이미지 데이터베이스(260)는 이미지 처리 시스템(200)에 포함되어 구성되어 있는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 이미지 데이터베이스(250) 및 미인식 이미지 데이터베이스(260)는 이미지 처리 시스템(200)과 별개로 구성될 수도 있을 것이다.
한편, 본 발명의 일 실시예에 따른 통신부(270)는 이미지 처리 시스템(200)이 사용자 단말 장치(300) 등과 같은 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.
또한, 본 발명의 일 실시예에 따른 제어부(280)는 검색부(210), 미인식 이미지 저장부(220), 미인식 이미지 집합 구성부(230), 신규 이미지 추가부(240), 이미지 데이터베이스(250), 미인식 이미지 데이터베이스(260) 및 통신부(270) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(280)는 외부로부터의 또는 이미지 처리 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 검색부(210), 미인식 이미지 저장부(220), 미인식 이미지 집합 구성부(230), 신규 이미지 추가부(240), 이미지 데이터베이스(250), 미인식 이미지 데이터베이스(260) 및 통신부(270)에서 각각 고유 기능을 수행하도록 제어한다.
한편, 본 발명의 일 실시예에 따른 이미지 처리 시스템(200) 전체 혹은 이미지 처리 시스템의 각 구성요소인 검색부(210), 미인식 이미지 저장부(220), 미인식 이미지 집합 구성부(230), 신규 이미지 추가부(240), 이미지 데이터베이스(250), 미인식 이미지 데이터베이스(260), 통신부(270) 및 제어부(280)의 적어도 일부 구성요소는 컴퓨팅 리소스 또는 서버 리소스를 공유하는 다수의 서버 장치들을 가상화하는 클라우드 컴퓨팅 서버에 의해 구현될 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (25)

  1. 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법으로서,
    (a) 쿼리 이미지가 입력되면, 상기 이미지 데이터베이스에 기 저장된 이미지와 상기 쿼리 이미지를 매칭하여 상기 쿼리 이미지와 유사한 이미지가 상기 이미지 데이터베이스 내에 있는지 검색하는 단계,
    (b) 상기 검색 결과 상기 쿼리 이미지와 유사한 이미지가 없는 경우, 상기 쿼리 이미지를 미인식 이미지 데이터베이스에 저장하는 단계,
    (c) 상기 미인식 이미지 데이터베이스에 저장된 이미지들 중에서 상기 저장된 이미지들간의 유사도를 기반으로 서로 연관 관계에 있는 이미지끼리 모아 이미지 집합을 구성하는 단계,
    (d) 외부로부터 특정 이미지 및 이에 대한 태그 정보가 입력되면, 상기 구성된 이미지 집합 중 특정 이미지 집합 내의 적어도 일부 이미지를 상기 입력된 특정 이미지와 비교하여 기설정된 임계치 이상의 유사도를 가지는지 판단하고, 상기 기설정된 임계치 이상의 유사도를 가지는 것으로 판단되면, 상기 적어도 일부 이미지를 상기 입력된 태그 정보와 함께 상기 이미지 데이터베이스에 자동으로 추가되도록 하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 (d) 단계에서,
    상기 특정 이미지 및 이에 대한 태그 정보를 크롤러 또는 사용자 단말로부터 수신하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 (a) 단계는,
    상기 쿼리 이미지가 입력되면, 상기 이미지 데이터베이스에 기 저장된 이미지의 정규화된 특징 영역과 상기 쿼리 이미지의 정규화된 특징 영역을 매칭하여 상기 쿼리 이미지와 유사한 이미지가 있는지 검색하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 (c) 단계는,
    상기 미인식 이미지 데이터베이스에 저장된 이미지들의 특징점 또는 특징영역을 비교하여 상기 유사도를 판단하고 이에 따라 상기 이미지 집합을 구성하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 (c) 단계에서 상기 특정 이미지 집합의 데이터 개수 또는 상기 미인식 이미지 데이터베이스에 기록된 데이터 개수가 기 설정된 개수 이상으로 수집되면, 상기 (d) 단계를 수행하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 (d) 단계는,
    상기 특정 이미지 집합에 속한 이미지의 적어도 하나의 정규화된 특징 영역을 상기 입력된 특정 이미지의 적어도 하나의 정규화된 특징 영역과 비교하여, 상기 각 이미지에서 서로 동일한 객체를 가리키는 것으로 판단되는 적어도 한 쌍의 특징 영역을 탐색하여, 상기 입력된 특정 이미지와 상기 특정 이미지 집합에 속한 이미지간의 유사도 판단을 수행하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 (d) 단계에서,
    적어도 두 쌍의 특징 영역이 탐색되는 경우, 토폴로지(topology)를 이용하여 상기 적어도 두 쌍의 특징 영역에 해당되는 상기 특정 이미지 집합에 속한 이미지 상의 적어도 두 개의 특징 영역 사이의 상대적인 위치 관계와 상기 적어도 두 쌍의 특징 영역에 해당되는 상기 입력된 특정 이미지 상의 적어도 두 개의 특징 영역 사이의 상대적인 위치 관계를 비교하여, 상기 특정 이미지 집합에 속한 이미지와 상기 입력된 특정 이미지의 매칭 여부를 판단하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 (d) 단계는,
    상기 특정 이미지 집합 내의 상기 적어도 일부 이미지를 대표하는 n개의 대표 이미지와 상기 대표 이미지에 대응되는 대표 태그를 상기 이미지 데이터베이스에 추가하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 대표 이미지와 다른 시점 또는 다른 시간대를 반영하는 m개의 서브 이미지를 함께 추가하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 서브 이미지를 추가할 때, 상기 서브 이미지에 대한 서브 태그를 더 포함하여 추가하는 것을 특징으로 하는 방법.
  11. 제9항에 있어서,
    상기 대표 이미지와 상기 서브 이미지는 1개 이상의 특징점 또는 특징영역을 공유하는 것을 특징으로 하는 방법.
  12. 제1항에 있어서,
    상기 (a), (b), (c), (d) 단계 중 적어도 한 개 이상의 단계는,
    컴퓨팅 리소스 또는 서버 리소스를 공유하는 다수의 서버 장치들을 가상화하는 클라우드 컴퓨팅 서버에 의해 실행되는 것을 특징으로 하는 방법.
  13. 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 시스템으로서,
    쿼리 이미지가 입력되면, 상기 이미지 데이터베이스에 기 저장된 이미지와 상기 쿼리 이미지를 매칭하여 상기 쿼리 이미지와 유사한 이미지가 상기 이미지 데이터베이스 내에 있는지 검색하는 검색부,
    상기 검색 결과 상기 쿼리 이미지와 유사한 이미지가 없는 경우, 상기 쿼리 이미지를 미인식 이미지 데이터베이스에 저장하는 미인식 이미지 저장부,
    상기 미인식 이미지 데이터베이스에 저장된 이미지들 중에서 상기 저장된 이미지들간의 유사도를 기반으로 서로 연관 관계에 있는 이미지끼리 모아 이미지 집합을 구성하는 미인식 이미지 집합 구성부,
    외부로부터 특정 이미지 및 이에 대한 태그 정보가 입력되면, 상기 구성된 이미지 집합 중 특정 이미지 집합 내의 적어도 일부 이미지를 상기 입력된 특정 이미지와 비교하여 기설정된 임계치 이상의 유사도를 가지는지 판단하고, 상기 기설정된 임계치 이상의 유사도를 가지는 것으로 판단되면, 상기 적어도 일부 이미지를 상기 입력된 태그 정보와 함께 상기 이미지 데이터베이스에 자동으로 추가되도록 하는 신규 이미지 추가부
    를 포함하는 시스템.
  14. 제13항에 있어서,
    상기 외부는 크롤러 또는 사용자 단말인 것을 특징으로 하는 시스템.
  15. 제13항에 있어서,
    상기 검색부는,
    상기 쿼리 이미지가 입력되면, 상기 이미지 데이터베이스에 기 저장된 이미지의 정규화된 특징 영역과 상기 쿼리 이미지의 정규화된 특징 영역을 매칭하여 상기 쿼리 이미지와 유사한 이미지가 있는지 검색하는 것을 특징으로 하는 시스템.
  16. 제13항에 있어서,
    상기 미인식 이미지 집합 구성부는,
    상기 미인식 이미지 데이터베이스에 저장된 이미지들의 특징점 또는 특징영역을 비교하여 상기 유사도를 판단하고 이에 따라 상기 이미지 집합을 구성하는 것을 특징으로 하는 시스템.
  17. 제13항에 있어서,
    상기 미인식 이미지 집합 구성부에 의해 수집된 상기 특정 이미지 집합의 데이터 개수 또는 상기 미인식 이미지 데이터베이스에 기록된 데이터 개수가 기 설정된 개수 이상으로 되면, 상기 신규 이미지 추가부는 상기 적어도 일부 이미지를 상기 입력된 태그 정보와 함께 상기 이미지 데이터베이스에 자동으로 추가되도록 하는 것을 특징으로 하는 시스템.
  18. 제13항에 있어서,
    상기 신규 이미지 추가부는,
    상기 특정 이미지 집합에 속한 이미지의 적어도 하나의 정규화된 특징 영역을 상기 입력된 특정 이미지의 적어도 하나의 정규화된 특징 영역과 비교하여, 상기 각 이미지에서 서로 동일한 객체를 가리키는 것으로 판단되는 적어도 한 쌍의 특징 영역을 탐색하여, 상기 입력된 특정 이미지와 상기 특정 이미지 집합에 속한 이미지간의 유사도 판단을 수행하는 것을 특징으로 하는 시스템.
  19. 제18항에 있어서,
    상기 신규 이미지 추가부는,
    적어도 두 쌍의 특징 영역이 탐색되는 경우, 토폴로지(topology)를 이용하여 상기 적어도 두 쌍의 특징 영역에 해당되는 상기 특정 이미지 집합에 속한 이미지 상의 적어도 두 개의 특징 영역 사이의 상대적인 위치 관계와 상기 적어도 두 쌍의 특징 영역에 해당되는 상기 입력된 특정 이미지 상의 적어도 두 개의 특징 영역 사이의 상대적인 위치 관계를 비교하여, 상기 특정 이미지 집합에 속한 이미지와 상기 입력된 특정 이미지의 매칭 여부를 판단하는 것을 특징으로 하는 시스템.
  20. 제13항에 있어서,
    상기 신규 이미지 추가부는,
    상기 특정 이미지 집합 내의 상기 적어도 일부 이미지를 대표하는 n개의 대표 이미지와 상기 대표 이미지에 대응되는 대표 태그를 상기 이미지 데이터베이스에 추가하는 것을 특징으로 하는 시스템.
  21. 제20항에 있어서,
    상기 대표 이미지와 다른 시점 또는 다른 시간대를 반영하는 m개의 서브 이미지를 함께 추가하는 것을 특징으로 하는 시스템.
  22. 제21항에 있어서,
    상기 서브 이미지를 추가할 때, 상기 서브 이미지에 대한 서브 태그를 더 포함하여 추가하는 것을 특징으로 하는 시스템.
  23. 제21항에 있어서,
    상기 대표 이미지와 상기 서브 이미지는 1개 이상의 특징점 또는 특징영역을 공유하는 것을 특징으로 하는 시스템.
  24. 제13항에 있어서,
    상기 시스템은,
    컴퓨팅 리소스 또는 서버 리소스를 공유하는 다수의 서버 장치들을 가상화하는 클라우드 컴퓨팅 서버에 의해 실행되는 것을 특징으로 하는 시스템.
  25. 제1항 내지 제12항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2011/010348 2011-02-07 2011-12-29 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 WO2012108623A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11858235.2A EP2674884A4 (en) 2011-02-07 2011-12-29 METHOD, SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM FOR ADDING A NEW IMAGE AND INFORMATION ON THE NEW IMAGE TO AN IMAGE DATA BASE
CN201180068995.XA CN103430179B (zh) 2011-02-07 2011-12-29 在图像数据库中添加新图像和其相关信息的方法、系统以及计算机可读存储介质
JP2013553340A JP5617095B2 (ja) 2011-02-07 2011-12-29 新たな画像及びその情報を画像データベースに書き込むための方法、システム、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110010624A KR101029160B1 (ko) 2011-02-07 2011-02-07 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR10-2011-0010624 2011-02-07

Publications (1)

Publication Number Publication Date
WO2012108623A1 true WO2012108623A1 (ko) 2012-08-16

Family

ID=44050088

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/010348 WO2012108623A1 (ko) 2011-02-07 2011-12-29 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Country Status (6)

Country Link
US (1) US20120203759A1 (ko)
EP (1) EP2674884A4 (ko)
JP (1) JP5617095B2 (ko)
KR (1) KR101029160B1 (ko)
CN (1) CN103430179B (ko)
WO (1) WO2012108623A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101191172B1 (ko) 2012-02-15 2012-10-15 (주)올라웍스 이미지 데이터베이스의 이미지들을 관리하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US20130329061A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
US20140072226A1 (en) * 2012-09-13 2014-03-13 International Business Machines Corporation Searching and Sorting Image Files
KR102115286B1 (ko) * 2013-01-04 2020-06-08 삼성전자주식회사 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법
CN104598534B (zh) 2014-12-30 2018-04-06 小米科技有限责任公司 图片折叠方法及装置
KR102589853B1 (ko) * 2016-10-27 2023-10-16 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
CN106815351A (zh) * 2017-01-18 2017-06-09 腾讯科技（深圳）有限公司 一种标签推荐方法及服务器
CN106897967A (zh) * 2017-02-08 2017-06-27 合网络技术（北京）有限公司 背景图像生成方法及装置
CN109212571A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 导航定位方法及装置
CN107885835B (zh) * 2017-11-09 2020-08-28 东软集团股份有限公司 断层扫描图像的相似层图像查找方法和装置
CN107885861A (zh) * 2017-11-21 2018-04-06 桂林爱家购股份有限公司 一种图像检索系统和方法
JP7029347B2 (ja) 2018-05-11 2022-03-03 株式会社東芝 情報処理方法、プログラムおよび情報処理装置
CN109784379B (zh) * 2018-12-27 2021-03-30 广州华迅网络科技有限公司 纺织品图片特征库的更新方法和装置
CN110674823A (zh) * 2019-09-26 2020-01-10 中国科学院声学研究所 一种基于深海大型底栖动物自动识别的样本库构建方法
KR102114223B1 (ko) * 2019-12-10 2020-05-22 셀렉트스타 주식회사 딥러닝 기반 유사 이미지를 필터링하는 방법 및 그를 이용한 장치
CN113178248A (zh) * 2021-04-28 2021-07-27 联仁健康医疗大数据科技股份有限公司 医学图像数据库建立方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189743A (ja) * 2000-12-20 2002-07-05 Hitachi Information Technology Co Ltd 情報登録システム
KR20070009338A (ko) * 2005-07-15 2007-01-18 (주)첫눈 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치
WO2009067717A1 (en) * 2007-11-22 2009-05-28 International Business Machines Corporation Photo-based virtual world creation system for non-professional volunteers
KR20090109215A (ko) * 2008-04-15 2009-10-20 엔에이치엔(주) 이미지 검색방법 및 검색 시스템
KR20100050110A (ko) * 2008-11-05 2010-05-13 에스케이커뮤니케이션즈 주식회사 이미지 검색 서비스를 제공하는 방법, 단말기, 이미지 검색서버 및 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318365A (ja) * 2003-04-15 2004-11-11 Hokkaido Univ 画像検索システム、画像検索方法およびそのプログラム
JP2005080216A (ja) * 2003-09-03 2005-03-24 Casio Comput Co Ltd 画像処理装置、画像処理方法及びそのプログラム
JP4474885B2 (ja) * 2003-09-30 2010-06-09 カシオ計算機株式会社 画像分類装置及び画像分類プログラム
US7872669B2 (en) * 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
JP2007133746A (ja) * 2005-11-11 2007-05-31 Konica Minolta Photo Imaging Inc 分類プログラム及び画像データの分類方法
JP5028858B2 (ja) * 2006-05-09 2012-09-19 セイコーエプソン株式会社 画像管理装置
US8468244B2 (en) * 2007-01-05 2013-06-18 Digital Doors, Inc. Digital information infrastructure and method for security designated data and with granular data stores
JP2008250755A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 登録システム及び登録方法
KR101513616B1 (ko) * 2007-07-31 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 영상정보 관리방법
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
US8762383B2 (en) * 2008-08-06 2014-06-24 Obschestvo s organichennoi otvetstvennostiu “KUZNETCH” Search engine and method for image searching
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP4897779B2 (ja) * 2008-11-28 2012-03-14 ヤフー株式会社 人物名収集装置、その方法、および、そのプログラム
US9495583B2 (en) * 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces
US9514355B2 (en) * 2009-01-05 2016-12-06 Apple Inc. Organizing images by correlating faces

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189743A (ja) * 2000-12-20 2002-07-05 Hitachi Information Technology Co Ltd 情報登録システム
KR20070009338A (ko) * 2005-07-15 2007-01-18 (주)첫눈 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치
WO2009067717A1 (en) * 2007-11-22 2009-05-28 International Business Machines Corporation Photo-based virtual world creation system for non-professional volunteers
KR20090109215A (ko) * 2008-04-15 2009-10-20 엔에이치엔(주) 이미지 검색방법 및 검색 시스템
KR20100050110A (ko) * 2008-11-05 2010-05-13 에스케이커뮤니케이션즈 주식회사 이미지 검색 서비스를 제공하는 방법, 단말기, 이미지 검색서버 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. HARRIS: "A combined corner and edge detector", IN ALVEY VISION CONFERENCE, 1988
DERDAR SALAH: "Image matching using algebraic topology", PROCEEDINGS OF SPIE, vol. 6066, January 2006 (2006-01-01)
K. MIKOLAJCZYK: "A Comparison of Affine Region Detectors", INTERNATIONAL JOURNAL OF COMPUTER VISION, November 2005 (2005-11-01)

Also Published As

Publication number Publication date
CN103430179B (zh) 2017-04-05
KR101029160B1 (ko) 2011-04-13
CN103430179A (zh) 2013-12-04
EP2674884A4 (en) 2016-04-27
EP2674884A1 (en) 2013-12-18
JP5617095B2 (ja) 2014-11-05
JP2014509004A (ja) 2014-04-10
US20120203759A1 (en) 2012-08-09

Similar Documents

Publication Publication Date Title
WO2012108623A1 (ko) 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2017057921A1 (ko) 딥러닝을 이용하여 텍스트 단어 및 기호 시퀀스를 값으로 하는 복수 개의 인자들로 표현된 데이터를 자동으로 분류하는 방법 및 시스템
WO2022050473A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2012091400A1 (en) System and method for detecting malware in file based on genetic map of file
KR101191172B1 (ko) 이미지 데이터베이스의 이미지들을 관리하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2011129513A1 (en) Marker search system for augmented reality service
WO2016208916A1 (en) Method and system for context based tab management
WO2011136608A9 (ko) 단말 장치로 입력되는 입력 영상 및 상기 입력 영상에 관련된 정보를 이용하여 증강 현실을 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
WO2010011026A2 (ko) 이미지를 이용한 검색 시스템
WO2018124495A1 (ko) 불법 콘텐츠 검색 시스템 및 그 방법
WO2011034308A2 (ko) 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2017155292A1 (ko) 비정상행위 탐색방법 및 탐색프로그램
WO2011034305A2 (ko) 건축물 이미지의 계층적 매칭 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2023054858A1 (ko) 머신러닝 기반 url 카테고리 자동 분류 방법 및 시스템
WO2010041893A2 (ko) 광고 구매 히스토리에 기초하여 검색 광고용 키워드 페어를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2022124573A1 (ko) 메뉴 구조 및 스크립트 내 키워드 기반 웹 사이트의 유사도 평가 방법
WO2012121480A2 (ko) 복수의 사용자가 동시에 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
WO2016117739A1 (ko) 인-메모리 데이터베이스 기반의 데이터 관리 시스템 및 그 방법
CN115510249A (zh) 一种知识图谱的构建方法及装置、电子设备、存储介质
CN115033816A (zh) 基于规则引擎的业务处理方法、装置、计算机设备及介质
WO2022004978A1 (ko) 건축 장식재 디자인 업무 시스템 및 방법
WO2014148664A1 (ko) 단어의 의미를 기반으로 하는 다국어 검색 시스템, 다국어 검색 방법 및 이를 이용한 이미지 검색 시스템
WO2020111662A1 (ko) 북마크관리 및 정보검색 서비스 제공시스템 및 이를 이용한 북마크관리 및 정보검색 서비스 제공방법
WO2012118276A2 (ko) 콜렉션 정보를 이용하여 광고를 제공하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
WO2019093755A1 (ko) 폰트 저작권 보호 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11858235

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013553340

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011858235

Country of ref document: EP