WO2014077466A1 - 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법 - Google Patents

이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법 Download PDF

Info

Publication number
WO2014077466A1
WO2014077466A1 PCT/KR2013/001709 KR2013001709W WO2014077466A1 WO 2014077466 A1 WO2014077466 A1 WO 2014077466A1 KR 2013001709 W KR2013001709 W KR 2013001709W WO 2014077466 A1 WO2014077466 A1 WO 2014077466A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature point
information
query
user terminal
Prior art date
Application number
PCT/KR2013/001709
Other languages
English (en)
French (fr)
Inventor
조훈영
조민형
이재형
Original Assignee
(주)엔써즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엔써즈 filed Critical (주)엔써즈
Priority to US14/441,310 priority Critical patent/US9536175B2/en
Publication of WO2014077466A1 publication Critical patent/WO2014077466A1/ko
Priority to US15/358,117 priority patent/US9754183B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/278—Content descriptor database or directory service for end-user access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the present invention relates to a system and method for providing additional information using image matching, and more particularly, to identify location information of a user terminal from an image or an image input from a user terminal using image matching technology, and based on the various additional information. It relates to a system and method that can provide.
  • a provider that provides a particular image or image may automatically determine that an arbitrary user has observed the image or image, and accordingly provide additional information in an appropriate form to the user.
  • Technology development is desired.
  • Korean Patent Laid-Open No. 10-2013-0008109 (published Jan. 22, 2013) relates to a "mobile terminal, a news providing device, and a location based news providing method", which receives location information from a mobile terminal and receives a received location.
  • a method for transmitting related news information to a corresponding terminal based on the information since the terminal must first correctly receive location information from the terminal, the terminal must acquire the location information by itself. Therefore, there is a limitation in that the terminal cannot acquire the location information because the terminal does not have the location information acquisition means or cannot provide news information to the terminal that does not transmit the location information.
  • the present invention has been made in view of the above limitations, and automatically determines whether a user observes an installation image or an image such as an advertisement attached to a fixture such as an outdoor billboard, and accordingly, additional information of an appropriate form. It is an object of the present invention to provide a system and a method capable of providing a to a user.
  • Another object of the present invention is to provide a system and a method for increasing the efficiency of image matching by more accurately determining a query image to be compared among images or images transmitted from a user.
  • the present invention provides a system and method that can accurately determine what the image of the installation transmitted by the user and where it is located by using the surrounding information related to the installation of the feature point information of the installation image during image matching For another purpose.
  • the present invention provides a system and method that can increase the efficiency and accuracy of information provision by allowing the user terminal to determine the angle information and the movement direction information based on the installation image and to provide additional information based on the information. Another purpose.
  • the present invention provides an additional information providing system using image matching, comprising: an image input unit for receiving an image or an image input from a user terminal; A query image determiner which determines a query image to be a query target from an image or an image received by the image input unit; A feature point extracting unit for extracting feature points of the query image determined by the query image determining unit and generating specific point information of the extracted feature points; A reference meta-information database for storing a fixture image identifier of a fixture image of a fixture on which an original image is installed, fixture image feature point information of a fixture image, and additional information to be provided to a user terminal corresponding to the fixture image identifier; An image matching unit comparing the feature point information of the query image generated by the feature point extractor with the feature image feature point information stored in a reference meta information database to determine a matched fixture image identifier; And an additional information providing unit configured to provide additional information stored in correspondence with the installation image identifier determined by the image matching unit to the user terminal.
  • the query image determination unit may include: a frame extracting unit extracting an input image as a plurality of frame images when an image is input from a user terminal; And a query image selector configured to determine a query image, which is a query target, from among the frame images extracted by the frame extractor.
  • the query image selector may determine the query image based on gradient values of the frame images.
  • the reference meta-information database further includes an original image identifier of the original image and original image feature point information of the original image, and the installation image feature point information includes feature point information inside the original image area and feature points outside the original image area. It can be configured to include information.
  • the feature point information outside the original image region may be configured to be formed by the fixture image feature point information that does not match the original image feature point information by performing matching between the original image feature point information and the fixture image feature point information.
  • the image matching unit may compare the feature point information of the query image extracted by the feature point extractor with the feature image feature point information stored in the reference meta information database, and select N fixture image identifiers having the highest matching score, where N is a natural number.
  • the feature image information of the query image and the feature point information outside the original image area of the determined installation image identifier may be compared to finally determine the installation image identifier.
  • the image input unit may receive location information of the user terminal together with an image or an image from the user terminal, and the reference meta information database may include the installation location information stored corresponding to the installation image identifier of the installation in which the original image is installed.
  • the image matching unit compares the feature point information of the query image extracted by the feature point extractor with the feature image feature point information stored in the reference meta information database to obtain N fixture image identifiers having the highest matching score, where N is a natural number. And determine the installation image identifier by comparing the installation position information of the determined installation image identifier with the position information of the user terminal received from the image input unit.
  • the apparatus may further include a direction calculator configured to determine first direction angle information of the user terminal facing the installation image.
  • the image input unit additionally receives an image or an image input from a user terminal within a predetermined time, and the query image determiner, the feature point extractor, and the image matching unit receive a query image to be queried from the additionally received image or image. Determine and extract feature points and determine a matching fixture image identifier, and the direction calculator determines second direction angle information of the user terminal facing the fixture image, based on the first direction angle information and the second direction angle information.
  • the moving direction of the user terminal may be determined, and the additional information providing unit may be configured to provide the stored additional information to the user terminal based on the installation image identifier determined by the image matching unit and the determined moving direction of the user terminal.
  • a method for providing additional information using image matching comprising: a first step of receiving an image or an image input from a user terminal; Determining a query image to be a query object from the received image or image; Extracting feature points of the determined query image and generating feature point information on the extracted feature points; A fourth step of comparing the feature point information of the feature point of the extracted query image with the feature image feature point information to determine a matched fixture image identifier; And providing a stored additional information corresponding to the determined installation image identifier to the user terminal.
  • the additional information providing method using image matching may be provided.
  • a system and method for automatically determining whether a user observes an installation image or an image such as an advertisement attached to an installation such as an outdoor billboard, and thus provides the user with an appropriate form of additional information. Can be provided.
  • the present invention has an effect that can provide a system and method that can more accurately determine the query image to be compared from the image or image transmitted from the user to increase the efficiency of image matching.
  • FIG. 1 is a view showing the overall configuration and connection of the additional information providing system using image matching according to the present invention.
  • FIG. 2 is a diagram illustrating a configuration of an embodiment of an additional information providing system 100 according to the present invention.
  • 3 is a diagram illustrating an internal configuration of the query image determiner 120.
  • FIG. 4 is a diagram illustrating a process in which a specific frame is selected by the query image determiner 120 by a score function.
  • FIG. 5 is a diagram illustrating an example of a configuration of the reference meta information database 160.
  • FIG. 6 is a diagram for describing feature point information inside the original image area and feature point information outside the original image area.
  • FIG. 7 is a diagram for describing an operation of the image matching unit 140.
  • FIG. 8 is a view for explaining a process of determining the moving direction of the user terminal 200 in the direction calculator.
  • FIG. 9 is a flowchart illustrating an embodiment of a method for providing additional information to the user terminal 200 by the additional information providing system 100 according to the present invention described with reference to FIGS. 1 to 8.
  • FIG. 1 is a view showing the overall configuration and connection of the additional information providing system 100 using image matching according to the present invention.
  • the additional information providing system 100 (hereinafter, simply referred to as “additional information providing system”) using image matching according to the present invention is connected to the user terminal 200 and transmitted from the user terminal 200. Receives the image or image to be received from the user terminal 200 and based on this to identify the installation on which the image or image transmitted from the user terminal 200 is installed and performs a function of providing a variety of additional information based on this.
  • the image or image transmitted from the user terminal 200 is an image or image captured by the user terminal 200 (hereinafter, referred to as “captured image” 400).
  • Image acquisition means such as a camera known by the art.
  • the photographed image 400 captured / acquired by the user terminal 200 and transmitted to the additional information providing system 100 includes a user terminal 200 based on an image or an image (installation image, 300) installed on a fixture. ) Is an image or image taken by operating.
  • the term "installation” means a structure in which an image or an image is installed (attached), for example, a street outdoor billboard as shown in FIG. 1.
  • the outdoor billboard may include an image billboard with an image attached thereto and a video billboard such as a large display unit.
  • an advertisement image (installation attachment image 300) in the form of a vehicle is attached to the installation, and the user terminal 200 takes a picture centering on the installation attachment image 300 and photographed and taken. 400 is transmitted to the additional information providing system 100.
  • the installation attachment image 300 may be a poster or a movie poster in addition to the advertisement image or the advertisement image.
  • installation attachment image 300 which is defined as a concept including a video as well as an image (that is, a still image).
  • the user terminal 200 will be photographed around the fixture attachment image 300 installed on the fixture by the user's operation, but the actual photographed image 400 includes an image of the fixture including some or all of the fixture attachment image 300.
  • the image or image (captured image 400) transmitted to the additional information providing system 100 may include the image 300 as well as the fixture attachment image 300 as indicated by the dotted line in FIG. 1. It may include an image or an image of the surrounding installation.
  • image matching may be performed in consideration of them. You can increase the accuracy.
  • the image or image obtained from the user terminal 200 may include a part or all of the installation attachment image 300 without including the installation image or the image of the installation, in which case the image for the installation attachment image 300 Matching is performed through matching.
  • installation attachment image 300 means an image or an image attached to the installation
  • shooting image 400 refers to the user terminal around the installation attachment image 300 (The image or image transmitted by the 200 to the additional information providing system 100 as an image or an image, which means that the captured image 400 includes a part or all of the installation attachment image 300 and also includes the installation attachment image ( It is defined as meaning the image or image taken, including the image or image of a part or all of the installation, including (300).
  • the user terminal 200 is a known data transmission means for transmitting the captured image 400 to the additional information providing system 100, for example, a communication module for data transmission via a mobile communication network, a wireless LAN for wireless LAN connection Means such as interfaces.
  • the user terminal 200 is a concept including a mobile communication terminal or a tablet computer, for example.
  • the user terminal 200 according to the present invention is preferably a mobile communication terminal such as, for example, a smartphone. As another example, it may be a digital camera including data transmission means.
  • FIG. 2 is a diagram illustrating a configuration of an embodiment of an additional information providing system 100 according to the present invention.
  • the additional information providing system 100 may include an image input unit 110, a query image determiner 120, a feature point extractor 130, an image matcher 140, and an additional information provider. 150 and reference meta-information database 160.
  • the image input unit 110 receives an image or an image (captured image 400) transmitted from the user terminal 200 and transmits the received image or image to the query image determiner 120.
  • the user terminal 200 obtains the attachment image 300 or the photographed image 400 which is an image or an image of the installation including the fixture attachment image 300 to provide the additional information providing system 100. This is transmitted to the image input unit 110 of the additional information providing system 100. At this time, when the user terminal 200 acquires the captured image 400, the user terminal 200 may shoot in the form of an image (video) or in the form of an image (still image), and the additional information providing system 100 ).
  • image refers to a moving image
  • image refers to a still image.
  • the query image determiner 120 determines a query image that is a query target from an image or an image (captured image 400) received from the image input unit 110.
  • the query image refers to an image to be compared with the installation image feature point information stored in the reference meta information database 160 to be described later.
  • the user terminal 200 acquires an image or an image based on the installation attachment image 300.
  • part of the user's body is shaken or the user moves.
  • Often images are acquired. Accordingly, a blurring phenomenon may occur in part or in entirety of the captured image 400 acquired by the user terminal 200 and transmitted to the additional information providing system 100.
  • the query image determiner 120 captures an image or an image transmitted from the user terminal 200.
  • the image 400 selects a frame having less deterioration in image quality, that is, the sharpest frame, to determine a query image, thereby increasing accuracy of image matching.
  • FIG. 3 is a diagram illustrating an internal configuration of the query image determiner 120, and illustrates a configuration for determining a query image when an image is input from the user terminal 200.
  • the query image determiner 120 includes a frame extractor 121 and a query image selector 122.
  • the frame extractor 121 extracts the input image into a plurality of frame images when the image is input from the user terminal 200.
  • image means "video” (e.g., in avi, mpg file format), which is a plurality of frame images (i.e., A plurality of frame still images).
  • the frame extractor 121 extracts the image into a plurality of frame images.
  • the number of frames can be appropriately selected as needed at about tens of frames per second.
  • the query image selector 122 performs a function of determining a query image that is a query target from the frame images extracted by the frame extractor 121.
  • the query image may be determined based on the gradient value of each frame image.
  • Gradient is an amount of change of the image data value in each pixel constituting the image, and the larger the size of the gradient, the sharper the edges and the less the shaking. Therefore, a frame image with a large gradient can be seen as a clear image, so it is desirable to determine a frame image with a large gradient as a query image.
  • a score function is defined by Equation 1 below.
  • the image data value (I (x, y)) may be defined as the intensity of a pixel at the (x, y) coordinate of the frame image.
  • R, G, B values or C, M, Y, K values may be used respectively.
  • create a gray image that computes the average value of (R + G + B) / 3 of the R, G, and B values of a pixel, and define the value (0 to 255) of each gray image as the intensity at each pixel. It can also be used. That is, in Equation 1, I (x, y) is a value that can be appropriately selected as needed based on image data values, which are various pixel values of each pixel.
  • the frame image having the highest score can be found among the frame images.
  • the frame image has the largest gradient image and the largest gradient image is the most. Since it can be seen as a clear image, the frame image is determined as a query image. If necessary, two or more of the plurality of frame images may be determined as the query image.
  • FIG. 4 illustrates a process of determining the query image from among the frame images by the query image determiner 120 by the score function of Equation 1. As shown in FIG. 4, a score that is a result of Equation 1 is shown. It can be seen that the highest frame image has been determined as the query image by the query image determiner 120.
  • the query image determiner 120 determines one image as a query image as it is.
  • these images may be regarded as frame images, respectively, and a query image may be determined through the above-described process.
  • the feature point extractor 130 extracts feature points of the query image determined by the query image determiner 120 and generates feature point information (feature point data) of the extracted feature points by the method described above.
  • a feature point is a point that can represent a feature of an image in a given image.
  • the feature point may be used to describe the feature of the image well regardless of changes in scale, rotation, or distortion of the image.
  • These feature points vary depending on the size and content of a given image and the type of feature point extraction method. For example, hundreds to tens of thousands of feature points may be extracted per picture. These feature points are widely used in the field of image processing or computer vision. For example, by extracting the feature points and using the extracted feature point information (feature point data), the corresponding parts of the two images are searched for object recognition, motion tracking, and image identification. It is used in various ways.
  • a scale-invariant feature transform (SIFT) algorithm or a speed up robust (SURF) algorithm as disclosed in US Patent No. 6,711,293 (David G. Lowe) Features) H. Bay, A. Ess, T. Tuytelaars, LV Gool, Speeded-Up Robust Feature (SURF), Journal of Computer Vision and Image Understanding , 110, pp. 246-359, 2008. Is proposed.
  • SIFT scale-invariant feature transform
  • SURF speed up robust
  • Korean Patent Registration No. 10-1165359 filed and registered by the applicant of the present invention discloses a feature point extraction / feature point information forming method improved the conventional feature point extraction / feature point information (feature point data) formation method as described above have.
  • the feature point extractor 130 extracts feature points of the query image and forms feature point information (feature data) of the feature points using a method known by the related art.
  • the present invention is not intended to be a method of extracting feature points and forming feature point information itself, and since the method of extracting feature points and forming feature point information known by the related art can be used as it is, a detailed description thereof will be omitted.
  • the image matching unit 140 compares the feature point information of the feature point of the query image extracted by the feature point extractor 130 with the fixture image feature point information stored in the reference meta information database 160 to determine a matching fixture image identifier. To perform.
  • the reference meta information database 160 stores the installation image identifier of the installation image of the installation in which the original image is installed, the installation image feature point information of the installation image, and additional information to be provided to the user terminal corresponding to the installation image identifier.
  • the reference meta information database 160 stores meta information corresponding to the installation image identifier and enables the image matching unit 140 to determine the installation image identifier matching the query image.
  • FIG. 5 is a diagram illustrating an example of a configuration of the reference meta information database 160.
  • the reference meta information database 160 stores an original image identifier (ID), a fixture image identifier (ID), original image feature point information, fixture image feature point information, fixture location information, and additional information. .
  • the original image identifier indicates an identifier for an image original installed (attached) to a fixture installed in a specific space, for example, an outdoor billboard.
  • the fixture image identifier means an identifier for an image of a fixture in which the original image is included as an identifier for an image of the fixture in which the original image is installed.
  • the installation image is an image including an outdoor billboard on which the advertisement image is installed
  • the original image means an image of the advertisement image itself.
  • the original image feature point information means feature point information on the feature point of the original image
  • the fixture image feature point information means feature point information on the feature point of the fixture image.
  • the fixture image feature point information is divided into feature point information inside the original image area and feature point information outside the original image area and stored.
  • the feature point information in the original image area refers to feature point information of feature points in the original image area
  • the feature point information outside the original image area refers to the feature points in the installation image that are not inside the original image area, that is, outside the original image area. It means feature point information.
  • FIG. 6 is a diagram for describing feature point information inside the original image area and feature point information outside the original image area.
  • the original image is an image for "car”, and this original image is installed in fixture 1 and fixture 2, and fixture image 1 and fixture image 2 for each of these fixtures are indicated by dotted lines.
  • fixture image 1 and the fixture image 2 include the original image as an image of the fixture including the original image, as indicated by the dotted line.
  • the original image attached to the fixture image 1 and the fixture image 2 may be different in size or left and right ratio, and may also be different from, for example, the advertisement text included in the image.
  • the original image attached to the installation is a concept that includes a case where the size, color, or advertisement text is slightly different as well as the case where the original image is exactly the same as the original image. Therefore, the original image attached to the installation means that the source is the original. Defined as meaning that comes from image.
  • reference numeral 601 denotes a feature point inside the original image area
  • reference numerals 602, 603, and 604 denote feature points outside the original image area.
  • the feature point information outside the original image area may be formed by feature point information that does not match the original image feature point information by performing matching between the original image feature point information and the installation image feature point information.
  • the matching between the original image feature point information and the fixture images 1 and 2 is performed, all the feature points included in the original image are matched, but feature points not included in the original image (ie, feature points that exist only in the installation image) are matched. Since no matching is performed, the feature points that are not matched can be regarded as characteristic points unique to each installation image, and they can be determined as feature point information outside the original image area.
  • the fixture location information may be implemented in the form of GPS information (latitude, longitude, altitude), for example, as location information on the location where the fixture is located and is stored in correspondence with the fixture image identifier.
  • GPS information latitude, longitude, altitude
  • the location information of a fixture located in a fixed location does not change the GPS information, but in the case of an installation image installed inside or outside of a bus, the location information of the fixture is constantly changing, so a moving fixture such as "Moving" is not fixed location information.
  • the image is separated by a delimiter indicating that it is an image.
  • the additional information is stored corresponding to each installation image identifier, and stores additional information to be provided to the user terminal 200 according to the installation image identifier determined to be matched.
  • the additional information includes various types of information such as advertisement video data, image data, web page link data, voice guidance message, and the like. Actual data of the additional information may be stored in a separate additional information database (not shown).
  • the image matching unit 140 refers to the reference meta-information database 160 to determine the installation image feature point information matching the feature point information of the feature point of the query image extracted by the feature point extractor 130 to match the query image. Determine the fixture image, that is, the fixture image identifier.
  • the image matching unit 140 may determine the installation image identifier in the following manner. First, the image matching unit 140 compares the feature point information of the query image extracted by the feature point extractor 130 with the installation image feature point information stored in the reference meta information database 160, where N is the highest matching score. Determine the number of fixture image identifiers. In this case, when comparing the feature point information of the installation image, the image matching unit 140 may compare only feature points inside the original image area, compare only feature points outside the original image area, or compare both inside and outside feature points of the original image area. Use the appropriate method accordingly. The determined N fixture image identifiers become candidate candidate image identifiers.
  • the image matching unit 140 compares the feature point information outside the original image area corresponding to the candidate fixture image identifiers with the feature point information of the query image to finally determine the fixture image identifier. That is, it is possible to accurately match the installation image by comparing the feature point information of the query image with only the feature point information outside the original image area except for the feature point information inside the original image area.
  • the image matching unit 140 may finally determine the fixture image identifier to be matched, and thus may confirm the fixture image position information and additional information stored corresponding to the fixture image identifier.
  • FIG. 7 is a diagram for describing an operation of the image matching unit 140.
  • reference numeral 701 denotes a query image determined by the query image determiner 120 among images or images (captured images) acquired by the user terminal 200
  • reference numeral 702 denotes an original image
  • Reference numerals 703 and 704 denote candidate fixture images corresponding to N (here two) candidate fixture image identifiers determined by the image matching unit 140.
  • the image matching unit 140 compares the feature point information of the feature point of the query image extracted by the feature point extractor 130 with the feature image feature point information stored in the reference meta information database 160 to obtain N candidate fixture images.
  • N candidate fixture images In determining the identifier, only candidate candidate images 703 and 704 corresponding to two candidate fixture image identifiers are shown in FIG. 7 for convenience of description.
  • the feature image identifier is finally determined by comparing only feature point information outside the original image region with the query image.
  • Reference numerals 705 and 706 denote states in which the feature point information in the original image area matches both candidate image images.
  • candidate installation images include the original image
  • the image matching unit 140 of the user terminal 200 determines two candidate fixture image identifiers as shown in FIG. 7 through the primary matching as described above. This is because the feature points inside the original image all match as indicated by the reference numerals 705 and 706.
  • the fixture in the upper right corner of FIG. 7 is indicated by reference numeral 707. Since only the image is matched, it can be finally determined as the fixture image and the fixture image identifier for it.
  • the image matching unit 140 may determine a fixture image identifier that finally matches the query image among candidate candidate identifier images using location information such as, for example, GPS information of the user terminal 200.
  • location information such as, for example, GPS information of the user terminal 200.
  • the user terminal 200 transmits an image or an image to the image input unit 110, and also transmits an image or image to the image input unit 110 together with the position information of the user terminal 200 obtained by the GPS sensor included in the user terminal 200.
  • the image matching unit 140 receives the position information of the user terminal 200 through the image input unit 110 and determines the final installation image identifier based on the position information.
  • the additional information providing unit 150 performs a function of providing the additional information stored in the image matching unit 140 to the user terminal corresponding to the installation image identifier determined by the above-described process.
  • the additional information includes various types of information such as advertisement video data, image data, web page link data, voice guidance message, and the like. It may be transmitted to the terminal 200 and provided.
  • the additional information providing system 200 may further include a direction calculation unit (not shown) for determining the direction angle information of the user terminal 200 toward the installation image.
  • the direction calculator may acquire direction angle information based on the front of the installation image at the time when the user terminal 200 acquires the installation image. Knowing the direction angle information, the user terminal 200 can determine where the user terminal 200 is located based on the installation image, and thus can provide additional information accordingly.
  • the additional information of FIG. 5 may be divided into left and right sides based on the front of the installation image, and the corresponding information may be provided by determining whether the left and right sides are determined according to the direction angle information of the user terminal 200. For example, if the user terminal 200 is located on the left side of the front of the installation image, the user terminal 200 may provide shop information in the vicinity of the corresponding area, thereby providing more accurate customized information.
  • the direction angle with respect to the front of the installation image can be known at the time when the user terminal 200 acquires the installation image, using this, not only the position information of the user terminal 200 but also the movement direction information of the user terminal 200 can be obtained. It can also be seen.
  • the system 100 may determine the fixture image identifier corresponding to the query image, thereby determining the same fixture image identifier for the two input images or images. If the second input image or image is subjected to the process described in the direction calculator (not shown), the direction angle information on the front of the installation image of the second input image or image, that is, the query image, can be known. This is referred to as the second direction angle information. When the direction angle information on the front of the installation image of the query image obtained first is the first direction angle information, the first and second direction angle information are compared to compare the first and second direction angle information. The direction of movement can be grasped.
  • FIG. 8 is a view for explaining a process of determining the moving direction of the user terminal 200 in the direction calculator.
  • the user terminal 200 first photographs a fixture image at a position 801, and then photographs a fixture image a second at a position 802 within a predetermined time interval therefrom, and each of them provides additional information providing system 100. ).
  • the additional information providing system 100 determines a matching installation image through the above-described process, and also calculates directional angle information at each location, that is, first and second directional angle information.
  • ⁇ 1 and ⁇ 2 indicate first direction angle information and second direction angle information, respectively.
  • ⁇ 1 is an angle of about 15 degrees and ⁇ 2 Since the angle is about -15 degrees, it can be seen that the user terminal 200 has moved from left to right.
  • additional information may be provided in consideration of the moving direction.
  • the additional information of FIG. 5 may be divided and stored in the moving direction, and corresponding information may be provided according to the moving direction information of the user terminal 200. For example, if the user terminal 200 moves from the left to the right based on the front of the installation image, the user terminal 200 may provide the store information located in the moving direction according to the moving direction, thereby providing more accurate customized information.
  • FIG. 9 is a flowchart illustrating an embodiment of a method for providing additional information to the user terminal 200 by the additional information providing system 100 according to the present invention described with reference to FIGS. 1 to 8.
  • the user terminal 200 photographs the installation image using a camera, etc. (S100), and transmits the image or image of the photographed installation image to the image input unit 110 of the additional information providing system 100 (S110). .
  • the image input unit 110 transmits the received image or image to the query image determiner 120, and the query image determiner 120 determines a query image to be a query object through the above-described process (S120).
  • the feature point extractor 130 extracts the feature point of the determined query image (S130).
  • the image matching unit 140 compares the feature point information of the feature point of the query image extracted by the feature point extractor 130 with the fixture image feature point information stored in the reference meta information database 160 to determine a matched fixture image identifier. (S140).
  • the additional information providing unit 150 provides the additional information stored corresponding to the determined installation image identifier to the user terminal 200 (S150).
  • each component of the additional information providing system 100 may be included in the configuration of the user terminal 200 or may be implemented through a separate server.
  • the image input unit 110, the query image determiner 120, the feature point extractor 130, and the image matcher 140 are provided in the user terminal 200, and only the additional information provider 150 is provided as a separate system. It can also be implemented.
  • the components in the user terminal 200 may be implemented, for example, in the form of an application program.
  • image input unit 110 and the query image determination unit 120 may be implemented in the user terminal 200, and other components may be configured as a separate system.
  • the components constituting the additional information providing system 100 may be separately configured in various forms in consideration of load problems of the network, user convenience, efficiency, and the like.

Abstract

본 발명은 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법에 관한 것으로서, 이미지 매칭을 이용한 부가 정보 제공 시스템에 있어서, 사용자 단말기로부터 입력되는 영상 또는 이미지를 수신하는 영상 입력부; 상기 영상 입력부에서 수신되는 영상 또는 이미지로부터 질의 대상이 되는 질의 이미지를 결정하는 질의 이미지 결정부; 상기 질의 이미지 결정부에서 결정된 질의 이미지의 특징점을 추출하고 추출된 특징점의 특정점 정보를 생성하는 특징점 추출부; 원본 이미지가 설치된 설치물의 설치물 이미지의 설치물 이미지 식별자와, 설치물 이미지의 설치물 이미지 특징점 정보와, 설치물 이미지 식별자에 상응하여 사용자 단말기로 제공할 부가 정보를 저장하는 레퍼런스 메타 정보 데이터베이스; 상기 특징점 추출부에서 생성된 질의 이미지의 특징점 정보와 레퍼런스 메타 정보 데이터베이스에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭되는 설치물 이미지 식별자를 결정하는 이미지 매칭부; 및 상기 이미지 매칭부에서 결정된 설치물 이미지 식별자에 상응하여 저장된 부가 정보를 사용자 단말기측으로 제공하는 부가 정보 제공부를 포함하는 이미지 매칭을 이용한 부가 정보 제공 시스템 및 이를 이용한 방법을 제공한다.

Description

이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
본 발명은 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법에 관한 것으로서, 보다 상세하게는 이미지 매칭 기술을 이용하여 사용자 단말기로부터 입력되는 영상 또는 이미지로부터 사용자 단말기의 위치 정보를 파악하고 이에 기초하여 다양한 부가 정보를 제공할 수 있는 시스템 및 방법에 관한 것이다.
일상 생활 환경에는 어디를 둘러보더라도 무수히 많은 이미지가 존재한다. 이 중 다수의 이미지는 보는 사람에게 특정한 메시지를 전달하고자 하는 의도를 가지고 있다. 예컨대, 이미지를 이용한 광고 방법으로서, 초기에는 초대형 이미지를 출력해서 부착한 옥외 광고판을 통해 광고를 제공하였으나, 최근에는 디지털화된 이미지나 영상을 대형 모니터를 통해 특정 시간대에 특정 공간에 존재하는 대중에게 전달하는 방식으로 급격히 변하고 있다. 그러나 아직까지도 대부분의 이미지를 통한 메시지 전달 방향은 이미지로부터 사용자쪽으로 전달되는 일방적인 형태를 크게 벗어나지 못하고 있다.
이러한 점에서, 광고 등과 같은 특정 이미지나 영상을 제공하는 제공자로 하여금 임의의 사용자가 해당 이미지나 영상을 관측했다는 사실을 자동으로 판단하고, 이에 따라 적절한 형태의 부가적 정보를 사용자에게 제공할 수 있는 기술개발이 요망되고 있다.
한편, 대한민국 공개특허공보 제10-2013-0008109호(2013.01.22.공개)는 "이동 단말기, 뉴스 제공 장치 및 위치 기초 뉴스 제공 방법"에 관한 것으로서, 이동 단말기로부터 위치 정보를 수신하고 수신된 위치 정보에 기초하여 관련된 뉴스 정보를 해당 단말기로 전송하는 방법을 개시하고 있다. 그러나, 이는 단말기로부터 위치 정보를 먼저 정확하게 수신해야 하므로 단말기가 자체적으로 위치 정보를 획득해야 한다. 따라서, 단말기가 위치 정보 획득 수단이 없어서 위치 정보를 획득할 수 없거나 위치 정보를 전송하지 않는 단말기에 대해서는 뉴스 정보를 제공할 수 없다는 점에서 한계점이 있다.
본 발명은 상기한 바와 같은 한계점을 감안하여 안출된 것으로서, 옥외 광고판 등과 같은 설치물에 부착되는 광고 등과 같은 설치물 이미지나 영상을 사용자가 관측했는지의 여부를 자동으로 판단하고, 이에 따라 적절한 형태의 부가 정보를 사용자에게 제공할 수 있는 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 사용자로부터 전송되는 이미지 또는 영상 중에서 비교 대상이 될 질의 이미지를 보다 정확하게 결정할 수 있도록 하여 이미지 매칭의 효율성을 높일 수 있는 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 이미지 매칭시에 설치물 이미지의 특징점 정보 중에서 설치물과 관련된 주변 정보를 이용함으로써 사용자가 전송하는 설치물 이미지가 어떤 것인지 또한 어떤 곳에 위치하는지의 정보를 정확하게 판단할 수 있는 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은 사용자 단말기가 설치물 이미지를 기준으로 위치하는 각도 정보와 이동 방향 정보를 파악하고 이에 기초한 부가 정보를 제공할 수 있도록 함으로써 정보 제공의 효율성과 정확성을 높일 수 있는 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 이미지 매칭을 이용한 부가 정보 제공 시스템에 있어서, 사용자 단말기로부터 입력되는 영상 또는 이미지를 수신하는 영상 입력부; 상기 영상 입력부에서 수신되는 영상 또는 이미지로부터 질의 대상이 되는 질의 이미지를 결정하는 질의 이미지 결정부; 상기 질의 이미지 결정부에서 결정된 질의 이미지의 특징점을 추출하고 추출된 특징점의 특정점 정보를 생성하는 특징점 추출부; 원본 이미지가 설치된 설치물의 설치물 이미지의 설치물 이미지 식별자와, 설치물 이미지의 설치물 이미지 특징점 정보와, 설치물 이미지 식별자에 상응하여 사용자 단말기로 제공할 부가 정보를 저장하는 레퍼런스 메타 정보 데이터베이스; 상기 특징점 추출부에서 생성된 질의 이미지의 특징점 정보와 레퍼런스 메타 정보 데이터베이스에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭되는 설치물 이미지 식별자를 결정하는 이미지 매칭부; 및 상기 이미지 매칭부에서 결정된 설치물 이미지 식별자에 상응하여 저장된 부가 정보를 사용자 단말기측으로 제공하는 부가 정보 제공부를 포함하는 이미지 매칭을 이용한 부가 정보 제공 시스템을 제공한다.
여기에서, 상기 질의 이미지 결정부는, 사용자 단말기로부터 영상이 입력되는 경우 입력되는 영상을 복수개의 프레임 이미지로 추출하는 프레임 추출부; 및 상기 프레임 추출부에서 추출된 프레임 이미지들 중에서 질의 대상이 되는 질의 이미지를 결정하는 질의 이미지 선택부를 포함하도록 구성할 수 있다.
또한, 상기 질의 이미지 선택부는, 프레임 이미지들의 그라디언트(gradient)값에 기초하여 질의 이미지를 결정하도록 할 수 있다.
또한, 상기 질의 이미지는,
Figure PCTKR2013001709-appb-I000001
Figure PCTKR2013001709-appb-I000002
(여기에서,
Figure PCTKR2013001709-appb-I000003
는 프레임 이미지의 x축 및 y축 좌표값,
Figure PCTKR2013001709-appb-I000004
는 프레임 이미지의
Figure PCTKR2013001709-appb-I000005
좌표에서의 이미지 데이터값)에 의한 점수(score)에 의해 결정하도록 구성할 수 있다.
또한, 상기 레퍼런스 메타 정보 데이터베이스는, 원본 이미지의 원본 이미지 식별자와, 원본 이미지의 원본 이미지 특징점 정보를 더 포함하고, 상기 설치물 이미지 특징점 정보는, 원본 이미지 영역 내부의 특징점 정보와 원본 이미지 영역 외부의 특징점 정보를 포함하도록 구성할 수 있다.
또한, 상기 원본 이미지 영역 외부의 특징점 정보는, 원본 이미지 특징점 정보와 설치물 이미지 특징점 정보 사이에 매칭을 수행하여 원본 이미지 특징점 정보와 매칭되지 않는 설치물 이미지 특징점 정보에 의해 형성되도록 구성할 수도 있다,
또한, 상기 이미지 매칭부는, 상기 특징점 추출부에서 추출된 질의 이미지의 특징점 정보와 레퍼런스 메타 정보 데이터베이스에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭 점수가 가장 높은 N(여기서 N은 자연수)개의 설치물 이미지 식별자들을 결정하고, 상기 결정된 설치물 이미지 식별자의 원본 이미지 영역 외부의 특징점 정보와 질의 이미지의 특징점 정보를 비교하여 최종적으로 설치물 이미지 식별자를 결정하도록 할 수도 있다.
또한, 상기 영상 입력부는, 사용자 단말기로부터 영상 또는 이미지와 함께 사용자 단말기의 위치 정보를 수신하고, 상기 레퍼런스 메타 정보 데이터베이스는, 원본 이미지가 설치된 설치물의 설치물 이미지 식별자에 상응하여 저장되는 설치물 위치 정보를 포함하며, 상기 이미지 매칭부는, 상기 특징점 추출부에서 추출된 질의 이미지의 특징점 정보와 레퍼런스 메타 정보 데이터베이스에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭 점수가 가장 높은 N(여기서 N은 자연수)개의 설치물 이미지 식별자들을 결정하고, 상기 결정된 설치물 이미지 식별자의 설치물 위치 정보와 상기 영상 입력부에서 수신된 사용자 단말기의 위치 정보를 비교하여 최종적으로 설치물 이미지 식별자를 결정하도록 구성할 수도 있다.
또한, 설치물 이미지를 향한 사용자 단말기의 제1 방향 각도 정보를 결정하는 방향 계산부를 더 포함하도록 할 수도 있다.
또한, 상기 영상 입력부는 일정 시간 이내에 사용자 단말기로부터 입력되는 영상 또는 이미지를 추가적으로 수신하고, 상기 질의 이미지 결정부, 특징점 추출부 및 이미지 매칭부는 상기 추가적으로 수신된 영상 또는 이미지로부터 질의 대상이 되는 질의 이미지를 결정하고 특징점을 추출한 후 매칭되는 설치물 이미지 식별자를 결정하고, 상기 방향 계산부는 설치물 이미지를 향한 사용자 단말기의 제2 방향 각도 정보를 결정하고, 상기 제1 방향 각도 정보 및 제2 방향 각도 정보에 기초하여 사용자 단말기의 이동 방향을 결정하고, 상기 부가 정보 제공부는, 상기 이미지 매칭부에서 결정된 설치물 이미지 식별자 및 상기 결정된 사용자 단말기의 이동 방향에 기초하여 저장된 부가 정보를 사용자 단말기측으로 제공하도록 구성할 수도 있다.
본 발명의 다른 측면에 의하면, 이미지 매칭을 이용한 부가 정보 제공 방법에 있어서, 사용자 단말기로부터 입력되는 영상 또는 이미지를 수신하는 제1 단계; 상기 수신되는 영상 또는 이미지로부터 질의 대상이 되는 질의 이미지를 결정하는 제2 단계; 상기 결정된 질의 이미지의 특징점을 추출하고 추출된 특징점들에 대한 특징점 정보를 생성하는 제3 단계; 상기 추출된 질의 이미지의 특징점의 특징점 정보와 설치물 이미지 특징점 정보를 비교하여 매칭되는 설치물 이미지 식별자를 결정하는 제4 단계; 및 상기 결정된 설치물 이미지 식별자에 상응하여 저장된 부가 정보를 사용자 단말기측으로 제공하는 제5 단계를 포함하는 이미지 매칭을 이용한 부가 정보 제공 방법을 제공할 수 있다.
본 발명에 의하면, 옥외 광고판 등과 같은 설치물에 부착되는 광고 등과 같은 설치물 이미지나 영상을 사용자가 관측했는지의 여부를 자동으로 판단하고, 이에 따라 적절한 형태의 부가 정보를 사용자에게 제공할 수 있는 시스템 및 방법을 제공할 수 있다.
또한 본 발명은 사용자로부터 전송되는 이미지 또는 영상 중에서 비교 대상이 될 질의 이미지를 보다 정확하게 결정할 수 있도록 하여 이미지 매칭의 효율성을 높일 수 있는 시스템 및 방법을 제공할 수 있는 효과가 있다.
또한 본 발명에 의하면, 이미지 매칭시에 설치물 이미지의 특징점 정보 중에서 설치물과 관련된 주변 정보를 이용함으로써 사용자가 전송하는 설치물 이미지가 어떤 것인지 또한 어떤 곳에 위치하는지의 정보를 정확하게 판단할 수 있는 효과가 있다.
또한 본 발명에 의하면, 사용자 단말기가 설치물 이미지를 기준으로 위치하는 각도 정보와 이동 방향 정보를 파악하고 이에 기초한 부가 정보를 제공할 수 있도록 함으로써 정보 제공의 효율성과 정확성을 높일 수 있는 효과가 있다.
도 1은 본 발명에 의한 이미지 매칭을 이용한 부가 정보 제공 시스템의 전체적인 구성 및 연결 관계를 나타낸 도면이다.
도 2는 본 발명에 의한 부가 정보 제공 시스템(100)의 일실시예의 구성을 나타낸 도면이다.
도 3은 질의 이미지 결정부(120)의 내부 구성을 나타낸 도면이다.
도 4는 점수 함수에 의해 질의 이미지 결정부(120)에 의해 특정 프레임이 선택되는 과정을 나타낸 도면이다.
도 5는 레퍼런스 메타 정보 데이터베이스(160)의 구성의 일예를 나타낸 도면이다.
도 6은 원본 이미지 영역 내부의 특징점 정보와 원본 이미지 영역 외부의 특징점 정보를 설명하기 위한 도면이다.
도 7은 이미지 매칭부(140)의 동작을 설명하기 위한 도면이다.
도 8은 방향 계산부에서 사용자 단말기(200)의 이동 방향을 결정하는 과정을 설명하기 위한 도면이다.
도 9는 도 1 내지 도 8을 참조하여 설명한 본 발명에 의한 부가 정보 제공 시스템(100)에 의하여 사용자 단말기(200)로 부가 정보를 제공하는 방법의 일실시예를 나타낸 흐름도이다.
이하 첨부 도면을 참조하여 본 발명에 의한 실시예들을 상세하게 설명하기로 한다.
도 1은 본 발명에 의한 이미지 매칭을 이용한 부가 정보 제공 시스템(100)의 전체적인 구성 및 연결 관계를 나타낸 도면이다.
도 1을 참조하면, 본 발명에 의한 이미지 매칭을 이용한 부가 정보 제공 시스템(100, 이하 간단히 "부가 정보 제공 시스템"이라 한다)은, 사용자 단말기(200)와 연결되며, 사용자 단말기(200)로부터 전송되는 영상 또는 이미지를 사용자 단말기(200)로부터 수신하고 이에 기초하여 사용자 단말기(200)로부터 전송된 영상 또는 이미지가 설치되어 있는 설치물을 식별하고 이에 기초하여 다양한 부가 정보를 제공하는 기능을 수행한다.
사용자 단말기(200)로부터 전송되는 영상 또는 이미지는 사용자 단말기(200)에 의해 촬영되어 획득되는 영상 또는 이미지(이하, 이를 "촬영 이미지"라 한다, 400)인데, 이를 위하여 사용자 단말기(200)는 종래 기술에 의해 알려져 있는 카메라 등과 같은 영상 획득 수단을 구비한다.
사용자 단말기(200)에 의해 촬영/획득되어 부가 정보 제공 시스템(100)으로 전송되는 촬영 이미지(400)는, 설치물에 설치된 이미지 또는 영상(설치물 부착 이미지, 300)를 중심으로 사용자가 사용자 단말기(200)를 조작하여 촬영한 영상 또는 이미지이다.
여기에서, "설치물"이라 함은, 이미지나 영상이 설치된(부착된) 구조물을 의미하는데 예컨대 도 1에 나타낸 바와 같은 거리의 옥외 광고판 등과 같은 것일 수 있다. 옥외 광고판으로서는 이미지를 부착한 이미지 광고판과 대형 디스플레이 수단과 같은 영상 광고판 등과 같은 것이 있을 수 있다. 이러한 설치물에는 예컨대 도 1에 나타낸 바와 같이 자동차 형태의 광고 이미지(설치물 부착 이미지, 300)가 부착되어 있는데 사용자 단말기(200)는 이러한 설치물 부착 이미지(300)를 중심으로 하여 촬영을 하고 촬영된 촬영 이미지(400)를 부가 정보 제공 시스템(100)으로 전송한다.
한편, 설치물 부착 이미지(300)는 광고 이미지나 광고 영상 외에 포스터 또는 영화 벽보 등과 같은 것일 수 있다. 도 1에서는 설명의 편의를 위하여 "설치물 부착 이미지(300)"라고 표현하였으나 이는 이미지(즉, 정지 영상) 뿐 아니라 동영상(video)을 포함하는 개념으로 정의하며 이하에서도 같은 개념으로 사용한다.
사용자 단말기(200)는 사용자의 조작에 의하여 설치물에 설치된 설치물 부착 이미지(300)를 중심으로 촬영할 것이지만 실제 촬영되는 촬영 이미지(400)는 설치물 부착 이미지(300)의 일부 또는 전부를 포함하여 설치물의 이미지나 영상이 포함할 수 있으며, 따라서 부가 정보 제공 시스템(100)으로 전송되는 영상 또는 이미지(촬영 이미지, 400)는 도 1에서 점선으로 나타낸 바와 같이 설치물 부착 이미지(300) 뿐 아니라 이 이미지(300) 주변의 설치물의 영상 또는 이미지를 포함할 수 있다. 본 발명은 후술하는 바와 같이 사용자 단말기(200)로부터 전송되는 영상 또는 이미지에 설치물 부착 이미지(300)를 포함하는 설치물의 영상 또는 이미지가 포함된 경우 이들까지 고려하여 이미지 매칭을 수행할 수 있으므로 매칭의 정확성을 높일 수 있다.
물론, 사용자 단말기(200)에서 획득되는 영상 또는 이미지가 설치물의 영상 또는 이미지를 포함하지 않고 설치물 부착 이미지(300)의 일부 또는 전부를 포함할 수도 있는데 이러한 경우에는 설치물 부착 이미지(300)에 대한 이미지 매칭을 통해 매칭을 수행하게 된다.
본 발명에서, "설치물 부착 이미지(300)"라 함은, 설치물에 부착되어 있는 이미지 또는 영상을 의미하고, "촬영 이미지(400)"라 함은 설치물 부착 이미지(300)를 중심으로 사용자 단말기(200)가 촬영한 영상 또는 이미지로서 부가 정보 제공 시스템(100)으로 전송하는 영상 또는 이미지를 의미하여 이러한 촬영 이미지(400)는 설치물 부착 이미지(300)의 일부 또는 전부를 포함하고 또한 설치물 부착 이미지(300)를 포함하여 설치물의 일부 또는 전부의 영상 또는 이미지를 포함하여 촬영된 영상 또는 이미지를 의미하는 것으로 정의한다.
한편, 사용자 단말기(200)는 부가 정보 제공 시스템(100)으로 촬영 이미지(400)를 전송하기 위한 공지의 데이터 전송 수단, 예컨대 이동 통신망을 통한 데이터 전송을 위한 통신 모듈, 무선랜 접속을 위한 무선 랜 인터페이스 등과 같은 수단을 포함한다.
이러한 사용자 단말기(200)는 예컨대 이동 통신 단말기나 태블릿 컴퓨터 등을 포함하는 개념이다. 본 발명에 의한 사용자 단말기(200)는 예컨대 스마트폰과 같은 이동 통신 단말기인 것이 바람직하다. 다른 예로서, 데이터 전송 수단을 포함하는 디지털 카메라일 수도 있다.
다음으로, 부가 정보 제공 시스템(100)의 내부 구성 및 구체적인 동작에 대하여 도 2를 참조하여 설명한다.
도 2는 본 발명에 의한 부가 정보 제공 시스템(100)의 일실시예의 구성을 나타낸 도면이다.
도 2를 참조하면, 본 실시예의 부가 정보 제공 시스템(100)은, 영상 입력부(110), 질의 이미지 결정부(120), 특징점 추출부(130), 이미지 매칭부(140) 및 부가 정보 제공부(150) 및 레퍼런스 메타 정보 데이터베이스(160)를 포함한다.
영상 입력부(110)는 사용자 단말기(200)로부터 전송되는 영상 또는 이미지(촬영 이미지, 400)를 수신하고 수신된 영상 또는 이미지를 질의 이미지 결정부(120)로 전송하는 기능을 수행한다.
도 1에서 설명한 바와 같이, 사용자 단말기(200)는 설치물 부착 이미지(300) 또는 설치물 부착 이미지(300)를 포함하는 설치물의 이미지 또는 영상인 촬영 이미지(400)를 획득하여 부가 정보 제공 시스템(100)으로 전송하는데 이는 부가 정보 제공 시스템(100)의 영상 입력부(110)로 전송된다. 이 때 사용자 단말기(200)는 촬영 이미지(400)를 획득할 때 영상(동영상)의 형태로 촬영하거나 또는 이미지(정지영상)의 형태로 촬영할 수 있으며, 이러한 영상 또는 이미지를 부가 정보 제공 시스템(100)으로 전송한다. 본 발명에서 "영상"은 동영상을 의미하고, "이미지"는 정지영상을 의미하는 것으로 칭한다.
질의 이미지 결정부(120)는 영상 입력부(110)에서 수신되는 영상 또는 이미지(촬영 이미지, 400)로부터 질의 대상이 되는 질의 이미지를 결정하는 기능을 수행한다. 질의 이미지라 함은, 후술하는 레퍼런스 메타 정보 데이터베이스(160)에 저장되어 있는 설치물 이미지 특징점 정보들과 비교할 대상이 되는 이미지를 의미한다.
전술한 바와 같이, 사용자 단말기(200)는 설치물 부착 이미지(300)를 중심으로 영상 또는 이미지를 획득하게 되는데, 이러한 영상 또는 이미지를 획득하는 과정에서 사용자의 신체의 일부가 떨리거나 또는 사용자가 이동 중에 영상을 획득하는 경우가 많다. 따라서, 사용자 단말기(200)에 의해 획득되어 부가 정보 제공 시스템(100)으로 전송되는 촬영 이미지(400)는 부분적으로 또는 전체적으로 흐려짐(Blurring) 현상이 발생하는 경우가 많다. 이러한 흐려짐 현상이 발생한 영상 또는 이미지는 후술하는 이미지 매칭 과정을 수행할 때 정확도를 떨어뜨리는 주된 요인의 하나로 작용하므로, 질의 이미지 결정부(120)는 사용자 단말기(200)로부터 전송되는 영상 또는 이미지인 촬영 이미지(400)에서 상대적으로 화질 열화가 덜 심한 프레임 즉, 가장 선명한 프레임을 선택하여 질의 이미지를 결정함으로써 이미지 매칭의 정확도를 높일 수 있도록 하는 기능을 수행한다.
도 3은 질의 이미지 결정부(120)의 내부 구성을 나타낸 도면으로서, 사용자 단말기(200)로부터 영상이 입력되는 경우 질의 이미지를 결정하기 위한 구성을 나타낸 것이다.
도 3을 참조하면, 질의 이미지 결정부(120)는, 프레임 추출부(121) 및 질의 이미지 선택부(122)를 포함한다.
프레임 추출부(121)는 사용자 단말기(200)로부터 영상이 입력되는 경우 입력되는 영상을 복수개의 프레임 이미지로 추출하는 기능을 수행한다. 전술한 바와 같이, 본 발명에서 "영상"이라 함은 "동영상"(예컨대, avi, mpg 파일 포맷으로 된)을 의미하는데, 이러한 영상은 주지된 바와 같이 복수개의 프레임 이미지(frame image)(즉, 복수개의 프레임 정지 영상)로 구성된다. 프레임 추출부(121)는 이러한 영상을 복수개의 프레임 이미지로 추출하는 기능을 수행한다. 프레임의 갯수는 초당 수십 프레임 정도로 필요에 따라 적절하게 선정할 수 있다.
질의 이미지 선택부(122)는 프레임 추출부(121)에서 추출된 프레임 이미지들 중에서 질의 대상이 되는 질의 이미지를 결정하는 기능을 수행한다.
질의 이미지를 결정하는 방법으로는 종래 알려져 있는 다양한 방법을 사용할 수도 있으나 본 발명에서는 다음과 같은 방법을 사용할 수 있다. 즉, 각 프레임 이미지의 그라디언트(gradient)값에 기초하여 질의 이미지를 결정할 수 있다.
그라디언트(Gradient)는 이미지를 구성하는 각각의 픽셀에서 이미지 데이터값의 변화량이며, 그라디언트의 크기가 클수록 엣지(edge)가 선명하고 상대적으로 흔들림이 적다고 볼 수 있다. 따라서 그라디언트의 크기가 큰 프레임 이미지는 선명한 이미지로 볼 수 있으므로 그라디언트의 크기가 큰 프레임 이미지를 질의 이미지로서 결정하는 것이 바람직하다.
그라디언트의 크기가 큰 프레임 이미지를 질의 이미지로서 결정하기 위한 이미지의 선명한 정도를 측정하기 위하여 점수 함수(score function)를 다음과 같은 수식 1로 정의한다.
[수식 1]
Figure PCTKR2013001709-appb-I000006
Figure PCTKR2013001709-appb-I000007
(여기에서,
Figure PCTKR2013001709-appb-I000008
는 프레임 이미지의 x축 및 y축 좌표값,
Figure PCTKR2013001709-appb-I000009
는 프레임 이미지의
Figure PCTKR2013001709-appb-I000010
좌표에서의 이미지 데이터값)
한편, 상기 수식 1에서 이미지 데이터값 (I(x,y))은, 프레임 이미지의 (x,y) 좌표에서의 픽셀의 강도(intensity)로 정의할 수 있는데, 이러한 강도는 예컨대 각 픽셀에서의 R,G,B값 또는 C,M,Y,K값들 각각을 이용할 수 있다. 또는 예컨대 픽셀의 R,G,B값의 평균값((R+G+B)/3)을 계산한 그레이 이미지를 생성하고 이 각 그레이 이미지의 값(0~255)을 각 픽셀에서의 강도로 정의하여 사용할 수도 있다. 즉, 상기 수식 1에서 I(x,y)는 각 픽셀이 갖는 다양한 픽셀 값인 이미지 데이터값에 기초하여 필요에 따라 적절하게 선정할 수 있는 값이다.
상기 수식 1에 의하여 각각의 프레임 이미지마다 점수(score)를 구하면, 각 프레임 이미지 중에서 가장 높은 점수를 갖는 프레임 이미지를 찾을 수 있는데, 이러한 프레임 이미지는 그라디언트가 가장 큰 이미지이고 그라디언트가 가장 큰 이미지는 가장 선명한 이미지로 볼 수 있으므로 이러한 프레임 이미지를 질의 이미지로 결정한다. 필요한 경우, 2 이상의 복수개의 프레임 이미지들을 질의 이미지로 결정할 수도 있다.
도 4는 수식 1의 점수 함수에 의해 질의 이미지 결정부(120)가 프레임 이미지 들중에서 질의 이미지를 결정하는 과정을 설명하기 위한 것으로서, 도 4에 나타난 바와 같이 수식 1의 결과값인 점수(score)가 가장 높은 프레임 이미지를 질의 이미지 결정부(120)에 의해 질의 이미지로 결정하였음을 알 수 있다.
한편, 질의 이미지 결정부(120)는 사용자 단말기(100)로부터 영상이 아닌 하나의 이미지가 입력되는 경우 입력되는 하나의 이미지를 그대로 질의 이미지로 결정한다. 사용자 단말기(100)로부터 2 이상의 이미지가 입력되는 경우에는 이들 이미지들을 각각 프레임 이미지로 간주하고 전술한 바와 같은 과정을 통해 질의 이미지를 결정할 수 있다.
다음으로 다시 도 2를 참조하여 특징점 추출부(130)에 대하여 설명한다.
특징점 추출부(130)는 전술한 바와 같은 방법에 의해 질의 이미지 결정부(120)에서 결정된 질의 이미지의 특징점을 추출하고 추출된 특징점들의 특징점 정보(특징점 데이터)를 생성하는 기능을 수행한다.
주지된 바와 같이, 특징점(interest point, feature point)이라 함은, 주어진 이미지에서 이미지의 특징을 나타낼 수 있는 점으로서, 이미지의 스케일, 회전, 왜곡 등의 변화 등에 관계 없이 이미지의 특징을 잘 설명할 수 있는 점 또는 점들의 집합을 의미한다. 이러한 특징점은 주어진 이미지의 크기 및 내용 또한 특징점 추출 방법의 종류에 따라 다르지만 예컨대 사진 한장당 수백개~수만개의 특징점이 추출될 수 있다. 이러한 특징점은 이미지 프로세싱이나 컴퓨터 비전 분야에서 널리 사용되고 있는데 예컨대 특징점을 추출하고 추출된 특징점의 특징점 정보(특징점 데이터)를 이용하여 두개의 이미지에서 대응되는 부분을 찾아서 물체 인식, 동작 추적, 이미지의 동일성 판별 등의 작업에 다양하게 사용된다.
주어진 이미지에서 특징점을 추출하고 특징점 정보를 생성하는 종래의 기술로서는 여러 가지 방법이 제안되어 있는데, 예컨대, LoG(Laplacian of Gaussian) 필터나 DoG(Difference of Gaussians) 필터의 스케일 공간상의 극대/극소값을 이용하는 방법이 알려져 있다. 이외에도, 헤시안 매트릭스(Hessian Matrix)의 디터미넌트(determinant)를 이용하여 특징점을 추출하고 특징점 정보를 생성하는 방법 또한 제안되어 있다.
또한, 이미지의 특징점을 추출하고 추출된 특징점의 특징점 정보를 형성하는 방법으로서, 미국 특허 제6,711,293호(David G. Lowe)에 개시된 바와 같은 SIFT(Scale-Invariant Feature Transform) 알고리듬이나 SURF(Speed Up Robust Features) 알고리듬(H. Bay, A. Ess, T. Tuytelaars, L. V. Gool, Speeded-Up Robust Feature (SURF), Journal of Computer Vision and Image Understanding, 110, pp. 246-359, 2008.) 등과 같은 방법이 제안되어 있다.
또한, 본 발명의 출원인에 의해 출원 및 등록된 대한민국 등록특허 제10-1165359호는 상기와 같은 종래의 특징점 추출/특징점 정보(특징점 데이터) 형성 방법을 개선한 특징점 추출/특징점 정보 형성 방법을 개시하고 있다.
본 발명에 의한 특징점 추출부(130)는 이러한 종래의 기술에 의해 알려진 방법을 이용하여 질의 이미지의 특징점을 추출하고 특징점들의 특징점 정보(특징 데이터)를 형성한다. 본 발명은 특징점을 추출하고 특징점 정보를 형성하는 방법 자체를 목적으로 하는 것이 아니며 종래의 기술에 의해 알려진 특징점 추출 및 특징점 정보 형성 방법을 그대로 사용할 수 있으므로 이에 대해서는 상세한 설명은 생략한다.
이미지 매칭부(140)는 특징점 추출부(130)에서 추출된 질의 이미지의 특징점의 특징점 정보와 레퍼런스 메타 정보 데이터베이스(160)에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭되는 설치물 이미지 식별자를 결정하는 기능을 수행한다.
여기에서 우선 레퍼런스 메타 정보 데이터베이스(160)에 대하여 설명한다. 레퍼런스 메타 정보 데이터베이스(160)는 원본 이미지가 설치된 설치물의 설치물 이미지의 설치물 이미지 식별자와, 설치물 이미지의 설치물 이미지 특징점 정보와, 설치물 이미지 식별자에 상응하여 사용자 단말기로 제공할 부가 정보를 저장한다.
즉, 레퍼런스 메타 정보 데이터베이스(160)는 설치물 이미지 식별자에 대응하는 메타 정보를 저장하며 이미지 매칭부(140)에 의해 질의 이미지와 매칭되는 설치물 이미지 식별자를 판단할 수 있도록 한다.
도 5는 레퍼런스 메타 정보 데이터베이스(160)의 구성의 일예를 나타낸 도면이다.
도 5를 참조하면, 레퍼런스 메타 정보 데이터베이스(160)는 원본 이미지 식별자(identifier, ID), 설치물 이미지 식별자(ID), 원본 이미지 특징점 정보, 설치물 이미지 특징점 정보, 설치물 위치 정보 및 부가 정보를 저장하고 있다.
원본 이미지 식별자는, 특정한 공간에 설치되는 설치물, 예컨대 옥외 광고판 등과 같은 설치물에 설치(부착)되는 이미지 원본에 대한 식별자(identifer)를 나타낸다.
설치물 이미지 식별자는, 원본 이미지가 설치된 설치물의 이미지에 대한 식별자로서 원본 이미지가 포함된 설치물의 이미지에 대한 식별자를 의미한다. 예컨대, 옥외 광고판에 광고 이미지가 설치된 경우, 설치물 이미지는 광고 이미지가 설치된 옥외 광고판을 포함하는 이미지이며, 원본 이미지는 광고 이미지 자체에 대한 이미지를 의미한다.
원본 이미지 특징점 정보는 원본 이미지의 특징점에 대한 특징점 정보를 의미하며, 설치물 이미지 특징점 정보는 설치물 이미지의 특징점에 대한 특징점 정보를 의미한다. 여기에서, 설치물 이미지 특징점 정보는, 원본 이미지 영역 내부의 특징점 정보와 원본 이미지 영역 외부의 특징점 정보로 구분되어 저장된다.
원본 이미지 영역 내부의 특징점 정보는, 원본 이미지 영역 내에 있는 특징점들의 특징점 정보를 의미하며, 원본 이미지 영역 외부의 특징점 정보는 설치물 이미지에서 원본 이미지 영역 내부가 아닌, 즉 원본 이미지 영역 외부에 존재하는 특징점들의 특징점 정보를 의미한다.
도 6은 원본 이미지 영역 내부의 특징점 정보와 원본 이미지 영역 외부의 특징점 정보를 설명하기 위한 도면이다.
도 6을 참조하면, 원본 이미지는 "자동차"에 대한 이미지이고, 이러한 원본 이미지는 설치물 1 및 설치물 2에 설치되고, 이들 설치물 각각에 대한 설치물 이미지 1 및 설치물 이미지 2가 점선으로 표시되어 있다.
설치물 이미지 1 및 설치물 이미지 2는 점선으로 나타낸 바와 같이, 원본 이미지를 포함하는 설치물에 대한 이미지로서 원본 이미지를 포함하는 것임을 알 수 있다.
여기에서, 설치물 이미지 1과 설치물 이미지 2에 부착된 원본 이미지는 크기나 좌우 비율이 다를 수 있고 또한 이미지에 포함되는 예컨대 광고 문구 등이 서로 상이할 수 있다. 본 발명에서 설치물에 부착되는 원본 이미지라 함은 원본 이미지와 완전히 동일한 경우 뿐 아니라 크기나 색상 또는 광고 문구 등이 약간 상이한 경우를 포함하는 개념이며 따라서 설치물에 부착되는 원본 이미지라는 의미는 그 출처가 원본 이미지에서 기인하는 것이라는 의미로 정의한다.
한편, 도 6에서, 부호 601은 원본 이미지 영역 내부의 특징점을 의미하고 부호 602, 603, 604는 원본 이미지 영역 외부의 특징점들을 의미한다.
여기에서, 원본 이미지 영역 외부의 특징점 정보는, 원본 이미지 특징점 정보와 설치물 이미지 특징점 정보 사이에 매칭을 수행하여 원본 이미지 특징점 정보와 매칭되지 않는 특징점 정보들에 의해 형성될 수 있다. 원본 이미지 특징점 정보와 설치물 이미지 1 및 2 사이의 매칭을 수행하면 원본 이미지에 포함되어 있는 특징점들은 모두 매칭이 이루어지지만 원본 이미지에 포함되어 있지 않은 특징점들(즉, 설치물 이미지에만 존재하는 특징점들)은 매칭이 이루어지지 않기 때문에 이러한 매칭이 이루어지지 않은 특징점들은 설치물 이미지 각각에 고유한 특징점인 것으로 간주하고 이들을 원본 이미지 영역 외부의 특징점 정보로 결정할 수 있다.
설치물 위치 정보는, 설치물이 위치하는 장소에 대한 위치 정보로서 예컨대 GPS 정보(위도, 경도, 고도)의 형태로 구현될 수 있으며 설치물 이미지 식별자에 상응하여 저장된다. 고정된 곳에 위치하는 설치물의 위치 정보는 GPS 정보가 변하지 않지만, 예컨대 버스의 내부 또는 외부 등에 설치되는 설치물 이미지의 경우 설치물 위치 정보가 지속적으로 변하므로 고정된 위치 정보가 아닌 "Moving" 등과 같이 움직이는 설치물 이미지라는 점을 나타내는 구분자로 구별하여 표시한다.
부가 정보는 각각의 설치물 이미지 식별자에 상응하여 저장되며, 매칭되는 것으로 결정된 설치물 이미지 식별자에 따라 사용자 단말기(200)로 제공할 부가 정보를 저장한다. 부가 정보로서는 예컨대 광고 동영상 데이터, 이미지 데이터, 웹 페이지 링크 데이터, 음성 안내 메시지 등과 같은 다양한 형태의 정보를 포함한다. 부가 정보의 실제 데이터는 별도의 부가 정보 데이터베이스(미도시)에 저장할 수도 있다.
이미지 매칭부(140)는 이러한 레퍼런스 메타 정보 데이터베이스(160)를 참조하여, 특징점 추출부(130)에서 추출된 질의 이미지의 특징점의 특징점 정보에 매칭되는 설치물 이미지 특징점 정보를 판별함으로써 질의 이미지에 매칭되는 설치물 이미지 즉, 설치물 이미지 식별자를 결정한다.
이미지 매칭부(140)는 다음과 같은 방법으로 설치물 이미지 식별자를 결정할 수 있다. 우선, 이미지 매칭부(140)는 특징점 추출부(130)에서 추출된 질의 이미지의 특징점 정보와 레퍼런스 메타 정보 데이터베이스(160)에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭 점수가 가장 높은 N(여기서 N은 자연수)개의 설치물 이미지 식별자들을 결정한다. 이 때, 이미지 매칭부(140)는 설치물 이미지의 특징점 정보를 비교할 때 원본 이미지 영역 내부 특징점만을 비교하거나 원본 이미지 영역 외부 특징점만을 비교하거나 또는 원본 이미지 영역 내부 및 외부 특징점들을 모두 비교할 수 있으며, 필요에 따라 적절한 방법을 사용한다. 결정된 N개의 설치물 이미지 식별자들은 후보 설치물 이미지 식별자가 된다.
다음으로, 이미지 매칭부(140)는 후보 설치물 이미지 식별자들에 상응하는 원본 이미지 영역 외부의 특징점 정보와 질의 이미지의 특징점 정보를 비교하여 최종적으로 설치물 이미지 식별자를 결정한다. 즉, 원본 이미지 영역 내부의 특징점 정보를 제외하고 원본 이미지 영역 외부의 특징점 정보만으로 질의 이미지의 특징점 정보를 비교함으로써 설치물 이미지를 정확하게 매칭할 수 있게 된다.
이 과정을 마치면 이미지 매칭부(140)는 최종적으로 매칭되는 설치물 이미지 식별자를 결정할 수 있고 따라서 해당 설치물 이미지 식별자에 상응하여 저장된 설치물 이미지 위치 정보와 부가 정보를 확인할 수 있게 된다.
도 7은 이미지 매칭부(140)의 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 부호 701은 사용자 단말기(200)에서 획득된 영상 또는 이미지(촬영 이미지) 중에서 질의 이미지 결정부(120)에 의해 결정된 질의 이미지이고, 부호 702는 원본 이미지이다. 부호 703 및 부호 704는 이미지 매칭부(140)에 의해 결정된 N개(여기서는 2개)의 후보 설치물 이미지 식별자에 상응하는 후보 설치물 이미지이다.
전술한 바와 같이, 이미지 매칭부(140)는 특징점 추출부(130)에서 추출된 질의 이미지의 특징점의 특징점 정보와 레퍼런스 메타 정보 데이터베이스(160)에 저장된 설치물 이미지 특징점 정보를 비교하여 N개의 후보 설치물 이미지 식별자를 결정하는데 도 7에서는 설명의 편의를 위하여 2개의 후보 설치물 이미지 식별자에 상응하는 후보 설치물 이미지(703, 704)만을 나타내었다.
이러한 후보 설치물 이미지(703, 704)에 대해서 전술한 바와 같이 원본 이미지 영역 외부의 특징점 정보만을 질의 이미지와 비교함으로써 최종적으로 설치물 이미지 식별자를 결정하는데 부호 707은 원본 이미지 영역 외부의 특징점 정보가 후보 설치물 이미지 중 하나와 매칭되는 상태를 나타낸 것이고, 부호 705 및 706은 원본 이미지 영역 내부의 특징점 정보가 후보 설치물 이미지 2개와 모두 매칭되는 상태를 나타낸 것이다.
후보 설치물 이미지들은 원본 이미지를 포함하고 있으므로 원본 이미지 영역 내부의 특징점 정보만으로는 질의 이미지가 정확히 어떤 설치물 이미지에 매칭되는가를 판단하기가 어렵다. 따라서 원본 이미지 영역 외부의 특징점 정보를 이용하면 원본 이미지 영역 외부의 주변 영역 정보가 포함되어 있으므로 이에 기초하여 사용자 단말기(200)가 획득한 영상 또는 이미지가 어떤 설치물 이미지인지를 정확히 확인할 수 있게 된다.
우선 사용자 단말기(200)의 이미지 매칭부(140)는 전술한 바와 같이 1차 매칭을 통해 도 7에 나타낸 바와 같이 2개의 후보 설치물 이미지 식별자를 결정하게 된다. 이는 부호 705,706으로 나타낸 바와 같이 원본 이미지 내부의 특징점들이 모두 매칭되기 때문이다.
다음으로, 이미지 매칭부(140)는 이들 후보 설치물 이미지 식별자들에 대해 2차 매칭 즉, 원본 이미지 영역 외부의 특징점 정보의 매칭을 수행하게 되면, 부호 707로 나타낸 바와 같이 도 7의 우측 상단의 설치물 이미지만이 매칭되므로 이를 최종적으로 설치물 이미지로 결정하고 이에 대한 설치물 이미지 식별자를 결정할 수 있게 된다.
한편, 이미지 매칭부(140)는 사용자 단말기(200)의 예컨대 GPS 정보와 같은 위치 정보를 이용하여 후보 설치물 식별자 이미지 중에서 최종적으로 질의 이미지와 매칭되는 설치물 이미지 식별자를 결정할 수 있다. 이를 위하여 사용자 단말기(200)는 영상 또는 이미지를 영상 입력부(110)로 전송하면서 사용자 단말기(200)에 구비된 GPS 센서 등에 의해 획득되는 사용자 단말기(200)의 위치 정보도 함께 영상 입력부(110)로 전송하도록 하고, 이미지 매칭부(140)는 영상 입력부(110)를 통해 사용자 단말기(200)의 위치 정보를 전달받아 이에 기초하여 최종 설치물 이미지 식별자를 결정한다.
다음으로 다시 도 2를 참조하여 부가 정보 제공부(150)에 대하여 설명한다.
부가 정보 제공부(150)는 이미지 매칭부(140)에서 전술한 바와 같은 과정에 의해 결정된 설치물 이미지 식별자에 상응하여 저장된 부가 정보를 사용자 단말기측으로 제공하는 기능을 수행한다. 전술한 바와 같이, 부가 정보는 광고 동영상 데이터, 이미지 데이터, 웹 페이지 링크 데이터, 음성 안내 메시지 등과 같은 다양한 형태의 정보를 포함하므로, 예컨대 광고 동영상 데이터를 부가 정보 데이터베이스(미도시)로부터 획득하고 이를 사용자 단말기(200)로 전송하여 제공할 수 있다.
한편, 본 발명에 의한 부가 정보 제공 시스템(200)은 설치물 이미지를 향한 사용자 단말기(200)의 방향 각도 정보를 결정하는 방향 계산부(미도시)를 더 포함할 수 있다.
사용자 단말기(200)로부터 영상 또는 이미지가 입력되고 이에 의해 질의 이미지가 결정되면 질의 이미지에 매칭되는 원본 이미지의 정면을 기준으로 할 때 질의 이미지를 획득한 시점(즉, 사용자 단말기(200)가 설치물 이미지를 촬영한 시점)에서 설치물 이미지를 바라보는 사용자 단말기(200)의 방향 각도 정보를 알 수 있는데, 2개의 이미지를 비교하여 방향 각도 정보를 계산하는 방법은 종래 기술에 의해 널리 알려져 있다.
이러한 종래 기술의 방법을 이용하여 방향 계산부(미도시)는 사용자 단말기(200)가 설치물 이미지를 획득하는 시점에서 설치물 이미지의 정면을 기준으로 하는 방향 각도 정보를 획득할 수 있다. 이러한 방향 각도 정보를 알면 사용자 단말기(200)가 설치물 이미지를 기준으로 어느 곳에 위치하는지를 파악할 수 있으므로 부가 정보를 그에 상응하여 제공할 수 있다. 예컨대 도 5의 부가 정보를 설치물 이미지의 정면을 기준으로 좌측, 우측으로 구분하여 저장해 두고 사용자 단말기(200)의 방향 각도 정보에 따라 좌측, 우측 여부를 판단함으로써 해당하는 정보를 제공할 수 있을 것이다. 예를 들면, 사용자 단말기(200)가 설치물 이미지의 정면을 기준으로 좌측에 있다면 해당 지역 근방에 있는 상점 정보를 제공할 수 있으므로 보다 정확한 맞춤형 정보 제공이 가능하다.
이와 같이 사용자 단말기(200)가 설치물 이미지를 획득한 시점에서의 설치물 이미지의 정면에 대한 방향 각도를 알 수 있으므로 이를 이용하면 사용자 단말기(200)의 위치 정보 뿐 아니라 사용자 단말기(200)의 이동 방향 정보도 알 수 있다.
즉, 사용자 단말기(200)로부터 특정 설치물 이미지를 촬영한 영상 또는 이미지를 입력받은 이후 일정 시간 간격 이내에 동일한 설치물 이미지를 촬영한 영상 또는 이미지를 추가적으로 수신하고 이에 대하여 전술한 바와 같은 과정을 통해 부가 정보 제공 시스템(100)에서 질의 이미지에 대응하는 설치물 이미지 식별자를 결정할 수 있는데 이에 의하면 2개의 입력 영상 또는 이미지에 대해 동일한 설치물 이미지 식별자를 결정하게 될 것이다. 2번째 입력된 영상 또는 이미지에 대해서도 방향 계산부(미도시)에서 설명한 바와 같은 과정을 거치면 2번째 입력된 영상 또는 이미지 즉 질의 이미지의 설치물 이미지의 정면에 대한 방향 각도 정보를 알 수 있다. 이를 제2 방향 각도 정보라 하고 최초에 획득된 질의 이미지의 설치물 이미지의 정면에 대한 방향 각도 정보를 제1 방향 각도 정보라고 하면 이들 제1 및 제2 방향 각도 정보를 비교함으로써 사용자 단말기(200)의 이동 방향을 파악할 수 있게 된다.
도 8은 방향 계산부에서 사용자 단말기(200)의 이동 방향을 결정하는 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 사용자 단말기(200)는 부호 801의 위치에서 설치물 이미지를 첫번째로 촬영하고 이로부터 일정 시간 간격 이내에 부호 802의 위치에서 설치물 이미지를 두번째로 촬영하고 이들을 각각 부가 정보 제공 시스템(100)으로 전송한다.
부가 정보 제공 시스템(100)은 앞서 설명한 바와 같은 과정을 통해 매칭되는 설치물 이미지를 결정하고, 또한 각각의 위치에서의 방향 각도 정보 즉, 제1 및 제2 방향 각도 정보를 계산한다.
도 8에서 θ1 및 θ2는 각각 제1 방향 각도 정보 및 제2 방향 각도 정보를 나타낸다. 도 8에서 설치물 이미지의 정면을 기준으로 왼쪽방향으로 갈수록 0도에서 90도가 되고, 우측방향으로 갈수록 0도에서 90도의 값을 갖는다고 하면, 2개의 질의 이미지의 사용자 단말기(200)의 방향 각도 정보에 의해 사용자의 이동 방향 정보를 계산할 수 있다. 예컨대, θ1 = θ2인 경우에는 사용자 단말기(200)가 정지해 있는 상태이고, θ1 과 θ2의 관계에 따라 사용자 단말기(200)가 설치물 이미지의 정면을 기준으로 좌측 방향으로 움직이는지 또는 우측 방향으로 움직이는지 여부를 쉽게 판단 가능하다. 예를 들어 도 8에서 시점(t1)에서 부호 801의 위치로부터 시점(t2)(t1 < t2)에서 부호 802의 위치로 이동한 경우 θ1은 약 15도 정도의 각도이고 θ2는 -15도 정도의 각도이므로 이로부터 사용자 단말기(200)가 좌측에서 우측으로 이동하였음을 파악할 수 있다.
이와 같이 사용자 단말기(200)의 이동 방향 즉, 사용자의 이동 방향을 알게 되면, 이동 방향까지 고려하여 부가 정보를 제공할 수 있을 것이다. 예컨대 도 5의 부가 정보를 이동 방향으로 구분하여 저장해 두고 사용자 단말기(200)의 이동 방향 정보에 따라 해당하는 정보를 제공할 수 있다. 예를 들면, 사용자 단말기(200)가 설치물 이미지의 정면을 기준으로 좌측에서 우측으로 이동한다면 해당 이동 방향에 따라 이동 방향에 위치한 매장 정보를 제공할 수 있으므로 보다 정확한 맞춤형 정보 제공이 가능하다.
도 9는 도 1 내지 도 8을 참조하여 설명한 본 발명에 의한 부가 정보 제공 시스템(100)에 의하여 사용자 단말기(200)로 부가 정보를 제공하는 방법의 일실시예를 나타낸 흐름도이다.
우선, 사용자 단말기(200)는 카메라 등을 이용하여 설치물 이미지를 촬영하고(S100), 촬영된 설치물 이미지의 영상 또는 이미지를 부가 정보 제공 시스템(100)의 영상 입력부(110)로 전송한다(S110).
영상 입력부(110)는 수신된 영상 또는 이미지를 질의 이미지 결정부(120)로 전달하고 질의 이미지 결정부(120)는 앞서 설명한 바와 같은 과정을 통해 질의 대상이 되는 질의 이미지를 결정한다(S120).
질의 이미지가 결정되면 특징점 추출부(130)는 결정된 질의 이미지의 특징점을 추출한다(S130).
다음으로, 이미지 매칭부(140)는 특징점 추출부(130)에서 추출된 질의 이미지의 특징점의 특징점 정보와 레퍼런스 메타 정보 데이터베이스(160)에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭되는 설치물 이미지 식별자를 결정한다(S140).
설치물 이미지 식별자가 결정되면 부가 정보 제공부(150)는 결정된 설치물 이미지 식별자에 상응하여 저장된 부가 정보를 사용자 단말기(200)로 제공하게 된다(S150)
이상에서 본 발명의 바람직한 실시예를 참조하여 본 발명의 구성을 설명하였으나 본 발명은 상기 실시예에 한정되는 것이 아니며 본 발명의 범위 내에서 다양한 형태의 수정 및 변형 실시가 가능함은 물론이다.
예컨대, 부가 정보 제공 시스템(100)의 각 구성 요소들은 사용자 단말기(200)의 구성에 포함되거나 별도의 서버를 통해 구현될 수 있다. 예컨대, 영상 입력부(110), 질의 이미지 결정부(120), 특징점 추출부(130) 및 이미지 매칭부(140)를 사용자 단말기(200) 내에 구비하고 부가 정보 제공부(150)만을 별도의 시스템으로 구현할 수도 있다. 이러한 경우 사용자 단말기(200) 내의 구성들은 예컨대 응용 프로그램(어플리케이션, application)의 형태로 구현될 수 있다.
또한, 영상 입력부(110)와 질의 이미지 결정부(120)를 사용자 단말기(200) 내에 구현하고, 다른 구성 요소들을 별도의 시스템으로 구성할 수도 있다.
이러한 방법 이외에도 네트워크의 부하 문제, 사용자 편의성, 효율성 등을 고려하여 다양한 형태로 부가 정보 제공 시스템(100)을 구성하는 구성요소들을 분리하여 구성할 수 있음을 유의해야 한다.

Claims (11)

  1. 이미지 매칭을 이용한 부가 정보 제공 시스템에 있어서,
    사용자 단말기로부터 입력되는 영상 또는 이미지를 수신하는 영상 입력부;
    상기 영상 입력부에서 수신되는 영상 또는 이미지로부터 질의 대상이 되는 질의 이미지를 결정하는 질의 이미지 결정부;
    상기 질의 이미지 결정부에서 결정된 질의 이미지의 특징점을 추출하고 추출된 특징점의 특정점 정보를 생성하는 특징점 추출부;
    원본 이미지가 설치된 설치물의 설치물 이미지의 설치물 이미지 식별자와, 설치물 이미지의 설치물 이미지 특징점 정보와, 설치물 이미지 식별자에 상응하여 사용자 단말기로 제공할 부가 정보를 저장하는 레퍼런스 메타 정보 데이터베이스;
    상기 특징점 추출부에서 생성된 질의 이미지의 특징점 정보와 레퍼런스 메타 정보 데이터베이스에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭되는 설치물 이미지 식별자를 결정하는 이미지 매칭부; 및
    상기 이미지 매칭부에서 결정된 설치물 이미지 식별자에 상응하여 저장된 부가 정보를 사용자 단말기측으로 제공하는 부가 정보 제공부
    를 포함하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  2. 제1항에 있어서,
    상기 질의 이미지 결정부는,
    사용자 단말기로부터 영상이 입력되는 경우 입력되는 영상을 복수개의 프레임 이미지로 추출하는 프레임 추출부; 및
    상기 프레임 추출부에서 추출된 프레임 이미지들 중에서 질의 대상이 되는 질의 이미지를 결정하는 질의 이미지 선택부
    를 포함하는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  3. 제2항에 있어서,
    상기 질의 이미지 선택부는,
    프레임 이미지들의 그라디언트(gradient)값에 기초하여 질의 이미지를 결정하는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  4. 제3항에 있어서,
    상기 질의 이미지는,
    Figure PCTKR2013001709-appb-I000011
    Figure PCTKR2013001709-appb-I000012
    (여기에서,
    Figure PCTKR2013001709-appb-I000013
    는 프레임 이미지의 x축 및 y축 좌표값,
    Figure PCTKR2013001709-appb-I000014
    는 프레임 이미지의
    Figure PCTKR2013001709-appb-I000015
    좌표에서의 이미지 데이터값)
    에 의한 점수(score)에 의해 결정되는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  5. 제1항에 있어서,
    상기 레퍼런스 메타 정보 데이터베이스는,
    원본 이미지의 원본 이미지 식별자와, 원본 이미지의 원본 이미지 특징점 정보를 더 포함하고,
    상기 설치물 이미지 특징점 정보는, 원본 이미지 영역 내부의 특징점 정보와 원본 이미지 영역 외부의 특징점 정보를 포함하는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  6. 제5항에 있어서,
    상기 원본 이미지 영역 외부의 특징점 정보는, 원본 이미지 특징점 정보와 설치물 이미지 특징점 정보 사이에 매칭을 수행하여 원본 이미지 특징점 정보와 매칭되지 않는 설치물 이미지 특징점 정보에 의해 형성되는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  7. 제6항에 있어서,
    상기 이미지 매칭부는,
    상기 특징점 추출부에서 추출된 질의 이미지의 특징점 정보와 레퍼런스 메타 정보 데이터베이스에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭 점수가 가장 높은 N(여기서 N은 자연수)개의 설치물 이미지 식별자들을 결정하고, 상기 결정된 설치물 이미지 식별자의 원본 이미지 영역 외부의 특징점 정보와 질의 이미지의 특징점 정보를 비교하여 최종적으로 설치물 이미지 식별자를 결정하는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  8. 제6항에 있어서,
    상기 영상 입력부는, 사용자 단말기로부터 영상 또는 이미지와 함께 사용자 단말기의 위치 정보를 수신하고,
    상기 레퍼런스 메타 정보 데이터베이스는, 원본 이미지가 설치된 설치물의 설치물 이미지 식별자에 상응하여 저장되는 설치물 위치 정보를 포함하며,
    상기 이미지 매칭부는, 상기 특징점 추출부에서 추출된 질의 이미지의 특징점 정보와 레퍼런스 메타 정보 데이터베이스에 저장된 설치물 이미지 특징점 정보를 비교하여 매칭 점수가 가장 높은 N(여기서 N은 자연수)개의 설치물 이미지 식별자들을 결정하고, 상기 결정된 설치물 이미지 식별자의 설치물 위치 정보와 상기 영상 입력부에서 수신된 사용자 단말기의 위치 정보를 비교하여 최종적으로 설치물 이미지 식별자를 결정하는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  9. 제1항에 있어서,
    설치물 이미지를 향한 사용자 단말기의 제1 방향 각도 정보를 결정하는 방향 계산부를 더 포함하는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  10. 제9항에 있어서,
    상기 영상 입력부는 일정 시간 이내에 사용자 단말기로부터 입력되는 영상 또는 이미지를 추가적으로 수신하고,
    상기 질의 이미지 결정부, 특징점 추출부 및 이미지 매칭부는 상기 추가적으로 수신된 영상 또는 이미지로부터 질의 대상이 되는 질의 이미지를 결정하고 특징점을 추출한 후 매칭되는 설치물 이미지 식별자를 결정하고,
    상기 방향 계산부는 설치물 이미지를 향한 사용자 단말기의 제2 방향 각도 정보를 결정하고, 상기 제1 방향 각도 정보 및 제2 방향 각도 정보에 기초하여 사용자 단말기의 이동 방향을 결정하고,
    상기 부가 정보 제공부는, 상기 이미지 매칭부에서 결정된 설치물 이미지 식별자 및 상기 결정된 사용자 단말기의 이동 방향에 기초하여 저장된 부가 정보를 사용자 단말기측으로 제공하는 것을 특징으로 하는 이미지 매칭을 이용한 부가 정보 제공 시스템.
  11. 이미지 매칭을 이용한 부가 정보 제공 방법에 있어서,
    사용자 단말기로부터 입력되는 영상 또는 이미지를 수신하는 제1 단계;
    상기 수신되는 영상 또는 이미지로부터 질의 대상이 되는 질의 이미지를 결정하는 제2 단계;
    상기 결정된 질의 이미지의 특징점을 추출하고 추출된 특징점들에 대한 특징점 정보를 생성하는 제3 단계;
    상기 추출된 질의 이미지의 특징점의 특징점 정보와 설치물 이미지 특징점 정보를 비교하여 매칭되는 설치물 이미지 식별자를 결정하는 제4 단계; 및
    상기 결정된 설치물 이미지 식별자에 상응하여 저장된 부가 정보를 사용자 단말기측으로 제공하는 제5 단계
    를 포함하는 이미지 매칭을 이용한 부가 정보 제공 방법.
PCT/KR2013/001709 2012-11-16 2013-03-04 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법 WO2014077466A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/441,310 US9536175B2 (en) 2012-11-16 2013-03-04 System and method for providing additional information using image matching
US15/358,117 US9754183B2 (en) 2012-11-16 2016-11-21 System and method for providing additional information using image matching

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20120130365 2012-11-16
KR10-2012-0130365 2012-11-16
KR1020130019253A KR101259957B1 (ko) 2012-11-16 2013-02-22 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
KR10-2013-0019253 2013-02-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/441,310 A-371-Of-International US9536175B2 (en) 2012-11-16 2013-03-04 System and method for providing additional information using image matching
US15/358,117 Continuation US9754183B2 (en) 2012-11-16 2016-11-21 System and method for providing additional information using image matching

Publications (1)

Publication Number Publication Date
WO2014077466A1 true WO2014077466A1 (ko) 2014-05-22

Family

ID=48665317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001709 WO2014077466A1 (ko) 2012-11-16 2013-03-04 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법

Country Status (3)

Country Link
US (2) US9536175B2 (ko)
KR (1) KR101259957B1 (ko)
WO (1) WO2014077466A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013915A1 (ko) * 2014-07-25 2016-01-28 오드컨셉 주식회사 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램
WO2016167458A1 (ko) * 2015-04-14 2016-10-20 주식회사 디지워크 정보가 삽입된 이미지 생성 방법 및 이를 실행하는 이미지 생성 장치
WO2018004734A1 (en) * 2016-06-29 2018-01-04 Google Llc Using an image matching system to improve the quality of service of a video matching system
CN107810641A (zh) * 2015-06-23 2018-03-16 三星电子株式会社 用于在终端上提供附加内容的方法以及使用该方法的终端

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101259957B1 (ko) 2012-11-16 2013-05-02 (주)엔써즈 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
US20150185825A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
EP3254158B1 (fr) * 2015-02-03 2023-07-05 ETA SA Manufacture Horlogère Suisse Resonateur isochrone d'horlogerie
CN105260739B (zh) * 2015-09-21 2018-08-31 中国科学院计算技术研究所 面向二进制特征的图像匹配方法及其系统
CN117056558A (zh) * 2016-08-08 2023-11-14 内特拉戴因股份有限公司 使用边缘计算的分布式视频存储和搜索
KR101745626B1 (ko) * 2016-11-21 2017-06-09 아이씨티웨이주식회사 위치정보 연산 방법 및 이를 위한 연산 장치
CN108833964B (zh) * 2018-06-11 2022-01-25 阿依瓦（北京）技术有限公司 一种实时的连续帧信息植入识别系统
KR102127872B1 (ko) * 2018-11-15 2020-06-29 충남대학교산학협력단 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치
CN110390352A (zh) * 2019-06-26 2019-10-29 华中科技大学 一种基于相似性哈希的图像暗数据价值评估方法
US10965805B1 (en) * 2020-04-20 2021-03-30 Charter Communications Operating, Llc Contextual awareness determination for a mobile device
CN111859003B (zh) * 2020-07-22 2021-12-28 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
CN114519794A (zh) * 2022-02-17 2022-05-20 浙江商汤科技开发有限公司 特征点匹配方法及装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100023270A (ko) * 2008-08-21 2010-03-04 한국과학기술원 영상 제공 시스템 및 영상 등록, 저장, 검색 방법
KR20120007045A (ko) * 2009-04-14 2012-01-19 퀄컴 인코포레이티드 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법
KR20120050714A (ko) * 2010-11-11 2012-05-21 한국과학기술원 인쇄물과 동영상의 증강현실 시스템 및 방법
KR20120102616A (ko) * 2009-11-02 2012-09-18 마이크로소프트 코포레이션 콘텐츠 기반 이미지 검색

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
GB2458278A (en) * 2008-03-11 2009-09-16 Geoffrey Cross A method of recognising signs in images taken from video data
US8731301B1 (en) * 2008-09-25 2014-05-20 Sprint Communications Company L.P. Display adaptation based on captured image feedback
US8433140B2 (en) 2009-11-02 2013-04-30 Microsoft Corporation Image metadata propagation
KR101165359B1 (ko) 2011-02-21 2012-07-12 (주)엔써즈 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
KR101805533B1 (ko) 2011-07-11 2017-12-07 엘지전자 주식회사 이동 단말기, 뉴스 제공 장치 및 위치 기초 뉴스 제공 방법
US20130100296A1 (en) * 2011-10-24 2013-04-25 Feng Tang Media content distribution
KR101259957B1 (ko) 2012-11-16 2013-05-02 (주)엔써즈 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100023270A (ko) * 2008-08-21 2010-03-04 한국과학기술원 영상 제공 시스템 및 영상 등록, 저장, 검색 방법
KR20120007045A (ko) * 2009-04-14 2012-01-19 퀄컴 인코포레이티드 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법
KR20120102616A (ko) * 2009-11-02 2012-09-18 마이크로소프트 코포레이션 콘텐츠 기반 이미지 검색
KR20120050714A (ko) * 2010-11-11 2012-05-21 한국과학기술원 인쇄물과 동영상의 증강현실 시스템 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013915A1 (ko) * 2014-07-25 2016-01-28 오드컨셉 주식회사 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램
US10699315B2 (en) 2014-07-25 2020-06-30 Odd Concepts Inc. Method and computer program for displaying search information
WO2016167458A1 (ko) * 2015-04-14 2016-10-20 주식회사 디지워크 정보가 삽입된 이미지 생성 방법 및 이를 실행하는 이미지 생성 장치
CN107810641A (zh) * 2015-06-23 2018-03-16 三星电子株式会社 用于在终端上提供附加内容的方法以及使用该方法的终端
EP3280149A4 (en) * 2015-06-23 2018-04-18 Samsung Electronics Co., Ltd. Method for providing additional contents at terminal, and terminal using same
CN107810641B (zh) * 2015-06-23 2020-09-22 三星电子株式会社 用于在终端上提供附加内容的方法以及使用该方法的终端
US10880610B2 (en) 2015-06-23 2020-12-29 Samsung Electronics Co., Ltd. Method for providing additional contents at terminal, and terminal using same
WO2018004734A1 (en) * 2016-06-29 2018-01-04 Google Llc Using an image matching system to improve the quality of service of a video matching system
US10013614B2 (en) 2016-06-29 2018-07-03 Google Llc Using an image matching system to improve the quality of service of a video matching system
KR20180104191A (ko) * 2016-06-29 2018-09-19 구글 엘엘씨 이미지 매칭 시스템을 이용한 비디오 매칭 시스템의 서비스 품질 향상
KR101953078B1 (ko) 2016-06-29 2019-02-27 구글 엘엘씨 이미지 매칭 시스템을 이용한 비디오 매칭 시스템의 서비스 품질 향상

Also Published As

Publication number Publication date
US20150286894A1 (en) 2015-10-08
US9754183B2 (en) 2017-09-05
US20170083786A1 (en) 2017-03-23
US9536175B2 (en) 2017-01-03
KR101259957B1 (ko) 2013-05-02

Similar Documents

Publication Publication Date Title
WO2014077466A1 (ko) 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
WO2017204596A1 (ko) 얼굴 윤곽 보정 방법 및 장치
CN104506857B (zh) 一种摄像头位置偏离检测方法及设备
WO2019164379A1 (en) Method and system for facial recognition
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2012115332A1 (ko) 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
WO2020111426A1 (en) Method and system of presenting moving images or videos corresponding to still images
WO2012063593A1 (ja) オブジェクト表示装置及びオブジェクト表示方法
WO2019164288A1 (en) Method for providing text translation managing data related to application, and electronic device thereof
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2018070672A1 (en) Electronic device and method for controlling the electronic device
WO2019066373A1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
KR20110128574A (ko) 이미지내 생체 얼굴 인식 방법 및 인식 장치
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2019035551A1 (en) APPARATUS FOR COMPOSING OBJECTS USING DEPTH CARD AND ASSOCIATED METHOD
WO2015020256A1 (ko) 직접 반응 광고 검출 및 분류 시스템 및 방법
WO2020076128A1 (en) Method and electronic device for switching between first lens and second lens
WO2013129729A1 (ko) 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
WO2012118259A1 (ko) 이미지에 기반한 동영상 관련 서비스 제공 시스템 및 방법
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2014148691A1 (en) Mobile device and method for controlling the same
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2019194561A1 (ko) 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
WO2022045584A1 (ko) 이미지 통합 방법 및 시스템
WO2021025375A1 (en) Apparatus and method for efficient regularized image alignment for multi-frame fusion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13855550

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14441310

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13855550

Country of ref document: EP

Kind code of ref document: A1