WO2015133699A1 - 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 - Google Patents

객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
WO2015133699A1
WO2015133699A1 PCT/KR2014/010555 KR2014010555W WO2015133699A1 WO 2015133699 A1 WO2015133699 A1 WO 2015133699A1 KR 2014010555 W KR2014010555 W KR 2014010555W WO 2015133699 A1 WO2015133699 A1 WO 2015133699A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
feature
unit
region
Prior art date
Application number
PCT/KR2014/010555
Other languages
English (en)
French (fr)
Inventor
장언동
전혁준
신형철
전병기
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140026749A external-priority patent/KR102203000B1/ko
Priority claimed from KR1020140031526A external-priority patent/KR102224936B1/ko
Priority claimed from KR1020140031521A external-priority patent/KR102213865B1/ko
Priority claimed from KR1020140031510A external-priority patent/KR102223684B1/ko
Priority claimed from KR1020140050906A external-priority patent/KR102249997B1/ko
Priority claimed from KR1020140054444A external-priority patent/KR20150127503A/ko
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Publication of WO2015133699A1 publication Critical patent/WO2015133699A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • the present invention relates to a recording medium on which an object identification device, a method and a computer program are recorded.
  • the feature information of an image is calculated and calculated by applying a feature pattern divided into zones in a circle or ring shape to the image.
  • An apparatus for identifying an object, a method, and a computer program for performing learning and object identification based on the acquired feature information are provided.
  • Object identification is based on features (or feature points) obtained from an image (or image), and each feature is represented by various types of descriptors.
  • the learning method object identification uses a Harr-like feature method, and since the related feature method is configured based on a rectangle, in order to search for an object (or an object) such as a person or a vehicle, which is mostly composed of curved surfaces, It requires a lot of training.
  • An object of the present invention is to provide a recording medium on which an object identification apparatus for calculating feature information on an image by applying a feature pattern divided into zones in a circle or ring shape to an image, a method and a computer program. .
  • Another object of the present invention is an object identification apparatus, method and computer program for calculating feature information about an image through a randomly preset (or arranged) feature map for a feature pattern divided into regions in the shape of a circle or a ring. It is to provide a recorded recording medium.
  • An object identification apparatus for calculating feature information, a method and a computer program are provided.
  • Another object of the present invention is to store the feature information of the object photographed from a plurality of angles, and to identify the object based on matching feature information by comparing with the feature information about the object that the user queries, and at multiple angles
  • An object identification apparatus for generating and storing characteristic information of an object inferred at a specific angle based on the characteristic information of a photographed object, a method and a computer program are provided.
  • Another object of the present invention is to induce the user to adjust the photographing angle of the user device when there is no pre-stored feature information that matches the feature information extracted from the image for the object that the user queries the angle corresponding to the pre-stored feature information
  • An object identification apparatus, a method and a computer program for performing matching in accordance with the present invention are provided.
  • Another object of the present invention is to select a region of interest through eye tracking and detect the object only in the selected region of interest, so that the object identification device for detecting the object more quickly and accurately than the object detection for the entire image or image, the method And a recording medium on which the computer program is recorded.
  • Another object of the present invention is to detect an object for the region of interest and to store information about the object in the region of interest database and, if there is web page information corresponding to the object, the corresponding web page information is also stored and linked to provide the object.
  • a recording medium on which an identification device, a method thereof, and a computer program are recorded.
  • An object identification apparatus, a method, and a computer program for collecting features on an extended area for identification, which enable rapid object learning or query provision, are provided.
  • An object identification apparatus applies a circular or donut-like feature pattern divided into a plurality of zones to an image, and is included in a unit item of the feature map based on a preset feature map corresponding to the feature pattern.
  • a controller which selects a zone corresponding to a preset criterion among the zones, and calculates location information of each zone selected for each of a plurality of unit items included in the feature map as image feature information of a region where a feature pattern is located in the image; And a storage unit which stores image feature information of a region in which the calculated feature pattern is located.
  • the preset criterion may be the lightest or darkest area among the areas corresponding to the unit item.
  • the controller may repeat the process of selecting a region corresponding to a criterion for each unit item for a plurality of unit items included in the feature map.
  • the controller when the controller calculates the image feature information of the region in which the feature pattern is located, the controller displays image feature information of the region in which the feature pattern is located in the region information of the feature pattern corresponding to the region selected for each of a plurality of unit items. It can be calculated as
  • the controller calculates a plurality of region-specific image characteristic information for a plurality of regions of the entire image by sliding and applying a circular or donut-shaped characteristic pattern to all remaining regions of the image. Learning may be performed based on image feature information for each region of the entire image.
  • Object identification apparatus comprises a storage unit for storing a plurality of region-specific image feature information for a plurality of images; And checking the similarity between the plurality of area image feature information calculated by applying a circular or donut-like feature pattern to the image and the image feature information for each of the plurality of areas of the plurality of images stored in the storage unit. It may include a control unit for determining whether the target object exists in the image based on the similarity.
  • the controller may determine whether the identified similarity is equal to or greater than a preset reference value.
  • the controller may determine whether an object of interest exists in the image and identify the object in the image.
  • the controller may determine that the object of interest does not exist in the image.
  • Object identification method comprises the steps of applying a circular or donut feature pattern divided into a plurality of zones to the image through the control unit; Selecting a zone corresponding to a preset criterion from among zones included in a unit item of the feature map based on a preset feature map corresponding to the feature pattern through the control unit; Calculating location information of a region selected for each of a plurality of unit items included in the feature map as image feature information of a region in which a feature pattern is located in the image through a control unit; And storing image feature information of a region in which the feature pattern calculated in the storage unit is located.
  • the calculating of the image feature information of the region where the feature pattern is located in the image may include: a feature corresponding to each region selected for each of a plurality of unit items when calculating the image feature information of the region where the feature pattern is located;
  • the area information of the pattern may be calculated as image feature information of the area where the feature pattern is located.
  • An object identification method comprises the steps of: calculating image feature information for a plurality of regions by applying a circular or donut feature pattern to an image through a control unit; Confirming a similarity between the plurality of area image feature information calculated by the control unit and the plurality of area image feature information for the plurality of images stored in the storage unit; And determining whether an object of interest exists in the image based on the similarity confirmed by the controller.
  • the determining of the existence of the object may include: determining whether the similarity determined by the controller is equal to or greater than a preset reference value; As a result of the determination, when the identified similarity is equal to or greater than a preset reference value, determining whether an object of interest exists in the image through a control unit and identifying the object in the image; And determining that the target object does not exist in the image through the control unit when the determined similarity is smaller than the preset reference value.
  • a computer program for performing the method according to the above-described embodiments may be stored in a recording medium on which a computer program according to an embodiment of the present invention is recorded.
  • An object identification apparatus applies a feature pattern of a rectangle divided into a plurality of zones to an image, and at least one white included in a unit item of the feature map based on a predetermined feature map corresponding to the feature pattern.
  • Image features of the region in which the feature pattern is located in the image by selecting the pattern region and the one or more black pattern regions, respectively, and information on one or more white pattern regions and one or more black pattern regions each selected for one or more unit items included in the feature map.
  • Object identification apparatus is an object feature extraction unit for extracting feature information from the image;
  • a first storage unit matching and storing representative feature information extracted for each representative image with object related information through at least one representative image photographed at a representative angle with respect to the object and an object feature extracting unit;
  • a virtual space mapping unit generating an interpolation image mapped to the virtual space based on each representative image of the first storage unit, and generating interpolation feature information from the interpolation image through an object feature extraction unit;
  • a second storage unit which matches the object-related information with the interpolation image and the interpolation feature information generated by the virtual space mapping unit;
  • And receiving the query image according to the photographing of the object from the user device extracting the feature from the query image, comparing the feature with the first storage unit, and providing object related information matched to the representative feature information that matches at least a preset reference value. If there is no representative feature information that matches more than the second storage unit may include a comparison unit for providing object-related information matched to the interpolation feature information that is matched
  • an object identification apparatus includes: a gaze correspondence area extractor configured to detect a gaze on a display on which content is displayed and extract a gaze correspondence area; A region of interest selection unit to select a region of interest based on the gaze corresponding region; And a search unit for identifying an object in the ROI.
  • An object identification apparatus includes a bounding box area setting unit configured to set a bounding box to detect and surround an existence of an object included in an input image; An object identification unit for identifying an object located inside the bounding box; And a learning area selector configured to set a learning area by adjusting a ratio of the bounding box at a preset ratio based on the identified object.
  • Object identification apparatus comprises a communication unit for communicating with the service providing apparatus; A display unit for displaying a web page or an image; And when an object corresponding to a specific product is tagged or selected in a web page or an image displayed on the display unit, each of the object corresponding to the tagged or selected specific product and one or more other objects adjacent to the object are respectively identified and correspond to the identified object.
  • the control unit may control to transmit main object information and sub information corresponding to the identified one or more other objects to the service providing apparatus through the communication unit.
  • the present invention has an effect of improving feature extraction performance for an object including a curved surface by calculating feature information on an image by applying a feature pattern having regions divided into circles or rings to the image.
  • the present invention calculates the feature information for the image through a randomly preset (or arranged) feature map for the feature pattern divided into a circle or a ring shape, thereby improving the identification efficiency of the object including the surface There is an effect of performing a fast process because a large area for improving and extracting features at once.
  • the present invention calculates the feature information for the image by applying a feature pattern divided into a plurality of zones to the image, the region can be extracted at a time is wide, performs fast processing, and improve the feature extraction performance It is effective to let.
  • the present invention calculates the brightness average for a portion of the image by using a feature map preset (or arranged) in a white pattern and a black pattern randomly for a feature pattern divided into a plurality of zones to display feature information on the corresponding image.
  • a feature map preset or arranged in a white pattern and a black pattern randomly for a feature pattern divided into a plurality of zones to display feature information on the corresponding image.
  • the present invention by additionally using the feature information extracted from the interpolated image interpolated based on the representative image as well as the actual photographed representative image by comparing the feature information extracted from the query image generated for the query of the object,
  • the recognition range of the object corresponding to the query image can be widened, thereby greatly increasing the accuracy of object recognition, thereby increasing the accuracy and reliability of providing information related to the object.
  • the present invention also provides movement information for adjusting the photographing angle of the representative or interpolated image of the object determined to be similar to the query image when an object similar to the object included in the query image received from the user device cannot be found in the DB.
  • movement information for adjusting the photographing angle of the representative or interpolated image of the object determined to be similar to the query image when an object similar to the object included in the query image received from the user device cannot be found in the DB.
  • the present invention selects the region of interest through eye tracking and detects the object only in the selected region of interest, so that the object can be detected more quickly and accurately than object detection for the entire image or image. have.
  • the present invention detects the object for the region of interest, and stores information about the object in the region of interest database, and if there is web page information corresponding to the object, the corresponding web page information is also stored in conjunction with, and conveniently stores the information. There is an effect that can be provided.
  • the present invention has the effect that it is possible to provide a quick or accurate learning or query of the object by using the object associated with the object, but discarded as an error factor to detect the object.
  • the present invention has the effect of applying the diversification of the requested product information by recognizing all data existing around the product information in addition to the product information requested by the user of the object identification device.
  • the present invention can apply the intended page configuration of the supplier to the result information corresponding to the sub information in addition to the main object information through meta-analysis, history management and big data processing, it is possible to provide a variety of results and intended information In addition, it is possible to provide highly accurate outputs, and to provide the results on the supplier side, thereby creating a new profit model.
  • FIG. 1 is a block diagram showing the configuration of an object identification apparatus according to an embodiment of the present invention.
  • Fig. 1 shows an example of a feature pattern according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a feature map according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of a feature map and feature information according to an embodiment of the present invention.
  • Fig. 1 shows an example of a feature pattern according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an example of a feature map according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of an object recognition service providing system according to an embodiment of the present invention.
  • FIG. 10 is a detailed configuration diagram of an object recognition service providing apparatus according to an embodiment of the present invention.
  • FIG. 11 is an exemplary diagram illustrating a virtual space mapping process for a representative image of an apparatus for providing an object recognition service according to an embodiment of the present invention.
  • FIG. 12 is an exemplary diagram for generating an interpolation image mapped on a virtual space of an apparatus for providing an object recognition service according to an embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a feature information extraction process for an interpolation image of an apparatus for providing an object recognition service according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating the configuration of the first and second DB management of the object recognition service providing apparatus according to an embodiment of the present invention.
  • FIG. 15 is a block diagram of object-related information provision through object recognition from a query image provided by a user of an object recognition service providing apparatus according to an exemplary embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a configuration for inducing a photographing angle adjustment of a user device when an object recognition service fails in an object recognition service providing apparatus according to an exemplary embodiment of the present invention.
  • 17 is a block diagram of a user device for providing an object recognition service according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating an eye tracker for extracting an eye gaze corresponding area according to an exemplary embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a step of accumulating position information of a user's viewing area with respect to an image according to an exemplary embodiment of the present invention.
  • 20 is a diagram illustrating a step of setting a region of interest of a user for an image according to an embodiment of the present invention.
  • 21 is a diagram illustrating an object identification apparatus according to an embodiment of the present invention.
  • 22 is a diagram illustrating identification and search of an object according to an embodiment of the present invention.
  • Fig. 23 is a diagram illustrating setting of a bounding box according to the prior art.
  • 24 is a diagram illustrating setting of a learning area according to an embodiment of the present invention.
  • FIG. 25 is a diagram illustrating a configuration of a learning apparatus that collects features of an extended area for identification according to an embodiment of the present invention.
  • 26 is a block diagram showing the configuration of a product information providing system according to an embodiment of the present invention.
  • FIG. 27 is A block diagram showing a configuration of an object identification apparatus according to an embodiment of the present invention.
  • FIG. 28 is a block diagram showing a configuration of a service providing apparatus according to an embodiment of the present invention.
  • 29 is A flowchart illustrating an object identification method according to the first embodiment of the present invention.
  • FIG. 30 is a view showing an image according to the first embodiment of the present invention.
  • FIG. 31 is A flowchart illustrating an object identification method according to a second embodiment of the present invention.
  • FIG. 32 is A flowchart illustrating an object identification method according to a third embodiment of the present invention.
  • 33 is a view showing an image according to the third embodiment of the present invention.
  • FIG. 34 is A flowchart illustrating an object identification method according to a fourth embodiment of the present invention.
  • 35 is a flowchart illustrating an object recognition service providing method according to a fifth embodiment of the present invention.
  • 36 is a flowchart illustrating a method of identifying and searching for an object according to a sixth embodiment of the present invention.
  • FIG. 37 is a view illustrating a learning method for an extended learning area according to the seventh embodiment of the present invention.
  • 38 is Signal flow diagram illustrating a communication process of a product information providing system according to an eighth embodiment of the present invention.
  • 39 is a diagram illustrating a screen of an object identification apparatus according to an eighth embodiment of the present invention.
  • first and second used in the present invention may be used to describe components, but the components should not be limited by the terms. The terms are used only to distinguish one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a block diagram showing the configuration of an object identification apparatus 10 according to an embodiment of the present invention.
  • the object identification apparatus 10 includes a storage 100 and a controller 200. Not all components of the object identification device 10 shown in FIG. 1 are essential components, and the object identification device 10 may be implemented by more components than those shown in FIG. The object identification device 10 may also be implemented by a component.
  • the controller 200 applies a circular or donut (or ring) feature pattern divided into a plurality of zones with respect to the image (or image). Thereafter, the controller 200 selects a zone corresponding to a preset criterion from among zones corresponding to a unit item included in the preset feature map in response to the feature pattern. Subsequently, the controller 200 calculates location information of a plurality of zones selected for each of a plurality of unit items as image feature information of a region where a feature pattern is located in the image. In addition, the controller 200 applies a circular or donut (or ring) feature pattern, which is divided into a plurality of zones, to all remaining areas of the image while sliding the image feature information (or A plurality of region-specific image feature information) is calculated.
  • the controller 200 learns based on the plurality of area-specific image feature information on the calculated original image.
  • the controller 200 performs an object identification function on the plurality of region-specific image feature information calculated from other images based on the plurality of region-specific image feature information about the plurality of previously learned images.
  • the storage unit 100 stores a user interface (UI), a graphic user interface (GUI), and the like.
  • UI user interface
  • GUI graphic user interface
  • the storage unit 100 stores data and programs required for the object identification apparatus 10 to operate.
  • the storage unit 100 may include an image (or a video / image) captured by an input unit (not shown) (or a camera (not shown)) included in the object identification device 10 or the object identification device 10. Stores an image received through the communication unit (not shown).
  • the storage unit 100 may include a circular or donut (or ring) feature pattern divided into a plurality of zones, a preset feature map corresponding to the feature pattern, and a plurality of (or one or more) units included in the feature map.
  • An item one or more area information selected from a plurality of areas included in a circular or donut-like feature pattern included in the unit item, and the like.
  • the circular or donut-shaped feature pattern may be set to various sizes according to the designer's design so that each feature information can be calculated for a plurality of original images having different sizes.
  • the storage unit 100 may include a feature pattern of a rectangle divided into a plurality of zones, a preset feature map corresponding to the feature pattern, a plurality of (or one or more) unit items included in the feature map, and a corresponding unit item.
  • the white pattern region or the black pattern region is formed of one pixel or a plurality of pixels.
  • the white pattern region or the black pattern region stores (or manages) the luminance value of the pixel.
  • the white pattern area or the black pattern area stores an average of luminance values of the plurality of pixels.
  • the storage unit 100 stores a plurality of region-specific image feature information, a learning result, and identified (or recognized) object information on an image generated by the control of the controller 200.
  • the controller 200 executes an overall control function of the object identification device 10.
  • control unit 200 applies a circular or donut (or ring) feature pattern divided into a plurality of zones to an image (or image) previously stored in the storage unit 100 or an image received through a communication unit or an input unit. .
  • the controller 200 applies a circular feature pattern 210 to the image.
  • the feature pattern is not only a circular shape shown in FIG. 2, but also a donut type 310 shown in FIG. 3, a double donut type 410 shown in FIG. 4, and the like, and include a curved line according to a designer's design. Various design changes can also be made.
  • the controller 200 sets a feature map corresponding to the feature pattern.
  • the feature map may be shared between different object identification devices in order to extract feature information about the image.
  • the feature map used in the object identification device 10 may be a feature map provided (shared) from another object identification device.
  • the feature map 500 includes a plurality of (or one or more) unit items 510.
  • each unit item 510 is divided into a plurality of zones 511, 512, and 513, and each zone 511, 512, and 513 has a zone selected from a plurality of zones included in a circular or donut-shaped feature pattern.
  • Information is assigned (or set) 521, 522, 523.
  • the number of unit items included in the feature map and the number of zones included in the corresponding unit item may be variously set according to the designer's design.
  • the controller 200 selects a region corresponding to a preset criterion (or suitable / satisfied) from among regions corresponding to a unit item included in the feature map, based on a preset feature map corresponding to the feature pattern.
  • the preset criterion includes information identifying whether it is the brightest area or the darkest area among the areas included in the unit item. In this case, when there are a plurality of unit items, the controller 200 repeatedly selects a region corresponding to a preset criterion for each of the plurality of unit items.
  • control unit 200 selects regions 611, 612, 613, 614, and 615 corresponding to the brightest region (or the darkest region) which is a preset reference among five unit items. do.
  • the controller 200 calculates (or sets) location information of a region selected from among a plurality of (or one or more) unit items as image feature information of a region in which a corresponding feature pattern is located.
  • control unit 200 displays the location information 620 of the region (for example, the area / region hatched by each unit item) selected from among five unit items, in which the corresponding feature pattern is located. Calculated as the image feature information.
  • the image feature information of the region where the corresponding feature pattern is located is described as being a combination of location information in which each zone is selected from the unit items, but the present invention is not limited thereto.
  • the image feature information of the region may be a combination of zone information of a feature pattern corresponding to each zone selected from the unit items.
  • the control unit 200 controls zone information (for example, 5 zones and 1 zone) of each selected feature pattern among 5 unit items. , Zone 3, zone 6, zone 5)
  • the features in the pattern may be calculated by the image feature information of the partial region.
  • control unit 200 applies the circular or donut-shaped feature pattern to all remaining areas of the image while sliding, so that the image feature information (or the image feature information for each of the plurality of areas) is applied to the plurality of areas of the entire original image. ) (Or extract / set).
  • controller 200 stores the plurality of area-specific image feature information of the calculated original image in the storage 100.
  • the controller 200 learns based on the plurality of area-specific image feature information about the calculated image.
  • the controller 200 may normalize to a plurality of preset different sizes, and then calculate image-specific information for each of a plurality of regions for each of the normalized plurality of images.
  • controller 200 may perform learning based on the plurality of region-specific image feature information about each of the calculated plurality of images.
  • controller 200 stores the learning result in the storage 100.
  • control unit 200 may be divided into a plurality of zones in a circular or donut type with respect to another image (or image) stored in the storage unit 100 or another image received through a communication unit (not shown) or an input unit (not shown).
  • the image feature information for each of a plurality of areas is calculated by applying the feature pattern of.
  • the controller 200 stores the image characteristic information for each region of the calculated image in the storage 100.
  • the controller 200 may include image feature information for each of a plurality of regions of a plurality of images previously stored (or learned / registered) in the storage 100, and a plurality of region-specific images calculated for other images. The similarity between the feature information is respectively confirmed (or compared).
  • controller 200 determines whether or not the similarity between the calculated calculated plurality of area image feature information and each of the plurality of area image feature information for the plurality of images previously stored in the storage 100 is greater than or equal to a preset reference value. Determine (or confirm)
  • the controller 200 determines whether the plurality of identified similarities are equal to or greater than a preset reference value.
  • the object is classified (or determined / confirmed) as being present in the corresponding image corresponding to the similarity, and the corresponding object in the image. Identify (or recognize) and store the identified object in the storage 100.
  • the controller 200 determines that no object exists in the image. Classify.
  • the feature information of the image may be calculated by applying the feature pattern having regions divided into circles or rings to the image.
  • the feature information of the image may be calculated through a randomly preset (or arranged) feature map for a feature pattern having regions divided into circles or rings.
  • control unit 200 applies a rectangular feature pattern divided into a plurality of zones to an image (or image) previously stored in the storage unit 100 or an image received through a communication unit or an input unit.
  • the feature pattern has a preset size.
  • the controller 200 applies a rectangular feature pattern 710 divided into a plurality of zones to the image.
  • a feature pattern of a rectangle having a 5 ⁇ 5 matrix form has been described.
  • the present invention is not limited thereto, and various design changes may be made to a feature pattern of various sizes according to a designer's design.
  • the numbers (or zone numbers) in the feature pattern may be reset to different positions according to the designer's design.
  • the controller 200 sets a feature map corresponding to the feature pattern.
  • the feature map may be shared between different object identification devices in order to extract feature information about the image.
  • the feature map used in the object identification device 10 may be a feature map provided (shared) from another object identification device.
  • the feature map 800 includes a plurality of (or one or more) unit items 810, 820, 830, and the like.
  • each unit item 810, 820, and 830 may include a white pattern area 802 and a black pattern area 803 including information on one or more of a plurality of areas included in the feature map 800.
  • the number of unit items (or number of feature indexes 801) included in the feature map, the number of areas included in the white pattern area and the black pattern area included in the corresponding unit item may be set in various ways according to the designer's design. Can be.
  • the control unit 200 for the three unit items 810, 820, and 830, the first unit item (or the unit item whose first unit item / feature index is 0) 510. ) Select one or more white pattern zones (e.g., 0, 6, 7, 8, 9 zones) and one or more black pattern zones (e.g.
  • the second unit item Or one or more white pattern zones (eg, 6, 19, 20, 24 zones) and one black pattern zone (eg, zone 0) included in the second unit entry / feature index with unit entry of 1) 520 ),
  • select 5, 6, 7, 8, and 24 zones respectively.
  • the controller 200 may include information about one or more white pattern zones and one or more black pattern zones (or an average value of luminance values of the corresponding zones) for each unit item selected from among a plurality of (or one or more) unit items, respectively. It calculates (or sets) the characteristic information of this area
  • the controller 200 calculates an average value of luminance values of one or more white pattern zones for each unit item, and calculates an average value of luminance values of one or more black pattern zones for each unit item. Thereafter, the controller 200 calculates (or sets) the average value of the calculated luminance values of the white pattern region and the black pattern region as feature information of the region where the corresponding feature pattern is located.
  • the controller 200 calculates an average of luminance values of the 0, 6, 7, 8, and 9 zones included in the white pattern zone constituting the first unit item 510 shown in FIG. 8.
  • the average of the luminance values of the 15, 16, and 17 regions included in the black pattern region constituting the one unit item 510 may be calculated, and the calculated average values of the white pattern region and the black pattern region may be calculated as feature information.
  • control unit 200 applies sliding feature patterns of a rectangle divided into a plurality of zones to all the remaining areas of the image while sliding the image feature information (or images of each of the plurality of areas) for a plurality of areas of the entire original image. Feature information) is calculated (or extracted / set).
  • controller 200 stores the plurality of area-specific image feature information of the calculated original image in the storage 100.
  • the controller 200 learns based on the plurality of area-specific image feature information about the calculated image.
  • the controller 200 may normalize to a plurality of preset different sizes, and then calculate image-specific information for each of a plurality of regions for each of the normalized plurality of images.
  • controller 200 may perform learning based on the plurality of region-specific image feature information about each of the calculated plurality of images.
  • controller 200 stores the learning result in the storage 100.
  • control unit 200 is a rectangular feature pattern divided into a plurality of zones for another image (or image) stored in the storage unit 100 or another image received through a communication unit (not shown) or an input unit (not shown). Is applied to calculate image feature information for each of a plurality of regions.
  • the image characteristic information may be an average value of luminance values of one or more white pattern zones and a luminance value of one or more black pattern zones per unit item constituting a preset feature map corresponding to a rectangular feature pattern divided into a plurality of zones. Can be.
  • the image characteristic information may also be a difference between an average value of luminance values of one or more white pattern zones per unit item and an average value of luminance values of one or more black pattern zones.
  • controller 200 stores the plurality of area-specific image feature information of the calculated image in the storage 100.
  • the controller 200 may include image feature information for each of a plurality of regions of a plurality of images previously stored (or learned / registered) in the storage 100, and a plurality of region-specific images calculated for other images. The similarity between the feature information is respectively confirmed (or compared).
  • controller 200 determines whether or not the similarity between the calculated calculated plurality of area image feature information and each of the plurality of area image feature information for the plurality of images previously stored in the storage 100 is greater than or equal to a preset reference value. Determine (or confirm)
  • the controller 200 determines whether the plurality of identified similarities are equal to or greater than a preset reference value.
  • the controller 200 classifies (or determines / confirms) that the object of interest exists in the image, and identifies (or recognizes) the object in the image. Then, the identified object is stored in the storage unit 100.
  • the controller 200 classifies that the object as the target does not exist in the corresponding image.
  • the feature information of the image may be calculated by applying the feature pattern divided into the plurality of zones to the image.
  • a brightness average of a part of an image is calculated by using a feature map preset (or arranged) in a white pattern and a black pattern for a feature pattern divided into a plurality of zones. Can be calculated.
  • FIG. 9 is a configuration diagram of an object recognition service providing system according to an exemplary embodiment of the present invention, wherein the system photographs an object through a camera to generate a query image for the object and transmits it through a communication network as shown. 910 and an object recognition service providing apparatus 920 that receives a query image from a user device 910 through a communication network, recognizes an object from the query image, and provides object related information.
  • each user device 910 includes a navigation terminal, a tablet PC, a laptop, a smartphone, a personal digital assistant (PDA), and a mobile communication terminal.
  • the object recognition service providing apparatus 920 may be configured as a server.
  • the object recognition service providing apparatus 920 extracts feature information on the query image received from the user device 910, and extracts feature information extracted from each representative image and one or more representative images photographed at different representative angles with respect to the object. Compares the feature information of the query image with the first DB stored in association with the object, extracts feature information that matches the preset reference value, and transmits object related information corresponding to the extracted feature information to the user device 910. Can provide.
  • the object recognition service providing apparatus 920 may compare one or more interpolation images mapped to the virtual space based on the representative image of the first DB when there is no matching feature information by comparing the feature information between the first DB and the query image. And feature information for each interpolation image are compared with a second DB stored in association with an object to extract feature information having a similarity or more than a preset value, and transmit object related information corresponding to the extracted feature information to the user device 910. Can be provided.
  • the object recognition service providing apparatus 920 additionally uses the feature information extracted from the interpolated image interpolated based on the representative image as well as the actually captured representative image, and compares the feature information extracted from the query image to the query image.
  • the recognition range of the corresponding object can be widened, which can greatly increase the object recognition accuracy.
  • FIG. 10 is a detailed configuration diagram of the object recognition service providing apparatus 920 according to an exemplary embodiment of the present invention. As illustrated, the object feature extractor 921, the virtual space mapping unit 922, and the comparison unit 923 are illustrated. It may include.
  • the object feature extractor 921 may store a plurality of representative images photographed with respect to an object at a plurality of representative angles and object related information, such as panorama photographing, from the first DB 924 where matching is stored.
  • Each representative image may be extracted, and feature information may be extracted according to a preset algorithm for each representative image.
  • the object feature extractor 921 may apply various object feature extraction algorithms that are well known. Examples of such algorithms include a scale invariant feature transform (SIFT), a histogram of oriented gradient (HOG), and a haar-like feature. , Ferns, LBP (Local Binary Pattern), MCT (Modified Census Transform) may be applied.
  • SIFT scale invariant feature transform
  • HOG histogram of oriented gradient
  • MCT Modified Census Transform
  • the object-related information may include an identification number (ID, etc.) associated with the object, product information, manufacturer information, and the like
  • the representative image includes information about the photographed representative angle or is matched with the representative angle to match the first DB ( 924 may be stored.
  • the representative angle may mean a photographing angle, and may mean an angle inclined in the X, Y, and Z directions from a preset center point.
  • the object feature extractor 921 may store the representative feature information extracted from the representative image by matching the object related information and each representative image in the first DB.
  • the virtual space mapping unit 922 may model the representative image on the virtual space by mapping each representative angle with the position information on the preset virtual space as shown in FIG. 11 (b).
  • the virtual space may be a model in which the camera position in the real space according to the photographing angle of the representative image is reflected, and thus the photographing position of the camera in the three-dimensional space may be mapped and represented in the virtual space.
  • the virtual space mapping unit 922 may convert the representative angles into position information of the virtual space as X, Y, and Z coordinates by mutually mapping positions in the virtual space corresponding to the representative angles measured at the time of photographing the representative image. Through this, a representative image may be mapped and modeled on a virtual space having a three-dimensional shape.
  • the virtual space mapping unit 922 is configured between the representative image corresponding to the different position information adjacent to the intermediate position information with respect to the intermediate position information located between each position information on the virtual space based on the position information on the virtual space. You can create an interpolated image to interpolate.
  • the virtual space mapping unit 922 interpolates the interpolation image generated corresponding to the intermediate position information and the representative image corresponding to the position information with respect to other intermediate position information positioned between the intermediate position information and the position information. Can be generated.
  • the virtual space mapping unit 922 maps the representative image photographed at the representative angle of the photographing 2 to position information corresponding to the representative angle in the virtual space, and photographs at the representative angle of the photographing 3.
  • the representative image may be modeled by mapping it to a position corresponding to the representative angle in the virtual space.
  • the virtual space mapping unit 922 interpolates the interpolated image corresponding to the intermediate position information between the position information corresponding to the representative angle of the photographing 2 and the representative angle of the photographing 3, respectively.
  • the virtual space mapping unit 922 has a representative angle of 45 degrees and 90 degrees based on the position information of the virtual space.
  • An interpolation image mapped to position information about an intermediate angle (60 degrees) may be generated.
  • the virtual space mapping unit 922 may generate a representative image and an interpolation image respectively mapped to a plurality of location information having X, Y, and Z coordinate values in the virtual space.
  • the virtual space mapping unit 922 may extract and generate interpolation feature information through the object feature extraction unit 921 for each of the generated interpolation images as illustrated in FIG. 13.
  • the interpolation image and the object related information may be matched with each other and stored in the second DB 925.
  • object-related information and one or more representative feature information PK1 to PK10 may be matched and stored in the first DB 924, and one or more interpolation images may be stored in the second DB 925.
  • One or more interpolation feature information (Sub PK1 to Sub PK50) extracted through the data may be matched with the object related information and stored.
  • the virtual space mapping unit 922 generates a plurality of interpolation images for interpolating between different adjacent representative images by mapping the representative image to the virtual space, and then extracts feature information about each interpolation image. By doing so, feature information about an object inferred from various angles can be generated and the recognition range of the object can be greatly expanded.
  • the comparison unit 923 receives a query image for the object photographed through the camera from the user device 910, as shown in Figure 15, the user device 910 for the object to query through the query image Information can be provided.
  • the comparator 923 may extract object feature information on an object included in the query image by interworking with the object feature extractor 921 upon receiving the query image, and may include the object feature information as the first feature.
  • the object related information matched with the representative feature information that matches a predetermined reference value or more may be extracted from the first DB 924 by comparing the feature information stored for each object in the DB 924 to the user device 910.
  • the comparator 923 stores the object feature in the second DB 925 for each object.
  • the interpolation feature information and the object feature information may be compared with each other to extract object related information matched to interpolation feature information that matches a predetermined reference value or more, and transmit the same to the user device 910.
  • the comparison unit 923 compares the feature information of the query image with the feature information extracted from the interpolation image for interpolating the representative image even when the object cannot be recognized based on the feature information extracted from the representative image. Accordingly, the object recognition rate can be greatly increased even for an image photographed at an angle other than the representative angle.
  • the comparison unit 923 may include the first feature information and the interpolation feature information that match the object feature information of the query image extracted by the object feature extractor 921 with a predetermined reference value or more. And extracting a representative or interpolated image corresponding to the representative or interpolated feature information having a similarity or more from a predetermined value when none exists in the second DBs 924 and 925 from any one of the first and second DBs 924 and 925. can do.
  • the similarity may be the same reference as the reference value, and accordingly, the comparator 923 may extract the representative or interpolation image corresponding to the representative or interpolation feature information that matches the object feature information of the query image by a predetermined value or more.
  • the comparator 923 may receive angle information about the photographing angle of the query image included in the query image or separately received, and calculate the position information corresponding to the query image by mapping the angle information on the virtual space. can do.
  • the comparison unit 923 calculates a difference between the position information on the virtual space corresponding to the extracted representative or interpolated image and the position information on the virtual space corresponding to the photographing angle of the query image, and the position information of the query image on the virtual space.
  • the mobile terminal may generate the movement information on the movement direction generated according to the calculated difference and transmit the generated movement information to the user device.
  • the photographing angle may mean an angle inclined in the X, Y, and Z directions from the center point like the representative angle.
  • the movement information may include not only a direction but also a distance for moving to the position information of the image corresponding to the representative or interpolation feature information whose similarity is equal to or greater than a preset value in the position information of the query image, as shown.
  • the distance may be an actual distance converted by the relationship between the virtual space and the real space by measuring the distance between two location information in the virtual space.
  • the comparison unit 923 transmits the movement information to the user device 910 so that the user may select a photographing position corresponding to the query image based on the feature information as a photographing position corresponding to a representative or interpolated image having a similarity or more than a predetermined value.
  • the user may be guided to move the device 910 so that reshooting may be performed.
  • the comparison unit 923 receives the query image re-photographed at the position moved according to the movement information from the user device 910 and then extracts the extracted object characteristic information of the first and second DBs 924 and 925.
  • object related information corresponding to the representative or interpolated feature information may be provided. .
  • the comparator 923 is determined to be similar to the query image when the object similar to the object included in the query image received from the user device 910 is not found in the first and second DBs 924 and 925.
  • the re-recognized query image is re-recognized so that more accurate object recognition can be achieved at the same shooting angle as that of the representative or interpolated image. It can greatly improve the accuracy and reliability.
  • the above-described object feature extractor, virtual space mapping unit, and comparison unit may be configured in the user device 910, and the user device may include a camera unit 911, a sensor unit 915, and a first unit.
  • the memory device may further include first and second memory units 916 and 917.
  • the object feature extractor 912 may extract feature information about the captured image from the camera unit 911 for capturing an image of the object
  • the virtual space mapping unit 913 may include a first DB 924.
  • the feature information may be stored in the second memory unit 917 in association with the object related information.
  • the comparison unit 914 receives a query image according to photographing an object from the camera unit 911, extracts a feature from the query image through the object feature extractor 912, and compares the feature with the first memory unit 916. Then, the representative feature information corresponding to the preset reference value or more is extracted to provide corresponding object related information. When the reference characteristic does not match the preset reference value, the interpolation feature information that matches the preset reference value or more is compared with the second memory unit 917. The extracted object may provide corresponding object related information.
  • the comparison unit 914 may include the feature information of the query image and the first and second memory units 916 and 917 when there is no object that matches a predetermined reference value or more through the first and second memory units 916 and 917.
  • the first and second memory units 916 and 917 feature information whose similarity between feature information stored in any one of the same information matches a predetermined value or more may be extracted.
  • the comparison unit 914 interlocks with the virtual space mapping unit 913 based on the sensing information on the photographing angle of the query image obtained through the sensor unit 915 when capturing the query image.
  • the object recognition rate may be greatly improved by inducing the user to move to the photographing angle corresponding to the representative or interpolated image.
  • FIG. 18 is a diagram illustrating an eye tracker for extracting an eye gaze corresponding area according to an exemplary embodiment of the present invention.
  • the eye tracker 1810 is used to extract an area corresponding to the gaze of the user.
  • the eye tracker 1810 may perform auto focusing on the eyes of the face while performing face recognition of the user. When the automatic focusing is completed, the eye tracker 1810 may collect a face image including the pupil.
  • the eye tracker 1810 may refer to an eye tracking algorithm stored therein. First, the eye tracker 1810 performs face analysis of an image to extract eye parts of a face. In addition, check the eye's viewing angle at the eye area.
  • the eye tracker 1810 may initially perform positioning before collecting eye gaze position information for reliable position measurement.
  • the eye tracker 1810 may identify and correct a portion of the area of the display 1820 where the eye gaze position information of the user views.
  • FIG. 19 is a diagram illustrating accumulating position information of a user's viewing area with respect to an image according to an exemplary embodiment of the present invention
  • FIG. 20 is a diagram illustrating setting a region of interest of the user with respect to an image according to an exemplary embodiment of the present invention. It is a figure which shows.
  • the eye tracking function of the present invention can be operated according to a certain period or applied in real time. Accordingly, the eye tracker 1810 may extract a corresponding area of the display 1820 corresponding to the gaze position information collected at a predetermined cycle.
  • the eye tracker 1810 extracts the gaze position information transmitted according to a predetermined period (for example, 0.2 seconds), the eye tracker 1810 extracts the gaze position information for each predetermined period to correspond to the gaze of the corresponding area of the display 1820. You can mark areas and accumulate them.
  • a predetermined period for example, 0.2 seconds
  • the display point 1820 accumulates indices 1920 indicating information on the line of sight position according to the line of sight of the user.
  • the gaze location information extraction is repeated at every predetermined period, when the gaze position information is extracted in the area where the user's gaze is concentrated, for example, the area more than a predetermined number of times, the area is determined by the object identification device 2100. It may be determined as a region of interest in.
  • FIG. 19 it can be seen that the user's eyes are focused on the user's face, tie, bag, airplane, cloud, building, and carrier. If the focused gaze position information of the user is greater than or equal to a predetermined criterion, the face, the tie, the bag, and the carrier may be determined as the ROI in the drawing.
  • Specific criteria for determining whether the region is a region of interest may be, for example, density. That is, the gaze position information of the user recognized by the display 1820 may appear as an index point 1920 on the display 1820, and the density of the plurality of index points 1920 in the entire display 1820 is a predetermined range. The above region may be determined as the region of interest.
  • the density of the indicator point 1920 which is a criterion for determining the ROI, may be set to be relative. That is, some areas may be determined as the ROI in the order of the high density of the indicators 1920 among the gaze position information of the user recognized by the display 1820.
  • eye tracking can be performed to identify a region where the user's eyes are concentrated without performing a touch operation or an input button control operation, thereby enabling the setting of a region of interest with high reliability.
  • the reference for setting the corners of the ROI formed in a rectangular shape may be set when the density of the indicator point 1920 formed by the line of sight position information is less than or equal to a predetermined range. That is, as the area of the high density region of the ground point 1920 increases, the area of the region set as the ROI may increase correspondingly.
  • the face 2010, the tie 2020, the bag 2030, and the carrier 2040 are set as the region of interest, but more objects or fewer objects are selected as the region of interest according to the setting criteria of the region of interest. It may be set.
  • the region of interest is set in FIG. 20, this indicates that the position of the region of interest is selected based on a density based on the density of the indicators 1920.
  • the object identifying apparatus 2100 identifies an object in each region of interest. That is, it does not identify a person's face, tie, bag, or carrier.
  • FIG. 21 is a diagram illustrating an object identification apparatus according to an embodiment of the present invention.
  • the object identification apparatus 2100 may include a gaze correspondence region extractor 2110, an ROI selector 2120, a searcher 2130, and a database 2140.
  • the gaze correspondence area extractor 2110 may collect gaze position information of the user extracted by the eye tracker 1810 to extract an area where gaze is concentrated. That is, the candidate region of interest can be selected.
  • the ROI selector 2120 may select, as the ROI, a region where the gaze is concentrated from a ROI candidate group extracted by the gaze correspondence region extractor 2110 above a predetermined reference.
  • the searcher 2130 extracts a feature of an object in the ROI.
  • test sets (not shown) to learn each object.
  • a plurality of test sets are connected to the search unit 2130 so that the first search unit searches for a face of a person, and for this purpose, the first test set may be applied to various faces so that the first search unit can learn about the faces. Data is provided to the first search unit so that the first search unit can search for a face.
  • the second search unit searches for the bag, and for this purpose, the second test set provides data for various bags to the second search unit so that the second search unit can learn about the bag so that the second search unit can search for the shape of the bag. To be able.
  • the third search unit searches for a carrier, and for this purpose, the third test set provides data for various carriers to the third search unit so that the third search unit can learn about the carrier so that the third search unit can search for the shape of the carrier. To be able.
  • the fourth search unit searches for shoes, and for this purpose, the fourth test set provides data for various shoes to the fourth search unit so that the fourth search unit can learn the shoes, so that the fourth search unit searches for the shape of the shoes. To be able.
  • the size of the object and the image may be different each time, and even in the case of the same object, the size of the object and the image may be different in the image 1910 according to the size of the image 1910, so that the test unit 2130 may have one object. Learn about the different sizes you have.
  • the searcher 2130 learned through this process may search for an object in the ROI in the image 1910.
  • the search unit 2130 may automatically identify and search the corresponding object, so that a person does not have to search for an object in the ROI for each image.
  • the searcher 2130 searches for the object only in the region selected as the region of interest, the reliability may be improved and the search speed may be improved. Searching for these objects makes it possible to identify what the object is.
  • the database 2140 searches for images with high similarity based on the identified object information and the characteristics of the extracted objects and provides the results.
  • the database 2140 stores information extracted about the region of interest and information on the identified object, and when the webpage information corresponding to the object exists, the information of the webpage is also linked to the database 2140. .
  • 22 is a diagram illustrating identification and search of an object according to an embodiment of the present invention.
  • the carrier 2040 will be described as an example.
  • the searcher 2130 extracts feature information of the carrier 2040 that is an object in the ROI.
  • the feature information may include information such as color, ratio, shape, and size.
  • the searcher 2130 may identify the object based on the extracted feature information. This confirms that the object in the region of interest is a carrier.
  • the user extracts a feature of the region of interest that the user watches and stores it in a database 2140 in association with a corresponding web page link including object information, and then searches for a similar image by searching for a feature having high similarity with that of the region of interest.
  • 2050 and related web page 2060 may be provided as a search result.
  • FIG. 23 is a view illustrating a setting of a bounding box according to the prior art.
  • a wristwatch worn on the back of a hand and a wrist which is an object related area 2310 of a user, is bounded to the bounding box 2330.
  • the bounding box 2330 is set around the wristwatch that is the identification object 2320, and only a part of the back and wrist of the user, which is the object related area 2310, is included in the bounding box 2330.
  • 24 is a diagram illustrating setting of a learning area according to an embodiment of the present invention.
  • the bounding box 2330 is set to surround the outside of the wrist watch as an object.
  • the bounding box 2330 is set around the object and hardly includes an area other than the object.
  • Identifying an object included in the bounding box 2330 confirms that the object is a wrist watch. Since the wristwatch is generally worn and used on the wrist, the wristwatch included in the image or the image is mostly identified as the related region of the back of the hand and the wrist, which are the object-related areas 2310.
  • the object when the object is a wristwatch, it is desirable to extend the learning range to include not only the object but also the surrounding area adjacent to the object.
  • the bounding box 2330 is extended by a predetermined ratio to set the learning area 2340.
  • Whether to expand and the rate of expansion may be set differently according to the identified object.
  • the mouse may be identified only by the object included in the bounding box 2330, so it is not necessary to extend the setting and set the learning area.
  • the learning area 2340 may be set to include the legs and the abdomen area.
  • the learning area 2340 may be set to include the mandala and the abdomen together in the learning area 2340.
  • the user can search for the swimsuit by referring to the learning area 2340, so that the swimsuit category can be searched in the swimsuit category, and in the case of shorts, it can be searched in the shorts category. Accurate and reliable search is possible.
  • FIG. 25 is a diagram illustrating a configuration of a learning apparatus that collects features of an extended area for identification according to an embodiment of the present invention.
  • the learning apparatus (or object identification apparatus) 2500 includes a bounding box region selector 2510, an object identifier 2520, a database 2530, a learning region selector 2540, and a learning region reference.
  • the learning unit 2550 is included.
  • the bounding box area selector 2510 sets the bounding box 2330 to detect the existence of the object and surround the object.
  • the bounding box area selector 2510 may set the bounding box 2330 with a minimum area while including all the objects.
  • the bounding box area selector 2510 may set the bounding box 2330 to a square, a circle, an ellipse, and the like, but is not limited thereto.
  • the object identifier 2520 identifies an object located inside the bounding box 2330.
  • the object identifier 2520 calculates feature information on the input image by applying a preset feature pattern to the input image, and calculates the similarity between the feature information on the calculated input image and the individual feature information on the plurality of pre-learned images. Each object is checked and it is determined whether the identified similarity is equal to or greater than a preset reference value. When the determined similarity is equal to or greater than the reference value, the object is classified as being present in the input image and the object is identified within the input image.
  • the object may be identified by comparison with data stored in the database 2530, and the database 2530 adjusts the learning area 2340 at a preset ratio based on the identified object. That is, the database 2530 stores the expansion direction and the ratio of the bounding box 2330 for each object.
  • the learning area selector 2540 may set the learning area 2340 by extending the bounding box 2330 by the direction and the ratio stored in the database 2530 for each object.
  • the learning area 2340 may be set.
  • the learning area 2340 may be set by extending the bounding box 2330 up and down by a predetermined ratio. If the object identified by the object identification unit 2520 is a computer mouse, the bounding box 2330 may not be extended.
  • the expansion direction and the ratio of the bounding box 2330 for each object may be adjusted by the learning area selection unit 2540.
  • the learning area reference learner 2550 extracts a feature of an object based on the learning area 2340 and provides a learning or query based on the feature.
  • the object based on the bounding box 2330 and the object based on the learning area 2340 may be different according to the object.
  • the learning area reference learning unit 2550 learns not only a wrist watch but also features related to the wrist and the back of the object-related area 2310.
  • the learning area reference learner 2550 transfers and stores the features of the learned object to the database 2530. Accordingly, the contents discarded as an error factor may be utilized, and the feature of the learned object may be used when generating a query, and thus may be configured in any device of a user device or a service device.
  • 26 is a block diagram showing the configuration of a product information providing system 2600 according to an embodiment of the present invention.
  • the product information providing system 2600 includes an object identification device 2610 and a service providing device 2620. Not all components of the product information providing system 2600 illustrated in FIG. 26 are essential components, and the product information providing system 2600 may be implemented by more components than those shown in FIG. 26. The product information providing system 2600 may be implemented by fewer components.
  • the object identification device 2610 recognizes not only information (or main object information) about an object corresponding to a selected or tagged product, but also information (or sub information) about one or more other objects around the object, The recognized main object information and the sub information are provided to the service providing apparatus 2620. Subsequently, the service providing apparatus 2620 checks the result corresponding to the main object information and the sub information provided from the object identifying apparatus 2610 among the prestored big data, and provides the confirmed result information to the object identifying apparatus 2610. do. Thereafter, the object identification device 2610 outputs the corresponding result information and performs a payment function for a specific product selected from the result information through interworking with the service providing device 2620.
  • the object identification device (or terminal) 2610 is composed of a communication unit 2611, a storage unit 2612, a display unit 2613, and a controller 2614. Not all components of the object identification device 2610 shown in FIG. 27 are essential components, and the object identification device 2610 may be implemented by more components than the components shown in FIG. The object identification device 2610 may also be implemented by the component.
  • the communication unit 2611 communicates with an internal component or at least one external terminal through a wired / wireless communication network.
  • the external terminal may include a service providing apparatus 2620.
  • the communication unit 2611 transmits main object information, sub information, and the like to the service providing apparatus 2620 under the control of the control unit 2614.
  • the communication unit 2611 receives result information transmitted from the service providing apparatus 2620 in response to the information transmitted by the control of the control unit 2614.
  • the storage unit 2612 may further include an image (or video / image) captured by an input unit (or a camera (not shown)) included in the object identification device 2610, or a communication unit ( 2611) stores the image received through.
  • the storage unit 2612 stores a plurality of feature patterns.
  • the feature pattern may be set to various sizes according to the designer's design so that the feature information may be calculated for a plurality of original images having different sizes.
  • the storage unit 2612 may store the feature information on the corresponding image (or image) identified by the control of the controller 2614, and the individual feature information on the image identified by the control of the controller 2614 and the plurality of images. Similarity, information (or main object information), sub information, and the like about the object identified (or recognized) by the control of the controller 2614 are stored.
  • the display unit 2613 may display content such as a menu screen by using a user interface or a graphic user interface stored in the storage unit 2612 under the control of the controller 2614.
  • the content displayed on the display unit 2613 includes text or image data (including various information data) and a menu screen including data such as icons, list menus, combo boxes, and the like.
  • the display unit 2613 may be a touch screen.
  • the controller 2614 executes the overall control function of the object identification device 2610.
  • controller 2614 displays the contents or an image (or a video / image) of a web page transmitted from the service providing apparatus 2620 on the display unit 2613.
  • the controller 2614 may control the selected (or tagged) specific product. Identifies (or recognizes / identifies) the corresponding object. In this case, the controller 2614 identifies at least one other object adjacent to the corresponding object in a web page or an image including the selected object.
  • the image (or video / image) may be an image (or video / image) stored in the storage unit 2612 or an image (or video / image) received through the communication unit 2611 or an input unit (not shown). have.
  • the controller 2614 may include a feature pattern preset (or stored) in the object in the storage unit 2612 for the web page or the image (or the object). Apply () to calculate (or extract / check) feature information about the object.
  • controller 2614 identifies (or recognizes) the corresponding object based on the calculated feature information.
  • the controller 2614 may not only tag or select the object but also one or more other products adjacent to the object included in the web page or image. Tag or select other objects that correspond to and identify each of the one or more tagged objects.
  • the controller 2614 may include information about the identified object (or metadata corresponding to the main object information / the object (or product)) and information about one or more other objects (or sub information / one or more other objects ( Or metadata corresponding to other products) to the service providing apparatus 2620 through the communication unit 2611.
  • the main object information may include identification information of the object identification device 2610, information about a corresponding web page or image, user information (eg, ID, etc.) of the object identification device 2610, and selected (or tagged) products. Information, date information, and the like.
  • the sub information may include product information (eg, content type, attribute information, etc.) corresponding to the selected (or tagged) one or more other objects, GPS information of the object identification device 2610, user comment information, and social network service. (SNS) information, weather information and the like.
  • product information eg, content type, attribute information, etc.
  • SNS social network service.
  • the identification information of the object identification device 2610 includes a mobile directory number (MDN), a mobile IP, a mobile MAC, a subscriber identity module (SIM) card unique information, a serial number, and the like.
  • MDN mobile directory number
  • SIM subscriber identity module
  • the controller 2614 may check the GPS information of the object identification device 2610 through a GPS receiver (not shown) included in the object identification device 2610. In addition, the controller 2614 may check social network service information of the user of the object identification device 2610. In addition, the controller 2614 may receive weather information transmitted from a meteorological office server (not shown), a service providing apparatus 2620, or the like through the communication unit 2611.
  • the controller 2614 receives the result information transmitted from the service providing apparatus 2620 through the communication unit 2611 in response to the transmitted main object information and sub information.
  • the result information is price comparison result information for the product corresponding to the main object information, main URL information of the product, sales mall information, SNS comment information, pre-associated strategic sales URL (Uniform Resource Locator) information, pre-registered (Or set) promotional URL information, price comparison result information about one or more items corresponding to the sub information, main URL information of the shoe, sales mall information, SNS comment information, pre-associated strategic sales URL information, pre-registered (Or set) promotional URL information and the like.
  • controller 2614 displays the received result information through the display unit 2613.
  • the controller 2614 purchases a specific product corresponding to the selected specific object through interworking with the service providing apparatus 2620.
  • the procedure or payment function
  • the purchase performance result is displayed on the display unit 2613.
  • the service providing apparatus 2620 includes a first communication unit 2621, a first storage unit 2622, a first display unit 2623, and a first control unit 2624. Not all components of the service providing apparatus 2620 shown in FIG. 28 are essential components, and the service providing apparatus 2620 may be implemented by more components than those shown in FIG. The service providing apparatus 2620 may also be implemented by a component.
  • the first communication unit 2621 communicates with an internal component or at least one external terminal through a wired / wireless communication network.
  • the external terminal may include the object identification device 2610.
  • the first communication unit 2621 receives main object information, sub information, and the like transmitted from the object identification device 2610 under the control of the first control unit 2624.
  • the first storage unit 2622 stores a user interface (UI), a graphic user interface (GUI), and the like.
  • UI user interface
  • GUI graphic user interface
  • the first storage unit 2622 stores data and programs necessary for the service providing apparatus 2620 to operate.
  • the first storage unit 2622 stores big data including information on a plurality of products.
  • the first display unit 2623 may display content such as a menu screen using a user interface or a graphic user interface stored in the first storage unit 2622 under the control of the first controller 2624.
  • the content displayed on the first display unit 2623 includes a menu screen including text or image data (including various information data) and data such as an icon, a list menu, a combo box, and the like.
  • the first display unit 2623 may be a touch screen.
  • the first controller 2624 executes an overall control function of the service providing apparatus 2620.
  • the first control unit 2624 uses the first communication unit 2621 to identify the contents or the image of the web page including one or more pieces of information (for example, product information about one or more products). Provide (or send) to.
  • the first controller 2624 controls to receive the main object information and the sub information transmitted from the object identification device 2610 through the first communication unit 2621.
  • the first controller 2624 verifies a result corresponding to the main object information and the sub information based on the received main object information and the sub information.
  • the first controller 2624 verifies a result corresponding to the received main object information and the sub information among the plurality of big data stored in advance (or registered) in the first storage unit 2622.
  • the first control unit 2624 transmits the confirmed result (or result information) to the object identification device 2610 via the first communication unit 2621.
  • the corresponding result information includes price comparison result information for products corresponding to the main object information and sub information, main URL information of the corresponding product, shopping mall information, SNS comment information, pre-associated strategic sales URL information, and pre-registered information. (Or set) promotional URL information and the like.
  • the first control unit 2624 performs a purchase procedure (or payment function) by interworking with the object identification device 2610 with respect to a specific product selected from the transmitted result information, and outputs the purchase performance result to the first communication unit 2621. Through the object identification device 2610 is provided.
  • the intended page configuration of the supplier may be applied to the result information corresponding to the sub information in addition to the main object information.
  • 29 is A flowchart illustrating an object identification method according to the first embodiment of the present invention.
  • control unit 200 applies a circular or donut (or ring) feature pattern divided into a plurality of zones to a partial region of the original image.
  • the feature pattern has a preset size.
  • the controller 200 applies a circular feature pattern 3020 divided into a plurality of zones to a partial region 3010 of the original image (S2910).
  • the controller 200 selects an area corresponding to a preset criterion (or a suitable) from among areas corresponding to a unit item included in the feature map, based on a preset feature map corresponding to the feature pattern. In this case, the controller 200 repeatedly selects a region corresponding to a preset criterion for a plurality of (or one or more) unit items included in the feature map.
  • the preset criterion may be to determine whether it is the brightest area or the darkest area among the areas included in the unit item.
  • the controller 200 is included in the feature map 500 based on the preset feature map 500 corresponding to the circular feature pattern 210 shown in FIG. 2.
  • a zone corresponding to a preset criterion is selected from the zones 511, 512, and 513 corresponding to the unit item 510.
  • the feature map 500 includes a region of (0, 2, 5) in which the first unit item is a circular feature pattern, and the second unit item is a circular feature pattern ( 1, 4, 7), and the third unit item includes the region of circular feature patterns (2, 3, 6), and the fourth unit item is the circular feature pattern (4, 6,
  • a fifth unit item comprises a total of five unit items including the area of (0, 3, 5) among circular feature patterns.
  • the controller 200 selects a region corresponding to the brightest region among the corresponding zones, which are preset criteria, among the zones included in each of the five unit items. That is, as shown in FIG.
  • the control unit 200 selects the second zone 611 having the brightest region 5 among the zones of (0, 2, 5) included in the first unit item (eg, For example, in FIG. 6, the 0th zone 612 having the brightest area 1 among the zones of (1, 4, 7) included in the second unit item is selected and included in the third unit item.
  • the first zone 614 is selected, and the second zone 615 having 5, which is the brightest region, is selected among the zones of (0, 3, 5) included in the fifth unit item (S2920).
  • the controller 200 calculates (or sets) location information of a region selected from among a plurality of (or one or more) unit items as image feature information of a region in which a feature pattern is located in the corresponding image.
  • the controller 200 may calculate the zone information of the feature pattern corresponding to each zone selected from the unit items as the image feature information of the region where the feature pattern is located in the corresponding image.
  • control unit 200 may be located at a location selected from five unit items, for example, a second zone, a zero zone, a first zone, a first zone, and a second zone.
  • Information '20112' (620) is calculated as image feature information of a partial region where a circular feature pattern is located in the corresponding image (S2930).
  • the controller 200 applies the circular or donut-shaped feature pattern to all the remaining areas of the original image while sliding, so that the image feature information (or the image feature for each of the plurality of areas) is applied to each of the plurality of areas of the original image. Information) is calculated (or extracted / set).
  • controller 200 stores the plurality of area-specific image feature information of the calculated original image in the storage 100 (S2940).
  • the controller 200 learns based on the plurality of area-specific image feature information on the calculated original image.
  • control unit 200 stores the learning result in the storage unit 100 (S2950).
  • FIG. 31 is A flowchart illustrating an object identification method according to a second embodiment of the present invention.
  • control unit 200 is divided into a plurality of zones (or images) or images (or images) pre-stored in the storage unit 100 or images received through a communication unit (not shown) or an input unit (not shown). Ring-shaped) feature pattern is applied to calculate image feature information for each of a plurality of regions.
  • controller 200 stores the plurality of area-specific image feature information of the calculated image in the storage 100 (S3110).
  • the controller 200 may calculate the similarity between the calculated plurality of area image feature information and each of the plurality of area image feature information for a plurality of images previously stored (or learned / registered) in the storage 100. Check (or compare) each.
  • control unit 200 confirms the similarity between the calculated plurality of area image feature information and the plurality of area image feature information for each of ⁇ images previously learned in the storage unit 100 (S3120). ).
  • the controller 200 determines whether the similarity between the calculated calculated plurality of area image feature information and each of the plurality of area image feature information for the plurality of images previously stored in the storage 100 is greater than or equal to a preset reference value. Determine (or confirm)
  • the controller 200 determines whether the plurality of identified similarities are equal to or greater than a preset reference value.
  • control unit 200 determines whether or not the confirmed degree of similarity is equal to or greater than a preset reference value (S3130).
  • the controller 200 classifies (or determines / confirms) that the object of interest exists in the image, and identifies (or recognizes) the object in the image. Then, the identified object is stored in the storage unit 100.
  • the controller 200 pre-learned a plurality of area image feature information learned in the storage unit 100 corresponding to the similarity that is greater than or equal to the reference value.
  • the object is identified in the input image on the basis of, and the identified object is stored in the storage unit 100 (S3140).
  • the controller 200 classifies that the object as the target does not exist in the corresponding image.
  • the controller 200 classifies that the object does not exist in the corresponding image (S3150).
  • FIG. 32 is A flowchart illustrating an object identification method according to a third embodiment of the present invention.
  • the controller 200 applies a rectangular feature pattern divided into a plurality of zones to a portion of the original image.
  • the feature pattern has a preset size.
  • the region is formed of one pixel or a plurality of pixels.
  • the controller 200 applies a rectangular feature pattern 3320 divided into a plurality of zones to a partial area 3310 of the original image (S3210).
  • the controller 200 selects (or confirms) one or more white pattern zones and one or more black pattern zones included in a unit item constituting the feature map based on a preset feature map corresponding to the feature pattern. . In this case, the controller 200 repeatedly selects one or more white pattern zones and one or more black pattern zones included for each unit item for a plurality of (or one or more) unit items included in the corresponding feature map.
  • the controller 200 is included in the feature map 800 based on the preset feature map 800 corresponding to the rectangular feature pattern 710 shown in FIG. 7.
  • One or more white pattern regions 802 and one or more black pattern regions 803 respectively corresponding to the first unit item 810, the second unit item 820, and the third unit item 830 are selected.
  • the controller 200 may include one or more white patterns included in the first unit item (or the unit item having the first unit item / feature index of 0) 810 in the feature map 800. Select a zone (for example 0, 6, 7, 8, 9 zones) and one or more black pattern zones (for example 15, 16, 17 zones), and select a second unit item (or second unit item / feature index) Selects one or more white pattern zones (e.g., 6, 19, 20, 24 zones) and one black pattern zone (e.g.
  • One white pattern zone for example, 19 zones
  • one or more black pattern zones for example, 5, 6, 7, or 7) that are included in the entry (or unit entry with a third unit entry / feature index of 2) 830 8, 24 zones) are selected (S3220).
  • the controller 200 obtains information on one or more white pattern zones and one or more black pattern zones (or an average value of luminance values of the corresponding zones) for each unit item selected from among a plurality of (or one or more) unit items, respectively. It calculates with the characteristic information of the area where this is located.
  • the controller 200 calculates an average value of luminance values of one or more white pattern zones for each unit item, and calculates an average value of luminance values of one or more black pattern zones for each unit item. Thereafter, the controller 200 calculates (or sets) the average value of the calculated luminance values of the white pattern region and the black pattern region as feature information of the region where the corresponding feature pattern is located. In this case, the controller 200 may calculate the difference between the calculated average value of the luminance values of the white pattern region and the calculated average value of the luminance values of the black pattern region as the feature information of the region where the corresponding feature pattern is located.
  • the controller 200 may include one or more white pattern regions (eg, 0, 6, 7, 8, and 9 regions) and one or more black pattern regions included in the first unit item 810 illustrated in FIG. 8. For example, the first white pattern zone average value and the first black pattern zone average value for 15, 16, and 17 zones) are calculated. In addition, the controller 200 may include one or more white pattern zones (eg, 6, 19, 20, and 24 zones) and one black pattern zone (eg, included in the second unit item 820 illustrated in FIG. 8). The second white pattern zone average value and the second black pattern zone average value for the zero zone) are calculated.
  • white pattern regions eg, 0, 6, 7, 8, and 9 regions
  • the controller 200 may include one or more white pattern zones (eg, 6, 19, 20, and 24 zones) and one black pattern zone (eg, included in the second unit item 820 illustrated in FIG. 8).
  • the second white pattern zone average value and the second black pattern zone average value for the zero zone are calculated.
  • the controller 200 may include one white pattern zone (eg, 19 zones) and one or more black pattern zones (eg, 5, 6, 7, and 7) included in the third unit item 830 illustrated in FIG. 8.
  • the third white pattern zone average value and the third black pattern zone average value for 8 zones and 24 zones) are calculated.
  • the controller 200 may determine the first white pattern area average value and the first black pattern area average value calculated for the first unit item 810, the second white pattern area average value calculated for the second unit item 820, and
  • the second black pattern region average value, the third white pattern region average value calculated for the third unit item 830, and the third black pattern region average value are calculated as image characteristic information of a partial region in which a rectangular feature pattern is located in the corresponding image. .
  • the controller 200 may determine the difference between the calculated first white pattern zone average value and the first black pattern zone average value, the difference between the calculated second white pattern zone average value and the second black pattern zone average value, and calculate the calculated third white pattern zone.
  • the difference between the average value and the average value of the third black pattern region may be calculated as image feature information of a partial region in which the rectangular feature pattern is located in the corresponding image (S3230).
  • control unit 200 slides and applies a rectangular feature pattern divided into a plurality of zones to all the remaining areas of the original image, so that the image feature information (or each of a plurality of areas) is applied to each of the plurality of areas of the original image.
  • Image feature information is calculated (or extracted / set).
  • controller 200 stores the plurality of area-specific image feature information of the calculated original image in the storage 100 (S3240).
  • the controller 200 learns based on the plurality of area-specific image feature information on the calculated original image.
  • control unit 200 stores the learning result in the storage unit 100 (S3250).
  • FIG. 34 is A flowchart illustrating an object identification method according to a fourth embodiment of the present invention.
  • the control unit 200 applies a rectangular feature pattern divided into a plurality of zones to an image (or image) stored in the storage unit 100 or an image received through a communication unit (not shown) or an input unit (not shown).
  • the image characteristic information for each of a plurality of areas is calculated.
  • the image characteristic information may be an average value of luminance values of one or more white pattern zones and a luminance value of one or more black pattern zones per unit item constituting a preset feature map corresponding to a rectangular feature pattern divided into a plurality of zones. Can be.
  • the image characteristic information may also be a difference between an average value of luminance values of one or more white pattern zones per unit item and an average value of luminance values of one or more black pattern zones.
  • controller 200 stores the plurality of area-specific image feature information of the calculated image in the storage 100 (S3410).
  • the controller 200 may calculate the similarity between the calculated plurality of area image feature information and each of the plurality of area image feature information for a plurality of images previously stored (or learned / registered) in the storage 100. Check (or compare) each.
  • control unit 200 confirms the similarity between the calculated plurality of area image feature information and the plurality of area image feature information for each of ⁇ images previously learned in the storage unit 100 (S3420). ).
  • the controller 200 determines whether the similarity between the calculated calculated plurality of area image feature information and each of the plurality of area image feature information for the plurality of images previously stored in the storage 100 is greater than or equal to a preset reference value. Determine (or confirm)
  • the controller 200 determines whether the plurality of identified similarities are equal to or greater than a preset reference value.
  • control unit 200 determines whether or not the confirmed degree of similarity is equal to or greater than a preset reference value (S3430).
  • the controller 200 classifies (or determines / confirms) that the object of interest exists in the image, and identifies (or recognizes) the object in the image. Then, the identified object is stored in the storage unit 100.
  • the controller 200 pre-learned a plurality of area image feature information learned in the storage unit 100 corresponding to the similarity that is greater than or equal to the reference value.
  • the object is identified in the input image on the basis of, and the identified object is stored in the storage unit 100 (S3440).
  • the controller 200 classifies that the object as the target does not exist in the corresponding image.
  • the controller 200 classifies that the object does not exist in the corresponding image (S3450).
  • the object recognition service providing apparatus 920 receives a query image for an object from the user device 910 in operation S3505. Information is extracted (S3510), and the plurality of representative images photographed at a plurality of representative angles of the object and the representative feature information of each representative image are matched with the object related information to store the first DB 924 and the object feature information. In comparison with each other (S3515), the object related information matched with the representative feature information that matches the object feature information with a predetermined reference value or more may be provided (S3520, S3525, and S3530).
  • the object recognition service providing apparatus 920 may interpolate one or more interpolations mapped on the virtual space based on the representative image.
  • the interpolation feature information of the image and each interpolation image may be matched with the object related information to compare the stored second DB 925 with the object feature information (S3535).
  • the object recognition service providing apparatus 920 may provide object related information matched with the interpolation feature information that matches the object feature information with a preset reference value or more (S3530, S3540, and S3545).
  • the object recognition service providing apparatus 920 has a similarity with the object characteristic information of the query image when the first and second DBs 924 and 925 do not have the characteristic information that matches the object characteristic information more than a preset reference value (S3540).
  • the difference between the position information on the virtual space may be calculated to generate the movement information according to the difference, and then transmitted to the user device 910 (S3555).
  • the eye tracking mode is executed (S3610), and the position information of the image according to the gaze angle information is accumulated (S3620). Accordingly, the eye tracker 1810 may extract the eye region from the recognized face and collect information on the eye angle of the pupil at the corresponding eye region.
  • the pupil is a round part which is the central part of the eye and is surrounded by the iris.
  • the pupils are darker than other parts of the eye, and are usually black for Asians.
  • the gaze of the user may be closely related to the pupil.
  • the point that the user watches with interest means that it can substantially coincide with the direction toward the center point of the pupil.
  • the center point of the pupil, in the acquired eye image, can be extracted based on the centrally located and relatively dark shape and / or color features.
  • the center point of the round image of the pupil may be determined as the center point of the pupil.
  • the movement of the face may be detected through a face image of the user captured by the camera 1830. That is, the direction of the face may be extracted based on characteristic elements such as the forehead, eyes, nose, mouth, and ears from the face image.
  • the gaze direction may be calculated based on the movement of the face and the calculated center point of the pupil. For example, it may be determined at which point of the display 1820 the user is currently staring. In this way, the gaze direction and position of the user gazing at the content displayed on the display 1820 may be calculated.
  • the content may include text, pictures, videos (movies, music, and web pages.
  • the eye tracking mode may be selected after the content is displayed on the screen.
  • the location information of the image according to the gaze angle information of the user may be accumulated based on the gaze position information collected at a predetermined period.
  • the index points 1920 are generated on the display 1820 in response to the line of sight of the user at regular intervals, and the plurality of index points 1920 are accumulated on the display 1820.
  • the criterion for setting the ROI may be a density of the plurality of indicator points 1920 of the display. That is, an area having a density greater than or equal to a predetermined range may be set as the ROI. Alternatively, the top few may be set as regions of interest in order of high density region.
  • object identification information of the ROI is checked (S3640). This may be confirmed by a search through the search unit 2130 for the ROI. That is, the object is identified and searched using the ROI selected as the object candidate region based on the eye gaze region by eye tracking. This identifies that the object is a carrier.
  • the object identification information of the region of interest may be stored in the region of interest database 2140 by storing the region of interest, the extracted features of the region of interest, and information about the identified object, and if the webpage information corresponding to the content exists.
  • the webpage information may also be linked.
  • the obtaining result may include an image having high similarity to the object identified in the previous step and corresponding web page information.
  • the object can be quickly and accurately compared to object detection for an entire image or image. Can be detected.
  • the present invention may detect the object for the region of interest and store information about the object in the region of interest database, and if there is webpage information corresponding to the object, the corresponding webpage information may also be stored and provided together.
  • FIG. 37 is a view illustrating a learning method for an extended learning area according to the seventh embodiment of the present invention.
  • an object in the bounding box 2330 is identified (S3710). Identification of the object may be performed by the object identification unit 2520.
  • An area of the bounding box 2330 may be set to surround the object.
  • the bounding box 2330 may be formed in a square to surround the object, but is not limited to the shape.
  • the learning area 2340 is formed by extending the area of the bounding box 2330 according to the identified object (S3720).
  • the expansion ratio and direction may be different according to the type of object, and the expansion ratio and direction according to the type of object may be set to a value stored in the database 2530.
  • the bounding box 2330 may not be extended depending on the object.
  • the feature of the object in the extended learning area 2340 is extracted to learn the feature of the object (S3730).
  • the object may include a shape, a color, a size, a ratio, and the like.
  • an object in the learning area 2340 in which the bounding box 2330 is extended in FIG. 24 may be used in addition to a wrist watch. 2310) may include features relating to the back of the wrist and hand of the user.
  • 38 is Signal flow diagram illustrating a communication process of a product information providing system according to an eighth embodiment of the present invention.
  • the object identification device 2610 may select the selected (or tagged) specific product. Identifies (or recognizes / identifies) the object corresponding to. In this case, the object identifying apparatus 2610 identifies together one or more other objects (or one or more other objects adjacent to the corresponding object) in the web page or the image including the selected object.
  • the image (or video / image) may be an image (or video / image) stored in the storage unit 2612 or an image (or video / image) received through the communication unit 2611 or an input unit (not shown). have.
  • the object identification device 2610 may identify the tagged object. To identify. Alternatively, when an object corresponding to a specific product included in a web page displayed on the object identification device 2610 is selected or an object corresponding to the specific product in the image is selected, the object identification device 2610 may advance to the selected object.
  • the set (or stored) feature pattern is applied to calculate (or extract / check) feature information on the object, and identify (or recognize) the object based on the calculated feature information on the object.
  • the object identification device 2610 when an object corresponding to a specific product included in the web page is tagged or selected, the object identification device 2610 includes not only the tagged object but also other objects corresponding to one or more other products included in the web page. Tag or select, and identify one or more other tagged objects, respectively.
  • the object identification apparatus 2610 may tag or select not only the tagged object but also other objects corresponding to one or more other products included in the image. Each of which identifies one or more other tagged objects.
  • the object identification device 2610 may combine the tagged (or selected) shoe with a necklace, a bag, clothing, a watch, an accessory, and the like located around the shoe.
  • the tagging recognizes the tagged shoes and necklaces, bags, clothing, watches, and accessories located around the shoes (S3810).
  • the object identifying apparatus 2610 transmits information about the identified object (or main object information) and information about one or more other objects (or sub information) to the service providing apparatus 2620.
  • the main object information may include identification information of the object identification device 2610, information about a corresponding web page or image, user information (eg, ID, etc.) of the object identification device 2610, and selected (or tagged) products. Information, date information, and the like.
  • the sub information may include product information (eg, content type, attribute information, etc.) corresponding to the selected (or tagged) one or more other objects, GPS information of the object identification device 2610, user comment information, and social network service. (SNS) information, weather information and the like.
  • the identification information of the object identification device 2610 includes MDN, mobile IP, mobile MAC, Sim (subscriber identification module) card unique information, serial number and the like.
  • the object identification device 2610 may include information about tagged shoes (or selected shoes) (or main object information) and information about necklaces, bags, clothing, watches, and accessories located around the shoes (or sub information).
  • the controller 110 transmits the service information to the service providing apparatus 2620, and the main object information on the identified shoes and sub information on necklaces, bags, clothes, watches, and accessories located around the shoes.
  • the service providing apparatus 2620 receives main object information and sub information transmitted from the object identification apparatus 2610.
  • the service providing apparatus 2620 verifies a result corresponding to the corresponding main object information and the sub information based on the received main object information and the sub information.
  • the service providing device 2620 transmits the result information to the object identification device 2610 in response to the received main object information and sub information.
  • the service providing apparatus 2620 checks the result corresponding to the main object information and the sub information received from the prestored big data, and transmits the confirmed result information to the object identification device 2610.
  • the corresponding result information includes price comparison result information for products corresponding to the main object information and sub information, main URL information of the corresponding product, shopping mall information, SNS comment information, pre-associated strategic sales URL information, and pre-registered information. (Or set) promotional URL information and the like.
  • the service providing apparatus 2620 may include price comparison result information about shoes from pre-stored big data, and main URL information of the shoe.
  • the information, the shopping mall information, the SNS comment information, the pre-affiliated strategic sales URL information, and the pre-registered (or set) promotional URL information, respectively, are checked, and the confirmed result information is transmitted to the object identification device 2610 (S3830). .
  • the object identifying apparatus 2610 receives the result information transmitted from the service providing apparatus 2620 in response to the transmitted main object information and sub information.
  • the object identification device 2610 outputs the received result information.
  • the object identification device 2610 may perform a purchase procedure by interworking with the service providing device 2620 for a specific product selected from the displayed result information.
  • the object identification device 2610 may not only display a shoe that is a tagged (or selected) main object, but also result information about necklaces, bags, clothes, watches, accessories, etc. located around the shoes (eg, For example, price comparison result information for shoes, main URL information of the shoe, sales mall information, SNS comment information, pre-affiliated strategic sales URL information, pre-registered (or set) promotional URL information, necklaces, bags, clothing, Price comparison result information for watches and accessories, main URL information of the shoe, sales mall information, SNS comment information, pre-affiliated strategic sales URL information, and pre-registered (or set) promotional URL information) (3900).
  • result information about necklaces, bags, clothes, watches, accessories, etc. located around the shoes eg, For example, price comparison result information for shoes, main URL information of the shoe, sales mall information, SNS comment information, pre-affiliated strategic sales URL information, and pre-registered (or set) promotional URL information
  • the object identification apparatus and method thereof can be created by a computer program, and codes and code segments constituting the computer program can be easily inferred by a computer programmer in the art.
  • the computer program is stored in a computer readable media, and the object is read and executed by a computer or an object identification device, a user device (or a terminal), or the like according to an embodiment of the present invention.
  • the device and its method can be implemented.
  • the information storage medium includes a magnetic recording medium, an optical recording medium and a carrier wave medium.
  • the object identification apparatus and the computer program implementing the method may be stored and installed in an internal memory of the object identification apparatus, the user apparatus, or the like.
  • an external memory such as a smart card storing and installing an object identification device and a computer program for implementing the method may be mounted on the object identification device, the user device, or the like through an interface.
  • feature information about an image is calculated by applying a feature pattern having regions divided into circles or rings to an image, thereby improving feature extraction performance of an object including a curved surface. Can be improved.
  • the embodiment of the present invention by calculating the feature information for the image through a randomly preset (or arranged) feature map for the feature pattern divided into zones in the shape of a circle or ring, It is possible to improve the identification efficiency of the object including the curved surface and to perform the fast processing since the area where the feature can be extracted at one time is wide.
  • the embodiment of the present invention by applying a feature pattern divided into a plurality of zones to the image to calculate the feature information for the image, the area that can extract the feature at once, a fast processing It is possible to improve the feature extraction performance.
  • the embodiment of the present invention as described above, the brightness average for a portion of the image through a feature map that is preset (or arranged) in a random white pattern and a black pattern for the feature pattern divided into a plurality of zones
  • calculating the feature information for the corresponding image to calculate the brightness of the partial region can be quickly calculated by applying a descriptor of the fast averaging method.
  • the embodiment of the present invention additionally uses the feature information extracted from the interpolated image interpolated based on the representative image as well as the actual photographed representative image, and the query image generated by the user for querying the object.
  • the recognition range of the object corresponding to the query image can be widened, thereby increasing the recognition accuracy of the object and increasing the accuracy and reliability of providing information related to the object.
  • the embodiment of the present invention when the object similar to the object included in the query image received from the user device is not found in the DB of the representative or interpolated image of the object determined to be similar to the query image After providing the movement information to adjust the shooting angle to the user device, re-recognize the re-taken query image from the shooting angle according to the moving information, and more accurate object with respect to the query image at the same shooting angle as the representative or interpolated image. Recognition can be made, thereby greatly improving the accuracy and reliability of object recognition.
  • the embodiment of the present invention by selecting the region of interest through eye tracking, and detecting the object only in the selected region of interest, to detect the object faster and more accurately than the object detection for the entire image or image can do.
  • the embodiment of the present invention detects an object of a region of interest, stores information about the object in a region of interest database, and links webpage information when the webpage information corresponding to the object exists. By storing the information, the information can be conveniently provided.
  • an embodiment of the present invention may be used to detect an object by utilizing contents which have been previously associated with an object but discarded as an error factor, and thus, it may be possible to quickly and accurately learn or provide an object.
  • all data existing around the product information may be recognized, and the diversification of the requested product information may be applied.
  • the embodiment of the present invention by applying the intended page configuration of the supplier to the result information corresponding to the sub information in addition to the main object information through meta-analysis, history management and big data processing, diversity of the result It is possible to provide the intended information, to provide highly accurate results, and to provide the results on the supplier side to provide the creation of a new revenue model.
  • the present invention calculates feature information about an image by applying a feature pattern divided into regions of a circle or a ring to an image when learning a feature point for object identification, and performs learning and object identification based on the calculated feature information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 객체 식별을 위한 특징점 학습 시, 이미지에 대해서 원 또는 링의 형상으로 구역이 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출하고, 산출된 특징 정보를 근거로 학습 및 객체 식별을 수행함으로써 곡면을 포함하는 객체에 대한 특징 추출 성능을 향상시킬 수 있다.

Description

객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
본 발명은 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 이미지에 대해서 원 또는 링의 형상으로 구역이 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출하고, 산출된 특징 정보를 근거로 학습 및 객체 식별을 수행하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.
학습 방식 객체 식별은 이미지(또는 영상)로부터 획득되는 특징(또는 특징점)을 근거로 이루어지며, 각 특징을 다양한 형태의 디스크립터로 표현한다.
이러한 학습 방식 객체 식별은 하 라이크 피처(Harr-like feature) 방식을 이용하며, 해당 하 라이크 피처 방식은 사각형을 기준으로 구성되므로 대부분 곡면으로 이루어진 사람이나 차량 등의 물체(또는 객체)를 검색하기 위해서는 많은 트레이닝을 필요로 한다.
본 발명의 목적은 이미지에 대해서 원 또는 링의 형상으로 구역이 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 다른 목적은 원 또는 링의 형상으로 구역이 나누어진 특징 패턴에 대해서 랜덤하게 미리 설정된(또는 배열된) 특징맵을 통해 이미지에 대한 특징 정보를 산출하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 이미지에 대해서 복수 구역으로 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 복수 구역으로 나누어진 특징 패턴에 대해서 랜덤하게 화이트 패턴과 블랙 패턴으로 미리 설정된(또는 배열된) 특징맵을 통해 이미지의 일부 영역에 대한 밝기 평균을 산출하여 해당 이미지에 대한 특징 정보를 산출하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 다수의 각도에서 촬영된 객체의 특징정보를 저장하고, 사용자가 질의하는 객체에 대한 특징정보와 상호 비교하여 일치하는 특징정보를 기초로 객체를 식별하며, 다수의 각도에서 촬영된 객체의 특징정보를 기초로 특정 각도에서 유추되는 객체의 특징정보를 생성하여 저장하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 사용자가 질의하는 객체에 대한 이미지로부터 추출된 특징정보와 일치하는 미리 저장된 특징정보가 존재하지 않는 경우 사용자 장치의 촬영각도를 조정하도록 유도하여 미리 저장된 특징정보에 대응되는 각도와 일치시켜 매칭을 수행하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 아이 트래킹을 통해 관심 영역을 선택하고, 선택된 관심 영역에 한하여 객체를 검출하므로, 전체 이미지 또는 영상에 대한 객체 검출에 비해 신속하고 정확하게 객체를 검출하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 관심 영역에 대한 객체를 검출하여 객체에 대한 정보를 관심 영역 데이터베이스에 저장하고 객체에 대응되는 웹페이지 정보가 존재하는 경우 해당 웹페이지 정보도 연동하여 저장하고 이를 제공하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 객체를 식별함에 있어서 객체를 식별한 후, 객체 자체의 특징 외에도 객체의 종류에 따라 객체의 특징이 드러나는 영역까지도 학습 범위로 포함시켜 객체 검출 및 쿼리 생성에 사용함으로써 정확하고 신속한 객체의 학습 또는 쿼리 제공을 가능하게 하는, 식별을 위해 확장된 영역에 대한 특징을 수집하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 객체 식별 장치의 사용자가 요청하는 상품 정보 이외에도 해당 상품 정보 주변에 존재하는 모든 데이터를 인식하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 또 다른 목적은 메타 분석, 히스토리 관리 및 빅 데이터 처리를 통해 메인 객체 정보 이외에도 서브 정보에 대응하는 결과 정보에 공급자의 의도된 페이지 구성을 적용하는 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 실시예에 따른 객체 식별 장치는 이미지에 대해 복수의 구역으로 나뉜 원형 또는 도넛형의 특징 패턴을 적용하고, 특징 패턴에 대응하는 미리 설정된 특징맵을 근거로 특징맵의 단위 항목에 포함된 구역들 중에서 미리 설정된 기준에 해당하는 구역을 선택하고, 특징맵에 포함된 복수의 단위 항목별로 각각 선택된 구역의 위치 정보를 이미지에서 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 제어부; 및 산출된 특징 패턴이 위치한 영역의 이미지 특징 정보를 저장하는 저장부를 포함할 수 있다.
본 발명과 관련된 일 예로서 미리 설정된 기준은 단위 항목에 대응한 구역들 중에서 가장 밝은 구역 또는 가장 어두운 구역일 수 있다.
본 발명과 관련된 일 예로서 제어부는 특징맵에 포함된 복수의 단위 항목에 대해서 단위 항목별로 기준에 해당하는 구역을 선택하는 과정을 반복 수행할 수 있다.
본 발명과 관련된 일 예로서 제어부는, 특징 패턴이 위치한 영역의 이미지 특징 정보를 산출할 때, 복수의 단위 항목별로 각각 선택된 구역에 대응하는 특징 패턴의 구역 정보를 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출할 수 있다.
본 발명과 관련된 일 예로서 제어부는 이미지 중 나머지 모든 영역에 대해서 원형 또는 도넛형의 특징 패턴을 슬라이딩하면서 적용하여, 전체 이미지의 복수의 영역에 대해서 복수의 영역별 이미지 특징 정보를 산출하고, 산출된 전체 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 수행할 수 있다.
본 발명의 실시예에 따른 객체 식별 장치는 복수의 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장하는 저장부; 및 이미지에 대해서 원형 또는 도넛형의 특징 패턴을 적용하여 산출된 복수의 영역별 이미지 특징 정보와 저장부에 저장된 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도를 확인하고, 확인된 유사도를 근거로 이미지 내에 목적으로 하는 객체의 존재 여부를 판단하는 제어부를 포함할 수 있다.
본 발명과 관련된 일 예로서 제어부는 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단할 수 있다.
본 발명과 관련된 일 예로서 제어부는, 확인된 유사도가 미리 설정된 기준값 이상일 때, 이미지 내에 목적으로 하는 객체의 존재 여부를 판단하고, 이미지 내에서 객체를 식별할 수 있다.
본 발명과 관련된 일 예로서 제어부는, 확인된 유사도가 미리 설정된 기준값보다 작을 때, 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 판단할 수 있다.
본 발명의 실시예에 따른 객체 식별 방법은 제어부를 통해 이미지에 대해 복수의 구역으로 나뉜 원형 또는 도넛형의 특징 패턴을 적용하는 단계; 제어부를 통해 특징 패턴에 대응하는 미리 설정된 특징맵을 근거로 특징맵의 단위 항목에 포함된 구역들 중에서 미리 설정된 기준에 해당하는 구역을 선택하는 단계; 제어부를 통해 특징맵에 포함된 복수의 단위 항목별로 각각 선택된 구역의 위치 정보를 이미지에서 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 단계; 및 저장부에 산출된 특징 패턴이 위치한 영역의 이미지 특징 정보를 저장하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 제어부를 통해 특징맵에 포함된 복수의 단위 항목에 대해서 단위 항목별로 기준에 해당하는 구역을 선택하는 과정을 반복 수행하는 단계; 제어부를 통해 이미지 중 나머지 모든 영역에 대해서 원형 또는 도넛형의 특징 패턴을 슬라이딩하면서 적용하여, 전체 이미지의 복수의 영역에 대해서 복수의 영역별 이미지 특징 정보를 산출하는 단계; 및 제어부를 통해 산출된 전체 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 수행하는 단계;를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 이미지에서 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 단계는, 특징 패턴이 위치한 영역의 이미지 특징 정보를 산출할 때, 복수의 단위 항목별로 각각 선택된 구역에 대응하는 특징 패턴의 구역 정보를 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출할 수 있다.
본 발명의 실시예에 따른 객체 식별 방법은 제어부를 통해 이미지에 대해서 원형 또는 도넛형의 특징 패턴을 적용하여 복수의 영역별 이미지 특징 정보를 산출하는 단계; 제어부를 통해 산출된 복수의 영역별 이미지 특징 정보와 저장부에 저장된 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도를 확인하는 단계; 및 제어부를 통해 확인된 유사도를 근거로 이미지 내에 목적으로 하는 객체의 존재 여부를 판단하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 객체의 존재 여부를 판단하는 단계는, 제어부를 통해 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하는 과정; 판단 결과, 확인된 유사도가 미리 설정된 기준값 이상일 때, 제어부를 통해 이미지 내에 목적으로 하는 객체의 존재 여부를 판단하고, 이미지 내에서 객체를 식별하는 과정; 및 판단 결과, 확인된 유사도가 미리 설정된 기준값보다 작을 때, 제어부를 통해 영상 내에 목적으로 하는 객체가 존재하지 않는 것으로 판단하는 과정;을 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.
본 발명의 실시예에 따른 객체 식별 장치는 이미지에 대해 복수의 구역으로 나뉜 사각형의 특징 패턴을 적용하고, 특징 패턴에 대응하는 미리 설정된 특징맵을 근거로 특징맵의 단위 항목에 포함된 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역을 각각 선택하고, 특징맵에 포함된 하나 이상의 단위 항목별로 각각 선택된 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역에 대한 정보를 이미지에서 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 제어부; 및 산출된 특징 패턴이 위치한 영역의 이미지 특징 정보를 저장하는 저장부를 포함할 수 있다.
본 발명의 실시예에 따른 객체 식별 장치는 영상으로부터 특징정보를 추출하는 객체 특징 추출부; 객체에 대하여 대표각도에서 촬영된 하나 이상의 대표 이미지와 객체 특징 추출부를 통해 각 대표 이미지에 대하여 추출된 대표 특징정보를 객체 관련 정보에 매칭하여 저장하는 제 1 저장부; 제 1 저장부의 각 대표 이미지를 기준으로 가상 공간 상에 매핑되는 보간 이미지를 생성하고, 보간 이미지로부터 객체 특징 추출부를 통해 보간 특징정보를 생성하는 가상공간 매핑부; 가상공간 매핑부가 생성한 보간 이미지와 보간 특징정보를 객체 관련 정보와 매칭하여 저장하는 제 2 저장부; 및 사용자 장치로부터 객체의 촬영에 따른 쿼리 이미지를 수신하고, 쿼리 이미지로부터 특징을 추출하여 제 1 저장부와 비교한 후 미리 설정된 기준치 이상 일치되는 대표 특징정보에 매칭된 객체 관련 정보를 제공하며, 기준치 이상 일치되는 대표 특징정보가 없는 경우 제 2 저장부와 비교하여 기준치 이상 일치되는 보간 특징정보에 매칭된 객체 관련 정보를 제공하는 비교부를 포함할 수 있다.
본 발명의 실시예에 따른 객체 식별 장치는 컨텐츠가 표시된 디스플레이 상의 시선을 감지하여 시선 대응 영역을 추출하는 시선 대응 영역 추출부; 시선 대응 영역을 기준으로 관심 영역을 선택하는 관심 영역 선택부; 및 관심 영역 내의 객체를 식별하는 검색부를 포함할 수 있다.
본 발명의 실시예에 따른 객체 식별 장치는 입력 이미지에 포함된 객체의 존재를 검출하고 이를 둘러싸도록 바운딩 박스를 설정하는 바운딩 박스 영역 설정부; 바운딩 박스의 내부에 위치하는 객체를 식별하는 객체 식별부; 및 식별된 객체에 근거하여 미리 설정된 비율로 바운딩 박스의 비율을 조정하여 학습 영역을 설정하는 학습 영역 선별부를 포함할 수 있다.
본 발명의 실시예에 따른 객체 식별 장치는 서비스 제공 장치와 통신하는 통신부; 웹 페이지 또는 영상을 표시하는 표시부; 및 표시부에 표시되는 웹 페이지 또는 영상에서 특정 상품에 대응하는 객체가 태깅되거나 선택될 때, 태깅되거나 선택된 특정 상품에 대응하는 객체 및 객체에 인접한 하나 이상의 다른 객체를 각각 식별하고, 식별된 객체에 대응하는 메인 객체 정보 및 식별된 하나 이상의 다른 객체에 대응하는 서브 정보를 통신부를 통해 서비스 제공 장치에 전송하도록 제어하는 제어부를 포함할 수 있다.
본 발명은 이미지에 대해서 원 또는 링의 형상으로 구역이 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출함으로써, 곡면을 포함하는 객체에 대한 특징 추출 성능을 향상시키는 효과가 있다.
또한, 본 발명은 원 또는 링의 형상으로 구역이 나누어진 특징 패턴에 대해서 랜덤하게 미리 설정된(또는 배열된) 특징맵을 통해 이미지에 대한 특징 정보를 산출함으로써, 곡면을 포함하는 객체의 식별 효율을 향상시키고, 한 번에 특징을 추출할 수 있는 영역이 넓어 빠른 처리를 수행하는 효과가 있다.
또한, 본 발명은 이미지에 대해서 복수 구역으로 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출함으로써, 한 번에 특징을 추출할 수 있는 영역이 넓어 빠른 처리를 수행하며, 특징 추출 성능을 향상시키는 효과가 있다.
또한, 본 발명은 복수 구역으로 나누어진 특징 패턴에 대해서 랜덤하게 화이트 패턴과 블랙 패턴으로 미리 설정된(또는 배열된) 특징맵을 통해 이미지의 일부 영역에 대한 밝기 평균을 산출하여 해당 이미지에 대한 특징 정보를 산출함으로써, 고속 평균 방식의 디스크립터 적용을 통해 일부 영역의 밝기를 빠르게 산출하는 효과가 있다.
또한, 본 발명은 실제 촬영된 대표 이미지 뿐만 아니라 대표 이미지를 기준으로 보간된 보간 이미지로부터 추출된 특징정보를 추가적으로 이용하여 사용자가 객체의 질의를 위해 생성한 쿼리이미지로부터 추출된 특징정보와 비교함으로써, 쿼리이미지에 대응되는 객체의 인식 범위를 넓힐 수 있으며 이를 통해 객체 인식 정확도를 크게 높여 객체와 관련된 정보 제공의 정확도 및 신뢰도를 높이는 효과가 있다.
또한, 본 발명은 사용자 장치로부터 수신되는 쿼리이미지에 포함된 객체와 유사한 객체를 DB에서 찾을 수 없는 경우 쿼리 이미지와 유사하다고 판단되는 객체에 대한 대표 또는 보간 이미지의 촬영각도로 조정하기 위한 이동정보를 사용자 장치로 제공한 후 이동정보에 따른 촬영각도에서 재촬영된 쿼리 이미지를 다시 인식하여 대표 또는 보간 이미지의 촬영각도와 동일한 촬영 각도에서 쿼리이미지에 대하여 더욱 정확한 객체 인식이 이루어질 수 있으며, 이를 통해 객체 인식의 정확도 및 신뢰도를 크게 향상시키는 효과가 있다.
또한, 본 발명은 아이 트래킹(eye tracking)을 통해 관심 영역을 선택하고, 선택된 관심 영역에 한하여 객체를 검출함으로써, 전체 이미지 또는 영상에 대한 객체 검출에 비해 신속하고 정확하게 객체를 검출할 수 있는 효과가 있다.
또한, 본 발명은 관심 영역에 대한 객체를 검출하여 객체에 대한 정보를 관심 영역 데이터베이스에 저장하고 객체에 대응되는 웹페이지 정보가 존재하는 경우 해당 웹페이지 정보도 연동하여 저장함으로써, 편리하게 해당 정보를 제공할 수 있는 효과가 있다.
또한, 본 발명은 종래에 객체와 연관되나 에러 팩터로 버려지던 내용을 활용하여 객체 검출에 사용함으로써, 신속하고 정확한 객체의 학습 또는 쿼리 제공이 가능한 효과가 있다.
또한, 본 발명은 객체 식별 장치의 사용자가 요청하는 상품 정보 이외에도 해당 상품 정보 주변에 존재하는 모든 데이터를 인식함으로써, 요청하는 상품 정보의 다각화를 적용하는 효과가 있다.
또한, 본 발명은 메타 분석, 히스토리 관리 및 빅 데이터 처리를 통해 메인 객체 정보 이외에도 서브 정보에 대응하는 결과 정보에 공급자의 의도된 페이지 구성을 적용함으로써, 결과물의 다양성과 의도된 정보의 제공이 가능하며, 정확성이 높은 결과물의 제공이 가능하며, 해당 결과물을 공급자 측면에서 제공하여 새로운 수익 모델의 창출을 제공하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 객체 식별 장치의 구성을 나타낸 블록도이다.
도 2 내지 도 4는 본 발명의 실시예에 따른 특징 패턴의 예를 나타낸 도이다.
도 5는 본 발명의 실시예에 따른 특징맵의 예를 나타낸 도이다.
도 6은 본 발명의 실시예에 따른 특징맵과 특징 정보의 예를 나타낸 도이다.
도 7은 본 발명의 실시예에 따른 특징 패턴의 예를 나타낸 도이다.
도 8은 본 발명의 실시예에 따른 특징맵의 예를 나타낸 도이다.
도 9는 본 발명의 실시예에 따른 객체 인식 서비스 제공 시스템의 구성도이다.
도 10은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 상세 구성도이다.
도 11은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 대표 이미지에 대한 가상공간 매핑 과정을 도시한 예시도이다.
도 12는 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 가상공간 상에 매핑되는 보간 이미지의 생성에 대한 예시도이다.
도 13은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 보간 이미지에 대한 특징정보 추출 과정을 도시한 구성도이다.
도 14는 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 제 1 및 제 2 DB 관리에 대한 구성 예시도이다.
도 15는 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 사용자가 제공한 쿼리이미지로부터 객체 인식을 통한 객체 관련 정보 제공에 대한 구성도이다.
도 16은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 객체 인식 실패시 사용자 장치의 촬영각도 조정을 유도하기 위한 구성 예시도이다.
도 17은 본 발명의 실시예에 따른 객체 인식 서비스 제공을 위한 사용자 장치의 구성도이다.
도 18은 본 발명의 실시예에 따라 시선 대응 영역을 추출하기 위한 아이 트래커를 도시한 도면이다.
도 19는 본 발명의 실시예에 따라 이미지에 대한 사용자의 관찰 영역의 위치 정보를 누적하는 단계를 나타내는 도면이다.
도 20은 본 발명의 실시예에 따라 이미지에 대한 사용자의 관심 영역을 설정하는 단계를 나타내는 도면이다.
도 21은 본 발명의 실시예에 따른 객체 식별 장치를 나타내는 도면이다.
도 22는 본 발명의 실시예에 따른 객체의 식별 및 검색을 나타내는 도면이다.
도 23은 종래 기술에 따른 바운딩 박스의 설정을 나타내는 도면이다.
도 24는 본 발명의 실시예에 따른 학습 영역의 설정을 나타내는 도면이다.
도 25는 본 발명의 실시예에 따른 식별을 위해 확장된 영역에 대한 특징을 수집하는 학습 장치의 구성을 나타내는 도면이다.
도 26은 본 발명의 실시예에 따른 상품 정보 제공 시스템의 구성을 나타낸 블록도이다.
도 27은 본 발명의 실시예에 따른 객체 식별 장치의 구성을 나타낸 블록도이다.
도 28은 본 발명의 실시예에 따른 서비스 제공 장치의 구성을 나타낸 블록도이다.
도 29는 본 발명의 제 1 실시예에 따른 객체 식별 방법을 나타낸 흐름도이다.
도 30은 본 발명의 제 1 실시예에 따른 이미지를 나타낸 도이다.
도 31은 본 발명의 제 2 실시예에 따른 객체 식별 방법을 나타낸 흐름도이다.
도 32는 본 발명의 제 3 실시예에 따른 객체 식별 방법을 나타낸 흐름도이다.
도 33은 본 발명의 제 3 실시예에 따른 이미지를 나타낸 도이다.
도 34는 본 발명의 제 4 실시예에 따른 객체 식별 방법을 나타낸 흐름도이다.
도 35는 본 발명의 제 5 실시예에 따른 객체 인식 서비스 제공 방법에 대한 순서도이다.
도 36은 본 발명의 제 6 실시예에 따른 객체 식별 및 검색 방법을 나타낸 순서도이다.
도 37은 본 발명의 제 7 실시예에 따라 확장된 학습 영역에 대한 학습 방법을 나타내는 도면이다.
도 38은 본 발명의 제 8 실시예에 따른 상품 정보 제공 시스템의 통신 과정을 보인 신호 흐름도이다.
도 39는 본 발명의 제 8 실시예에 따른 객체 식별 장치의 화면을 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 객체 식별 장치(10)의 구성을 나타낸 블록도이다.
도 1에 도시된 바와 같이, 객체 식별 장치(10)는 저장부(100) 및 제어부(200)로 구성된다. 도 1에 도시된 객체 식별 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 객체 식별 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 객체 식별 장치(10)가 구현될 수도 있다.
제어부(200)는 이미지(또는 영상)에 대해 복수의 구역으로 나뉜 원형 또는 도넛형(또는 링형)의 특징 패턴을 적용한다. 이후, 제어부(200)는 특징 패턴에 대응하여 미리 설정된 특징맵에 포함된 단위 항목에 해당하는 구역들 중에서 미리 설정된 기준에 해당하는 구역을 선택한다. 이후, 제어부(200)는 복수의 단위 항목별로 각각 선택되는 복수의 구역의 위치 정보를 이미지에서 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출한다. 또한, 제어부(200)는 이미지 중 나머지 모든 영역에 대해서도 복수의 구역으로 나뉜 원형 또는 도넛형(또는 링형)의 특징 패턴을 슬라이딩하면서 적용하여 전체 원본 이미지의 복수의 영역에 대해서 각각 이미지 특징 정보(또는 복수의 영역별 이미지 특징 정보)를 산출한다. 이후, 제어부(200)는 산출된 원본 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 한다. 또한, 제어부(200)는 미리 학습된 복수의 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 다른 이미지로부터 산출된 복수의 영역별 이미지 특징 정보에 대한 객체 식별 기능을 수행한다.
저장부(100)는 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 저장부(100)는 객체 식별 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
또한, 저장부(100)는 객체 식별 장치(10)에 포함된 입력부(미도시)(또는 카메라(미도시))를 통해 촬영되는 영상(또는 동영상/이미지), 객체 식별 장치(10)에 포함된 통신부(미도시)를 통해 수신되는 영상 등을 저장한다.
또한, 저장부(100)는 복수의 구역으로 나뉜 원형 또는 도넛형(또는 링형)의 특징 패턴, 해당 특징 패턴에 대응하는 미리 설정된 특징맵, 해당 특징맵에 포함되는 복수의(또는 하나 이상의) 단위 항목, 해당 단위 항목에 포함되는 원형 또는 도넛형의 특징 패턴에 포함된 복수의 구역 중에서 선택되는 하나 이상의 구역 정보 등을 저장한다. 여기서, 원형 또는 도넛형의 특징 패턴은 서로 다른 크기의 복수의 원본 이미지에 대해서 각각의 특징 정보를 산출할 수 있도록 설계자의 설계에 따라 다양한 크기로 설정할 수 있다.
또한, 저장부(100)는 복수의 구역으로 나뉜 사각형의 특징 패턴, 해당 특징 패턴에 대응하는 미리 설정된 특징맵, 해당 특징맵에 포함되는 복수의(또는 하나 이상의) 단위 항목, 해당 단위 항목에 포함되는 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역 등을 저장한다. 여기서, 화이트 패턴 구역 또는 블랙 패턴 구역은 하나의 픽셀 또는 복수의 픽셀로 형성한다. 이때, 화이트 패턴 구역 또는 블랙 패턴 구역이 하나의 픽셀로 형성된 경우, 해당 화이트 패턴 구역 또는 블랙 패턴 구역은 해당 픽셀의 휘도값을 저장(또는 관리)한다. 또한, 화이트 패턴 구역 또는 블랙 패턴 구역이 복수의 픽셀로 형성된 경우, 해당 화이트 패턴 구역 또는 블랙 패턴 구역은 복수의 픽셀의 휘도값의 평균을 저장한다.
또한, 저장부(100)는 제어부(200)의 제어에 의해 생성되는 이미지에 대한 복수의 영역별 이미지 특징 정보, 학습 결과, 식별된(또는 인식된) 객체 정보 등을 저장한다.
제어부(200)는 객체 식별 장치(10)의 전반적인 제어 기능을 실행한다.
또한, 제어부(200)는 저장부(100)에 미리 저장된 이미지(또는 영상) 또는 통신부나 입력부를 통해 수신되는 이미지에 대해서 복수의 구역으로 나뉜 원형 또는 도넛형(또는 링형)의 특징 패턴을 적용한다.
즉, 도 2에 도시된 바와 같이, 제어부(200)는 이미지에 대해서 원형의 특징 패턴(210)을 적용한다. 이때, 특징 패턴은 도 2에 도시된 원형뿐만 아니라, 도 3에 도시된 도넛형(310), 도 4에 도시된 이중 도넛형(410) 등과 같이, 설계자의 설계에 따라 곡선이 포함된 도형으로 다양하게 설계 변경하여 설정할 수도 있다.
또한, 제어부(200)는 해당 특징 패턴에 대응하는 특징맵을 설정한다. 여기서, 해당 특징맵은 이미지에 대한 특징 정보를 추출하기 위해서 다른 객체 식별 장치들 간에 상호 공유될 수 있다. 또한, 객체 식별 장치(10)에서 사용되는 특징맵은 다른 객체 식별 장치로부터 제공받은(공유된) 특징맵일 수도 있다.
또한, 도 5에 도시된 바와 같이, 해당 특징맵(500)은 복수의(또는 하나 이상의) 단위 항목(510)을 포함한다. 여기서, 각각의 단위 항목(510)은 복수의 구역(511, 512, 513)으로 나뉘며, 각 구역(511, 512, 513)에는 원형 또는 도넛형의 특징 패턴에 포함된 복수의 구역 중에서 선택되는 구역 정보가 할당(또는 설정)(521, 522, 523)된다. 이때, 특징맵에 포함되는 단위 항목의 수와 해당 단위 항목에 포함되는 구역의 수는 설계자의 설계에 따라 다양하게 설정할 수 있다.
또한, 제어부(200)는 해당 특징 패턴에 대응하는 미리 설정된 특징맵을 근거로 특징맵에 포함된 단위 항목에 해당하는 구역들 중에서 미리 설정된 기준에 해당하는(또는 적합한/만족하는) 구역을 선택한다. 여기서, 미리 설정된 기준은 단위 항목에 포함된 구역들 중에서 가장 밝은 영역 또는 가장 어두운 영역인지 여부를 확인하는 정보를 포함한다. 이때, 단위 항목이 복수인 경우, 제어부(200)는 복수의 단위 항목에 대해서 각각 미리 설정된 기준에 해당하는 구역을 선택하는 과정을 반복 수행한다.
즉, 도 6에 도시된 바와 같이, 제어부(200)는 5개의 단위 항목 중에서 미리 설정된 기준인 가장 밝은 영역(또는 가장 어두운 영역)에 해당되는 구역(611, 612, 613, 614, 615)을 선택한다.
또한, 제어부(200)는 복수의(또는 하나 이상의) 단위 항목 중에서 각각 선택된 구역의 위치 정보를 해당 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출(또는 설정)한다.
즉, 도 6에 도시된 바와 같이, 제어부(200)는 5개의 단위 항목 중에서 각각 선택된 구역(예를 들어 각 단위 항목별로 빗금 친 구역/영역)의 위치 정보(620)를 해당 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출한다.
또한, 본 발명의 실시예에서는, 해당 특징 패턴이 위치한 영역의 이미지 특징 정보가 단위 항목 중에서 각각 선택된 구역이 위치하는 위치 정보들의 조합인 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 해당 특징 패턴이 위치한 영역의 이미지 특징 정보는 단위 항목 중에서 각각 선택된 구역에 대응하는 특징 패턴의 구역 정보들의 조합일 수도 있다.
즉, 도 6에 도시된 첫 번째 단위 항목에 포함된 (0, 2, 5)의 구역 중에서 가장 밝은 영역(또는 가장 어두운 영역)에 해당하는 특징 패턴의 5 구역을 선택하고, 두 번째 단위 항목에 포함된 (1, 4, 7)의 구역 중에서 가장 밝은 영역에 해당하는 특징 패턴의 1 구역을 선택하고, 세 번째 단위 항목에 포함된 (2, 3, 6)의 구역 중에서 가장 밝은 영역에 해당하는 특징 패턴의 3 구역을 선택하고, 네 번째 단위 항목에 포함된 (4, 6, 7)의 구역 중에서 가장 밝은 영역에 해당하는 특징 패턴의 6 구역을 선택하고, 다섯 번째 단위 항목에 포함된 (0, 3, 5)의 구역 중에서 가장 밝은 영역에 해당하는 특징 패턴의 5 구역이 선택된 상태에서, 제어부(200)는 5개의 단위 항목 중에서 각각 선택된 특징 패턴의 구역 정보(예를 들어 5 구역, 1 구역, 3 구역, 6 구역, 5 구역)인 '51365'를 해당 원형의 특징 패턴이 위치한 일부 영역의 이미지 특징 정보로 산출할 수도 있다.
또한, 제어부(200)는 이미지 중 나머지 모든 영역에 대해서도 해당 원형 또는 도넛형의 특징 패턴을 슬라이딩하면서 적용하여, 전체 원본 이미지의 복수의 영역에 대해서 각각 이미지 특징 정보(또는 복수의 영역별 이미지 특징 정보)를 산출(또는 추출/설정)한다.
또한, 제어부(200)는 산출된 원본 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장부(100)에 저장한다.
또한, 제어부(200)는 산출된 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 한다. 이때, 해당 이미지의 경우, 제어부(200)는 미리 설정된 복수의 서로 다른 크기로 정규화한 후, 정규화된 복수의 이미지 각각에 대해서 복수의 영역별 이미지 특정 정보를 산출할 수도 있다.
또한, 제어부(200)는 산출된 복수의 이미지 각각에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 수행할 수도 있다.
또한, 제어부(200)는 학습 결과를 저장부(100)에 저장한다.
또한, 제어부(200)는 저장부(100)에 미리 저장된 다른 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 다른 이미지에 대해서 복수의 구역으로 나뉜 원형 또는 도넛형의 특징 패턴을 적용하여 복수의 영역별 이미지 특징 정보를 산출한다. 또한, 제어부(200)는 산출된 영상에 대한 복수의 영역별 이미지 특징 정보를 저장부(100)에 저장한다.
또한, 제어부(200)는 저장부(100)에 미리 저장된(또는 학습된/등록된) 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보와, 다른 이미지에 대해 산출된 복수의 영역별 이미지 특징 정보 간의 유사도를 각각 확인(또는 비교)한다.
또한, 제어부(200)는 확인된 산출된 복수의 영역별 이미지 특징 정보와 저장부(100)에 미리 저장된 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다.
즉, 제어부(200)는 확인된 복수의 유사도가 미리 설정된 기준값 이상인지 여부를 각각 판단한다.
판단 결과, 확인된 복수의 유사도 중에서 미리 설정된 기준값 이상인 유사도가 존재하는 경우, 해당 유사도에 대응하는 해당 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(100)에 저장한다.
또한, 판단 결과, 확인된 복수의 유사도 중에서 미리 설정된 기준값 이상인 유사도가 존재하지 않는 경우, 즉 확인된 복수의 유사도 모두 미리 설정된 기준값보다 작은 경우, 제어부(200)는 해당 이미지 내에 객체가 존재하지 않는 것으로 분류한다.
이와 같이, 이미지에 대해서 원 또는 링의 형상으로 구역이 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출할 수 있다.
또한, 이와 같이, 원 또는 링의 형상으로 구역이 나누어진 특징 패턴에 대해서 랜덤하게 미리 설정된(또는 배열된) 특징맵을 통해 이미지에 대한 특징 정보를 산출할 수 있다.
또한, 제어부(200)는 저장부(100)에 미리 저장된 이미지(또는 영상) 또는 통신부나 입력부를 통해 수신되는 이미지에 대해서 복수의 구역으로 나뉜 사각형의 특징 패턴을 적용한다. 여기서, 특징 패턴은 미리 설정된 크기를 갖는다.
즉, 도 7에 도시된 바와 같이, 제어부(200)는 이미지에 대해서 복수의 구역으로 나뉜 사각형의 특징 패턴(710)을 적용한다.
본 발명의 실시예에서는 5×5 매트릭스 형태의 사각형의 특징 패턴에 대해서 설명하고 있으나, 이에 한정되는 것은 아니며, 설계자의 설계에 따라 다양한 크기의 사각형의 특징 패턴으로 다양하게 설계 변경하여 설정할 수도 있다. 또한, 해당 특징 패턴 내의 번호(또는 구역 번호)는 설계자의 설계에 따라 서로 다른 위치로 재설정할 수도 있다.
또한, 제어부(200)는 해당 특징 패턴에 대응하는 특징맵을 설정한다. 여기서, 해당 특징맵은 이미지에 대한 특징 정보를 추출하기 위해서 다른 객체 식별 장치들 간에 상호 공유될 수 있다. 또한, 객체 식별 장치(10)에서 사용되는 특징맵은 다른 객체 식별 장치로부터 제공받은(공유된) 특징맵일 수도 있다.
또한, 도 8에 도시된 바와 같이, 해당 특징맵(800)은 복수의(또는 하나 이상의) 단위 항목(810, 820, 830 등 포함)을 포함한다. 여기서, 각각의 단위 항목(810, 820, 830)은 해당 특징맵(800)에 포함된 복수의 구역 중 하나 이상의 구역에 대한 정보를 포함하는 화이트 패턴 구역(802) 및 블랙 패턴 구역(803)을 포함한다. 이때, 특징맵에 포함되는 단위 항목의 수(또는 특징 인덱스(801)의 수)와 해당 단위 항목에 포함되는 화이트 패턴 구역 및 블랙 패턴 구역에 포함되는 구역의 수는 설계자의 설계에 따라 다양하게 설정할 수 있다.
즉, 도 8에 도시된 바와 같이, 제어부(200)는 3개의 단위 항목(810, 820, 830)에 대해서, 제 1 단위 항목(또는 첫 번째 단위 항목/특징 인덱스가 0인 단위 항목)(510)에 포함되는 하나 이상의 화이트 패턴 구역(예를 들어 0, 6, 7, 8, 9 구역) 및 하나 이상의 블랙 패턴 구역(예를 들어 15, 16, 17 구역)을 선택하고, 제 2 단위 항목(또는 두 번째 단위 항목/특징 인덱스가 1인 단위 항목)(520)에 포함되는 하나 이상의 화이트 패턴 구역(예를 들어 6, 19, 20, 24 구역) 및 하나의 블랙 패턴 구역(예를 들어 0 구역)을 선택하고, 제 3 단위 항목(또는 세 번째 단위 항목/특징 인덱스가 2인 단위 항목)(530)에 포함되는 하나의 화이트 패턴 구역(예를 들어 19 구역) 및 하나 이상의 블랙 패턴 구역(예를 들어 5, 6, 7, 8, 24 구역)을 각각 선택한다.
또한, 제어부(200)는 복수의(또는 하나 이상의) 단위 항목 중에서 각각 선택된 단위 항목별 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역에 대한 정보(또는 해당 구역의 휘도값의 평균값)를 해당 특징 패턴이 위치한 영역의 특징 정보로 산출(또는 설정)한다.
즉, 제어부(200)는 단위 항목별로 하나 이상의 화이트 패턴 구역의 휘도값의 평균값을 산출하고, 단위 항목별로 하나 이상의 블랙 패턴 구역의 휘도값의 평균값을 산출한다. 이후, 제어부(200)는 산출된 화이트 패턴 구역 및 블랙 패턴 구역의 각각의 휘도값의 평균값을 해당 특징 패턴이 위치한 영역의 특징 정보로 산출(또는 설정)한다.
예를 들어, 제어부(200)는 도 8에 도시된 제 1 단위 항목(510)을 구성하는 화이트 패턴 구역에 포함된 0, 6, 7, 8, 9 구역의 휘도값의 평균을 산출하고, 제 1 단위 항목(510)을 구성하는 블랙 패턴 구역에 포함된 15, 16, 17 구역의 휘도값의 평균을 산출하고, 산출된 화이트 패턴 구역 및 블랙 패턴 구역의 평균값을 특징 정보로 산출할 수 있다.
또한, 제어부(200)는 이미지 중 나머지 모든 영역에 대해서도 해당 복수의 구역으로 나뉜 사각형의 특징 패턴을 슬라이딩하면서 적용하여, 전체 원본 이미지의 복수의 영역에 대해서 각각 이미지 특징 정보(또는 복수의 영역별 이미지 특징 정보)를 산출(또는 추출/설정)한다.
또한, 제어부(200)는 산출된 원본 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장부(100)에 저장한다.
또한, 제어부(200)는 산출된 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 한다. 이때, 해당 이미지의 경우, 제어부(200)는 미리 설정된 복수의 서로 다른 크기로 정규화한 후, 정규화된 복수의 이미지 각각에 대해서 복수의 영역별 이미지 특정 정보를 산출할 수도 있다.
또한, 제어부(200)는 산출된 복수의 이미지 각각에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 수행할 수도 있다.
또한, 제어부(200)는 학습 결과를 저장부(100)에 저장한다.
또한, 제어부(200)는 저장부(100)에 미리 저장된 다른 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 다른 이미지에 대해서 복수의 구역으로 나뉜 사각형의 특징 패턴을 적용하여 복수의 영역별 이미지 특징 정보를 산출한다. 여기서, 이미지 특징 정보는 복수의 구역으로 나뉜 사각형의 특징 패턴에 대응하는 미리 설정된 특징 맵을 구성하는 단위 항목별 하나 이상의 화이트 패턴 구역의 휘도값의 평균값 및 하나 이상의 블랙 패턴 구역의 휘도값의 평균값일 수 있다. 또한, 해당 이미지 특징 정보는 단위 항목별 하나 이상의 화이트 패턴 구역의 휘도값의 평균값 및 하나 이상의 블랙 패턴 구역의 휘도값의 평균값 간의 차이일 수도 있다.
또한, 제어부(200)는 산출된 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장부(100)에 저장한다.
또한, 제어부(200)는 저장부(100)에 미리 저장된(또는 학습된/등록된) 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보와, 다른 이미지에 대해 산출된 복수의 영역별 이미지 특징 정보 간의 유사도를 각각 확인(또는 비교)한다.
또한, 제어부(200)는 확인된 산출된 복수의 영역별 이미지 특징 정보와 저장부(100)에 미리 저장된 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다.
즉, 제어부(200)는 확인된 복수의 유사도가 미리 설정된 기준값 이상인지 여부를 각각 판단한다.
판단 결과, 확인된 유사도가 미리 설정된 기준값 이상인 경우, 제어부(200)는 해당 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(100)에 저장한다.
또한, 판단 결과, 확인된 유사도가 미리 설정된 기준값보다 작은 경우, 제어부(200)는 해당 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 분류한다.
이와 같이, 이미지에 대해서 복수 구역으로 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출할 수 있다.
또한, 이와 같이, 복수 구역으로 나누어진 특징 패턴에 대해서 랜덤하게 화이트 패턴과 블랙 패턴으로 미리 설정된(또는 배열된) 특징맵을 통해 이미지의 일부 영역에 대한 밝기 평균을 산출하여 해당 이미지에 대한 특징 정보를 산출할 수 있다.
도 9는 본 발명의 실시예에 따른 객체 인식 서비스 제공 시스템의 구성도로서, 해당 시스템은 도시된 바와 같이 카메라를 통해 객체를 촬영하여 객체에 대한 쿼리이미지를 생성한 후 통신망을 통해 전송하는 사용자 장치(910)와, 사용자 장치(910)로부터 통신망을 통해 쿼리이미지를 수신하고, 쿼리이미지로부터 객체를 인식하여 객체 관련 정보를 제공하는 객체 인식 서비스 제공 장치(920)를 포함할 수 있다.
이때, 통신망은 널리 알려진 다양한 통신방식이 적용될 수 있다. 또한, 각 사용자 장치(910)는 내비게이션 단말기, 태블릿 PC(Tablet PC), 랩톱(Laptop), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등을 포함할 수 있으며, 객체 인식 서비스 제공 장치(920)는 서버로 구성될 수 있다.
객체 인식 서비스 제공 장치(920)는 사용자 장치(910)로부터 수신된 쿼리이미지에 대한 특징정보를 추출하며, 객체에 대하여 서로 상이한 대표각도에서 촬영된 하나 이상의 대표 이미지와 각 대표 이미지로부터 추출된 특징정보가 객체와 연동하여 저장된 제 1 DB와 쿼리이미지의 특징정보를 비교한 후 미리 설정된 기준치 이상 일치하는 특징정보를 추출하고, 추출된 특징정보에 대응되는 객체 관련 정보를 사용자 장치(910)로 전송하여 제공할 수 있다.
또한, 객체 인식 서비스 제공 장치(920)는 제 1 DB와 쿼리이미지 사이의 특징정보 비교를 통해 일치되는 특징정보가 없는 경우 제 1 DB의 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지와 각 보간 이미지에 대한 특징정보가 객체와 연동하여 저장된 제 2 DB를 비교하여 유사도가 미리 설정된 수치 이상인 특징정보를 추출하여, 추출되는 특징정보에 대응되는 객체 관련 정보를 사용자 장치(910)로 전송하여 제공할 수 있다.
이와 같이 객체 인식 서비스 제공 장치(920)는 실제 촬영된 대표 이미지 뿐만 아니라 대표 이미지를 기준으로 보간된 보간 이미지로부터 추출된 특징정보를 추가적으로 이용하여 쿼리이미지로부터 추출된 특징정보와 비교함으로써, 쿼리이미지에 대응되는 객체의 인식 범위를 넓힐 수 있으며 이를 통해 객체 인식 정확도를 크게 높일 수 있다.
도 10은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치(920)의 상세 구성도로서, 도시된 바와 같이 객체 특징 추출부(921), 가상공간 매핑부(922), 비교부(923)를 포함할 수 있다.
객체 특징 추출부(921)는 도 11(a)에 도시된 바와 같이 파노라마 촬영 등과 같이 다수의 대표각도에서 객체에 대하여 촬영된 복수의 대표 이미지와 객체 관련 정보가 매칭 저장된 제 1 DB(924)로부터 각 대표 이미지를 추출하여 각 대표 이미지에 대한 미리 설정된 알고리즘에 따라 특징정보를 추출할 수 있다.
이때, 객체 특징 추출부(921)는 이미 널리 알려진 다양한 객체 특징 추출 알고리즘을 적용할 수 있으며, 이러한 알고리즘의 일례로, SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), Haar-like Feature, Ferns, LBP(Local Binary Pattern), MCT(Modified Census Transform) 등이 적용될 수 있다.
또한, 객체 관련 정보는 객체와 관련된 식별번호(ID 등), 상품 정보, 제조사 정보 등을 포함할 수 있으며, 대표 이미지는 촬영된 대표각도에 대한 정보를 포함하거나 대표각도와 매칭되어 제 1 DB(924)에 저장될 수 있다. 여기서, 대표각도는 촬영각도를 의미할 수 있으며, 미리 설정된 중심점에서 X, Y, Z 방향으로 기울어진 각도를 의미할 수 있다.
한편, 객체 특징 추출부(921)는 대표 이미지로부터 추출된 대표 특징정보를 제 1 DB에 객체 관련 정보 및 각 대표 이미지와 매칭하여 저장할 수 있다.
또한, 가상공간 매핑부(922)는 도 11(b)에 도시된 바와 같이 각 대표각도를 미리 설정된 가상공간 상의 위치정보와 매핑하여 대표 이미지를 가상공간 상에 모델링 할 수 있다.
이때, 가상공간은 대표 이미지의 촬영 각도에 따른 현실공간에서의 카메라 위치가 반영된 모델일 수 있으며, 이를 통해 3차원 공간에서 카메라의 촬영 위치를 가상공간 상에 매핑하여 표현할 수 있다.
일례로, 가상공간 매핑부(922)는 대표 이미지의 촬영시 측정된 대표각도에 대응되는 가상공간 상의 위치를 상호 매핑하여 대표각도를 X, Y, Z 좌표로서 가상공간의 위치정보로 변환할 수 있으며, 이를 통해 3차원 형태의 가상 공간 상에 대표 이미지를 매핑시켜 모델링할 수 있다.
이를 통해, 가상공간 매핑부(922)는 가상공간 상의 위치정보를 기초로 가상공간 상에서 각 위치정보 사이에 위치하는 중간 위치정보에 대하여 중간 위치정보와 인접한 서로 다른 위치정보에 대응되는 대표 이미지 사이를 보간하는 보간 이미지를 생성할 수 있다.
이때, 가상공간 매핑부(922)는 중간 위치정보와 위치정보 사이에 위치하는 다른 중간 위치정보에 대하여 중간 위치정보에 대응되어 생성된 보간 이미지와 위치정보에 대응되는 대표 이미지를 보간하는 다른 보간 이미지를 생성할 수 있다.
일례로, 도 12에 도시된 바와 같이 가상공간 매핑부(922)는 촬영 2의 대표각도에서 촬영된 대표 이미지를 가상 공간상에서 대표각도에 대응되는 위치정보에 매핑하고, 촬영 3의 대표각도에서 촬영된 대표 이미지를 가상 공간상에서 대표각도에 대응되는 위치에 매핑하여 모델링할 수 있다.
이후, 가상공간 매핑부(922)는 촬영 2의 대표각도와 촬영 3의 대표각도에 각각 대응되는 위치정보 사이의 중간 위치정보에 대응되는 대표 이미지 사이를 보간하는 보간 이미지를 가상공간의 중간 위치정보에 매핑하여 생성할 수 있다. 일례로, 촬영 2의 대표각도가 도시된 바와 같이 45도이며, 촬영 3의 대표각도가 90도인 경우 가상공간 매핑부(922)는 가상공간의 위치정보를 기초로 대표각도인 45도 및 90도의 중간각도(60도)에 대한 위치정보에 매핑되는 보간 이미지를 생성할 수 있다.
이를 통해, 가상공간 매핑부(922)는 가상 공간 상의 X,Y,Z 좌표값를 가진 다수의 위치정보에 각각 매핑되는 대표 이미지 및 보간 이미지를 생성할 수 있다.
다음, 가상공간 매핑부(922)는 도 13에 도시된 바와 같이 생성된 보간 이미지 각각에 대하여 객체 특징 추출부(921)를 통해 보간 특징정보를 추출하여 생성할 수 있으며, 추출된 보간 특징정보, 보간 이미지 및 객체 관련 정보를 상호 매칭하여 제 2 DB(925)에 저장할 수 있다.
이를 통해, 도 14에 도시된 바와 같이 제 1 DB(924)에는 객체 관련 정보와 하나 이상의 대표 특징정보(PK1~PK10)가 매칭되어 저장될 수 있으며, 제 2 DB(925)에는 하나 이상의 보간 이미지를 통해 추출된 하나 이상의 보간 특징정보(Sub PK1~Sub PK50)가 객체 관련 정보와 매칭되어 저장될 수 있다.
상술한 바와 같은 구성을 통해, 가상공간 매핑부(922)는 대표 이미지를 가상 공간에 매핑하여 서로 다른 인접한 대표 이미지 사이를 보간하는 다수의 보간 이미지를 생성한 후 각 보간 이미지에 대한 특징정보를 추출함으로써, 다양한 각도에서 유추되는 객체에 대한 특징정보를 생성할 수 있으며 객체의 인식 범위를 크게 확장시킬 수 있다.
한편, 비교부(923)는 도 15에 도시된 바와 같이 사용자 장치(910)로부터 카메라를 통해 촬영된 객체에 대한 쿼리이미지를 수신하여, 사용자 장치(910)가 쿼리이미지를 통해 질의하는 객체에 대한 정보를 제공할 수 있다.
일례로, 도시된 바와 같이 비교부(923)는 쿼리이미지 수신시 객체 특징 추출부(921)와 연동하여 쿼리이미지에 포함된 객체에 대한 객체 특징정보를 추출할 수 있으며, 객체 특징정보를 제 1 DB(924)에 서로 다른 객체별로 저장된 특징정보와 비교하여 미리 설정된 기준치 이상 일치하는 대표 특징정보에 매칭된 객체 관련 정보를 제 1 DB(924)로부터 추출하여 사용자 장치(910)로 전송할 수 있다.
이때, 제 1 DB(924)에서 객체 특징정보와 미리 설정된 기준치 이상 일치하는 대표 특징정보가 제 1 DB(924)에 존재하지 않는 경우 비교부(923)는 제 2 DB(925)에 객체별로 저장된 보간 특징정보와 객체 특징정보를 상호 비교하여 미리 설정된 기준치 이상 일치하는 보간 특징정보에 매칭된 객체 관련 정보를 추출하여 사용자 장치(910)로 전송할 수 있다.
이와 같이, 비교부(923)는 대표 이미지로부터 추출된 특징정보를 기초로 객체를 인식할 수 없는 경우에도 대표 이미지를 보간하기 위한 보간 이미지로부터 추출된 특징정보를 이용하여 쿼리 이미지의 특징정보와 비교함으로써, 대표각도가 아닌 다른 각도에서 촬영된 이미지에 대해서도 객체 인식율을 크게 높일 수 있다.
더하여, 비교부(923)는 도 16에 도시된 바와 같이 객체 특징 추출부(921)를 통해 추출된 쿼리이미지에 대한 객체 특징정보와 미리 설정된 기준치 이상 일치하는 대표 특징정보 및 보간 특징정보가 제 1 및 제 2 DB(924, 925)에 모두 존재하지 않는 경우 유사도가 기설정된 수치 이상인 대표 또는 보간 특징정보에 대응되는 대표 또는 보간 이미지를 제 1 및 제 2 DB(924, 925) 중 어느 하나로부터 추출할 수 있다. 이때, 유사도는 기준치와 동일한 기준일 수 있으며, 이에 따라 비교부(923)는 쿼리이미지의 객체 특징정보와 미리 설정된 수치 이상 일치하는 대표 또는 보간 특징정보에 대응되는 대표 또는 보간 이미지를 추출할 수 있다.
이때, 비교부(923)는 쿼리이미지에 포함되거나 별개로 수신되는 쿼리이미지의 촬영각도에 대한 각도정보를 수신할 수 있으며, 각도정보를 가상공간 상에 매핑하여 쿼리이미지에 대응되는 위치정보를 산출할 수 있다.
또한, 비교부(923)는 추출된 대표 또는 보간 이미지에 대응되는 가상공간 상의 위치정보와 쿼리이미지의 촬영각도에 대응되는 가상공간 상의 위치정보의 차이를 연산하며, 가상공간 상에서 쿼리이미지의 위치정보를 추출된 대표 또는 보간 이미지의 위치정보와 일치시키기 위하여 연산된 차이에 따라 생성된 이동방향에 대한 이동정보를 생성한 후 사용자 장치로 전송할 수 있다. 이때, 촬영각도는 대표 각도와 마찬가지로 중심점에서 X, Y, Z 방향으로 기울어진 각도를 의미할 수 있다.
이때, 이동정보는 도시된 바와 같이 쿼리이미지의 위치정보에서 유사도가 미리 설정된 수치 이상인 대표 또는 보간 특징정보에 대응되는 이미지의 위치정보로 이동시키기 위한 방향 뿐만 아니라 거리를 포함할 수도 있다. 이때, 거리는 가상공간 상에서 두 위치정보 사이의 거리를 측정하여 가상공간과 실제 공간 사이의 연관관계에 따라 환산된 실제 거리일 수 있다.
다시 말해, 비교부(923)는 이동정보를 사용자 장치(910)로 전송하여 특징정보를 기초로 쿼리이미지에 대응되는 촬영 위치를 유사도가 기설정된 수치 이상인 대표 또는 보간 이미지에 대응되는 촬영 위치로 사용자 장치(910)를 이동시키도록 사용자를 유도하여 재촬영이 이루어지도록 할 수 있다.
이에 따라, 비교부(923)는 이동정보에 따라 이동된 위치에서 재촬영된 쿼리이미지를 사용자 장치(910)로부터 수신한 후 추출된 객체 특징정보를 제 1 및 제 2 DB(924, 925)의 특징정보와 비교하여 미리 설정된 기준치 이상인 대표 또는 보간 특징정보가 제 1 및 제 2 DB(924, 925) 중 어느 하나에 존재하는 경우 해당 대표 또는 보간 특징정보에 대응되는 객체 관련 정보를 제공할 수 있다.
이와 같이, 비교부(923)는 사용자 장치(910)로부터 수신되는 쿼리이미지에 포함된 객체와 유사한 객체를 제 1 및 제 2 DB(924, 925)에서 찾을 수 없는 경우 쿼리 이미지와 유사하다고 판단되는 대표 또는 보간 이미지의 촬영각도로 조정하도록 사용자를 유도한 후 재촬영된 쿼리 이미지를 다시 인식하여 대표 또는 보간 이미지의 촬영각도와 동일한 촬영 각도에서 더욱 정확한 객체 인식이 이루어질 수 있으며, 이를 통해 객체 인식의 정확도 및 신뢰도를 크게 향상시킬 수 있다.
한편, 도 17에 도시된 바와 같이 상술한 객체 특징 추출부, 가상공간 매핑부 및 비교부는 사용자 장치(910)에 구성될 수도 있으며, 사용자 장치는 카메라부(911), 센서부(915), 제 1 및 제 2 메모리부(916, 917)를 더 포함할 수 있다.
이에 따라, 객체 특징 추출부(912)는 객체에 대한 영상을 촬영하는 카메라부(911)부터 촬영된 영상에 대한 특징정보를 추출할 수 있으며, 가상공간 매핑부(913)는 제 1 DB(924)와 동일한 정보가 저장된 제 1 메모리부(916)로부터 대표 이미지를 기준으로 가상 공간 상에 매핑되는 보간 이미지를 생성하며, 보간 이미지로부터 객체 특징 추출부(912)를 통해 특징정보를 추출한 후 보간 이미지와 특징정보를 객체 관련 정보와 연동하여 제 2 메모리부(917)에 저장할 수 있다.
또한, 비교부(914)는 카메라부(911)로부터 객체의 촬영에 따른 쿼리 이미지를 수신하고, 쿼리 이미지로부터 객체 특징 추출부(912)를 통해 특징을 추출하여 제 1 메모리부(916)와 비교한 후 미리 설정된 기준치 이상 일치하는 대표 특징정보를 추출하여 대응되는 객체 관련 정보를 제공하며, 미리 설정된 기준치 이상 일치하지 않는 경우 제 2 메모리부(917)와 비교하여 미리 설정된 기준치 이상 일치하는 보간 특징정보를 추출하여 대응되는 객체 관련 정보를 제공할 수 있다.
더하여, 비교부(914)는 제 1 및 제 2 메모리부(916, 917)를 통해 미리 설정된 기준치 이상 일치되는 객체가 없는 경우 쿼리 이미지의 특징정보와 제 1 및 제 2 메모리부(916, 917) 중 어느 하나에 저장된 특징정보 사이의 유사도가 미리 설정된 수치 이상 일치하는 특징정보를 제 1 및 제 2 메모리부(916, 917) 중 어느 하나로부터 추출할 수 있다.
이후, 비교부(914)는 쿼리이미지의 촬영시 센서부(915)를 통해 얻어지는 쿼리이미지의 촬영각도에 대한 센싱정보를 기초로 가상공간 매핑부(913)와 연동하여 쿼리 이미지의 가상공간 상의 위치정보를 산출하고, 제 1 및 제 2 메모리부(916, 917) 중 어느 하나로부터 추출된 특징정보에 대응되는 대표 또는 보간 이미지에 대한 가상공간 상의 위치정보와 일치시키기 위한 이동방향에 대한 이동정보를 산출하여 출력부(918)를 통해 출력할 수 있다.
이를 통해, 사용자가 대표 또는 보간 이미지에 대응되는 촬영각도로 이동시키도록 유도하여 객체 인식율을 크게 향상시킬 수 있다.
도 18은 본 발명의 실시예에 따라 시선 대응 영역을 추출하기 위한 아이 트래커를 도시한 도면이다. 아이 트래커(1810)는 사용자의 시선에 대응하는 영역을 추출하기 위해 사용된다.
아이 트래커(1810)는 사용자의 얼굴 인식을 수행하면서 얼굴의 눈동자에 자동 포커싱을 수행할 수 있다. 자동 포커싱이 완료되면 아이 트래커(1810)는 눈동자를 포함하는 얼굴 영상을 수집할 수 있다.
아이 트래커(1810)는 내부에 저장된 아이 트래킹 알고리즘을 참조할 수 있다. 먼저 아이 트래커(1810)는 영상의 얼굴 분석을 수행하여 얼굴의 눈동자 부위 추출을 수행한다. 그리고 눈동자 부위에서 눈동자가 바라보는 시선 각도를 확인한다.
신뢰성 있는 위치 측정을 위해 눈동자의 시선 위치 정보를 수집하기 전에 아이 트래커(1810)는 초기에 위치 설정을 실행할 수 있다. 아이 트래커(1810)는 이를 통해 사용자의 시선 위치 정보가 디스플레이(1820)의 영역 중 어느 부위를 바라보는지를 확인, 보정할 수 있다.
도 19는 본 발명의 실시예에 따라 이미지에 대한 사용자의 관찰 영역의 위치 정보를 누적하는 단계를 나타내는 도면이고, 도 20은 본 발명의 실시예에 따라 이미지에 대한 사용자의 관심 영역을 설정하는 단계를 나타내는 도면이다.
본 발명의 아이 트래킹 기능은 일정 주기에 따라 운용되거나 실시간으로 적용될 수 있다. 이에 따라 아이 트래커(1810)는 일정 주기에 따라 수집되는 시선 위치 정보에 대응하는 디스플레이(1820)의 해당 영역을 추출할 수 있다.
구체적으로, 아이 트래커(1810)가 일정 주기(예를 들어, 0.2초)에 따라 전달되는 시선 위치 정보를 추출하는 경우, 일정 주기 별로 시선 위치 정보를 추출하여 디스플레이(1820)의 해당 영역에 시선 대응 영역을 표시하고 이를 누적할 수 있다.
예를 들어, 아이 트래킹 모드가 실행되는 순간을 0초로 상정하고, 0.2초 후의 시선 위치 정보를 추출하여 지표점(1920)을 선정하고, 다시 0.2초 후의 시선 위치 정보를 추출하여 지표점(1920)을 선정한다. 시간이 경과함에 따라 디스플레이(1820)에는 사용자의 시선에 따른 시선 위치 정보를 나타내는 지표점(1920)이 누적된다.
시선 위치 정보 추출은 일정 주기마다 반복되므로, 사용자의 시선이 집중되는 영역, 예를 들어 미리 정해진 횟수 이상으로 해당 영역에 시선 위치 정보가 추출되는 경우, 해당 영역은 객체 식별 장치(2100)에 의해 사용자에 있어서 관심 영역으로 판단될 수 있다.
도 19에서는 사용자의 얼굴, 넥타이, 가방, 비행기, 구름, 건물 및 캐리어에 사용자의 시선이 집중됨을 알 수 있다. 이 중에서 집중되는 사용자의 시선 위치 정보가 미리 정해진 기준 이상인 경우, 도면에서는 얼굴, 넥타이, 가방 및 캐리어를 관심 영역으로 판단할 수 있다.
관심 영역인지 여부에 대한 구체적인 판단 기준은 밀집도를 예로 들 수 있다. 즉, 디스플레이(1820)에 인식되는 사용자의 시선 위치 정보가 디스플레이(1820)에는 지표점(1920)으로 나타날 수 있고, 전체 디스플레이(1820)에서 이러한 복수의 지표점(1920)의 밀집도가 미리 정해진 범위 이상인 영역을 관심 영역으로 판단할 수 있다.
또한 관심 영역의 판단 기준인 지표점(1920)의 밀집도는 상대적인 것으로 설정될 수 있다. 즉, 디스플레이(1820)에 인식되는 사용자의 시선 위치 정보 중에 지표점(1920)의 밀집도가 높은 순으로 몇 개의 영역에 대해서 관심 영역으로 판단할 수도 있다.
이와 같이 아이 트래킹을 수행하여 별다른 터치 동작이나 입력 버튼 제어 동작을 수행하지 않고도 사용자의 시선이 집중되는 영역을 파악할 수 있어, 신뢰성이 우수한 관심 영역의 설정이 가능하다.
도 20에서 장방형으로 형성된 관심 영역의 모서리의 설정 기준은 시선 위치 정보에 의해 형성되는 지표점(1920)의 밀집도가 미리 정해진 범위 이하인 경우로 설정될 수 있다. 즉, 지표점(1920)의 밀집도가 높은 영역의 면적이 클수록, 이에 대응하여 관심 영역으로 설정되는 영역의 면적도 증가할 수 있다.
도 20에서는 얼굴(2010), 넥타이(2020), 가방(2030) 및 캐리어(2040)가 관심 영역으로 설정되었으나 관심 영역의 설정 기준에 따라 더 많은 객체가, 또는 더 적은 수의 객체가 관심 영역으로 설정될 수도 있을 것이다.
도 20에서 관심 영역이 설정되었으나 이는 지표점(1920)의 밀집도에 의한 기준에 의해 관심 영역의 위치가 어디인지가 선택된 것으로, 현 단계에서 객체 식별 장치(2100)가 각각의 관심 영역 내의 객체를 식별, 즉, 사람의 얼굴, 넥타이, 가방 및 캐리어임을 식별한 것은 아니다.
관심 영역 내의 객체를 식별하는 과정에 대해서는 도 21을 참조하여 설명한다. 도 21은 본 발명의 실시예에 따른 객체 식별 장치를 나타내는 도면이다.
본 발명의 실시예에 따른 객체 식별 장치(2100)는 시선 대응 영역 추출부(2110), 관심 영역 선택부(2120), 검색부(2130) 및 데이터베이스(2140)를 포함할 수 있다.
시선 대응 영역 추출부(2110)는 아이 트래커(1810)가 추출한 사용자의 시선 위치 정보를 수집하여 시선이 집중되는 영역을 추출할 수 있다. 즉, 관심 영역 후보군을 선정할 수 있다.
관심 영역 선택부(2120)는 시선 대응 영역 추출부(2110)에서 추출된 관심 영역 후보군 중에서 미리 정해진 기준 이상으로 시선이 집중되는 영역을 관심 영역으로 선택할 수 있다.
검색부(2130)는 관심 영역 내의 객체의 특징을 추출하는 기능을 수행한다.
이를 위해 하나 이상의 테스트 세트(미도시)와 연결되어 각각의 객체를 학습한다.
예를 들어, 복수의 테스트 세트가 검색부(2130)와 연결되어, 제1 검색부는 사람의 얼굴을 검색하고, 이를 위해 제1 테스트 세트는 제1 검색부가 얼굴에 대한 학습이 가능하도록 여러 얼굴에 대한 데이터를 제1 검색부에 제공하여 제1 검색부가 얼굴을 검색할 수 있도록 한다.
제2 검색부는 가방을 검색하고, 이를 위해 제2 테스트 세트는 제2 검색부가 가방에 대한 학습이 가능하도록 여러 가방에 대한 데이터를 제2 검색부에 제공하여 제2 검색부가 가방의 형상을 검색할 수 있도록 한다.
제3 검색부는 캐리어를 검색하고, 이를 위해 제3 테스트 세트는 제3 검색부가 캐리어에 대한 학습이 가능하도록 여러 캐리어에 대한 데이터를 제3 검색부에 제공하여 제3 검색부가 캐리어의 형상을 검색할 수 있도록 한다.
제4 검색부는 구두를 검색하고, 이를 위해 제4 테스트 세트는 제4 검색부가 구두에 대한 학습이 가능하도록 여러 구두에 대한 데이터를 제4 검색부에 제공하여 제4 검색부가 구두의 형상을 검색할 수 있도록 한다.
객체 및 이미지의 크기는 매번 상이할 수 있으며, 동일한 객체인 경우에도 이미지(1910)의 크기에 따라 이미지(1910) 내에서 차지하는 크기가 상이할 수 있으므로 테스트 세트는 검색부(2130)가 하나의 객체가 갖는 여러 사이즈에 대해 학습하도록 한다.
이러한 과정을 통해 학습된 검색부(2130)는 이미지(1910) 내에서 관심 영역 내의 객체를 검색할 수 있게 된다. 다른 이미지에서도 검색부(2130)는 해당 객체를 자동으로 식별, 검색할 수 있게 되어 사람이 이미지마다 관심 영역 내의 객체를 일일이 검색하지 않아도 된다.
이와 같이 관심 영역으로 선별된 영역에 대해서만 검색부(2130)가 객체를 검색하므로 신뢰성이 개선될 수 있고, 검색 속도가 향상될 수 있다. 이러한 객체의 검색에 의해 객체가 무엇인지를 식별할 수 있게 된다.
데이터베이스(2140)는 식별된 객체 정보와 추출된 객체의 특징을 바탕으로 유사도가 높은 이미지를 검색하고 그 결과를 제공한다.
데이터베이스(2140)는 관심 영역에 대해 추출된 특징과 식별된 객체에 대한 정보를 저장하며, 객체에 대응하는 웹페이지 정보가 존재하는 경우, 해당 웹페이지의 정보도 연동하여 데이터베이스(2140)에 저장한다.
도 22는 본 발명의 실시예에 따른 객체의 식별 및 검색을 나타내는 도면이다.
도 22에서는 캐리어(2040)를 예로 들어 설명한다. 캐리어(2040)가 관심 영역으로 선택되면 검색부(2130)는 관심 영역 내의 객체인 캐리어(2040)의 특징 정보를 추출한다. 특징 정보로는 색상, 비율, 형상, 크기 등의 정보를 포함할 수 있다. 검색부(2130)는 추출한 특징 정보를 바탕으로 객체를 식별할 수 있다. 이에 의해, 관심 영역 내의 객체가 캐리어임을 확인한다.
이와 같이, 사용자가 주시하는 관심 영역에 대한 특징을 추출하여 데이터베이스(2140)에 객체 정보를 포함하는 해당 웹페이지 링크와 연동하여 저장한 후, 관심 영역의 특징과 유사성이 높은 특징을 검색하여 유사 이미지(2050) 및 관련 웹페이지(2060)를 검색 결과로 제공할 수 있게 된다.
도 23은 종래 기술에 따른 바운딩 박스의 설정을 나타내는 도면으로, 도 23에 도시된 바와 같이, 종래에는 사용자의 객체 관련 영역(2310)인 손등 및 손목에 착용된 손목시계만을 바운딩 박스(2330)로 설정하였다. 즉, 식별 대상(2320)인 손목시계를 위주로 바운딩 박스(2330)를 설정하고, 객체 관련 영역(2310)인 사용자의 손등 및 손목은 극히 일부만이 바운딩 박스(2330)에 포함되었다.
그러나 손목시계는 손목에 착용하여 사용하는 것이 극히 일반적이므로, 손목시계만을 위주로 하여 바운딩 박스(2330)를 설정하면, 객체를 식별하는 검색기가 이를 식별함에 있어서 손목시계만을 위주로 객체를 식별하게 되므로 검색의 신속성 및 정확성에 있어서 제한적이다.
도 24는 본 발명의 실시예에 따른 학습 영역의 설정을 나타내는 도면이다.
도 24에 도시된 바와 같이, 객체인 손목시계의 외곽을 둘러싸도록 바운딩 박스(2330)가 설정된다. 바운딩 박스(2330)는 객체를 중심으로 설정된 것으로 객체 외의 영역을 거의 포함하지 않는다.
바운딩 박스(2330)의 내부에 포함된 객체를 식별하면 객체가 손목시계임을 확인하게 된다. 손목시계는 손목에 착용되어 사용되는 것이 일반적이므로, 이미지 또는 영상에 포함되는 손목시계는 대부분 객체 관련 영역(2310)인 손등 및 손목이 관련 영역으로 같이 확인된다.
이에 따라 객체가 손목시계인 경우, 객체뿐만 아니라 객체에 인접한 주변 영역까지도 포함하도록 학습 범위를 확장하는 것이 바람직하다. 구체적으로, 미리 정해진 비율만큼 바운딩 박스(2330)를 확장하여 학습 영역(2340)을 설정한다.
확장 여부 및 확장되는 비율은 식별된 객체에 따라 상이하게 설정될 수 있다.
예를 들어, 식별된 객체가 컴퓨터용 마우스인 경우, 마우스는 바운딩 박스(2330)에 포함된 객체만으로도 식별될 수 있으므로 이를 확장하여 학습 영역을 설정하지 않아도 무방하다.
또한 객체가 수영복 하의인 경우, 다리와 복부가 대부분 같이 나타나므로 해당 부분까지로 학습 영역(2340)을 확장하여 일반 복장과 구분되는 특징을 얻을 수 있다. 이에 따라 동일한 디자인이라 하더라도 수영복 하의와 반바지인 경우를 구별할 수 있게 된다.
즉, 수영복 하의가 객체인 경우, 이에 대한 바운딩 박스(2330)외에도 상하로 확장된 학습 영역(2340)을 설정하여 다리와 복부의 영역을 포함하도록 할 수 있다. 구체적으로, 맨다리와 복부를 학습 영역(2340)에 같이 포함하도록 학습 영역(2340)을 설정할 수 있다.
이에 따라 사용자가 동일한 디자인의 의상을 검색하고자 하는 경우, 학습 영역(2340)을 참고하여 검색함으로서, 수영복 하의인 경우에는 수영복 카테고리에서 이를 검색하고, 반바지인 경우에는 반바지 카테고리에서 이를 검색할 수 있게 되므로, 정확하고 신뢰성있는 검색이 가능하다.
도 25는 본 발명의 실시예에 따른 식별을 위해 확장된 영역에 대한 특징을 수집하는 학습 장치의 구성을 나타내는 도면이다.
발명의 실시예에 따른 학습 장치(또는 객체 식별 장치)(2500)는 바운딩 박스 영역 선별부(2510), 객체 식별부(2520), 데이터베이스(2530), 학습 영역 선별부(2540) 및 학습 영역 기준 학습부(2550)를 포함한다.
바운딩 박스 영역 선별부(2510)는 객체의 존재를 검출하고 이를 둘러싸도록 바운딩 박스(2330)를 설정한다. 바운딩 박스 영역 선별부(2510)는 객체를 전부 포함하면서 최소의 면적으로 바운딩 박스(2330)를 설정할 수 있다.
바운딩 박스 영역 선별부(2510)는 바운딩 박스(2330)를 정방형, 원형 및 타원 등으로 설정할 수 있으며 이에 대해 한정하지는 않는다.
객체 식별부(2520)는 바운딩 박스(2330)의 내부에 위치하는 객체를 식별한다. 객체 식별부(2520)는 입력 이미지에 미리 설정된 특징 패턴을 적용하여 입력 이미지에 대한 특징 정보를 산출하고, 산출된 입력 이미지에 대한 특징 정보와 미리 학습된 복수의 이미지에 대한 개별 특징 정보 간의 유사도를 각각 확인하고, 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하여, 판단 결과 확인된 유사도가 기준값 이상일 때 입력 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류하고, 입력 이미지 내에서 객체를 식별한다.
데이터베이스(2530)에 저장된 데이터와의 비교를 통해 객체가 무엇인지 식별될 수 있으며 데이터베이스(2530)는 식별된 객체에 근거하여 미리 설정된 비율로 학습 영역(2340)을 조정한다. 즉, 데이터베이스(2530)는 객체 별로 바운딩 박스(2330)의 확장 방향 및 비율을 저장한다.
학습 영역 선별부(2540)는 객체 별로 데이터베이스(2530)에 저장된 방향 및 비율만큼 바운딩 박스(2330)를 확장하여 학습 영역(2340)을 설정할 수 있다.
예를 들어, 데이터베이스(2530)에 저장된 객체 별 바운딩 박스(2330)의 확장 방향 및 비율에 따라 객체 식별부(2520)에 의해 식별된 객체가 손목시계인 경우, 상하좌우로 동등하게 바운딩 박스(2330)를 확장하여 학습 영역(2340)을 설정할 수 있다.
또한, 객체 식별부(2520)에 의해 식별된 객체가 수영복 하의인 경우, 상하로 미리 정해진 비율만큼 바운딩 박스(2330)를 확장하여 학습 영역(2340)을 설정할 수 있다. 그리고, 객체 식별부(2520)에 의해 식별된 객체가 컴퓨터용 마우스인 경우, 바운딩 박스(2330)를 확장하지 않을 수 있다.
이와 같이 학습 영역 선별부(2540)에 의해 객체 별로 바운딩 박스(2330)의 확장 방향 및 비율이 조정될 수 있다.
학습 영역 기준 학습부(2550)는 학습 영역(2340)을 기준으로 객체의 특징을 추출하고 이를 기반으로 학습 또는 쿼리 제공을 실시한다.
구체적으로, 객체에 따라 바운딩 박스(2330)를 기준으로 한 객체와 학습 영역(2340)을 기준으로 한 객체의 특징은 상이할 수 있다.
도 24에 도시된 바와 같이, 바운딩 박스(2330)를 기준으로 한 객체에서는 손목시계에 관한 특징만이 추출될 수 있으나, 바운딩 박스(2330)에 비해 학습 범위가 확장된 학습 영역(2340)을 기준으로 한 객체에서는 손목시계에 관한 특징 외에도, 객체 관련 영역(2310)인 손목 및 손등에 관한 특징을 추출할 수 있다. 이에 따라, 학습 영역 기준 학습부(2550)는 손목시계 뿐만 아니라, 객체 관련 영역(2310)인 손목 및 손등에 관한 특징을 포함하여 학습하게 된다.
학습 영역 기준 학습부(2550)는 학습한 객체의 특징을 데이터베이스(2530)에 전달하여 저장한다. 이에 따라 기존에 에러 팩터로 버려지던 내용을 활용하며, 학습한 객체의 특징은 쿼리 생성 시에도 사용될 수 있으므로, 사용자 장치나 서비스 장치 중 임의의 장치에 구성할 수 있다.
도 26은 본 발명의 실시예에 따른 상품 정보 제공 시스템(2600)의 구성을 나타낸 블록도이다.
도 26에 도시된 바와 같이, 상품 정보 제공 시스템(2600)은 객체 식별 장치(2610) 및 서비스 제공 장치(2620)로 구성된다. 도 26에 도시된 상품 정보 제공 시스템(2600)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 26에 도시된 구성 요소보다 많은 구성 요소에 의해 상품 정보 제공 시스템(2600)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 상품 정보 제공 시스템(2600)이 구현될 수도 있다.
객체 식별 장치(2610)에서는 선택되거나 태깅된 상품에 대응하는 객체에 대한 정보(또는 메인 객체 정보)뿐만 아니라, 해당 객체 주변에 있는 하나 이상의 다른 객체에 대한 정보(또는 서브 정보)를 함께 인식하고, 인식된 메인 객체 정보 및 서브 정보를 서비스 제공 장치(2620)에 제공한다. 이후, 서비스 제공 장치(2620)는 미리 저장된 빅 데이터 중에서 객체 식별 장치(2610)로부터 제공되는 메인 객체 정보 및 서브 정보에 대응하는 결과를 확인하고, 확인된 결과 정보를 객체 식별 장치(2610)에 제공한다. 이후, 객체 식별 장치(2610)는 해당 결과 정보를 출력하고, 서비스 제공 장치(2620)와의 연동을 통해 결과 정보 중에서 선택된 특정 상품에 대한 결제 기능을 수행한다.
도 27에 도시된 바와 같이, 객체 식별 장치(또는 단말)(2610)는 통신부(2611), 저장부(2612), 표시부(2613) 및 제어부(2614)로 구성된다. 도 27에 도시된 객체 식별 장치(2610)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 27에 도시된 구성 요소보다 많은 구성 요소에 의해 객체 식별 장치(2610)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 객체 식별 장치(2610)가 구현될 수도 있다.
통신부(2611)는 유/무선 통신망을 통해 내부의 구성 요소 또는 외부의 적어도 하나의 단말과 통신한다. 이때, 외부의 단말은 서비스 제공 장치(2620) 등을 포함할 수 있다.
또한, 통신부(2611)는 제어부(2614)의 제어에 의해 메인 객체 정보, 서브 정보 등을 서비스 제공 장치(2620)에 전송한다.
또한, 통신부(2611)는 제어부(2614)의 제어에 의해 전송된 정보에 대응하여 서비스 제공 장치(2620)로부터 전송되는 결과 정보를 수신한다.
저장부(2612)는 또한, 저장부(2612)는 객체 식별 장치(2610)에 포함된 입력부(미도시)(또는 카메라(미도시))를 통해 촬영되는 영상(또는 동영상/이미지), 통신부(2611)를 통해 수신되는 영상 등을 저장한다.
또한, 저장부(2612)는 복수의 특징 패턴을 저장한다. 여기서, 특징 패턴은 서로 다른 크기의 복수의 원본 이미지에 대해서 각각의 특징 정보를 산출할 수 있도록 설계자의 설계에 따라 다양한 크기로 설정할 수 있다.
또한, 저장부(2612)는 제어부(2614)의 제어에 의해 확인되는 해당 영상(또는 이미지)에 대한 특징 정보, 제어부(2614)의 제어에 의해 확인되는 영상과 복수의 이미지에 대한 개별 특징 정보 간의 유사도, 제어부(2614)의 제어에 의해 식별되는(또는 인식되는) 객체에 대한 정보(또는 메인 객체 정보) 및 서브 정보 등을 저장한다.
표시부(2613)는 제어부(2614)의 제어에 의해 저장부(2612)에 저장된 사용자 인터페이스, 그래픽 사용자 인터페이스를 이용하여 메뉴 화면 등과 같은 콘텐츠를 표시할 수 있다. 여기서, 표시부(2613)에 표시되는 콘텐츠는 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 표시부(2613)는 터치 스크린 일 수 있다.
제어부(2614)는 객체 식별 장치(2610)의 전반적인 제어 기능을 실행한다.
또한, 제어부(2614)는 서비스 제공 장치(2620)로부터 전송되는 웹 페이지의 내용 또는 영상(또는 동영상/이미지)을 표시부(2613)에 표시한다.
또한, 표시부(2613)에 표시되는 웹 페이지 또는 영상(또는 동영상/이미지)에서 특정 상품에 대응하는 객체가 태깅(tagging)되거나 선택될 때, 제어부(2614)는 선택된(또는 태깅된) 특정 상품에 대응하는 객체를 식별(또는 인식/확인)한다. 이때, 제어부(2614)는 선택된 객체가 포함된 웹 페이지 또는 영상에서 해당 객체에 인접한 하나 이상의 다른 객체를 함께 식별한다. 여기서, 해당 영상(또는 동영상/이미지)은 저장부(2612)에 미리 저장된 영상(또는 동영상/이미지) 또는 통신부(2611)나 입력부(미도시)를 통해 수신되는 영상(또는 동영상/이미지)일 수 있다.
또한, 웹 페이지 또는 영상에 대해서 객체를 식별하고자 하는 경우, 제어부(2614)는 해당 웹 페이지 또는 영상에 대해서(또는 해당 객체에 대해서) 저장부(2612)에 객체에 미리 설정된(또는 저장된) 특징 패턴을 적용하여 해당 객체에 대한 특징 정보를 산출(또는 추출/확인)한다.
또한, 제어부(2614)는 산출된 특징 정보를 근거로 해당 객체를 식별(또는 인식)한다.
또한, 해당 웹 페이지 또는 영상에 포함된 특정 상품에 대응하는 객체가 태깅되거나 선택될 때, 제어부(2614)는 태깅되거나 선택된 객체뿐만 아니라 해당 웹 페이지 또는 영상에 포함된 해당 객체에 인접한 하나 이상의 다른 상품에 대응하는 다른 객체도 함께 태깅하거나 선택하고, 태깅된 하나 이상의 다른 객체를 각각 식별한다.
또한, 제어부(2614)는 식별된 객체에 대한 정보(또는 메인 객체 정보/해당 객체(또는 상품)에 대응하는 메타데이터) 및 하나 이상의 다른 객체에 대한 정보(또는 서브 정보/해당 하나 이상의 다른 객체(또는 다른 상품)에 각각 대응하는 메타데이터)를 통신부(2611)를 통해 서비스 제공 장치(2620)에 전송한다. 여기서, 메인 객체 정보는 객체 식별 장치(2610)의 식별 정보, 해당 웹 페이지 또는 영상에 대한 정보, 객체 식별 장치(2610)의 사용자 정보(예를 들어 아이디 등 포함), 선택된(또는 태깅된) 상품 정보, 날짜 정보 등을 포함한다. 또한, 서브 정보는 선택된(또는 태깅된) 하나 이상의 다른 객체에 대응하는 상품 정보(예를 들어 콘텐츠 타입, 속성 정보 등 포함), 객체 식별 장치(2610)의 GPS 정보, 사용자 댓글 정보, 소셜 네트워크 서비스(SNS) 정보, 날씨 정보 등을 포함한다. 이때, 객체 식별 장치(2610)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscribe identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
여기서, 제어부(2614)는 객체 식별 장치(2610)에 구비된 GPS 수신기(미도시)를 통해 객체 식별 장치(2610)의 GPS 정보를 확인할 수 있다. 또한, 제어부(2614)는 객체 식별 장치(2610)의 사용자의 소셜 네트워크 서비스 정보를 확인할 수 있다. 또한, 제어부(2614)는 통신부(2611)를 통해 기상청 서버(미도시), 서비스 제공 장치(2620) 등으로부터 전송되는 날씨 정보를 수신할 수 있다.
또한, 제어부(2614)는 전송된 메인 객체 정보 및 서브 정보에 응답하여 서비스 제공 장치(2620)로부터 전송되는 결과 정보를 통신부(2611)를 통해 수신한다. 여기서, 결과 정보는 메인 객체 정보에 대응하는 상품에 대한 가격 비교 결과 정보, 해당 상품의 메인 URL 정보, 판매 쇼핑몰 정보, SNS 댓글 정보, 미리 제휴된 전략적 판매 URL(Uniform Resource Locator) 정보, 미리 등록된(또는 설정된) 홍보성 URL 정보 등과, 서브 정보에 대응하는 하나 이상의 상품에 대한 가격 비교 결과 정보, 해당 신발의 메인 URL 정보, 판매 쇼핑몰 정보, SNS 댓글 정보, 미리 제휴된 전략적 판매 URL 정보, 미리 등록된(또는 설정된) 홍보성 URL 정보 등을 포함한다.
또한, 제어부(2614)는 수신된 결과 정보를 표시부(2613)를 통해 표시한다.
또한, 표시부(2613)에 표시되는 결과 정보 중에서 특정 상품에 대응하는 특정 객체가 선택될 때, 제어부(2614)는 서비스 제공 장치(2620)와의 연동을 통해 선택된 특정 객체에 대응하는 특정 상품에 대한 구매 절차(또는 결제 기능)를 수행하고, 구매 수행 결과를 표시부(2613)에 표시한다.
도 28에 도시된 바와 같이, 서비스 제공 장치(2620)는 제 1 통신부(2621), 제 1 저장부(2622), 제 1 표시부(2623) 및 제 1 제어부(2624)로 구성된다. 도 28에 도시된 서비스 제공 장치(2620)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 28에 도시된 구성 요소보다 많은 구성 요소에 의해 서비스 제공 장치(2620)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 서비스 제공 장치(2620)가 구현될 수도 있다.
제 1 통신부(2621)는 유/무선 통신망을 통해 내부의 구성 요소 또는 외부의 적어도 하나의 단말과 통신한다. 이때, 외부의 단말은 객체 식별 장치(2610) 등을 포함할 수 있다.
또한, 제 1 통신부(2621)는 제 1 제어부(2624)의 제어에 의해 객체 식별 장치(2610)로부터 전송되는 메인 객체 정보, 서브 정보 등을 수신한다.
제 1 저장부(2622)는 사용자 인터페이스(UI), 그래픽 사용자 인터페이스(GUI) 등을 저장한다.
또한, 제 1 저장부(2622)는 서비스 제공 장치(2620)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
또한, 제 1 저장부(2622)는 복수의 상품에 대한 정보를 포함하는 빅 데이터를 저장한다.
제 1 표시부(2623)는 제 1 제어부(2624)의 제어에 의해 제 1 저장부(2622)에 저장된 사용자 인터페이스, 그래픽 사용자 인터페이스를 이용하여 메뉴 화면 등과 같은 콘텐츠를 표시할 수 있다. 여기서, 제 1 표시부(2623)에 표시되는 콘텐츠는 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 제 1 표시부(2623)는 터치 스크린 일 수 있다.
제 1 제어부(2624)는 서비스 제공 장치(2620)의 전반적인 제어 기능을 실행한다.
또한, 제 1 제어부(2624)는 제 1 통신부(2621)를 통해 하나 이상의 정보(예를 들어 하나 이상의 상품에 대한 상품 정보 등 포함)를 포함하는 웹 페이지의 내용 또는 영상을 객체 식별 장치(2610)에 제공(또는 전송)한다.
또한, 제 1 제어부(2624)는 객체 식별 장치(2610)로부터 전송되는 메인 객체 정보 및 서브 정보를 제 1 통신부(2621)를 통해 수신하도록 제어한다.
또한, 제 1 제어부(2624)는 수신된 메인 객체 정보 및 서브 정보를 근거로 해당 메인 객체 정보 및 서브 정보에 대응하는 결과를 확인한다.
즉, 제 1 제어부(2624)는 제 1 저장부(2622)에 미리 저장된(또는 등록된) 복수의 빅 데이터 중에서 수신된 메인 객체 정보 및 서브 정보에 대응하는 결과를 확인한다.
또한, 제 1 제어부(2624)는 확인된 결과(또는 결과 정보)를 제 1 통신부(2621)를 통해 객체 식별 장치(2610)에 전송한다. 이때, 해당 결과 정보는 메인 객체 정보 및 서브 정보에 각각 대응하는 상품에 대한 가격 비교 결과 정보, 해당 상품의 메인 URL 정보, 판매 쇼핑몰 정보, SNS 댓글 정보, 미리 제휴된 전략적 판매 URL 정보, 미리 등록된(또는 설정된) 홍보성 URL 정보 등을 포함한다.
또한, 제 1 제어부(2624)는 전송된 결과 정보 중에서 선택된 특정 상품에 대해서 객체 식별 장치(2610)와의 연동에 의해 구매 절차(또는 결제 기능)를 수행하고, 구매 수행 결과를 제 1 통신부(2621)를 통해 객체 식별 장치(2610)에 제공한다.
이와 같이, 객체 식별 장치의 사용자가 요청하는 상품 정보 이외에도 해당 상품 정보 주변에 존재하는 모든 데이터를 인식할 수 있다.
또한, 이와 같이, 메타 분석, 히스토리 관리 및 빅 데이터 처리를 통해 메인 객체 정보 이외에도 서브 정보에 대응하는 결과 정보에 공급자의 의도된 페이지 구성을 적용할 수 있다.
이하에서는, 본 발명에 따른 객체 식별 방법을 도 1 내지 도 39를 참조하여 상세히 설명한다.
도 29는 본 발명의 제 1 실시예에 따른 객체 식별 방법을 나타낸 흐름도이다.
먼저, 제어부(200)는 원본 이미지 중 일부 영역에 대해서 복수의 구역으로 나뉜 원형 또는 도넛형(또는 링형)의 특징 패턴을 적용한다. 여기서, 특징 패턴은 미리 설정된 크기를 갖는다.
일 예로, 도 30에 도시한 바와 같이, 제어부(200)는 원본 이미지 중 일부 영역(3010)에 대해서 복수의 구역으로 나뉜 원형의 특징 패턴(3020)을 적용한다(S2910).
이후, 제어부(200)는 해당 특징 패턴에 대응하는 미리 설정된 특징맵을 근거로 해당 특징맵에 포함된 단위 항목에 해당하는 구역들 중에서 미리 설정된 기준에 해당하는(또는 적합한) 구역을 선택한다. 이때, 제어부(200)는 해당 특징맵에 포함된 복수의(또는 하나 이상의) 단위 항목에 대해서 미리 설정된 기준에 해당하는 구역을 선택하는 과정을 반복 수행한다. 여기서, 미리 설정된 기준은 단위 항목에 포함된 구역들 중에서 가장 밝은 영역 또는 가장 어두운 영역인지 여부를 확인하는 것일 수 있다.
일 예로, 도 5에 도시된 바와 같이, 제어부(200)는 도 2에 도시된 원형의 특징 패턴(210)에 대응하는 미리 설정된 특징맵(500)을 근거로 해당 특징맵(500)에 포함된 단위 항목(510)에 해당하는 구역들(511, 512, 513) 중에서 미리 설정된 기준에 해당하는 구역을 선택한다.
즉, 도 5에 도시된 바와 같이, 특징맵(500)은 첫 번째 단위 항목이 원형의 특징 패턴 중에서 (0, 2, 5)의 구역을 포함하고, 두 번째 단위 항목이 원형의 특징 패턴 중에서 (1, 4, 7)의 구역을 포함하고, 세 번째 단위 항목이 원형의 특징 패턴 중에서 (2, 3, 6)의 구역을 포함하고, 네 번째 단위 항목이 원형의 특징 패턴 중에서 (4, 6, 7)의 구역을 포함하고, 다섯 번째 단위 항목이 원형의 특징 패턴 중에서 (0, 3, 5)의 구역을 포함하는 총 5개의 단위 항목으로 구성된다. 또한, 제어부(200)는 5개의 단위 항목에 각각 포함된 구역들 중에서 미리 설정된 기준인 해당 구역들 중에서 가장 밝은 영역에 해당하는 구역을 선택한다. 즉, 도 6에 도시된 바와 같이, 제어부(200)는 첫 번째 단위 항목에 포함된 (0, 2, 5)의 구역 중에서 가장 밝은 영역인 5를 갖는 제2구역(611)을 선택(예를 들어 도 6에서는 빗금으로 표시)하고, 두 번째 단위 항목에 포함된 (1, 4, 7)의 구역 중에서 가장 밝은 영역인 1을 갖는 제0 구역(612)을 선택하고, 세 번째 단위 항목에 포함된 (2, 3, 6)의 구역 중에서 가장 밝은 영역인 3을 갖는 제1 구역(613)을 선택하고, 네 번째 단위 항목에 포함된 (4, 6, 7)의 구역 중에서 가장 밝은 영역인 6을 갖는 제1 구역(614)을 선택하고, 다섯 번째 단위 항목에 포함된 (0, 3, 5)의 구역 중에서 가장 밝은 영역인 5를 갖는 제2 구역(615)을 선택한다(S2920).
이후, 제어부(200)는 복수의(또는 하나 이상의) 단위 항목 중에서 각각 선택된 구역의 위치 정보를 해당 이미지에서 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출(또는 설정)한다. 이때, 제어부(200)는 단위 항목 중에서 각각 선택된 구역에 대응하는 특징 패턴의 구역 정보를 해당 이미지에서 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출할 수도 있다.
일 예로, 도 6에 도시된 바와 같이, 제어부(200)는 5개의 단위 항목 중에서 각각 선택된 구역(예를 들어 제2 구역, 제0 구역, 제1 구역, 제1 구역 및 제2 구역)의 위치 정보인 '20112'(620)을 해당 이미지에서 원형의 특징 패턴이 위치한 일부 영역의 이미지 특징 정보로 산출한다(S2930).
이후, 제어부(200)는 원본 이미지 중 나머지 모든 영역에 대해서도 해당 원형 또는 도넛형의 특징 패턴을 슬라이딩하면서 적용하여, 전체 원본 이미지의 복수의 영역에 대해서 각각 이미지 특징 정보(또는 복수의 영역별 이미지 특징 정보)를 산출(또는 추출/설정)한다.
또한, 제어부(200)는 산출된 원본 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장부(100)에 저장한다(S2940).
이후, 제어부(200)는 산출된 원본 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 한다.
또한, 제어부(200)는 학습 결과를 저장부(100)에 저장한다(S2950).
도 31은 본 발명의 제 2 실시예에 따른 객체 식별 방법을 나타낸 흐름도이다.
먼저, 제어부(200)는 저장부(100)에 미리 저장된 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 이미지에 대해서 복수의 구역으로 나뉜 원형 또는 도넛형(또는 링형)의 특징 패턴을 적용하여 복수의 영역별 이미지 특징 정보를 산출한다.
또한, 제어부(200)는 산출된 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장부(100)에 저장한다(S3110).
이후, 제어부(200)는 산출된 복수의 영역별 이미지 특징 정보와 저장부(100)에 미리 저장된(또는 학습된/등록된) 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도를 각각 확인(또는 비교)한다.
일 예로, 제어부(200)는 산출된 복수의 영역별 이미지 특징 정보와 저장부(100)에 미리 학습된 ○○개의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도를 각각 확인한다(S3120).
이후, 제어부(200)는 확인된 산출된 복수의 영역별 이미지 특징 정보와 저장부(100)에 미리 저장된 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다.
즉, 제어부(200)는 확인된 복수의 유사도가 미리 설정된 기준값 이상인지 여부를 각각 판단한다.
일 예로, 제어부(200)는 확인된 ○○개의 유사도가 미리 설정된 기준값 이상인지 여부를 각각 판단한다(S3130).
판단 결과, 확인된 유사도가 미리 설정된 기준값 이상인 경우, 제어부(200)는 해당 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(100)에 저장한다.
일 예로, 판단 결과, 확인된 ○○개의 유사도 중에서 미리 설정된 기준값 이상인 유사도가 존재할 때, 제어부(200)는 해당 기준값 이상인 유사도에 대응하는 저장부(100)에 미리 학습된 복수의 영역별 이미지 특징 정보를 근거로 입력 이미지 내에서 해당 객체를 식별하고, 식별된 객체를 저장부(100)에 저장한다(S3140).
또한, 판단 결과, 확인된 유사도가 미리 설정된 기준값보다 작은 경우, 제어부(200)는 해당 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 분류한다.
일 예로, 판단 결과, 확인된 ○○개의 유사도 모두가 미리 설정된 기준값보다 작을 때, 제어부(200)는 해당 이미지 내에 객체가 존재하지 않는 것으로 분류한다(S3150).
도 32는 본 발명의 제 3 실시예에 따른 객체 식별 방법을 나타낸 흐름도이다.
먼저, 제어부(200)는 원본 이미지 중 일부 영역에 대해서 복수의 구역으로 나뉜 사각형의 특징 패턴을 적용한다. 여기서, 특징 패턴은 미리 설정된 크기를 갖는다. 또한, 해당 구역은 하나의 픽셀 또는 복수의 픽셀로 형성한다.
일 예로, 도 33에 도시한 바와 같이, 제어부(200)는 원본 이미지 중 일부 영역(3310)에 대해서 복수의 구역으로 나뉜 사각형의 특징 패턴(3320)을 적용한다(S3210).
이후, 제어부(200)는 해당 특징 패턴에 대응하는 미리 설정된 특징 맵을 근거로 해당 특징맵을 구성하는 단위 항목에 포함된 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역을 각각 선택(또는 확인)한다. 이때, 제어부(200)는 해당 특징맵에 포함된 복수의(또는 하나 이상의) 단위 항목에 대해서 단위 항목별로 각각 포함된 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역을 선택하는 과정을 반복 수행한다.
일 예로, 도 8에 도시된 바와 같이, 제어부(200)는 도 7에 도시된 사각형의 특징 패턴(710)에 대응하는 미리 설정된 특징맵(800)을 근거로 해당 특징맵(800)에 포함된 제 1 단위 항목(810), 제 2 단위 항목(820) 및 제 3 단위 항목(830)에 해당하는 하나 이상의 화이트 패턴 구역(802) 및 하나 이상의 블랙 패턴 구역(803)을 각각 선택한다.
즉, 도 8에 도시된 바와 같이, 제어부(200)는 특징맵(800)에서 제 1 단위 항목(또는 첫 번째 단위 항목/특징 인덱스가 0인 단위 항목)(810)에 포함되는 하나 이상의 화이트 패턴 구역(예를 들어 0, 6, 7, 8, 9 구역) 및 하나 이상의 블랙 패턴 구역(예를 들어 15, 16, 17 구역)을 선택하고, 제 2 단위 항목(또는 두 번째 단위 항목/특징 인덱스가 1인 단위 항목)(820)에 포함되는 하나 이상의 화이트 패턴 구역(예를 들어 6, 19, 20, 24 구역) 및 하나의 블랙 패턴 구역(예를 들어 0 구역)을 선택하고, 제 3 단위 항목(또는 세 번째 단위 항목/특징 인덱스가 2인 단위 항목)(830)에 포함되는 하나의 화이트 패턴 구역(예를 들어 19 구역) 및 하나 이상의 블랙 패턴 구역(예를 들어 5, 6, 7, 8, 24 구역)을 각각 선택한다(S3220).
이후, 제어부(200)는 복수의(또는 하나 이상의) 단위 항목 중에서 각각 선택된 단위 항목별 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역에 대한 정보(또는 해당 구역의 휘도값의 평균값)를 해당 특징 패턴이 위치한 영역의 특징 정보로 산출한다.
즉, 제어부(200)는 단위 항목별로 하나 이상의 화이트 패턴 구역의 휘도값의 평균값을 산출하고, 단위 항목별로 하나 이상의 블랙 패턴 구역의 휘도값의 평균값을 산출한다. 이후, 제어부(200)는 산출된 화이트 패턴 구역 및 블랙 패턴 구역의 각각의 휘도값의 평균값을 해당 특징 패턴이 위치한 영역의 특징 정보로 산출(또는 설정)한다. 이때, 제어부(200)는 산출된 화이트 패턴 구역의 휘도값의 평균값과 산출된 블랙 패턴 구역의 휘도값의 평균값 간의 차이를 해당 특징 패턴이 위치한 영역의 특징 정보로 산출할 수도 있다.
일 예로, 제어부(200)는 도 8에 도시된 제 1 단위 항목(810)에 포함된 하나 이상의 화이트 패턴 구역(예를 들어 0, 6, 7, 8, 9 구역) 및 하나 이상의 블랙 패턴 구역(예를 들어 15, 16, 17 구역)에 대한 제 1 화이트 패턴 구역 평균값 및 제 1 블랙 패턴 구역 평균값을 산출한다. 또한, 제어부(200)는 도 8에 도시된 제 2 단위 항목(820)에 포함된 하나 이상의 화이트 패턴 구역(예를 들어 6, 19, 20, 24 구역) 및 하나의 블랙 패턴 구역(예를 들어 0 구역)에 대한 제 2 화이트 패턴 구역 평균값 및 제 2 블랙 패턴 구역 평균값을 산출한다. 또한, 제어부(200)는 도 8에 도시된 제 3 단위 항목(830)에 포함된 하나의 화이트 패턴 구역(예를 들어 19 구역) 및 하나 이상의 블랙 패턴 구역(예를 들어 5, 6, 7, 8, 24 구역)에 대한 제 3 화이트 패턴 구역 평균값 및 제 3 블랙 패턴 구역 평균값을 산출한다. 이후, 제어부(200)는 제 1 단위 항목(810)에 대해 산출된 제 1 화이트 패턴 구역 평균값 및 제 1 블랙 패턴 구역 평균값, 제 2 단위 항목(820)에 대해 산출된 제 2 화이트 패턴 구역 평균값 및 제 2 블랙 패턴 구역 평균값, 제 3 단위 항목(830)에 대해 산출된 제 3 화이트 패턴 구역 평균값 및 제 3 블랙 패턴 구역 평균값을 해당 이미지에서 사각형의 특징 패턴이 위치한 일부 영역의 이미지 특징 정보로 산출한다.
또한, 제어부(200)는 산출된 제 1 화이트 패턴 구역 평균값 및 제 1 블랙 패턴 구역 평균값 간의 차이, 산출된 제 2 화이트 패턴 구역 평균값 및 제 2 블랙 패턴 구역 평균값 간의 차이, 산출된 제 3 화이트 패턴 구역 평균값 및 제 3 블랙 패턴 구역 평균값 간의 차이를 해당 이미지에서 사각형의 특징 패턴이 위치한 일부 영역의 이미지 특징 정보로 산출할 수도 있다(S3230).
이후, 제어부(200)는 원본 이미지 중 나머지 모든 영역에 대해서도 해당 복수의 구역으로 나뉜 사각형의 특징 패턴을 슬라이딩하면서 적용하여, 전체 원본 이미지의 복수의 영역에 대해서 각각 이미지 특징 정보(또는 복수의 영역별 이미지 특징 정보)를 산출(또는 추출/설정)한다.
또한, 제어부(200)는 산출된 원본 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장부(100)에 저장한다(S3240).
이후, 제어부(200)는 산출된 원본 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 한다.
또한, 제어부(200)는 학습 결과를 저장부(100)에 저장한다(S3250).
도 34는 본 발명의 제 4 실시예에 따른 객체 식별 방법을 나타낸 흐름도이다.
먼저, 제어부(200)는 저장부(100)에 미리 저장된 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 이미지에 대해서 복수의 구역으로 나뉜 사각형의 특징 패턴을 적용하여 복수의 영역별 이미지 특징 정보를 산출한다. 여기서, 이미지 특징 정보는 복수의 구역으로 나뉜 사각형의 특징 패턴에 대응하는 미리 설정된 특징 맵을 구성하는 단위 항목별 하나 이상의 화이트 패턴 구역의 휘도값의 평균값 및 하나 이상의 블랙 패턴 구역의 휘도값의 평균값일 수 있다. 또한, 해당 이미지 특징 정보는 단위 항목별 하나 이상의 화이트 패턴 구역의 휘도값의 평균값 및 하나 이상의 블랙 패턴 구역의 휘도값의 평균값 간의 차이일 수도 있다.
또한, 제어부(200)는 산출된 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장부(100)에 저장한다(S3410).
이후, 제어부(200)는 산출된 복수의 영역별 이미지 특징 정보와 저장부(100)에 미리 저장된(또는 학습된/등록된) 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도를 각각 확인(또는 비교)한다.
일 예로, 제어부(200)는 산출된 복수의 영역별 이미지 특징 정보와 저장부(100)에 미리 학습된 ○○개의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도를 각각 확인한다(S3420).
이후, 제어부(200)는 확인된 산출된 복수의 영역별 이미지 특징 정보와 저장부(100)에 미리 저장된 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다.
즉, 제어부(200)는 확인된 복수의 유사도가 미리 설정된 기준값 이상인지 여부를 각각 판단한다.
일 예로, 제어부(200)는 확인된 ○○개의 유사도가 미리 설정된 기준값 이상인지 여부를 각각 판단한다(S3430).
판단 결과, 확인된 유사도가 미리 설정된 기준값 이상인 경우, 제어부(200)는 해당 이미지 내에 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(100)에 저장한다.
일 예로, 판단 결과, 확인된 ○○개의 유사도 중에서 미리 설정된 기준값 이상인 유사도가 존재할 때, 제어부(200)는 해당 기준값 이상인 유사도에 대응하는 저장부(100)에 미리 학습된 복수의 영역별 이미지 특징 정보를 근거로 입력 이미지 내에서 해당 객체를 식별하고, 식별된 객체를 저장부(100)에 저장한다(S3440).
또한, 판단 결과, 확인된 유사도가 미리 설정된 기준값보다 작은 경우, 제어부(200)는 해당 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 분류한다.
일 예로, 판단 결과, 확인된 ○○개의 유사도 모두가 미리 설정된 기준값보다 작을 때, 제어부(200)는 해당 이미지 내에 객체가 존재하지 않는 것으로 분류한다(S3450).
도 35는 본 발명의 제 5 실시예에 따른 객체 인식 서비스 제공 방법에 대한 순서도로서, 객체 인식 서비스 제공 장치(920)는 사용자 장치(910)로부터 객체에 대한 쿼리 이미지를 수신하여(S3505) 객체 특징정보를 추출하며(S3510), 객체에 대하여 복수의 대표각도에서 촬영된 복수의 대표 이미지 및 각 대표 이미지에 대한 대표 특징정보가 객체 관련 정보와 매칭되어 저장된 제 1 DB(924)와 객체 특징정보를 상호 비교하여(S3515), 객체 특징정보와 미리 설정된 기준치 이상 일치되는 대표 특징정보에 매칭된 객체 관련 정보를 제공할 수 있다(S3520, S3525, S3530).
이때, 제 1 DB(924)와의 비교에 따라 미리 설정된 기준치 이상 일치되는 대표 특징정보가 없는 경우(S3520) 객체 인식 서비스 제공 장치(920)는 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지 및 각 보간 이미지에 대한 보간 특징정보가 객체 관련 정보와 매칭되어 저장된 제 2 DB(925)와 객체 특징정보를 상호 비교할 수 있다(S3535).
이에 따라, 객체 인식 서비스 제공 장치(920)는 객체 특징정보와 미리 설정된 기준치 이상 일치되는 보간 특징정보에 매칭된 객체 관련 정보를 제공할 수 있다(S3530, S3540, S3545).
한편, 객체 인식 서비스 제공 장치(920)는 제 1 및 제 2 DB(924, 925)에 객체 특징정보와 미리 설정된 기준치 이상 일치되는 특징정보가 없는 경우(S3540) 쿼리 이미지의 객체 특징정보와 유사도가 미리 설정된 수치 이상인 제 1 및 제 2 DB(924, 925) 중 어느 하나에 저장된 특징정보를 추출하고(S3550), 추출된 특징정보에 대응되는 대표 또는 보간 이미지에 대한 가상공간 상의 위치정보와 쿼리 이미지에 대한 가상공간 상의 위치정보의 차이를 연산하여 차이에 따른 이동정보를 생성한 후 사용자 장치(910)로 전송할 수 있다(S3555).
도 36은 본 발명의 제 6 실시예에 따른 객체 식별 및 검색 방법을 나타낸 순서도이다. 처음으로, 아이 트래킹 모드를 실행하고(S3610), 시선 각도 정보에 따른 이미지의 위치 정보를 누적한다(S3620). 이에 따라 아이 트래커(1810)는 인식된 얼굴에서 눈 부위를 추출하고, 해당 눈 부위에서 눈동자의 시선 각도에 대한 정보를 수집할 수 있다.
구체적으로, 동공(pupil)은, 눈의 중심 부분이며 홍채(iris)에 의하여 둘러써여 있는 동그란 부분이다. 동공은, 눈의 다른 부분에 비하여 어두우며, 동양인의 경우 통상적으로 검은색이다.
사용자의 시선은, 동공과 밀접한 관련이 있을 수 있다. 예를 들어, 사용자가 관심을 가지고 주시하는 지점은 동공의 중심점이 향하는 방향과 실질적으로 일치할 수 있음을 의미한다.
동공의 중심점은, 획득한 눈의 이미지에서, 중심에 위치하며 상대적으로 어두운 형태 및/또는 색상 상의 특징에 기초하여 추출될 수 있다. 예를 들어, 둥근 형태의 동공의 이미지의 중심지점을 동공의 중심점으로 결정할 수 있다.
얼굴의 움직임은 카메라(1830)를 통하여 촬영한 사용자의 얼굴 이미지를 통하여 감지할 수 있다. 즉, 얼굴 이미지에서 이마, 눈, 코, 입, 귀 등 특징적인 요소에 기초하여 얼굴의 지향방향을 추출할 수 있다.
얼굴의 움직임과 산출한 동공의 중심점에 기초하여 시선 방향을 산출할 수 있다. 예를 들어, 사용자가 현재 디스플레이(1820)의 어느 지점을 응시하고 있는지를 판단할 수 있다. 이와 같이 디스플레이(1820)에 표시된 컨텐츠를 응시하는 사용자의 시선 방향 및 위치를 산출할 수 있게 된다.
컨텐츠는 텍스트, 사진, 영상(영화, 음악 및 웹 페이지를 포함할 수 있다. 아이 트래킹 모드는 컨텐츠가 화면에 표시된 후에 선택될 수 있다.
사용자의 시선 각도 정보에 따른 이미지의 위치 정보는 일정 주기로 수집되는 시선 위치 정보를 근거로 하여 누적될 수 있다. 예를 들어, 일정 주기로 사용자의 시선에 대응하여 디스플레이(1820)에 지표점(1920)을 생성하고, 이러한 복수의 지표점(1920)이 디스플레이(1820)에 누적된다.
다음으로, 누적된 위치 정보를 기준으로 관심 영역을 설정한다(S3630). 관심 영역의 설정 여부 기준은 디스플레이의 복수의 지표점(1920)의 밀집도일 수 있다. 즉, 밀집도가 미리 정해진 범위 이상인 영역을 관심 영역으로 설정할 수 있다. 또는 밀집도가 높은 영역 순으로 상위 몇 개를 관심 영역으로 설정할 수도 있다.
다음으로, 관심 영역의 객체 식별 정보를 확인한다(S3640). 이는 관심 영역에 대해 검색부(2130)를 통한 검색으로 확인될 수 있다. 즉, 아이 트래킹에 의한 주시 영역을 중심으로 선택된 관심 영역을 객체 후보 영역으로 하여 객체를 식별하고 검색한다. 이에 따라 객체가 캐리어임을 식별하게 된다.
관심 영역의 객체 식별 정보를 확인하는 단계는 관심 영역과 해당 관심 영역에 대해 추출된 특징 및 식별된 객체에 대한 정보를 관심 영역 데이터베이스(2140)에 저장하고, 컨텐츠에 대응되는 웹페이지 정보가 존재할 경우 해당 웹페이지 정보도 연동 저장하는 단계를 포함할 수 있다.
다음으로 데이터베이스(2140)로부터 식별된 객체와 유사도가 높은 이미지를 검색하여 그 결과를 획득한다(S3650). 획득하는 결과는 이전 단계에서 식별된 객체와 유사도가 높은 이미지 및 대응되는 웹페이지 정보를 포함할 수 있다.
이러한 과정에 의해, 사용자의 시선이 집중되는 것에 의해 관심 영역을 선택하고, 선택된 관심 영역을 객체 후보 영역으로 하여 객체를 식별 및 검색함으로써, 전체 이미지 또는 영상에 대한 객체 검출에 비해 신속하고 정확하게 객체를 검출할 수 있다.
또한, 본 발명은 관심 영역에 대한 객체를 검출하여 객체에 대한 정보를 관심 영역 데이터베이스에 저장하고 객체에 대응되는 웹페이지 정보가 존재하는 경우 해당 웹페이지 정보도 연동하여 저장하고 이를 제공할 수 있다.
도 37은 본 발명의 제 7 실시예에 따라 확장된 학습 영역에 대한 학습 방법을 나타내는 도면이다.
처음으로, 입력된 컨텐츠로부터 객체의 존재를 파악하고 바운딩 박스(2330) 영역을 설정하고, 바운딩 박스(2330) 내의 객체를 식별한다(S3710). 객체의 식별은 객체 식별부(2520)에 의해 행해질 수 있다.
바운딩 박스(2330)의 영역은 객체를 둘러싸도록 설정될 수 있다. 바운딩 박스(2330)는 객체를 둘러싸도록 정방형으로 형성될 수 있으나 형상에 대해 한정하는 것은 아니다.
다음으로, 식별된 객체에 따라 바운딩 박스(2330)의 영역을 확장하여 학습 영역(2340)을 형성한다(S3720). 확장되는 비율 및 방향은 객체의 종류에 따라 상이할 수 있으며, 객체의 종류에 따른 확장 비율 및 방향은 데이터베이스(2530)에 저장된 값으로 설정될 수 있다. 또한 객체에 따라 바운딩 박스(2330)가 확장되지 않을 수도 있다.
다음으로, 확장된 학습 영역(2340) 내의 객체의 특징을 추출하여 객체의 특징을 학습한다(S3730). 객체의 특징으로는 형상, 색상, 크기, 비율 등을 포함할 수 있으며, 예를 들어, 도 24에서 바운딩 박스(2330)가 확장된 학습 영역(2340) 내의 객체에는 손목시계 외에도, 객체 관련 영역(2310)인 사용자의 손목 및 손등에 관한 특징이 포함될 수 있다.
이와 같이 객체를 식별한 후, 객체 자체의 특징 외에도 객체의 종류에 따라 객체의 특징이 드러나는 영역까지도 학습 범위로 포함시켜 객체 검출 및 쿼리 생성에 사용함으로써 정확하고 신속한 객체의 학습 또는 쿼리 제공이 가능하다.
도 38는 본 발명의 제 8 실시예에 따른 상품 정보 제공 시스템의 통신 과정을 보인 신호 흐름도이다.
먼저, 객체 식별 장치(2610)에 표시되는 웹 페이지 또는 영상(또는 동영상/이미지)에서 특정 상품에 대응하는 객체가 태깅되거나 선택될 때, 객체 식별 장치(2610)는 선택된(또는 태깅된) 특정 상품에 대응하는 객체를 식별(또는 인식/확인)한다. 이때, 객체 식별 장치(2610)는 선택된 객체가 포함된 웹 페이지 또는 영상에서 해당 객체 이외의 하나 이상의 다른 객체(또는 해당 객체에 인접한 하나 이상의 다른 객체)를 함께 식별한다. 여기서, 해당 영상(또는 동영상/이미지)은 저장부(2612)에 미리 저장된 영상(또는 동영상/이미지) 또는 통신부(2611)나 입력부(미도시)를 통해 수신되는 영상(또는 동영상/이미지)일 수 있다.
즉, 객체 식별 장치(2610)에 표시되는 웹 페이지에 포함된 특정 상품에 대응하는 객체가 태깅되거나 영상에서 해당 특정 상품에 대응하는 객체가 태깅될 때, 객체 식별 장치(2610)는 태깅된 객체를 식별한다. 또는, 객체 식별 장치(2610)에 표시되는 웹 페이지에 포함된 특정 상품에 대응하는 객체가 선택되거나 영상에서 해당 특정 상품에 대응하는 객체가 선택될 때, 객체 식별 장치(2610)는 선택된 객체에 미리 설정된(또는 저장된) 특징 패턴을 적용하여 해당 객체에 대한 특징 정보를 산출(또는 추출/확인)하고, 산출된 객체에 대한 특징 정보를 근거로 해당 객체를 식별(또는 인식)한다.
또한, 해당 웹 페이지에 포함된 특정 상품에 대응하는 객체가 태깅되거나 선택될 때, 객체 식별 장치(2610)는 태깅된 객체뿐만 아니라 해당 웹 페이지에 포함된 하나 이상의 다른 상품에 대응하는 다른 객체도 함께 태깅하거나 선택하고, 태깅된 하나 이상의 다른 객체를 각각 식별한다.
또한, 영상에서 해당 특정 상품에 대응하는 객체가 태깅되거나 선택될 때, 객체 식별 장치(2610)는 태깅된 객체뿐만 아니라 해당 영상에 포함된 하나 이상의 다른 상품에 대응하는 다른 객체도 함께 태깅하거나 선택하고, 태깅된 하나 이상의 다른 객체를 각각 식별한다.
일 예로, 웹 페이지 또는 이미지에 포함된 신발이 태깅되거나 선택될 때, 객체 식별 장치(2610)는 태깅된(또는 선택된) 신발과 해당 신발 주변에 위치한 목걸이, 가방, 의류, 시계, 액세서리 등을 함께 태깅하고, 태깅된 신발 및 해당 신발 주변에 위치한 목걸이, 가방, 의류, 시계, 액세서리 등을 인식한다(S3810).
이후, 객체 식별 장치(2610)는 식별된 객체에 대한 정보(또는 메인 객체 정보) 및 하나 이상의 다른 객체에 대한 정보(또는 서브 정보)를 서비스 제공 장치(2620)에 전송한다. 여기서, 메인 객체 정보는 객체 식별 장치(2610)의 식별 정보, 해당 웹 페이지 또는 영상에 대한 정보, 객체 식별 장치(2610)의 사용자 정보(예를 들어 아이디 등 포함), 선택된(또는 태깅된) 상품 정보, 날짜 정보 등을 포함한다. 또한, 서브 정보는 선택된(또는 태깅된) 하나 이상의 다른 객체에 대응하는 상품 정보(예를 들어 콘텐츠 타입, 속성 정보 등 포함), 객체 식별 장치(2610)의 GPS 정보, 사용자 댓글 정보, 소셜 네트워크 서비스(SNS) 정보, 날씨 정보 등을 포함한다. 이때, 객체 식별 장치(2610)의 식별 정보는 MDN, 모바일 IP, 모바일 MAC, Sim(가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
일 예로, 객체 식별 장치(2610)는 태깅된 신발(또는 선택된 신발)에 대한 정보(또는 메인 객체 정보) 및 해당 신발 주변에 위치한 목걸이, 가방, 의류, 시계, 액세서리에 대한 정보(또는 서브 정보)를 확인하고, 확인된 신발에 대한 메인 객체 정보 및 해당 신발 주변에 위치한 목걸이, 가방, 의류, 시계, 액세서리에 대한 서브 정보를 서비스 제공 장치(2620)에 전송한다(S3820).
이후, 서비스 제공 장치(2620)는 객체 식별 장치(2610)로부터 전송되는 메인 객체 정보 및 서브 정보를 수신한다.
또한, 서비스 제공 장치(2620)는 수신된 메인 객체 정보 및 서브 정보를 근거로 해당 메인 객체 정보 및 서브 정보에 대응하는 결과를 확인한다.
또한, 서비스 제공 장치(2620)는 수신된 메인 객체 정보 및 서브 정보에 응답하여 결과 정보를 객체 식별 장치(2610)에 전송한다.
즉, 서비스 제공 장치(2620)는 미리 저장된 빅 데이터 중에서 수신된 메인 객체 정보 및 서브 정보에 대응하는 결과를 확인하고, 확인된 결과 정보를 객체 식별 장치(2610)에 전송한다. 이때, 해당 결과 정보는 메인 객체 정보 및 서브 정보에 각각 대응하는 상품에 대한 가격 비교 결과 정보, 해당 상품의 메인 URL 정보, 판매 쇼핑몰 정보, SNS 댓글 정보, 미리 제휴된 전략적 판매 URL 정보, 미리 등록된(또는 설정된) 홍보성 URL 정보 등을 포함한다.
일 예로, 신발의 제품군, 신발을 생산한 브랜드, 신발 판매점, 신발의 평가 등을 고려하여, 서비스 제공 장치(2620)는 미리 저장된 빅 데이터 중에서 신발에 대한 가격 비교 결과 정보, 해당 신발의 메인 URL 정보, 판매 쇼핑몰 정보, SNS 댓글 정보, 미리 제휴된 전략적 판매 URL 정보, 미리 등록된(또는 설정된) 홍보성 URL 정보 등과, 목걸이, 가방, 의류, 시계 및 액세서리에 대한 가격 비교 결과 정보, 해당 신발의 메인 URL 정보, 판매 쇼핑몰 정보, SNS 댓글 정보, 미리 제휴된 전략적 판매 URL 정보, 미리 등록된(또는 설정된) 홍보성 URL 정보를 각각 확인하고, 확인된 결과 정보를 객체 식별 장치(2610)에 전송한다(S3830).
이후, 객체 식별 장치(2610)는 전송된 메인 객체 정보 및 서브 정보에 응답하여 서비스 제공 장치(2620)로부터 전송되는 결과 정보를 수신한다.
또한, 객체 식별 장치(2610)는 수신된 결과 정보를 출력한다.
또한, 객체 식별 장치(2610)는 표시되는 결과 정보 중에서 선택되는 특정 상품에 대해서 서비스 제공 장치(2620)와의 연동에 의해 구매 절차를 수행할 수도 있다.
일 예로, 도 39에 도시된 바와 같이, 객체 식별 장치(2610)는 태깅된(또는 선택된) 메인 객체인 신발뿐만 아니라 신발 주변에 위치한 목걸이, 가방, 의류, 시계, 액세서리 등에 대한 결과 정보(예를 들어 신발에 대한 가격 비교 결과 정보, 해당 신발의 메인 URL 정보, 판매 쇼핑몰 정보, SNS 댓글 정보, 미리 제휴된 전략적 판매 URL 정보, 미리 등록된(또는 설정된) 홍보성 URL 정보 등과, 목걸이, 가방, 의류, 시계 및 액세서리에 대한 가격 비교 결과 정보, 해당 신발의 메인 URL 정보, 판매 쇼핑몰 정보, SNS 댓글 정보, 미리 제휴된 전략적 판매 URL 정보, 미리 등록된(또는 설정된) 홍보성 URL 정보 등 포함)(3900)를 표시한다(S3840).
본 발명의 실시예에 따른 객체 식별 장치 및 그 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 객체 식별 장치, 사용자 장치(또는 단말) 등에 의하여 읽혀지고 실행됨으로써 객체 식별 장치 및 그 방법을 구현할 수 있다.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 객체 식별 장치 및 그 방법을 구현하는 컴퓨터 프로그램은 객체 식별 장치, 사용자 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 객체 식별 장치 및 그 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 객체 식별 장치, 사용자 장치 등에 장착될 수도 있다.
본 발명의 실시예는 앞서 설명된 바와 같이, 이미지에 대해서 원 또는 링의 형상으로 구역이 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출하여, 곡면을 포함하는 객체에 대한 특징 추출 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 원 또는 링의 형상으로 구역이 나누어진 특징 패턴에 대해서 랜덤하게 미리 설정된(또는 배열된) 특징맵을 통해 이미지에 대한 특징 정보를 산출하여, 곡면을 포함하는 객체의 식별 효율을 향상시키고, 한 번에 특징을 추출할 수 있는 영역이 넓어 빠른 처리를 수행할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 이미지에 대해서 복수 구역으로 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출하여, 한 번에 특징을 추출할 수 있는 영역이 넓어 빠른 처리를 수행하며, 특징 추출 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 복수 구역으로 나누어진 특징 패턴에 대해서 랜덤하게 화이트 패턴과 블랙 패턴으로 미리 설정된(또는 배열된) 특징맵을 통해 이미지의 일부 영역에 대한 밝기 평균을 산출하여 해당 이미지에 대한 특징 정보를 산출하여, 고속 평균 방식의 디스크립터 적용을 통해 일부 영역의 밝기를 빠르게 산출할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 실제 촬영된 대표 이미지 뿐만 아니라 대표 이미지를 기준으로 보간된 보간 이미지로부터 추출된 특징정보를 추가적으로 이용하여 사용자가 객체의 질의를 위해 생성한 쿼리이미지로부터 추출된 특징정보와 비교함으로써, 쿼리이미지에 대응되는 객체의 인식 범위를 넓힐 수 있으며 이를 통해 객체 인식 정확도를 크게 높여 객체와 관련된 정보 제공의 정확도 및 신뢰도를 높일 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 사용자 장치로부터 수신되는 쿼리이미지에 포함된 객체와 유사한 객체를 DB에서 찾을 수 없는 경우 쿼리 이미지와 유사하다고 판단되는 객체에 대한 대표 또는 보간 이미지의 촬영각도로 조정하기 위한 이동정보를 사용자 장치로 제공한 후 이동정보에 따른 촬영각도에서 재촬영된 쿼리 이미지를 다시 인식하여 대표 또는 보간 이미지의 촬영각도와 동일한 촬영 각도에서 쿼리이미지에 대하여 더욱 정확한 객체 인식이 이루어질 수 있으며, 이를 통해 객체 인식의 정확도 및 신뢰도를 크게 향상시킬 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 아이 트래킹을 통해 관심 영역을 선택하고, 선택된 관심 영역에 한하여 객체를 검출함으로써, 전체 이미지 또는 영상에 대한 객체 검출에 비해 신속하고 정확하게 객체를 검출할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 관심 영역에 대한 객체를 검출하여 객체에 대한 정보를 관심 영역 데이터베이스에 저장하고 객체에 대응되는 웹페이지 정보가 존재하는 경우 해당 웹페이지 정보도 연동하여 저장함으로써, 편리하게 해당 정보를 제공할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 종래에 객체와 연관되나 에러 팩터로 버려지던 내용을 활용하여 객체 검출에 사용함으로써, 신속하고 정확한 객체의 학습 또는 쿼리 제공이 가능할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 객체 식별 장치의 사용자가 요청하는 상품 정보 이외에도 해당 상품 정보 주변에 존재하는 모든 데이터를 인식하여, 요청하는 상품 정보의 다각화를 적용할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 메타 분석, 히스토리 관리 및 빅 데이터 처리를 통해 메인 객체 정보 이외에도 서브 정보에 대응하는 결과 정보에 공급자의 의도된 페이지 구성을 적용하여, 결과물의 다양성과 의도된 정보의 제공이 가능하며, 정확성이 높은 결과물의 제공이 가능하며, 해당 결과물을 공급자 측면에서 제공하여 새로운 수익 모델의 창출을 제공할 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 객체 식별을 위한 특징점 학습 시, 이미지에 대해서 원 또는 링의 형상으로 구역이 나누어진 특징 패턴을 적용하여 이미지에 대한 특징 정보를 산출하고, 산출된 특징 정보를 근거로 학습 및 객체 식별을 수행함으로써 곡면을 포함하는 객체에 대한 특징 추출 성능을 향상시키고 곡면을 포함하는 객체의 식별 효율을 향상시키고, 한 번에 특징을 추출할 수 있는 영역이 넓어 빠른 처리를 수행하는 것으로, 영상 처리 분야, 객체 식별/인식 분야 등에서 광범위하게 이용될 수 있다.

Claims (20)

  1. 이미지에 대해 복수의 구역으로 나뉜 원형 또는 도넛형의 특징 패턴을 적용하고, 상기 특징 패턴에 대응하는 미리 설정된 특징맵을 근거로 상기 특징맵의 단위 항목에 포함된 구역들 중에서 미리 설정된 기준에 해당하는 구역을 선택하고, 상기 특징맵에 포함된 복수의 단위 항목별로 각각 선택된 구역의 위치 정보를 상기 이미지에서 상기 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 제어부; 및
    상기 산출된 특징 패턴이 위치한 영역의 이미지 특징 정보를 저장하는 저장부를 포함하는 객체 식별 장치.
  2. 제1항에 있어서,
    상기 미리 설정된 기준은 상기 단위 항목에 대응한 구역들 중에서 가장 밝은 구역 또는 가장 어두운 구역인 것을 특징으로 하는 객체 식별 장치.
  3. 제1항에 있어서,
    상기 제어부는 상기 특징맵에 포함된 복수의 단위 항목에 대해서 상기 단위 항목별로 상기 기준에 해당하는 구역을 선택하는 과정을 반복 수행하는 것을 특징으로 하는 객체 식별 장치.
  4. 제1항에 있어서,
    상기 제어부는, 상기 특징 패턴이 위치한 영역의 이미지 특징 정보를 산출할 때, 상기 복수의 단위 항목별로 각각 선택된 구역에 대응하는 상기 특징 패턴의 구역 정보를 상기 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 것을 특징으로 하는 객체 식별 장치.
  5. 제1항에 있어서,
    상기 제어부는 상기 이미지 중 나머지 모든 영역에 대해서 상기 원형 또는 도넛형의 특징 패턴을 슬라이딩하면서 적용하여, 전체 이미지의 복수의 영역에 대해서 복수의 영역별 이미지 특징 정보를 산출하고, 상기 산출된 전체 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 수행하는 것을 특징으로 하는 객체 식별 장치.
  6. 복수의 이미지에 대한 복수의 영역별 이미지 특징 정보를 저장하는 저장부; 및
    이미지에 대해서 원형 또는 도넛형의 특징 패턴을 적용하여 산출된 복수의 영역별 이미지 특징 정보와 상기 저장부에 저장된 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도를 확인하고, 상기 확인된 유사도를 근거로 상기 이미지 내에 목적으로 하는 객체의 존재 여부를 판단하는 제어부를 포함하는 객체 식별 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하는 것을 특징으로 하는 객체 식별 장치.
  8. 제7항에 있어서,
    상기 제어부는, 상기 확인된 유사도가 상기 미리 설정된 기준값 이상일 때, 상기 이미지 내에 목적으로 하는 객체의 존재 여부를 판단하고, 상기 이미지 내에서 객체를 식별하는 것을 특징으로 하는 객체 식별 장치.
  9. 제7항에 있어서,
    상기 제어부는, 상기 확인된 유사도가 상기 미리 설정된 기준값보다 작을 때, 상기 이미지 내에 목적으로 하는 객체가 존재하지 않는 것으로 판단하는 것을 특징으로 하는 객체 식별 장치.
  10. 제어부를 통해 이미지에 대해 복수의 구역으로 나뉜 원형 또는 도넛형의 특징 패턴을 적용하는 단계;
    상기 제어부를 통해 상기 특징 패턴에 대응하는 미리 설정된 특징맵을 근거로 상기 특징맵의 단위 항목에 포함된 구역들 중에서 미리 설정된 기준에 해당하는 구역을 선택하는 단계;
    상기 제어부를 통해 상기 특징맵에 포함된 복수의 단위 항목별로 각각 선택된 구역의 위치 정보를 상기 이미지에서 상기 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 단계; 및
    저장부에 상기 산출된 특징 패턴이 위치한 영역의 이미지 특징 정보를 저장하는 단계를 포함하는 객체 식별 방법.
  11. 제10항에 있어서,
    상기 제어부를 통해 상기 특징맵에 포함된 복수의 단위 항목에 대해서 상기 단위 항목별로 상기 기준에 해당하는 구역을 선택하는 과정을 반복 수행하는 단계;
    상기 제어부를 통해 상기 이미지 중 나머지 모든 영역에 대해서 상기 원형 또는 도넛형의 특징 패턴을 슬라이딩하면서 적용하여, 전체 이미지의 복수의 영역에 대해서 복수의 영역별 이미지 특징 정보를 산출하는 단계; 및
    상기 제어부를 통해 상기 산출된 전체 이미지에 대한 복수의 영역별 이미지 특징 정보를 근거로 학습을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 객체 식별 방법.
  12. 제10항에 있어서,
    상기 이미지에서 상기 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 단계는, 상기 특징 패턴이 위치한 영역의 이미지 특징 정보를 산출할 때, 상기 복수의 단위 항목별로 각각 선택된 구역에 대응하는 상기 특징 패턴의 구역 정보를 상기 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 것을 특징으로 하는 객체 식별 방법.
  13. 제어부를 통해 이미지에 대해서 원형 또는 도넛형의 특징 패턴을 적용하여 복수의 영역별 이미지 특징 정보를 산출하는 단계;
    상기 제어부를 통해 상기 산출된 복수의 영역별 이미지 특징 정보와 저장부에 저장된 복수의 이미지에 대한 각각의 복수의 영역별 이미지 특징 정보 간의 유사도를 확인하는 단계; 및
    상기 제어부를 통해 상기 확인된 유사도를 근거로 상기 이미지 내에 목적으로 하는 객체의 존재 여부를 판단하는 단계를 포함하는 객체 식별 방법.
  14. 제13항에 있어서,
    상기 객체의 존재 여부를 판단하는 단계는,
    상기 제어부를 통해 상기 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하는 과정;
    상기 판단 결과, 상기 확인된 유사도가 상기 미리 설정된 기준값 이상일 때, 상기 제어부를 통해 상기 이미지 내에 목적으로 하는 객체의 존재 여부를 판단하고, 상기 이미지 내에서 객체를 식별하는 과정; 및
    상기 판단 결과, 상기 확인된 유사도가 상기 미리 설정된 기준값보다 작을 때, 상기 제어부를 통해 상기 영상 내에 목적으로 하는 객체가 존재하지 않는 것으로 판단하는 과정;을 포함하는 것을 특징으로 하는 객체 식별 방법.
  15. 제10항 내지 제14항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.
  16. 이미지에 대해 복수의 구역으로 나뉜 사각형의 특징 패턴을 적용하고, 상기 특징 패턴에 대응하는 미리 설정된 특징맵을 근거로 상기 특징맵의 단위 항목에 포함된 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역을 각각 선택하고, 상기 특징맵에 포함된 하나 이상의 단위 항목별로 각각 선택된 하나 이상의 화이트 패턴 구역 및 하나 이상의 블랙 패턴 구역에 대한 정보를 상기 이미지에서 상기 특징 패턴이 위치한 영역의 이미지 특징 정보로 산출하는 제어부; 및
    상기 산출된 특징 패턴이 위치한 영역의 이미지 특징 정보를 저장하는 저장부를 포함하는 객체 식별 장치.
  17. 영상으로부터 특징정보를 추출하는 객체 특징 추출부;
    객체에 대하여 대표각도에서 촬영된 하나 이상의 대표 이미지와 상기 객체 특징 추출부를 통해 상기 각 대표 이미지에 대하여 추출된 대표 특징정보를 객체 관련 정보에 매칭하여 저장하는 제 1 저장부;
    상기 제 1 저장부의 각 대표 이미지를 기준으로 가상 공간 상에 매핑되는 보간 이미지를 생성하고, 상기 보간 이미지로부터 상기 객체 특징 추출부를 통해 보간 특징정보를 생성하는 가상공간 매핑부;
    상기 가상공간 매핑부가 생성한 상기 보간 이미지와 보간 특징정보를 상기 객체 관련 정보와 매칭하여 저장하는 제 2 저장부; 및
    사용자 장치로부터 객체의 촬영에 따른 쿼리 이미지를 수신하고, 상기 쿼리 이미지로부터 특징을 추출하여 상기 제 1 저장부와 비교한 후 미리 설정된 기준치 이상 일치되는 상기 대표 특징정보에 매칭된 상기 객체 관련 정보를 제공하며, 상기 기준치 이상 일치되는 상기 대표 특징정보가 없는 경우 상기 제 2 저장부와 비교하여 상기 기준치 이상 일치되는 상기 보간 특징정보에 매칭된 상기 객체 관련 정보를 제공하는 비교부를 포함하는 객체 인식 서비스 제공 장치.
  18. 컨텐츠가 표시된 디스플레이 상의 시선을 감지하여 시선 대응 영역을 추출하는 시선 대응 영역 추출부;
    상기 시선 대응 영역을 기준으로 관심 영역을 선택하는 관심 영역 선택부; 및
    상기 관심 영역 내의 객체를 식별하는 검색부를 포함하는 객체 식별 장치.
  19. 입력 이미지에 포함된 객체의 존재를 검출하고 이를 둘러싸도록 바운딩 박스를 설정하는 바운딩 박스 영역 설정부;
    상기 바운딩 박스의 내부에 위치하는 상기 객체를 식별하는 객체 식별부; 및
    상기 식별된 객체에 근거하여 미리 설정된 비율로 상기 바운딩 박스의 비율을 조정하여 학습 영역을 설정하는 학습 영역 선별부를 포함하는 객체 식별 장치.
  20. 서비스 제공 장치와 통신하는 통신부;
    웹 페이지 또는 영상을 표시하는 표시부; 및
    상기 표시부에 표시되는 웹 페이지 또는 영상에서 특정 상품에 대응하는 객체가 태깅되거나 선택될 때, 상기 태깅되거나 선택된 특정 상품에 대응하는 객체 및 상기 객체에 인접한 하나 이상의 다른 객체를 각각 식별하고, 상기 식별된 객체에 대응하는 메인 객체 정보 및 상기 식별된 하나 이상의 다른 객체에 대응하는 서브 정보를 상기 통신부를 통해 상기 서비스 제공 장치에 전송하도록 제어하는 제어부를 포함하는 객체 식별 장치.
PCT/KR2014/010555 2014-03-06 2014-11-05 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 WO2015133699A1 (ko)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
KR1020140026749A KR102203000B1 (ko) 2014-03-06 2014-03-06 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR10-2014-0026749 2014-03-06
KR1020140031526A KR102224936B1 (ko) 2014-03-18 2014-03-18 식별을 위해 확장된 영역에 대한 특징을 수집하는 학습 장치 및 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR1020140031521A KR102213865B1 (ko) 2014-03-18 2014-03-18 주시 영역 기반 객체 식별 장치 및 방법, 컴퓨터 프로그램이 기록된 기록매체
KR10-2014-0031526 2014-03-18
KR10-2014-0031510 2014-03-18
KR10-2014-0031521 2014-03-18
KR1020140031510A KR102223684B1 (ko) 2014-03-18 2014-03-18 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR1020140050906A KR102249997B1 (ko) 2014-04-28 2014-04-28 단말과 서비스 제공 장치, 그를 포함하는 상품 정보 제공 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR10-2014-0050906 2014-04-28
KR10-2014-0054444 2014-05-07
KR1020140054444A KR20150127503A (ko) 2014-05-07 2014-05-07 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체

Publications (1)

Publication Number Publication Date
WO2015133699A1 true WO2015133699A1 (ko) 2015-09-11

Family

ID=54055473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/010555 WO2015133699A1 (ko) 2014-03-06 2014-11-05 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체

Country Status (1)

Country Link
WO (1) WO2015133699A1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063197A (zh) * 2018-09-06 2018-12-21 徐庆 图像检索方法、装置、计算机设备和存储介质
WO2020023801A1 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
CN113139504A (zh) * 2021-05-11 2021-07-20 支付宝(杭州)信息技术有限公司 身份识别方法以及装置
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US11270260B2 (en) 2017-08-07 2022-03-08 Standard Cognition Corp. Systems and methods for deep learning-based shopper tracking
US11295270B2 (en) 2017-08-07 2022-04-05 Standard Cognition, Corp. Deep learning-based store realograms
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11948313B2 (en) 2019-04-18 2024-04-02 Standard Cognition, Corp Systems and methods of implementing multiple trained inference engines to identify and track subjects over multiple identification intervals

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123734A1 (en) * 2001-12-28 2003-07-03 Koninklijke Philips Electronics N.V. Methods and apparatus for object recognition
US20040062435A1 (en) * 1999-09-30 2004-04-01 Megumi Yamaoka Apparatus and method for image recognition
WO2008138802A1 (en) * 2007-05-15 2008-11-20 Continental Automotive Gmbh Device for object detection in an image, and method thereof
US20090232403A1 (en) * 2005-06-15 2009-09-17 Matsushita Electric Industrial Co., Ltd. Object detecting apparatus and learning apparatus for the same
WO2010021527A2 (ko) * 2008-08-22 2010-02-25 Jung Tae Woo 영상에 포함된 객체를 색인하는 시스템 및 방법
US20120269384A1 (en) * 2011-04-19 2012-10-25 Jones Michael J Object Detection in Depth Images
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062435A1 (en) * 1999-09-30 2004-04-01 Megumi Yamaoka Apparatus and method for image recognition
US20030123734A1 (en) * 2001-12-28 2003-07-03 Koninklijke Philips Electronics N.V. Methods and apparatus for object recognition
US20090232403A1 (en) * 2005-06-15 2009-09-17 Matsushita Electric Industrial Co., Ltd. Object detecting apparatus and learning apparatus for the same
WO2008138802A1 (en) * 2007-05-15 2008-11-20 Continental Automotive Gmbh Device for object detection in an image, and method thereof
WO2010021527A2 (ko) * 2008-08-22 2010-02-25 Jung Tae Woo 영상에 포함된 객체를 색인하는 시스템 및 방법
US20120269384A1 (en) * 2011-04-19 2012-10-25 Jones Michael J Object Detection in Depth Images
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544866B2 (en) 2017-08-07 2023-01-03 Standard Cognition, Corp Directional impression analysis using deep learning
US11538186B2 (en) 2017-08-07 2022-12-27 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11270260B2 (en) 2017-08-07 2022-03-08 Standard Cognition Corp. Systems and methods for deep learning-based shopper tracking
US11810317B2 (en) 2017-08-07 2023-11-07 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11295270B2 (en) 2017-08-07 2022-04-05 Standard Cognition, Corp. Deep learning-based store realograms
US12026665B2 (en) 2017-08-07 2024-07-02 Standard Cognition, Corp. Identifying inventory items using multiple confidence levels
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
WO2020023801A1 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
CN109063197B (zh) * 2018-09-06 2021-07-02 徐庆 图像检索方法、装置、计算机设备和存储介质
CN109063197A (zh) * 2018-09-06 2018-12-21 徐庆 图像检索方法、装置、计算机设备和存储介质
US11948313B2 (en) 2019-04-18 2024-04-02 Standard Cognition, Corp Systems and methods of implementing multiple trained inference engines to identify and track subjects over multiple identification intervals
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11818508B2 (en) 2020-06-26 2023-11-14 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
CN113139504A (zh) * 2021-05-11 2021-07-20 支付宝(杭州)信息技术有限公司 身份识别方法以及装置
CN113139504B (zh) * 2021-05-11 2023-02-17 支付宝(杭州)信息技术有限公司 身份识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
WO2015133699A1 (ko) 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2016017975A1 (en) Method of modifying image including photographing restricted element, and device and system for performing the method
WO2018088794A2 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
WO2019107724A1 (en) Method and system for providing recommendation information related to photography
WO2017039348A1 (en) Image capturing apparatus and operating method thereof
WO2016018004A1 (en) Method, apparatus, and system for providing translated content
WO2020141729A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2017111234A1 (en) Method for electronic device to control object and electronic device
WO2018143707A1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
WO2018016837A1 (en) Method and apparatus for iris recognition
WO2016048102A1 (en) Image display method performed by device including switchable mirror and the device
WO2016195160A1 (ko) 이동 단말기
WO2018062647A1 (ko) 정규화된 메타데이터 생성 장치, 객체 가려짐 검출 장치 및 그 방법
WO2016085173A1 (en) Device and method of providing handwritten content in the same
EP3198376A1 (en) Image display method performed by device including switchable mirror and the device
WO2013022226A2 (ko) 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
WO2022050507A1 (ko) 태양광 발전 모듈 모니터링 방법 및 시스템
WO2017018602A1 (ko) 이동단말기 및 그 제어방법
EP3440593A1 (en) Method and apparatus for iris recognition
WO2019135621A1 (ko) 영상 재생 장치 및 그의 제어 방법
WO2020117006A1 (ko) Ai 기반의 안면인식시스템
WO2018093002A1 (ko) 이동 단말기 및 그 제어 방법
WO2020096235A2 (ko) 식품 관리 시스템, 서버 장치 및 냉장고
WO2017119578A1 (en) Method for providing services and electronic device thereof
WO2021162481A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14884929

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14884929

Country of ref document: EP

Kind code of ref document: A1