WO2017090830A1 - 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치 - Google Patents

공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치 Download PDF

Info

Publication number
WO2017090830A1
WO2017090830A1 PCT/KR2016/000724 KR2016000724W WO2017090830A1 WO 2017090830 A1 WO2017090830 A1 WO 2017090830A1 KR 2016000724 W KR2016000724 W KR 2016000724W WO 2017090830 A1 WO2017090830 A1 WO 2017090830A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
candidate
class
recognition
recognition accuracy
Prior art date
Application number
PCT/KR2016/000724
Other languages
English (en)
French (fr)
Inventor
변혜란
임광용
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2017090830A1 publication Critical patent/WO2017090830A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects

Definitions

  • the present invention relates to a method and apparatus for recognizing an object in an image.
  • an object recognition technology in an image extracts a feature vector according to a predefined feature from an image and uses a classification function or a model according to a learning model pre-trained on the feature vector, so that the feature vector belongs to a certain class. It works by recognizing objects and recognizing objects.
  • various features, learning methods and learning models have been proposed. For example, deep learning techniques have recently been widely studied as tools for object recognition.
  • Korean Patent Publication No. 10-1254181 (2013.04.19.) Is a prior art document.
  • the present invention provides a method and an object recognition apparatus for recognizing an object using information about a space where objects are likely to exist, that is, about information about objects that are likely to exist in each space in order to recognize an object more quickly and accurately. I would like to.
  • the object recognition to detect the object in the input image, recognize the detected object, to determine at least one candidate class corresponding to the object step;
  • a class determining step of determining the class of the object among the selected candidate classes are examples of the class of the object among the selected candidate classes.
  • the object recognizing step recognizes the detected object using a predetermined object recognition algorithm, calculates the recognition accuracy for each candidate class for the object, and determines the object based on the calculated recognition accuracy.
  • the candidate class of the number of can be determined.
  • the object recognition step may calculate the accuracy of recognizing the object as the candidate class as the recognition accuracy.
  • the object recognition step may recognize the object by using a convolutional neural network (CNN) method, and determine a predetermined number of candidate classes for the object.
  • CNN convolutional neural network
  • the main object selecting step may include comparing the recognition accuracy of the object with a predetermined threshold value among the objects included in the image, and selecting the main object according to the comparison result.
  • the space estimating may search the space corresponding to the main object in the space-object relationship model, and estimate the space to which the main object belongs based on the searched space.
  • the space estimating may include searching the space corresponding to each of the main objects selected from the image in the space-object relationship model, and wherein the main object belongs based on the number of times of the searched spaces.
  • the space can be determined.
  • the space-object relationship model may be a model in which the object existing in the space for each of the spaces is defined in advance for at least one or more of the spaces.
  • the space-object relationship model may be a graph model representing a relationship between the space and the object as a connection graph between a node and an edge.
  • the selecting of the candidate class may include selecting the candidate class corresponding to the object related to the estimated space in the space-object relationship model among the candidate classes.
  • the space-object relationship model is a graph model representing a relationship between the space and the object as a connection graph between a node and an edge
  • the selection of the candidate class is performed by the estimation of the graph model among the candidate classes.
  • the candidate class corresponding to the object node connected to the spatial node corresponding to the space may be selected.
  • the determining of the class may determine the class of the object among the selected candidate classes based on the magnitude of the recognition accuracy of the candidate class.
  • the object recognition method comprises: recognizing, in the space-object relation model, the candidate class related to the main object among the candidate classes, and recognizing the corrected accuracy of the retrieved candidate class. It may further include.
  • the recognizing accuracy correction step may be performed by searching the spatial class object model for the candidate class related to the main object among the candidate classes selected in the candidate class selection step. And correcting the recognition accuracy, and determining the class of the object among the candidate classes selected in the candidate class selection step based on the corrected recognition accuracy.
  • the space-object relationship model is a graph model representing a relationship between the space and the object as a connection graph between a node and an edge
  • the recognition accuracy correction step corresponds to the main object in the graph model.
  • the recognition accuracy correction step calculates a weight value according to a connection hop distance between the node corresponding to the main object and the node corresponding to the candidate class in the graph model, and calculates the weight. May be applied to correct the recognition accuracy of the candidate class.
  • an object recognition apparatus detects an object from an input image, recognizes the detected object, and determines at least one candidate class corresponding to the object. part;
  • a main object selector configured to select a main object based on a recognition accuracy among the objects included in the image;
  • a space estimator for estimating the space to which the selected main object belongs by using a space-object relationship model that predefines a relationship between space and an object;
  • a candidate class selector that selects a part of the candidate classes corresponding to the object according to the estimated space;
  • a class determination unit that determines a class of the object among the selected candidate classes.
  • the space estimator may search for the space corresponding to the main object in the space-object relationship model, and estimate the space to which the main object belongs based on the searched space.
  • the candidate class selector may select the candidate class corresponding to the object related to the estimated space in the space-object relationship model from the candidate classes.
  • the object recognition apparatus may further include: a recognition accuracy corrector configured to search the candidate class related to the main object among the candidate classes in the space-object relation model, and to correct the recognition accuracy of the searched candidate class. It may further include.
  • the object recognition method there is an effect of improving object recognition performance in an image by using dictionary information between a space and an object.
  • the object recognition method according to the present invention is not limited to a specific object recognition algorithm, but has an advantage of improving object recognition performance in combination with various algorithms.
  • FIG. 1 is a flowchart of an object recognition method according to an embodiment of the present invention.
  • FIG. 2 is a reference diagram illustrating a result of detecting an object region in an image.
  • 3 is a reference diagram for explaining an operation of selecting a main object.
  • 4A is a reference diagram showing the basic components of a space-object relationship graph model.
  • 4B is a reference diagram illustrating a space-object relationship graph model.
  • 5 is a reference diagram for explaining an operation of selecting candidate classes.
  • FIG. 6 is a flowchart of an object recognition method according to an exemplary embodiment.
  • FIG. 7 is a reference diagram for describing a recognition accuracy correction operation.
  • FIG. 8 is a block diagram of an apparatus for recognizing an object, according to an exemplary embodiment.
  • FIG. 9 is a block diagram of an apparatus for recognizing an object, according to an exemplary embodiment.
  • FIG. 1 is a flowchart of an object recognition method according to an embodiment of the present invention.
  • the object recognition method includes an object recognition step (S100), a main object selection step (S200), a space estimation step (S300), a candidate class selection step (S400), and a class determination step (S500). can do.
  • the object recognition method according to another embodiment of the present invention may further include a recognition accuracy correction step (S450).
  • the object recognizing step S100 detects an object from an input image, recognizes the detected object, and determines at least one candidate class corresponding to the object.
  • the main objects are selected based on the recognition accuracy among the objects included in the image.
  • the space to which the selected main object belongs is estimated using a space-object relationship model in which a relationship between space and an object is predefined.
  • the candidate class selection step S400 selects some of the candidate classes corresponding to the object according to the estimated space.
  • the class determining step S500 determines the class of the object among the selected candidate classes.
  • the object recognizing step S100 detects an object from an input image, recognizes the detected object, and determines at least one candidate class corresponding to the object.
  • the object recognition step (S100) may detect an object in an image by using various existing methods.
  • the detecting of the object in the image may be an operation of specifying an area of the object in the image.
  • the area of the object may be an image block having a predetermined size or a set of detected edges.
  • an area of the object may be detected by specifying an area of the object with a specific size at a specific coordinate in the image.
  • the object recognition step (S100) may recognize the content of the object included in the area of the object detected in the image. That is, the object recognition step S100 may recognize what object the detected object is. For example, the object recognition step (S100) may detect an area corresponding to the notebook with respect to the image captured by the notebook, and recognize that the object included in the area is the notebook.
  • FIG. 2 is a reference diagram illustrating a result of detecting an object region in an image.
  • the object recognition may be performed by using a classifier to determine an object as one of a plurality of predefined classes.
  • the object recognition step S100 may determine not only one class for the detected object, but also a plurality of possible candidate classes.
  • the candidate class is used to mean a plurality of candidates in which the object may be classified. For example, when object detection and recognition are performed on an image of a cup, the object is a result of object recognition of the cup included in the image, and the cup is a 'cup', a 'pill box', a 'beaker', or a 'can'. A plurality of classifications can be classified into possible candidate classes.
  • the object recognition step S100 may determine at least one candidate class for the detected object.
  • the detected object may be recognized using a preset object recognition algorithm.
  • the preset object recognition algorithm may be selected as one of various object recognition methods.
  • the target object to be detected may be detected and recognized by analyzing the image using predetermined feature information.
  • various types of existing features may be extracted from the image, and object detection and recognition may be performed using the same.
  • various features such as edge characteristics, corner characteristics, Laglacian of Gaussian (LoG), and Difference of Gaussian (DoG) may be extracted and used.
  • various feature description methods such as scale-invariant feature transform (SIFT), speeded up robust features (SULF), and histogram of oriented gradients (HOG) may be used for object detection and recognition.
  • SIFT scale-invariant feature transform
  • SULF speeded up robust features
  • HOG histogram of oriented gradients
  • the object may be detected and recognized by comparing a predetermined area in the template image and the target image to detect and recognize the object.
  • the object in the image may be detected and recognized using a classifier previously learned based on the extracted feature or template for object detection and recognition.
  • the classifier used here may be an SVM machine or a classifier using various other existing classification functions.
  • object recognition step various object recognition methods may be used to recognize an object in an image. See, eg, "Lowe, David G.” Object recognition from local scale-invariant features. " Computer vision, 1999.The proceedings of the seventh IEEE international conference on. Vol. 2. Ieee, 1999. ' Or 'Belongie, Serge, Jitendra Malik, and Jan Puzicha. "Shape matching and object recognition using shape contexts.” Pattern Analysis and Machine Intelligence, IEEE Transactions on 24.4 (2002): 509-522. 'Can be used to recognize objects in the image, and various other object recognition methods can be used.
  • the object recognition step (S100) may calculate the recognition accuracy for each candidate class with respect to the detected object.
  • the object recognition step S100 may calculate the accuracy of recognizing the object as the candidate class as the recognition accuracy.
  • the recognition accuracy may refer to a numerical value representing the degree to which the object corresponds to a specific class, such as a matching rate, matching accuracy, and matching similarity in object recognition.
  • the accuracy or similarity with which each object is classified as a candidate class can be calculated. For example, when performing object recognition based on a feature vector, the detected feature vector of the detected object is compared with a predefined feature vector of a specific object, and as a result of the comparison, the object is classified as a specific object according to the distance or similarity between the feature vectors Can be. In this case, the distance or similarity calculated as described above may be calculated with the recognition accuracy, and the recognition accuracy calculated when the object is classified into each candidate class exists.
  • a predetermined number of candidate classes may be determined based on the calculated recognition accuracy.
  • a class having the recognition accuracy greater than or equal to a predetermined threshold may be determined as the candidate class, or only a predetermined number of classes may be determined as the candidate class in the order of the magnitude of the recognition accuracy.
  • ten classes may be selected and determined as candidate candidates in the order of magnitude of recognition accuracy with respect to the object region detected as a result of object recognition.
  • each candidate class may be ranked according to the magnitude of the recognition accuracy.
  • a plurality of classes can be derived, and a candidate class is determined according to the magnitude of the recognition accuracy, for example, a first rank for the detected object.
  • the candidate class of can be a soap bottle
  • the candidate class of 2nd rank can be a medicine barrel
  • the candidate class of 3rd rank can be a beaker.
  • the object recognition step may be determined by detecting and recognizing an object with respect to an image including a notebook and calculating a candidate class as shown in Table 1 below and the recognition accuracy of each candidate class.
  • the object recognition step S100 may recognize the object by using a deep learning-based convolutional neural network (CNN) method, and determine a predetermined number of candidate classes for the object.
  • the predetermined number may be 10, 5, 3, etc., and may be set as necessary.
  • the candidate class recognized as the object recognition result may include recognition results that may correspond to the object, but may also include recognition results that are incorrectly derived regardless of the object. Therefore, in order to improve recognition performance, it is necessary to remove candidate classes corresponding to recognition results that are not derived regardless of objects, and it is necessary to further increase recognition accuracy of candidate classes in recognition products corresponding to objects. In the present invention, a process as described below is performed for this purpose.
  • the main objects are selected based on the recognition accuracy among the objects included in the image.
  • the main object selecting step (S200) may compare the recognition accuracy of the object with a predetermined threshold value among the objects included in the image, and select the main object according to the comparison result.
  • the threshold may be a value set as needed.
  • the object when the threshold is set to 0.4, in the example of Table 1, since the recognition accuracy of the notebook among candidate classes is 0.72, which is greater than 0.4, the object may be selected as the main object.
  • FIG. 3 is a reference diagram for explaining an operation of selecting a main object as described above.
  • candidate class and recognition accuracy can be calculated as shown in b, and the maximum recognition accuracy is greater than or equal to a preset threshold of 0.4.
  • Objects and their candidate classes can be selected as primary objects.
  • the detected object is not selected as the main object because it has no recognition accuracy above the threshold.
  • the post-processing of FIG. 3C may be a candidate class selection step S400 or a recognition accuracy correction step S450 to be described below. That is, the recognition performance may be improved by performing each step on the detection object whose main object is not selected and whose recognition result is not clear. However, if necessary, the candidate class selection step S400 or the recognition accuracy correction step S450 may be performed on the object selected as the main object.
  • the space to which the selected main object belongs is estimated using a space-object relationship model in which a relationship between space and an object is predefined.
  • the present invention seeks to provide a method of using information about a space where objects are likely to exist, that is, prior information about objects that are likely to exist in each space, in order to recognize an object more quickly and accurately. For example, a toilet may be in the bathroom and a bed in the bedroom. Therefore, by using the predefined relationship information between the space and the object as described above, outliers are removed from the plurality of candidate classes determined for the object detected in the object recognition step S100 to remove the recognition error, and the recognition success rate is improved. It can increase the effect.
  • a relationship between a plurality of spaces and objects that are likely to exist in each space is defined as a space-object relationship model, and object recognition performance is improved by utilizing the space-object relationship model defined above. I want to improve.
  • the space-object relationship model may be a model in which the object existing in the space for each of the spaces is defined in advance for at least one or more of the spaces.
  • a sink may exist in a kitchen space, and a microwave oven, an oven, a dishwasher, a dish, and the like may be defined in advance as an object associated with the sink object.
  • the space-object relationship model may be a graph model representing a relationship between the space and the object as a connection graph between a node and an edge.
  • the plurality of spaces may be defined by connecting space nodes representing each space to edges according to a relationship of spaces.
  • object nodes representing objects present in each space are connected to the space node, so that the relationship between the space and the object can be modeled.
  • Figure 4a is a reference diagram showing the basic components of the space-object relationship graph model.
  • the space 2 and space 3 nodes are connected to the space 1 node to define the fact that space 2 and space 3 belong to or are related to space 1, and the object 1 node and the object 2 node are space 2.
  • the object 3 node is connected to the space 2 node and the space 3 node at the same time, thereby defining the fact that the object 3 is an object associated with the space 2 and the space 3 at the same time.
  • the space-object relationship graph model may be defined as shown in FIG. 4B.
  • the space-object relationship graph model may be composed of two types of nodes representing objects and spaces and edges representing relationships between them.
  • An object may be composed of a graph connected to a plurality of spatial nodes due to a characteristic that can appear in a plurality of spaces, and a space may also be connected to a plurality of object nodes due to a characteristic that may be associated with a plurality of objects. It can be configured as a graph.
  • the space corresponding to the main object may be searched in the space-object relationship model, and the space to which the main object belongs may be estimated based on the searched space.
  • the space estimating step S300 may search for a space corresponding to the main object in the space-object relationship model, and estimate the searched space as a space to which the main object belongs.
  • the space-object relationship model is defined by the above-described space-object relationship graph model
  • the space corresponding to the space node connected to the object node corresponding to the main object may be estimated as the space to which the main object belongs.
  • the space estimating step (S300) the space corresponding to each of the main objects selected from the image is searched in the space-object relation model, and the space to which the main object belongs based on the number of times of the searched spaces. Determine.
  • a plurality of main objects may exist, and a space to which a main object belongs may be searched in the space-object relationship model for each main object.
  • a space to which a main object belongs may be determined based on the number of searched spaces.
  • the space estimating step S300 may determine the space searched the most among the plurality of searched spaces as the space to which the main object belongs.
  • the main objects are 'cup', 'laptop', 'apple' and the space searched in the space-object relation model for each main object is 'room', 'room', 'kitchen'
  • the 'room' can be estimated as the space to which the main object belongs.
  • the candidate class selection step S400 selects some of the candidate classes corresponding to the object according to the estimated space.
  • candidate classes related to the estimated space may be selected from candidate classes determined for each object in the object recognition step (S100). Through this operation, recognition results that are not related to the estimated space may be removed, thereby improving recognition performance.
  • the candidate class selection step (S400) removes and recognizes inaccurate recognition results among the candidate classes.
  • selecting only the candidate classes related to the estimated space may be performed by removing candidate classes not related to the estimated space.
  • the candidate class selection step (S400) may select the candidate class corresponding to the object related to the estimated space in the space-object relationship model among the candidate classes.
  • candidate classes that do not correspond to the object related to the estimated space in the space-object relationship model may be eliminated.
  • the candidate class corresponding to the object searched in the space-object relation model as related to the 'room' among the candidate classes ranked from 1 to 10 in the example of Table 2 Only bays can be screened. For example, 'pharmacy', 'milk can', 'powder', 'sun cream', 'magnifying glass' and 'cup' may be selected as candidates.
  • the space-object relationship model may be a graph model representing a relationship between the space and the object as a connection graph between a node and an edge as described above.
  • the candidate class selection step (S400) may select the candidate class corresponding to the object node connected to the spatial node corresponding to the estimated space in the graph model among the candidate classes.
  • 5 is a reference diagram for explaining an operation of selecting candidate classes.
  • candidate classes determined to be unrelated to 'room' may be removed and only the remaining candidate classes may be selected.
  • the recognition performance can be improved by selecting only the candidate classes related to the estimated space using the previously defined space-object relationship model.
  • the class determining step S500 determines a class of the object among the selected candidate classes.
  • determining the class of the object may mean classifying the object into one of the predefined objects and recognizing the object.
  • the class determining step (S500) may determine the class of the object among the selected candidate classes based on the magnitude of the recognition accuracy of the candidate class. In one embodiment, the class determining step may determine the candidate class having the greatest recognition accuracy among the candidate classes selected in the candidate class selection step S400 as the final class of the object. For example, when the selected candidate class is 'apple', 'pear', 'watermelon', and each recognition accuracy is '0.3', '0.4', '0.5', 'watermelon' having the largest recognition accuracy is detected. Finally, the class of the object can be determined.
  • the object recognition method according to another embodiment of the present invention may further include a recognition accuracy correction step (S450).
  • FIG. 6 is a flowchart of an object recognition method according to the embodiment.
  • the candidate class related to the main object among the candidate classes is searched in the space-object relationship model, and the recognition accuracy of the searched candidate class is corrected.
  • the candidate class related to the main object among the candidate classes selected in the candidate class selection step S400 may be searched in the spatial-object relationship model, and the search of the candidate class may be performed. Recognition accuracy can be corrected.
  • the class determining step S500 may determine the class of the object among the candidate classes selected in the candidate class selection step S400 based on the corrected recognition accuracy.
  • the space-object relationship model may be a graph model representing a relationship between the space and the object as a connection graph between a node and an edge.
  • the recognition accuracy correction step S450 may first search for the node corresponding to the candidate class connected to the node corresponding to the main object in the graph model. That is, first, among the candidate classes, nodes of candidate classes connected to object nodes corresponding to main objects may be searched. For example, when the main object is a 'notebook' or a 'monitor', a node of a candidate class connected to the 'notebook' or 'monitor' node may be searched among nodes corresponding to the candidate class.
  • the recognition accuracy correcting step (S450) may correct the recognition accuracy of the searched candidate class based on connection information between the node corresponding to the main object and the node corresponding to the candidate class.
  • the connection information between the main object node and the candidate class node may be a hop distance on the connection graph between both nodes.
  • the hop distance may be defined as the number of edges that must pass through connecting both nodes. For example, if node A and node B are connected as A-C-D-B, the hop distance may be 3 since there are three edges connected from A to B in total.
  • the recognition accuracy correction step (S450) calculates a weight according to a connection hop distance between the node corresponding to the main object and the node corresponding to the candidate class in the graph model, and applies the calculated weight.
  • the weight may be calculated by a rule or formula set to be inversely proportional to the magnitude of the connection hop distance.
  • the weight may be previously defined using a table or other data structure according to the size of the connection hop distance, and the weight value according to the connection hop distance is obtained using the predefined table or data structure. can do.
  • the weight according to the hop distance may be set as shown in Table 3 below.
  • the recognition accuracy may be corrected to a value obtained by multiplying the recognition accuracy calculated in the object recognition step S100 by the weight obtained through the above process.
  • the recognition accuracy correction step (S450) is performed to search for candidate classes related to the main object among the candidate classes in Table 2.
  • the recognition accuracy of the 'cup' candidate class is shown in 0.024 in Table 2. 8.1 can be multiplied by 0.194.
  • the weight 8.1 is, for example, according to the hop distance between the node of the 'cup' candidate class and the main objects 'laptop', 'electronic guitar', 'monitor', 'folding chair', 'coffee kettle', 'garbage bin'
  • the sum of the calculated weights 1.6, 1.1, 1.6, 1.6, 1.1, 1.1 can be calculated.
  • Table 4 below shows a result of correcting the recognition accuracy of some of the candidate classes according to the recognition accuracy correction step S450.
  • FIG. 7 is a reference diagram for explaining the above-described recognition accuracy correction operation.
  • 'cup' may be selected as a candidate class related to the main object, and a weight for correcting the recognition accuracy of the 'cup' candidate class is It can be calculated as c.
  • the recognition accuracy may be corrected by applying the calculated weight as in d, and the list of candidate classes may be rearranged in the order of the recognition accuracy according to the corrected result.
  • FIG. 7D it can be seen that a candidate class having the maximum recognition accuracy for the cup object image is corrected to 'cup' according to the recognition accuracy correction operation.
  • the class determining step S500 may determine the class of the object among the candidate classes selected in the candidate class selection step S400 based on the corrected recognition accuracy.
  • the object recognition result is derived by determining the class of the object where the 'cup' is finally detected.
  • the object recognition performance can be improved.
  • the object recognition apparatus may include the object recognizer 100, the main object selector 200, the spatial estimator 300, the candidate class selector 400, and the class determiner 500. It may include.
  • the object recognition apparatus may operate in the same manner as each step of the object recognition method according to the present invention described above in detail with reference to FIGS. 1 to 7. The overlapping part will be omitted and described.
  • FIG. 8 is a block diagram of an object recognition apparatus according to the embodiment.
  • the object recognizer 100 detects an object from an input image, recognizes the detected object, and determines at least one or more candidate classes corresponding to the object.
  • the object recognizing unit 100 recognizes the detected object using a predetermined object recognition algorithm, calculates the recognition accuracy for each candidate class for the object, and calculates a predetermined number based on the calculated recognition accuracy.
  • the candidate class of may be determined.
  • the main object selector 200 selects a main object based on the recognition accuracy among the objects included in the image.
  • the space estimator 300 estimates the space to which the selected main object belongs by using a space-object relationship model that predefines a relationship between space and an object.
  • the space estimator 300 may search the space corresponding to the main object in the space-object relation model, and estimate the space to which the main object belongs based on the searched space.
  • the candidate class selector 400 selects some of the candidate classes corresponding to the object according to the estimated space.
  • the candidate class selector 400 may select the candidate class corresponding to the object related to the estimated space in the space-object relationship model from the candidate classes.
  • the class determining unit 500 determines the class of the object among the selected candidate classes.
  • the object recognition apparatus may further include a recognition accuracy corrector 450.
  • FIG. 9 is a block diagram of an object recognition apparatus according to another embodiment.
  • the recognition accuracy corrector 450 may search the candidate class related to the main object among the candidate classes in the spatial-object relationship model, and correct the recognition accuracy of the searched candidate class.
  • each or some of the components of the components are selectively combined to perform some or all of the functions combined in one or a plurality of hardware It may be implemented as a computer program having a.
  • a computer program is stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, and the like, and is read and executed by a computer, thereby implementing embodiments of the present invention.
  • the recording medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상에서 객체를 인식하는 방법 및 그 장치에 관한 것이다. 본 발명에 따른 입력 영상에서의 객체 인식 방법은, 상기 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식 단계; 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별 단계; 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정 단계; 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별하는 후보 부류 선별 단계; 및 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정 단계를 포함할 수 있다.

Description

공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
본 발명은 영상에서 객체를 인식하는 방법 및 그 장치에 관한 것이다.
영상 내 객체를 인식하기 위하여 다양한 기술들이 제안되어 왔다. 통상적으로 영상 내 객체 인식 기술은 영상에서 미리 정의된 특징에 따른 특징 벡터를 추출하고, 상기 특징 벡터에 대하여 미리 학습된 학습 모델에 따른 분류 함수 또는 모델을 이용하여, 해당 특징 벡터가 어느 부류에 속하는지를 판단하여 객체를 인식하는 방식으로 동작한다. 위와 같은 객체 인식의 기본 구조 속에서, 다양한 특징들과 학습 방법 및 학습 모델들이 제안되어 왔다. 예를 들면 최근에는 객체 인식을 위한 도구로 딥 러닝(Deep Learning)기법이 널리 연구되고 있기도 하다.
그러나 단순히 영상 내에 포함된 정보만을 이용하여 객체를 검출 및 인식하는 방식은 인식 정확도에 있어서 한계가 있고, 잘못된 인식 결과가 출력될 가능성이 높다. 이와 관련하여 선행문헌으로 대한민국 등록특허공보 10-1254181 (2013.04.19.)가 있다.
본 발명은 보다 빠르고 정확하게 객체를 인식하기 위하여 물체들이 존재할 가능성이 높은 공간에 관한 정보, 다시 말하면 각 공간 내에 존재할 가능성이 높은 물체들에 관한 정보를 이용하여 객체를 인식하는 방법 및 객체 인식 장치를 제공하고자 한다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 객체 인식 방법은, 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식 단계; 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별 단계; 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정 단계; 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별하는 후보 부류 선별 단계; 및 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정 단계를 포함할 수 있다.
일 실시예에 있어서 상기 객체 인식 단계는 상기 검출한 객체를 미리 정해진 객체 인식 알고리즘을 이용하여 인식하되, 상기 객체에 대하여 상기 후보 부류 별 상기 인식 정확도를 산출하고, 상기 산출한 인식 정확도를 기준으로 소정의 개수의 상기 후보 부류를 결정할 수 있다.
일 실시예에 있어서 상기 객체 인식 단계는 상기 객체를 상기 후보 부류로 인식하는 정확도를 상기 인식 정확도로 산출할 수 있다.
일 실시예에 있어서 상기 객체 인식 단계는 CNN(Convolutional Neural Network) 방법을 이용하여 상기 객체를 인식하여, 상기 객체에 대하여 소정의 개수의 상기 후보 부류를 결정할 수 있다.
일 실시예에 있어서 상기 주요 객체 선별 단계는 상기 영상에 포함된 상기 객체들 중에서, 상기 객체의 상기 인식 정확도와 소정의 임계치를 비교하여, 그 비교 결과에 따라 상기 주요 객체를 선별할 수 있다.
일 실시예에 있어서 상기 공간 추정 단계는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정할 수 있다.
일 실시예에 있어서 상기 공간 추정 단계는 상기 영상에서 선별된 각 상기 주요 객체에 대응하는 상기 공간을 상기 공간-물체 관계 모델에서 검색하고, 상기 검색된 공간들 중에서 검색된 횟수를 기초로 상기 주요 객체가 속하는 상기 공간을 결정할 수 있다.
일 실시예에 있어서 상기 공간-물체 관계 모델은 적어도 하나 이상의 상기 공간에 대하여, 각 상기 공간 별로 상기 공간에 존재하는 상기 물체를 미리 정의한 모델인 것을 특징으로 할 수 있다.
일 실시예에 있어서 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델인 것을 특징으로 할 수 있다.
일 실시예에 있어서 상기 후보 부류 선별 단계는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별할 수 있다.
일 실시예에 있어서 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이고, 상기 후보 부류 선별 단계는 상기 후보 부류 중에서 상기 그래프 모델에서 상기 추정한 공간에 대응하는 공간 노드와 연결된 물체 노드에 대응하는 상기 후보 부류를 선별하는 것을 특징으로 할 수 있다.
일 실시예에 있어서 상기 부류 결정 단계는 상기 후보 부류의 상기 인식 정확도의 크기를 기준으로, 상기 선별한 후보 부류 중 상기 객체의 상기 부류를 결정할 수 있다.
일 실시예에 있어서 상기 객체 인식 방법은 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 인식 정확도 보정 단계를 더 포함할 수 있다.
일 실시예에 있어서 상기 인식 정확도 보정 단계는 상기 후보 부류 선별 단계에서 선별한 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하여, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하고, 상기 부류 결정 단계는 상기 보정된 인식 정확도를 기초로 상기 후보 부류 선별 단계에서 선별한 상기 후보 부류 중에서 상기 객체의 상기 부류를 결정할 수 있다.
일 실시예에 있어서 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이고, 상기 인식 정확도 보정 단계는, 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 연결된 상기 후보 부류에 대응하는 상기 노드를 검색하고, 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 정보를 기초로, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다.
일 실시예에 있어서 상기 인식 정확도 보정 단계는 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 홉(Hop) 거리에 따라 가중치를 산출하고, 상기 산출한 가중치를 적용하여 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 객체 인식 장치는, 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식부; 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별부; 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정부; 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별하는 후보 부류 선별부; 및 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정부를 포함할 수 있다.
일 실시예에 있어서 상기 공간 추정부는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정할 수 있다.
일 실시예에 있어서 상기 후보 부류 선별부는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별할 수 있다.
일 실시예에 있어서 상기 객체 인식 장치는 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 인식 정확도 보정부를 더 포함할 수 있다.
본 발명에 따른 객체 인식 방법에 따르면 공간과 물체 간의 사전 정보를 이용하여 영상에서 객체 인식 성능을 향상시킬 수 있는 효과가 있다.
또한 본 발명에 따른 객체 인식 방법은 특정 객체 인식 알고리즘에 국한되지 아니하고, 다양한 알고리즘과 결합하여 객체 인식 성능을 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 방법의 흐름도이다.
도 2는 영상에서 객체 영역을 검출한 결과를 나타내는 참고도이다.
도 3은 주요 객체를 선별하는 동작을 설명하기 위한 참고도이다.
도 4 a는 공간-물체 관계 그래프 모델의 기본 구성 요소를 나타내는 참고도이다.
도 4 b는 공간-물체 관계 그래프 모델을 나타내는 참고도이다.
도 5는 후보 부류를 선별하는 동작을 설명하기 위한 참고도이다.
도 6은 일 실시예에 따른 객체 인식 방법의 흐름도이다.
도 7은 인식 정확도 보정 동작을 설명하기 위한 참고도이다.
도 8은 일 실시예에 따른 객체 인식 장치의 블록도이다.
도 9는 일 실시예에 따른 객체 인식 장치의 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 방법의 흐름도이다.
본 발명의 일 실시예에 따른 객체 인식 방법은 객체 인식 단계(S100), 주요 객체 선별 단계(S200), 공간 추정 단계(S300), 후보 부류 선별 단계(S400), 부류 결정 단계(S500)를 포함할 수 있다. 또한 본 발명의 또 다른 실시예에 따른 객체 인식 방법은 인식 정확도 보정 단계(S450)를 더 포함할 수 있다.
객체 인식 단계(S100)는 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정한다.
주요 객체 선별 단계(S200)는 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별한다.
공간 추정 단계(S300)는 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정한다.
후보 부류 선별 단계(S400)는 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별한다.
부류 결정 단계(S500)는 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정한다.
먼저 객체 인식 단계(S100)의 동작에 대하여 보다 상세히 설명한다.
객체 인식 단계(S100)는 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정한다.
여기서 객체 인식 단계(S100)는 기존의 다양한 방법을 이용하여 영상에서 객체를 검출할 수 있다. 여기서 영상에서 객체를 검출하는 것은 영상에서 객체의 영역을 특정하는 동작이 될 수 있다. 예를 들면 객체의 영역은 소정의 크기를 가지는 영상 블록이나, 또는 검출된 에지들의 집합이 될 수 있다. 여기서 객체 인식 단계(S100)는 영상에서 특정 좌표에 특정 크기로 객체의 영역을 특정함으로써, 객체의 영역을 검출할 수 있다.
다음으로 객체 인식 단계(S100)는 영상에서 검출한 객체의 영역에 포함된 객체의 내용을 인식할 수 있다. 즉 객체 인식 단계(S100)는 검출한 객체가 어떠한 물체인지를 인식할 수 있다. 예를 들면 객체 인식 단계(S100)는 노트북이 촬영된 영상에 대하여 상기 노트북에 해당하는 영역을 검출하고, 해당 영역에 포함된 객체가 노트북인 것을 인식할 수 있다.
도 2는 영상에서 객체 영역을 검출한 결과를 나타내는 참고도이다.
여기서 객체 인식은 분류기(Classifier)를 이용하여 객체를 미리 정의된 복수개의 부류(Class) 중 어느 하나의 부류로 결정하는 방식으로 수행될 수 있다. 또한 객체 인식 단계(S100)는 검출한 객체에 대하여 하나의 부류만을 결정하는 것이 아니라, 복수개의 가능한 후보 부류를 결정할 수 있다. 여기서 후보 부류(Candidate Class)는 상기 객체가 분류될 수 있는 여러 개의 후보를 지칭하는 의미로 사용한다. 예를 들어 컵이 촬영된 영상에 대하여 객체 검출 및 인식을 수행하는 경우, 상기 영상에 포함된 컵에 대한 객체 인식 결과, 상기 컵은 '컵', '약통', '비이커', '캔' 등 복수개의 분류가 가능한 후보 부류들로 분류될 수 있다. 객체 인식 단계(S100)는 이처럼 검출한 객체에 대하여 적어도 하나 이상의 후보 부류를 결정할 수 있다.
여기서 객체 인식 단계(S100)는 상기 검출한 객체를 미리 설정된 객체 인식 알고리즘을 이용하여 인식할 수 있다. 여기서 미리 설정된 객체 인식 알고리즘은 다양한 객체 인식 방법 중 하나로 선택될 수 있다.
여기서 객체 인식 단계(S100)는 영상을 분석하여 미리 정해진 특징(Feature) 정보를 이용하여 검출하고자 하는 대상 객체를 검출하고 인식할 수 있다. 여기서 객체를 검출 및 인식하기 위하여, 기존의 다양한 종류의 특징을 상기 영상에서 추출하고, 이를 이용하여 객체 검출 및 인식을 수행할 수 있다. 예를 들면 객체의 검출 및 인식을 위하여 에지 특성이나 코너 특성, 또는 LoG(Laplacian of Gaussian), DoG(Difference of Gaussian) 등의 다양한 특징을 추출하여 이용할 수 있다. 또한 여기서 객체의 검출 및 인식을 위하여 SIFT(Scale-invariant feature transform), SULF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients)를 비롯한 기존의 다양한 특징 서술(Feature Description) 방식을 이용할 수 있다. 또는 객체의 검출 및 인식을 위하여 템플릿 이미지와 대상 이미지 내의 일정 영역을 비교하여 객체를 검출하고 인식할 수도 있다. 또한 객체의 검출 및 인식을 위하여 위와 같이 추출한 특징이나 템플릿 등을 기반으로 미리 학습한 분류기를 이용하여 상기 영상 내 객체들을 검출하고 인식할 수 있다. 여기서 이용하는 분류기는 SVM 머신이 될 수도 있고, 기타 기존의 다양한 분류 함수를 이용한 분류기를 이용할 수 있다.
여기서 객체 인식 단계(S100)는 영상에서 객체를 인식하기 위하여 다양한 객체 인식 방법을 이용할 수 있다. 예를 들면 'Lowe, David G. "Object recognition from local scale-invariant features." Computer vision, 1999. The proceedings of the seventh IEEE international conference on. Vol. 2. Ieee, 1999.' 또는 'Belongie, Serge, Jitendra Malik, and Jan Puzicha. "Shape matching and object recognition using shape contexts." Pattern Analysis and Machine Intelligence, IEEE Transactions on 24.4 (2002): 509-522.'에 기재된 기술을 이용하여 영상에서 객체를 인식할 수 있고, 기타 다양한 객체 인식 방법을 이용할 수 있다.
여기서 객체 인식 단계(S100)는 검출한 객체에 대하여 상기 후보 부류 별 상기 인식 정확도를 산출할 수 있다. 여기서 객체 인식 단계(S100)는 상기 객체를 상기 후보 부류로 인식하는 정확도를 상기 인식 정확도로 산출할 수 있다. 여기서 인식 정확도는 객체 인식에서의 매칭률, 매칭 정확도, 매칭 유사도와 같이 객체가 특정 부류에 해당하는 정도를 나타내는 수치를 의미할 수 있다. 객체 인식을 수행할 때, 각 객체가 후보 부류로 분류되는 정확도 또는 유사도가 산출될 수 있다. 예를 들면 특징 벡터를 기반으로 객체 인식을 수행할 때 검출된 객체의 특징 벡터가 미리 정의된 특정 물체의 특징 벡터와 비교되고, 그 비교 결과 특징 벡터 간의 거리 또는 유사도에 따라 객체가 특정 물체로 분류될 수 있다. 이때 위와 같이 산출된 거리 또는 유사도를 상기 인식 정확도로 산출할 수 있고, 객체가 각 후보 부류로 분류될 때 각각 산출되는 인식 정확도가 존재하게 된다.
여기서 객체 인식 단계(S100)는 상기 산출한 인식 정확도를 기준으로 소정의 개수의 상기 후보 부류를 결정할 수 있다. 바람직하게는 상기 인식 정확도가 소정의 임계치 이상을 가지는 부류만을 후보 부류로 결정할 수 있고, 또는 상기 인식 정확도의 크기 순서대로 소정 개수의 부류만을 후보 부류로 결정할 수 있다. 예를 들면 객체 인식 결과 검출된 객체 영역에 대하여 인식 정확도의 크기 순서대로 10개의 부류를 선별하여 후보 부류로 결정할 수 있다. 이때 각 후보 부류는 인식 정확도의 크기에 따라 순위를 가질 수 있다. 상술한 바와 같이 객체 인식 알고리즘을 이용하여 각 객체가 어떤 객체인지 인식한 결과 복수개의 부류가 도출될 수 있고, 인식 정확도의 크기에 따라 후보 부류를 결정하여, 예를 들면 검출된 객체에 대하여 1순위의 후보 부류는 비누통, 2순위의 후보 부류는 약통, 3순위의 후보 부류는 비커가 될 수 있다.
예를 들면 객체 인식 단계는 노트북이 포함된 영상에 대하여 객체를 검출 및 인식하여 아래 표 1과 같은 후보 부류와 각 후보 부류 별 인식 정확도를 산출하여 결정할 수 있다.
순위 후보 부류 인식 정확도
1 노트북 0.72
2 랩탑 0.15
3 저울 0.026
4 바인더 0.025
5 모뎀 0.013
6 휴대용 PC 0.010
7 데스크탑 0.005
8 스페이스바 0.005
9 스크린 0.005
10 태양광판 0.004
여기서 객체 인식 단계(S100)는 딥 러닝(Deep-Learning) 기반의 CNN(Convolutional Neural Network) 방법을 이용하여 상기 객체를 인식하여, 상기 객체에 대하여 소정의 개수의 상기 후보 부류를 결정할 수 있다. 여기서 소정의 개수는 10개, 5개, 3개 등이 될 수 있고, 필요에 따라 설정될 수 있다.
여기서 객체 인식 결과 인식된 후보 부류에는 객체와 대응할 수 있는 인식 결과물이 있는 반면, 객체와 관련이 없이 잘못 도출된 인식 결과물들도 포함되어 있을 수 있다. 따라서 인식 성능을 향상시키기 위하여는 객체와 관련이 없이 잘못 도출된 인식 결과물에 해당하는 후보 부류를 제거할 필요가 있고, 객체와 대응하는 인식 결과물에 후보 부류의 인식 정확도를 더욱 높일 필요가 있다. 본 발명에서는 이를 위하여 다음에서 설명하는 바와 같은 과정을 수행한다.
다음으로 주요 객체 선별 단계(S200)에 대하여 보다 상세히 설명한다.
주요 객체 선별 단계(S200)는 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별한다. 여기서 주요 객체 선별 단계(S200)는 상기 영상에 포함된 상기 객체들 중에서, 상기 객체의 상기 인식 정확도와 소정의 임계치를 비교하여, 그 비교 결과에 따라 상기 주요 객체를 선별할 수 있다. 여기서 주요 객체 선별 단계(S200)는 각 객체의 후보 부류 중 가장 높은 인식 정확도가 소정의 임계치보다 큰 경우, 가장 높은 인식 정확도에 대응하는 후보 부류로 분류된 상기 객체를 주요 객체로 선별할 수 있다. 여기서 상기 임계치는 필요에 따라 설정되는 값이 될 수 있다.
예를 들어 상기 임계치가 0.4로 설정된 경우, 상기 표 1의 예에서 후보 부류 중 노트북의 인식 정확도가 0.72로 0.4보다 크므로, 상기 객체는 주요 객체로 선별될 수 있다.
도 3은 위와 같은 주요 객체를 선별하는 동작을 설명하기 위한 참고도이다. 도 3의 a와 같이 검출된 객체에 대하여 객체 인식을 수행한 결과 b와 같이 후보 부류 및 인식 정확도가 산출될 수 있고, 최대 인식 정확도를 미리 설정한 임계치 0.4와 비교하여 그 이상이 되는 경우, 해당 객체 및 그 후보 부류를 주요 객체로 선별할 수 있다. 도 3의 예에서는 임계치 이상의 인식 정확도를 가지지 않기 때문에 검출된 객체가 주요 객체로 선별되지 않는다. 도 3의 c의 후처리는 이하 설명할 후보 부류 선별 단계(S400) 또는 인식 정확도 보정 단계(S450)가 될 수 있다. 즉 주요 객체가 선별되지 않아 인식 결과가 불명확한 검출 객체에 대하여 상기 각 단계를 수행하여 인식 성능을 향상시킬 수 있다. 다만 필요에 따라 후보 부류 선별 단계(S400) 또는 인식 정확도 보정 단계(S450)는 주요 객체로 선별된 객체에 대하여도 수행될 수 있다.
다음으로 공간 추정 단계(S300)에 대하여 보다 상세히 설명한다.
공간 추정 단계(S300)는 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정한다.
본 발명은 보다 빠르고 정확하게 객체를 인식하기 위하여 물체들이 존재할 가능성이 높은 공간에 관한 정보, 다시 말하면 각 공간 내에 존재할 가능성이 높은 물체들에 관한 사전 정보를 이용하는 방법을 제공하고자 한다. 예를 들면 화장실에는 변기가, 침실에는 침대가 존재할 가능성이 높다. 따라서 위와 같은 공간과 물체 간의 사전에 정의된 관계 정보를 이용하면, 객체 인식 단계(S100)에서 검출된 객체에 대하여 결정된 복수개의 후보 부류들 중에서 아웃라이어들을 제거하여 인식 오류를 제거하고, 인식 성공률을 높일 수 있는 효과가 있다. 이를 위하여 본 발명에서는 사전에 복수개의 공간과 각 공간 내에서 존재할 가능성이 높은 물체들 간의 연관 관계가 공간-객체 관계 모델로 정의하고, 위와 같이 정의된 공간-객체 관계 모델을 활용하여 객체 인식 성능을 향상시키고자 한다.
여기서 상기 공간-물체 관계 모델은 적어도 하나 이상의 상기 공간에 대하여, 각 상기 공간 별로 상기 공간에 존재하는 상기 물체를 미리 정의한 모델이 될 수 있다. 예를 들면 부엌 공간에 싱크대가 물체가 존재하고, 싱크대 물체와 연관된 물체로 전자레인지, 오븐, 식기세척기, 식기 등이 존재하는 것으로 사전에 정의될 수 있다.
여기서 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이 될 수 있다. 복수개의 공간은 각 공간을 나타내는 공간 노드들이 공간의 소속 관계에 따라 에지로 연결됨으로써 정의될 수 있다. 또한 각 공간에 존재하는 물체들을 나타내는 물체 노드들이 공간 노드와 연결됨으로써, 공간과 물체 간의 관계가 모델링될 수 있다.
도 4 a는 상기 공간-물체 관계 그래프 모델의 기본 구성 요소를 나타내는 참고도이다.
도 4 a와 같이 공간 2와 공간 3 노드는 공간 1 노드와 연결됨으로써 공간 2 및 공간 3이 공간 1에 소속되어 있거나 관련이 있다는 사실을 정의할 수 있고, 물체 1 노드와 물체 2 노드는 공간 2 노드와 연결됨으로써 물체 1과 물체 2가 공간 2와 관련된 물체라는 사실을 정의할 수 있다. 또한 물체 3 노드는 공간 2 노드 및 공간 3 노드와 동시에 연결됨으로써, 물체 3이 공간 2와 공간 3과 동시에 관련된 물체라는 사실을 정의할 수 있다.
예를 들면 상기 공간-물체 관계 그래프 모델은 도 4 b와 같이 정의될 수 있다.
이처럼 공간-물체 관계 그래프 모델은 물체와 공간을 표현하는 2가지 형태의 노드와 이들 간 관계를 의미하는 에지로 구성될 수 있다. 하나의 물체는 다수의 공간에서 등장이 가능한 특성으로 인해 복수개의 공간 노드와 연결되는 그래프로 구성될 수 있고, 하나의 공간은 다수의 물체와 연관될 수 있는 특성으로 인해 역시 복수개의 물체 노드와 연결되는 그래프로 구성될 수 있다.
여기서 공간 추정 단계(S300)는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정할 수 있다. 여기서 공간 추정 단계(S300)는 상기 공간-물체 관계 모델에서 상기 주요 객체와 대응하는 공간을 검색할 수 있고, 검색한 공간을 주요 객체가 속하는 공간으로 추정할 수 있다. 공간-물체 관계 모델이 상술한 공간-물체 관계 그래프 모델로 정의되는 경우, 주요 객체에 해당하는 물체 노드와 연결된 공간 노드에 해당하는 공간이 주요 객체가 속하는 공간으로 추정될 수 있다.
여기서 공간 추정 단계(S300)는 상기 영상에서 선별된 각 상기 주요 객체에 대응하는 상기 공간을 상기 공간-물체 관계 모델에서 검색하고, 상기 검색된 공간들 중에서 검색된 횟수를 기초로 상기 주요 객체가 속하는 상기 공간을 결정한다. 여기서 주요 객체는 복수개 존재할 수 있고, 각 주요 객체 별로 공간-물체 관계 모델에서 주요 객체가 속하는 공간이 검색될 수 있다. 이와 같이 복수개의 공간이 검색되는 경우, 검색된 공간의 검색 횟수를 기초로 주요 객체가 속하는 공간을 결정할 수 있다. 일 실시예에 따르면 공간 추정 단계(S300)는 복수개의 검색된 공간들 중에서 가장 많이 검색된 공간을 주요 객체가 속하는 공간으로 결정할 수 있다. 예를 들면 주요 객체가 '컵', '노트북', '사과'이고 각 주요 객체에 대하여 공간-물체 관계 모델에서 검색된 공간이 '방', '방', '부엌'인 경우 가장 검색 횟수가 높은 '방'이 주요 객체가 속하는 공간으로 추정될 수 있다.
다음으로 후보 부류 선별 단계(S400)에 대하여 보다 상세히 설명한다.
후보 부류 선별 단계(S400)는 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별한다. 여기서 상기 객체 인식 단계(S100)에서 각 객체에 대하여 결정된 후보 부류들 중에서 상기 추정한 공간과 관계되는 후보 부류를 선별할 수 있다. 이와 같은 동작을 통하여 추정된 공간과 관련성이 없는 인식 결과물이 제거되어 인식 성능이 향상될 수 있는 효과가 있다. 여기서 각 객체에 대하여 객체 인식 단계(S100)에서 객체 인식을 수행한 결과 소정의 개수의 후보 부류들이 결정되었다고 하면, 후보 부류 선별 단계(S400)는 상기 후보 부류들 중에서 부정확한 인식 결과물들을 제거하고 인식 성능을 높이기 위하여, 상기 추정한 공간과 관련되는 후보 부류만을 선별할 수 있다. 여기서 상기 추정한 공간과 관련되는 후보 부류만을 선별하는 것은, 상기 추정한 공간과 관련이 없는 후보 부류를 제거하는 방식으로 이루어질 수 있다.
여기서 후보 부류 선별 단계(S400)는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별할 수 있다. 또한 여기서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하지 않는 후보 부류들은 제거될 수 있다. 예를 들어 상기 추정한 공간이 '방'인 경우, 표 2의 예에서 상기 순위 1부터 10까지의 후보 부류 중 상기 '방'과 관련된 것으로 공간-물체 관계 모델에서 검색되는 물체에 대응하는 후보 부류만을 선별할 수 있다. 예를 들면 '약통', '우유 캔', '파우더', '선크림', '확대경', '컵'이 후보 부류로 선별될 수 있다.
순위 후보 부류 인식 정확도
1 비누통 0.15
2 약통 0.066
3 비커 0.057
4 우유 캔 0.049
5 파우더 0.047
6 선크림 0.045
7 캔 오프너 0.038
8 쉐이커 0.030
9 확대경 0.026
10 컵 0.024
여기서 상기 공간-물체 관계 모델은 상술한 바와 같이 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이 될 수 있다. 이때 후보 부류 선별 단계(S400)는 상기 후보 부류 중에서 상기 그래프 모델에서 상기 추정한 공간에 대응하는 공간 노드와 연결된 물체 노드에 대응하는 상기 후보 부류를 선별할 수 있다.
도 5는 후보 부류를 선별하는 동작을 설명하기 위한 참고도이다.
여기서 예를 들면, 후보 부류를 선별한 결과 객체 인식 단계(S100)에서 각 검출된 객체들에 대하여 결정된 10개의 후보 부류들 중 공간-물체 관계 모델을 참조할 때 추정된 공간인 특정 공간 - 예를 들면 '방' - 과 관련성이 없는 것으로 판단된 후보 부류들은 제거되고 나머지 후보 부류만이 선별될 수 있다.
본 발명에 따른 객체 인식 방법에 의하면 위와 같이 사전에 정의된 공간-물체 관계 모델을 이용하여 추정된 공간과 관련성이 있는 후보 부류만을 선별함으로써, 인식 성능을 향상시킬 수 있는 효과가 있다.
다음으로 부류 결정 단계(S500)에 대하여 보다 상세히 설명한다.
부류 결정 단계(S500)는 상기 선별한 후보 부류 중에서 상기 객체의 부류(Class)를 결정한다. 여기서 객체의 부류를 결정한다는 것은 객체를 미리 정의된 물체들 중 어느 하나의 부류(Class)로 분류하여 인식하는 것을 의미할 수 있다.
여기서 부류 결정 단계(S500)는 상기 후보 부류의 상기 인식 정확도의 크기를 기준으로, 상기 선별한 후보 부류 중 상기 객체의 상기 부류를 결정할 수 있다. 일 실시예에 있어서 부류 결정 단계는 후보 부류 선별 단계(S400)에서 선별된 후보 부류들 중에서 인식 정확도가 가장 큰 후보 부류를 객체의 최종 부류로 결정할 수 있다. 예를 들어 상기 선별된 후보 부류가 '사과', '배', '수박'이고, 각 인식 정확도가 '0.3', '0.4', '0.5'인 경우, 인식 정확도가 가장 큰 '수박'이 검출된 객체의 부류로 최종적으로 결정될 수 있다.
여기서 본 발명의 또 다른 실시예에 따른 객체 인식 방법은 인식 정확도 보정 단계(S450)를 더 포함할 수 있다.
도 6은 상기 실시예에 따른 객체 인식 방법의 흐름도이다.
인식 정확도 보정 단계(S450)는 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정한다.
여기서 인식 정확도 보정 단계(S450)는 후보 부류 선별 단계(S400)에서 선별한 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하여, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다.
그리고 부류 결정 단계(S500)는 상기 보정된 인식 정확도를 기초로 후보 부류 선별 단계(S400)에서 선별한 상기 후보 부류 중에서 상기 객체의 상기 부류를 결정할 수 있다.
여기서 상술한 바와 같이 상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이 될 수 있다. 이때 인식 정확도 보정 단계(S450)는 먼저 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 연결된 상기 후보 부류에 대응하는 상기 노드를 검색할 수 있다. 즉 먼저 상기 후보 부류 중에서, 주요 객체에 대응하는 물체 노드와 연결된 후보 부류의 노드를 검색할 수 있다. 예를 들면 주요 객체가 '노트북', '모니터'인 경우, 후보 부류에 대응하는 노드들 중에서 상기 '노트북' 또는 '모니터' 노드와 연결된 후보 부류의 노드를 검색할 수 있다.
그리고 인식 정확도 보정 단계(S450)는 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 정보를 기초로, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다. 여기서 주요 객체 노드와 후보 부류 노드 간의 연결 정보는 양 노드 간의 연결 그래프 상에서의 홉 거리가 될 수 있다. 여기서 홉 거리는 양 노드를 연결함에 있어서 거쳐야 하는 에지의 수로 정의될 수 있다. 예를 들어 노드 A와 노드 B가 A - C - D - B와 같이 연결된 경우 A로부터 B에 이르기까지 연결되는 에지는 총 3개이므로 홉 거리는 3이 될 수 있다.
이때 인식 정확도 보정 단계(S450)는 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 홉(Hop) 거리에 따라 가중치를 산출하고, 상기 산출한 가중치를 적용하여 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다. 여기서 상기 가중치는 상기 연결 홉 거리의 크기와 반비례하도록 설정된 규칙 또는 식에 의하여 산출될 수 있다. 또는 상기 가중치는 미리 그 값이 상기 연결 홉 거리의 크기에 따라 테이블 또는 기타 자료 구조를 이용하여 정의될 수 있고, 이와 같이 미리 정의된 테이블 또는 자료 구조를 이용하여 연결 홉 거리에 따른 가중치 값을 획득할 수 있다.
예를 들면 홉(Hop) 거리에 따른 가중치는 하기 표 3과 같이 설정할 수 있다.
홉 거리 2 3 4~6 7~
가중치 2 1.6 1.1 0
이때 주요 객체가 복수개인 경우, 각 주요 객체 노드와 후보 부류 노드 간의 연결 홉 거리에 따라 산출 또는 획득된 가중치들의 합이 최종 가중치가 될 수 있다. 또한 위와 같은 과정을 통하여 획득된 가중치를 객체 인식 단계(S100)에서 산출된 인식 정확도에 곱한 값으로 인식 정확도가 보정될 수 있다.
예를 들어 상기 표 2와 같이 후보 부류 선별 단계(S400)에서 후보 부류가 선별된 결과에 대하여, 인식 정확도 보정 단계(S450)가 수행되어 표 2의 후보 부류 중에서 상기 주요 객체와 관련된 후보 부류를 검색한 결과 '컵' 후보 부류가 검색되었고, '컵' 후보 부류의 노드와 주요 객체의 노드 간의 연결 정보에 따라 산출된 가중치가 8.1이 되면, '컵' 후보 부류의 인식 정확도는 표 2의 0.024에서 8.1이 곱해진 0.194가 될 수 있다. 여기서 상기 가중치 8.1은 예를 들면 '컵' 후보 부류의 노드와 주요 객체 '노트북', '전자 기타', '모니터', '접이식 의자', '커피 주전자', '쓰레기통' 간의 홉 거리에 따라 각 산출된 가중치인 1.6, 1.1, 1.6, 1.6, 1.1, 1.1의 총 합으로 산출될 수 있다. 하기 표 4는 이와 같이 인식 정확도 보정 단계(S450)에 따라 후보 부류 중 일부의 인식 정확도가 보정된 결과를 나타내는 표이다.
순위 후보 부류 인식 정확도
1 컵 0.194
2 약통 0.066
3 우유 캔 0.049
4 파우더 0.047
5 선크림 0.045
6 확대경 0.026
도 7은 위와 같은 인식 정확도 보정 동작을 설명하기 위한 참고도이다. 도 7의 a와 같이 후보 부류가 선별된 결과에 대하여, b와 같이 일 예로 주요 객체와 관련된 후보 부류로 '컵'이 선별될 수 있고, '컵' 후보 부류의 인식 정확도를 보정하기 위한 가중치가 c와 같이 산출될 수 있다. 다음으로 d와 같이 상기 산출된 가중치를 적용하여 인식 정확도가 보정될 수 있고, 보정된 결과에 따라 인식 정확도의 순서대로 후보 부류의 리스트가 재 정렬될 수 있다. 도 7의 d를 참조하면 인식 정확도 보정 동작에 따라 컵 객체 영상에 대하여 최대 인식 정확도를 가지는 후보 부류가 '컵'으로 보정됨을 확인할 수 있다.
이때 부류 결정 단계(S500)는 상기 보정된 인식 정확도를 기초로 후보 부류 선별 단계(S400)에서 선별한 상기 후보 부류 중에서 상기 객체의 상기 부류를 결정할 수 있다. 표 3과 도 7의 예에서는 최종적으로 '컵'이 검출된 객체의 부류로 결정됨으로써, 객체 인식 결과가 도출된다.
이처럼 인식 정확도를 보정함으로써 객체 인식 성능을 향상시킬 수 있는 효과가 있다.
본 발명의 또 다른 실시예에 따른 객체 인식 장치는 객체 인식부(100), 주요 객체 선별부(200), 공간 추정부(300), 후보 부류 선별부(400), 부류 결정부(500)를 포함할 수 있다. 여기서 상기 객체 인식 장치는 도 1 내지 도 7을 참조하면서 위에서 상세히 설명한 본 발명에 따른 객체 인식 방법의 각 단계가 동작하는 방식과 동일하게 동작할 수 있다. 이에 중복되는 부분은 생략하고 설명한다.
도 8은 상기 실시예에 따른 객체 인식 장치의 블록도이다.
객체 인식부(100)는 입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정한다.
여기서 객체 인식부(100)는 상기 검출한 객체를 미리 정해진 객체 인식 알고리즘을 이용하여 인식하되, 상기 객체에 대하여 상기 후보 부류 별 상기 인식 정확도를 산출하고, 상기 산출한 인식 정확도를 기준으로 소정의 개수의 상기 후보 부류를 결정할 수 있다.
주요 객체 선별부(200)는 상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별한다.
공간 추정부(300)는 공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정한다.
공간 추정부(300)는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정할 수 있다.
후보 부류 선별부(400)는 상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별한다.
여기서 후보 부류 선별부(400)는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별할 수 있다.
부류 결정부(500)는 상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정한다.
여기서 본 발명의 또 다른 실시예에 따른 객체 인식 장치는 인식 정확도 보정부(450)를 더 포함할 수 있다.
도 9는 상기 또 다른 실시예에 따른 객체 인식 장치의 블록도이다.
인식 정확도 보정부(450)는 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 객체 인식 방법에 있어서,
    입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식 단계;
    상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별 단계;
    공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정 단계;
    상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별하는 후보 부류 선별 단계; 및
    상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정 단계를 포함하는 것을 특징으로 하는 객체 인식 방법.
  2. 제1항에 있어서,
    상기 객체 인식 단계는 상기 검출한 객체를 미리 정해진 객체 인식 알고리즘을 이용하여 인식하되, 상기 객체에 대하여 상기 후보 부류 별 상기 인식 정확도를 산출하고, 상기 산출한 인식 정확도를 기준으로 소정의 개수의 상기 후보 부류를 결정하는 것을 특징으로 하는 객체 인식 방법.
  3. 제1항에 있어서,
    상기 객체 인식 단계는 상기 객체를 상기 후보 부류로 인식하는 정확도를 상기 인식 정확도로 산출하는 것을 특징으로 하는 객체 인식 방법.
  4. 제2항에 있어서,
    상기 객체 인식 단계는 CNN(Convolutional Neural Network) 방법을 이용하여 상기 객체를 인식하여, 상기 객체에 대하여 소정의 개수의 상기 후보 부류를 결정하는 것을 특징으로 하는 객체 인식 방법.
  5. 제1항에 있어서,
    상기 주요 객체 선별 단계는 상기 영상에 포함된 상기 객체들 중에서, 상기 객체의 상기 인식 정확도와 소정의 임계치를 비교하여, 그 비교 결과에 따라 상기 주요 객체를 선별하는 것을 특징으로 하는 객체 인식 방법.
  6. 제1항에 있어서,
    상기 공간 추정 단계는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정하는 것을 특징으로 하는 객체 인식 방법.
  7. 제6항에 있어서,
    상기 공간 추정 단계는 상기 영상에서 선별된 각 상기 주요 객체에 대응하는 상기 공간을 상기 공간-물체 관계 모델에서 검색하고, 상기 검색된 공간들 중에서 검색된 횟수를 기초로 상기 주요 객체가 속하는 상기 공간을 결정하는 것을 특징으로 하는 객체 인식 방법.
  8. 제6항에 있어서,
    상기 공간-물체 관계 모델은 적어도 하나 이상의 상기 공간에 대하여, 각 상기 공간 별로 상기 공간에 존재하는 상기 물체를 미리 정의한 모델인 것을 특징으로 하는 객체 인식 방법.
  9. 제8항에 있어서,
    상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델인 것을 특징으로 하는 객체 인식 방법.
  10. 제1항에 있어서,
    상기 후보 부류 선별 단계는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별하는 것을 특징으로 하는 객체 인식 방법.
  11. 제10항에 있어서,
    상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이고,
    상기 후보 부류 선별 단계는 상기 후보 부류 중에서 상기 그래프 모델에서 상기 추정한 공간에 대응하는 공간 노드와 연결된 물체 노드에 대응하는 상기 후보 부류를 선별하는 것을 특징으로 하는 객체 인식 방법.
  12. 제1항에 있어서,
    상기 부류 결정 단계는 상기 후보 부류의 상기 인식 정확도의 크기를 기준으로, 상기 선별한 후보 부류 중 상기 객체의 상기 부류를 결정하는 것을 특징으로 하는 객체 인식 방법.
  13. 제1항에 있어서,
    상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 인식 정확도 보정 단계를 더 포함하는 것을 특징으로 하는 객체 인식 방법.
  14. 제13항에 있어서,
    상기 인식 정확도 보정 단계는 상기 후보 부류 선별 단계에서 선별한 상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하여, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하고,
    상기 부류 결정 단계는 상기 보정된 인식 정확도를 기초로 상기 후보 부류 선별 단계에서 선별한 상기 후보 부류 중에서 상기 객체의 상기 부류를 결정하는 것을 특징으로 하는 객체 인식 방법.
  15. 제13항에 있어서,
    상기 공간-물체 관계 모델은 상기 공간과 상기 물체 간의 소속 관계를 노드와 에지 간의 연결 그래프로 나타낸 그래프 모델이고,
    상기 인식 정확도 보정 단계는,
    상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 연결된 상기 후보 부류에 대응하는 상기 노드를 검색하고,
    상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 정보를 기초로, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 것을 특징으로 하는 객체 인식 방법.
  16. 제15항에 있어서,
    상기 인식 정확도 보정 단계는 상기 그래프 모델에서 상기 주요 객체에 대응하는 상기 노드와 상기 후보 부류에 대응하는 상기 노드 간의 연결 홉(Hop) 거리에 따라 가중치를 산출하고, 상기 산출한 가중치를 적용하여 상기 후보 부류의 상기 인식 정확도를 보정하는 것을 특징으로 하는 객체 인식 방법.
  17. 객체 인식 장치에 있어서,
    입력 영상에서 객체를 검출하고, 상기 검출한 객체를 인식하여, 상기 객체에 대응하는 적어도 하나 이상의 후보 부류를 결정하는 객체 인식부;
    상기 영상에 포함된 상기 객체 중에서 인식 정확도를 기준으로 주요 객체를 선별하는 주요 객체 선별부;
    공간과 물체 간의 관계를 미리 정의한 공간-물체 관계 모델을 이용하여, 상기 선별한 주요 객체가 속하는 상기 공간을 추정하는 공간 추정부;
    상기 추정한 공간에 따라 상기 객체에 대응하는 상기 후보 부류 중 일부를 선별하는 후보 부류 선별부; 및
    상기 선별한 후보 부류 중에서 상기 객체의 부류를 결정하는 부류 결정부를 포함하는 것을 특징으로 하는 객체 인식 장치.
  18. 제17항에 있어서,
    상기 공간 추정부는 상기 공간-물체 관계 모델에서 상기 주요 객체에 대응하는 상기 공간을 검색하고, 상기 검색한 공간을 기초로 상기 주요 객체가 속하는 상기 공간을 추정하는 것을 특징으로 하는 객체 인식 장치.
  19. 제17항에 있어서,
    상기 후보 부류 선별부는 상기 후보 부류 중에서 상기 공간-물체 관계 모델에서 상기 추정한 공간과 관계된 상기 물체에 대응하는 상기 후보 부류를 선별하는 것을 특징으로 하는 객체 인식 장치.
  20. 제17항에 있어서,
    상기 후보 부류 중에서 상기 주요 객체와 관련된 상기 후보 부류를 상기 공간-물체 관계 모델에서 검색하고, 상기 검색한 상기 후보 부류의 상기 인식 정확도를 보정하는 인식 정확도 보정부를 더 포함하는 것을 특징으로 하는 객체 인식 장치.
PCT/KR2016/000724 2015-11-27 2016-01-22 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치 WO2017090830A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150167923A KR101771044B1 (ko) 2015-11-27 2015-11-27 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
KR10-2015-0167923 2015-11-27

Publications (1)

Publication Number Publication Date
WO2017090830A1 true WO2017090830A1 (ko) 2017-06-01

Family

ID=58763391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000724 WO2017090830A1 (ko) 2015-11-27 2016-01-22 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR101771044B1 (ko)
WO (1) WO2017090830A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705613A (zh) * 2019-09-19 2020-01-17 创新奇智(青岛)科技有限公司 物体分类方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102023573B1 (ko) * 2017-12-06 2019-09-24 한국과학기술연구원 지능형 음성 정보 제공 시스템 및 방법
KR101982942B1 (ko) 2017-12-21 2019-05-27 건국대학교 산학협력단 객체 추적 방법 및 이를 수행하는 장치들
KR102592463B1 (ko) * 2018-08-01 2023-10-23 삼성전자 주식회사 카메라 모듈을 통해 획득한 영상에 기반하여 정보를 저장하는 방법 및 이를 사용하는 전자 장치
KR102661596B1 (ko) 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
WO2020117028A1 (ko) * 2018-12-07 2020-06-11 서울대학교 산학협력단 질의 응답 장치 및 방법
KR102185777B1 (ko) * 2020-06-18 2020-12-02 호서대학교 산학협력단 컴퓨터를 이용한 딥러닝과 plsi 기반 이미지객체의 의미관계 인식방법
KR20220022354A (ko) * 2020-08-18 2022-02-25 삼성전자주식회사 객체 간 관계에 기초하여 이미지를 수정하는 인공지능 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1160682A1 (en) * 2000-06-02 2001-12-05 Thomas Dr. Seidl Relation interval tree
US20120105461A1 (en) * 2000-10-16 2012-05-03 Sony Deutschland Gmbh Automatic selection of a background image for a display on a mobile telephone
US20130110620A1 (en) * 2011-10-31 2013-05-02 Yongtai Zhu Selecting images based on textual description
US20140307974A1 (en) * 2013-04-12 2014-10-16 Omron Corporation Image recognition device, recording medium, and image recognition method
US20150235110A1 (en) * 2014-02-14 2015-08-20 Social Sweepster, LLC. Object recognition or detection based on verification tests

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1160682A1 (en) * 2000-06-02 2001-12-05 Thomas Dr. Seidl Relation interval tree
US20120105461A1 (en) * 2000-10-16 2012-05-03 Sony Deutschland Gmbh Automatic selection of a background image for a display on a mobile telephone
US20130110620A1 (en) * 2011-10-31 2013-05-02 Yongtai Zhu Selecting images based on textual description
US20140307974A1 (en) * 2013-04-12 2014-10-16 Omron Corporation Image recognition device, recording medium, and image recognition method
US20150235110A1 (en) * 2014-02-14 2015-08-20 Social Sweepster, LLC. Object recognition or detection based on verification tests

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705613A (zh) * 2019-09-19 2020-01-17 创新奇智(青岛)科技有限公司 物体分类方法

Also Published As

Publication number Publication date
KR101771044B1 (ko) 2017-08-24
KR20170062290A (ko) 2017-06-07

Similar Documents

Publication Publication Date Title
WO2017090830A1 (ko) 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
JP2953712B2 (ja) 移動物体検知装置
US8693043B2 (en) Automatic document separation
US8306282B2 (en) Hierarchical face recognition training method and hierarchical face recognition method thereof
US9633264B2 (en) Object retrieval using background image and query image
WO2013015528A1 (en) Apparatus, method, and medium detecting object pose
WO2012115332A1 (ko) 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
CN103632379A (zh) 物体检测装置及其控制方法
US20100272351A1 (en) Information processing apparatus and method for detecting object in image data
Hasegawa et al. A hardware-Trojan classification method utilizing boundary net structures
US20080304699A1 (en) Face feature point detection apparatus and method of the same
Sundara Vadivel et al. An efficient CBIR system based on color histogram, edge, and texture features
US20110286670A1 (en) Image processing apparatus, processing method therefor, and non-transitory computer-readable storage medium
Zhou et al. Sharp corner/edge recognition in domestic environments using RGB-D camera systems
Dutta et al. A shot detection technique using linear regression of shot transition pattern
JP6565661B2 (ja) 画像処理システム、画像類似判定方法および画像類似判定プログラム
CN117474918A (zh) 异常检测方法和装置、电子设备以及存储介质
Tomczyk et al. On the relationship between active contours and contextual classification
US7978937B2 (en) Using photographic images as a search attribute
WO2017099292A1 (ko) 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
Yazdi et al. Shot boundary detection with effective prediction of transitions' positions and spans by use of classifiers and adaptive thresholds
Muneesawang et al. Learning and adaptive characterization of visual contents in image retrieval systems
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
Xu et al. Real-time hand gesture recognition system based on associative processors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16868732

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16868732

Country of ref document: EP

Kind code of ref document: A1