KR20210122538A - Classifier Using Context Information and Classification Method Thereof - Google Patents

Classifier Using Context Information and Classification Method Thereof Download PDF

Info

Publication number
KR20210122538A
KR20210122538A KR1020200039818A KR20200039818A KR20210122538A KR 20210122538 A KR20210122538 A KR 20210122538A KR 1020200039818 A KR1020200039818 A KR 1020200039818A KR 20200039818 A KR20200039818 A KR 20200039818A KR 20210122538 A KR20210122538 A KR 20210122538A
Authority
KR
South Korea
Prior art keywords
interest
region
background
feature
weight
Prior art date
Application number
KR1020200039818A
Other languages
Korean (ko)
Other versions
KR102342967B1 (en
Inventor
이준환
김동훈
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Priority to KR1020200039818A priority Critical patent/KR102342967B1/en
Publication of KR20210122538A publication Critical patent/KR20210122538A/en
Application granted granted Critical
Publication of KR102342967B1 publication Critical patent/KR102342967B1/en

Links

Images

Classifications

    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

According to an embodiment of the present invention, a classifier using context information includes: a feature extraction unit for extracting features from input data; a weight generating unit for generating weights for a region of interest in which an object to be classified is located in the input data and a weight for a background excluding the region of interest; a feature generating unit which generates the features of the region of interest and the background based on the features extracted by the feature extracting unit and the weights generated by the weight generating unit; and a classification unit which performs classification using the characteristics of the region of interest and the background generated by the feature generating unit.

Description

문맥 정보를 활용하는 분류기 및 이의 분류 방법 {Classifier Using Context Information and Classification Method Thereof}Classifier Using Context Information and Classification Method Thereof

본 출원은 문맥 정보를 활용하는 분류기 및 이의 분류 방법에 관한 것이다.The present application relates to a classifier utilizing context information and a classification method thereof.

분류기의 일 종인 단일 부류 분류기(one-class classifier)는 어떤 특정 부류를 분리하는 기술로서, 주로 고장진단, 외톨이(outlier) 데이터, 참신한(novelty) 데이터 등의 분류에 사용된다.A one-class classifier, which is a kind of classifier, is a technique for separating a specific class, and is mainly used for classification of fault diagnosis, outlier data, novelty data, and the like.

일반적으로 단일 부류 분류기는 분류를 위해 전체 콘텐츠의 전역 특징 정보를 활용하거나, 국부적인 특징 정보를 활용한다. 여기서, 특징 정보는 구별하고자 하는 특정 부류와 그 이외의 부류 사이의 차이는 크고, 구별하고자 하는 특정 부류의 차이는 작게 나도록 추출될 수 있다.In general, a single class classifier utilizes global feature information of the entire content or local feature information for classification. Here, the characteristic information may be extracted such that a difference between a specific class to be distinguished and other classes is large and a difference between a specific class to be distinguished is small.

도 1은 단일 부류 분류기의 특징 매핑 과정을 도시하는 도면으로, 도 1에 도시된 바와 같이 특징 정보는 단일 부류 분류 전에 다시 매핑되어 구분해 내려는 부류의 특징들은 서로 뭉치고 서로 다른 부류의 특징들은 구분하려는 부류의 특징으로부터 멀리 떨어지도록 한다.FIG. 1 is a diagram illustrating a feature mapping process of a single class classifier. As shown in FIG. 1, feature information is re-mapped before single class classification so that the features of the class to be distinguished are grouped together and the features of different classes are separated. Stay away from class features.

그러나, 종래의 단일 부류 분류기는 단순히 전역 특징 정보를 활용하거나, 대상 객체에 대한 특징 정보를 활용하여 분류를 하였을 뿐, 문맥 정보에 해당하는 배경 정보를 별도로 고려하려는 시도는 이루어지지 않았으며, 이에 분류기의 분류 정확도가 떨어지는 경우가 있다.However, the conventional single class classifier simply uses global feature information or uses feature information for a target object to classify, and no attempt is made to separately consider background information corresponding to context information, and thus the classifier In some cases, the classification accuracy of

따라서, 당해 기술분야에서는 분류기를 통해 입력 데이터를 분류함에 있어서 문맥 정보를 활용하여 그 성능을 개선하기 위한 방안이 요구되고 있다.Accordingly, in the art, there is a demand for a method for improving the performance by using context information in classifying input data through a classifier.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 문맥 정보를 활용하는 분류기를 제공한다.In order to solve the above problems, an embodiment of the present invention provides a classifier utilizing context information.

상기 문맥 정보를 활용하는 분류기는, 입력 데이터로부터 특징을 추출하는 특징 추출부; 상기 입력 데이터에서 분류 대상이 되는 객체가 위치하는 관심영역과 상기 관심영역을 제외한 배경에 대한 가중치를 각각 생성하는 가중치 생성부; 상기 특징 추출부에 의해 추출된 특징과 상기 가중치 생성부에 의해 생성된 가중치를 기반으로 상기 관심영역 및 배경의 특징을 생성하는 특징 생성부; 및 상기 특징 생성부에 의해 생성된 관심영역 및 배경의 특징을 이용하여 분류를 수행하는 분류부를 포함할 수 있다.The classifier using the context information includes: a feature extracting unit for extracting features from input data; a weight generator for generating weights for a region of interest in which an object to be classified is located in the input data and a weight for a background excluding the region of interest; a feature generator for generating features of the region of interest and background based on the features extracted by the feature extractor and the weights generated by the weight generator; and a classification unit that performs classification using the characteristics of the region of interest and the background generated by the feature generating unit.

또한, 본 발명의 다른 실시예는 문맥 정보를 활용하는 분류기의 분류 방법을 제공한다.In addition, another embodiment of the present invention provides a classification method of a classifier using context information.

상기 문맥 정보를 활용하는 분류기의 분류 방법은, 입력 데이터로부터 특징을 추출하는 단계; 상기 입력 데이터에서 분류 대상이 되는 객체가 위치하는 관심영역과 상기 관심영역을 제외한 배경에 대한 가중치를 각각 생성하는 단계; 상기 추출된 특징과 생성된 가중치를 기반으로 상기 관심영역 및 배경의 특징을 생성하는 단계; 및 상기 관심영역 및 배경의 특징을 이용하여 분류를 수행하는 단계를 포함할 수 있다.A classification method of a classifier using the context information includes: extracting features from input data; generating weights for a region of interest in which the object to be classified is located in the input data and a background excluding the region of interest, respectively; generating the features of the region of interest and the background based on the extracted features and the generated weights; and performing classification using the characteristics of the region of interest and the background.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.Incidentally, the means for solving the above problems do not enumerate all the features of the present invention. Various features of the present invention and its advantages and effects may be understood in more detail with reference to the following specific embodiments.

본 발명의 일 실시예에 따르면, 분류기를 통해 입력 데이터를 분류함에 있어서 분류 대상 객체가 위치한 부분의 특징뿐만 아니라 해당 객체의 문맥에 대한 특징을 동시에 사용함으로써, 분류기의 성능을 개선할 수 있다.According to an embodiment of the present invention, in classifying input data through the classifier, the performance of the classifier can be improved by simultaneously using not only the characteristics of the part where the classification target object is located but also the characteristics of the context of the corresponding object.

도 1은 단일 부류 분류기의 특징 매핑 과정을 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 문맥 정보를 활용하는 분류기의 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 문맥 정보를 활용하는 분류기의 분류 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 관심영역 및 배경의 분리를 위해 사용되는 가우시안 마스크의 예를 도시하는 도면이다.1 is a diagram illustrating a feature mapping process of a single class classifier.
2 is a block diagram of a classifier using context information according to an embodiment of the present invention.
3 is a flowchart of a classification method of a classifier using context information according to another embodiment of the present invention.
4 is a diagram illustrating an example of a Gaussian mask used to separate a region of interest and a background according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, 'including' a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.

후술하는 실시예에서는 단일 부류 분류기가 영상 데이터를 입력 받아서 분류하는 경우에 대해서 구체적으로 설명하나, 본 발명의 실시예에 따른 분류기가 반드시 단일 부류 분류기 및 이에 의한 영상 데이터의 분류로 한정되는 것은 아니다. 다시 말해, 본 발명의 실시예에 따른 분류기는 다른 종류의 분류기일 수 있으며, 음향 데이터 또는 텍스트 데이터 등과 같은 데이터의 분류에도 동일하게 적용될 수 있다.A case in which a single class classifier receives and classifies image data will be described in detail in the following embodiment, but the classifier according to the embodiment of the present invention is not necessarily limited to a single class classifier and classification of image data by the single class classifier. In other words, the classifier according to the embodiment of the present invention may be a different type of classifier, and may be equally applied to classification of data such as sound data or text data.

도 2는 본 발명의 일 실시예에 따른 문맥 정보를 활용하는 분류기의 구성도이다.2 is a block diagram of a classifier using context information according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 분류기(100)는 특징 추출부(110), 가중치 생성부(120), 특징 생성부(130) 및 분류부(140)를 포함하여 구성될 수 있다.Referring to FIG. 2 , the classifier 100 according to an embodiment of the present invention may be configured to include a feature extractor 110 , a weight generator 120 , a feature generator 130 , and a classifier 140 . can

특징 추출부(110)는 입력 데이터, 예를 들어, 입력 영상으로부터 특징을 추출하기 위한 것이다.The feature extraction unit 110 is for extracting features from input data, for example, an input image.

일 실시예에 따르면, 특징 추출부(110)는 기계학습 방법을 이용하여 특징을 추출할 수 있다. 일 예로, 특징 추출부(100)는 컨벌루션 뉴럴 네트워크 (Convolutional Neural Network; CNN)에 의해 입력 영상을 학습하여 특징을 추출하고 CNN 특징 맵(feature map)을 생성할 수 있다. 이 경우, 특징 추출부(100)는 짜냄과 강조(squeeze-and-excitation), 주의 기법(attention technique) 등의 기술을 활용하여 변별력이 강한 특징을 생성할 수 있다.According to an embodiment, the feature extraction unit 110 may extract a feature using a machine learning method. For example, the feature extractor 100 may learn an input image by a convolutional neural network (CNN) to extract features and generate a CNN feature map. In this case, the feature extraction unit 100 may generate a feature with strong discrimination power by using techniques such as squeeze-and-excitation, and an attention technique.

다른 실시예에 따르면, 특징 추출부(110)는 외부 입력에 따라 지정된 특징을 사용할 수도 있다.According to another embodiment, the feature extraction unit 110 may use a specified feature according to an external input.

가중치 생성부(120)는 입력 영상에서 분류 대상이 되는 객체가 위치하는 관심영역(Region of Interest; ROI)과 관심영역을 제외한 배경에 대한 가중치를 각각 생성하기 위한 것이다. 여기서, 관심영역이 특정되지 않은 경우와 관심영역이 특정된 경우로 분류될 수 있으며, 각 경우에 대해서 후술하는 바와 같이 가중치를 생성할 수 있다.The weight generator 120 is to generate weights for a region of interest (ROI) in which an object to be classified is located in the input image and a background excluding the region of interest, respectively. Here, the case in which the ROI is not specified and the case in which the ROI is specified may be classified, and weights may be generated for each case as described later.

우선, 관심영역이 특정되지 않은 경우, 가중치 생성부(120)는 객체가 입력 영상의 중앙부에 위치한다고 가정하고, 하기의 수학식 1 및 2에 따라 각각의 가중치를 생성할 수 있다. First, when the region of interest is not specified, the weight generator 120 may generate weights according to Equations 1 and 2, assuming that the object is located in the center of the input image.

예를 들어, 입력 영상의 가로 및 세로 크기가 각각 W, H이고, CNN에 의한 특징 추출의 최종단의 결과가 W', H'로 축소된다고 가정하면, 축소율은

Figure pat00001
,
Figure pat00002
이다.For example, assuming that the horizontal and vertical sizes of the input image are W and H, respectively, and the result of the final stage of feature extraction by CNN is reduced to W' and H', the reduction ratio is
Figure pat00001
,
Figure pat00002
am.

가중치 생성부(120)는 입력영상의 중심에 가까운 부분에서는 관심영역의 특징을 구할 때는 가중치를 크게 하고, 먼 부분에서는 가중치를 작게 할 수 있다. 다시 말해, CNN 특징 맵에서 영상 중심으로부터의 거리에 따라 음의 기울기를 가지는 가중치를 생성할 수 있다.The weight generator 120 may increase the weight in a portion close to the center of the input image to obtain a feature of the region of interest, and decrease the weight in a portion farther away from the input image. In other words, it is possible to generate a weight having a negative slope according to the distance from the image center in the CNN feature map.

입력 영상의 중심으로부터 가로 방향으로 w, 세로 방향으로 h 만큼 떨어진 위치, 즉 특징 맵의 좌표가 (h', v')인 위치에서의 관심영역 가중치는 수학식 1에 생성할 수 있다.The weight of the region of interest at a position separated by w in the horizontal direction and h in the vertical direction from the center of the input image, that is, at a position where the coordinates of the feature map are (h', v'), can be generated in Equation (1).

[수학식 1] [Equation 1]

Figure pat00003
Figure pat00003

또한, 배경의 가중치는 수학식 2에 따라 생성할 수 있다.Also, the weight of the background may be generated according to Equation (2).

[수학식 2][Equation 2]

Figure pat00004
Figure pat00004

여기서, kw, kh는 기울기를 결정하는 상수이다.Here, k w and k h are constants that determine the slope.

그러나, 상술한 수학식 1 및 2는 가중치들이 중심으로부터의 거리에 따라 선형적으로 변하는 일 예에 불과하며, 필요에 따라서 관심영역의 중심부와 배경의 가장자리 부분에 각각의 가중치를 크게 설정하고, 이로부터 멀어지면 작게 하는 방식 등과 같이 기 정해진 규칙에 따라 다양한 방식으로 가중치를 변경할 수 있다.However, the above-mentioned Equations 1 and 2 are only an example in which the weights change linearly according to the distance from the center. The weight can be changed in various ways according to a predetermined rule, such as a method of making it smaller when moving away from it.

한편, 관심영역이 특정된 경우, 가중치 생성부(120)는 하기의 수학식 3에 따라 관심영역 및 배경의 가중치를 생성할 수 있다.Meanwhile, when the region of interest is specified, the weight generator 120 may generate weights of the region of interest and the background according to Equation 3 below.

[수학식 3][Equation 3]

Figure pat00005
Figure pat00005

여기서, 관심영역은 입력 신호에 따라 특정되거나, Faster R-CNN, YOLO, SSD 등의 자동 객체 검출(object detection) 장치에 의해 자동으로 특정된 것일 수 있다. 예를 들어, Faster R-CNN에 의해 객체가 검출되는 경우 해당 객체의 바운딩 박스들이 제공되는데, 해당 바운딩 박스들에서는 상술한 수학식 3에 따라 관심영역 가중치를 생성할 수 있다.Here, the region of interest may be specified according to an input signal or may be automatically specified by an automatic object detection device such as Faster R-CNN, YOLO, or SSD. For example, when an object is detected by Faster R-CNN, bounding boxes of the corresponding object are provided. In the corresponding bounding boxes, an ROI weight can be generated according to Equation 3 above.

다른 예에 따르면, 가중치 생성부(120)는 도 4에 도시된 바와 같은 가우시안 마스크를 사용하여 관심영역과 배경을 분리한 후 각각에 대한 가중치를 생성할 수도 있다. 예를 들어, 특징 추출부(110)에서의 네트워크의 중간 단 특징 출력값에 각각 관심영역 및 배경 마스크에 대한 곱 연산을 수행하는 방식으로 관심영역과 배경을 분리할 수 있으며, 여기서 배경 마스크는 도 4에 도시된 마스크를 사용하고, 관심영역 마스크는 도 4에 도시된 마스크의 역수를 사용할 수 있다.According to another example, the weight generator 120 may generate a weight for each region of interest and a background by using a Gaussian mask as shown in FIG. 4 . For example, the region of interest and the background may be separated by performing a multiplication operation for the region of interest and the background mask, respectively, on the intermediate stage feature output value of the network from the feature extraction unit 110, where the background mask is shown in FIG. 4 The mask shown in FIG. 4 may be used, and as the region of interest mask, an inverse number of the mask shown in FIG. 4 may be used.

특징 생성부(130)는 특징 추출부(110)에 의해 추출된 특징과 가중치 생성부(120)에 의해 생성된 가중치를 기반으로 관심영역 및 배경의 특징을 생성하기 위한 것이다.The feature generator 130 is for generating features of the region of interest and the background based on the features extracted by the feature extractor 110 and the weights generated by the weight generator 120 .

일 실시예에 따르면, 특징 생성부(130)는 가중화된 전역 평균 통합(Global Average Pooling; GAP) 등에 의해 관심영역과 배경의 특징을 별도로 생성할 수 있다.According to an embodiment, the feature generator 130 may separately generate the features of the region of interest and the background by weighted global average pooling (GAP).

특징 생성부(130)는 하기의 수학식 4에 따라 관심영역과 배경의 특징을 생성할 수 있다.The feature generator 130 may generate the features of the region of interest and the background according to Equation 4 below.

[수학식 4][Equation 4]

Figure pat00006
Figure pat00006

즉, CNN에 의한 특징 추출의 최종단에서 획득한 특징 맵의 채널 수가 c개라면, 각각의 채널의 특징은 수학식 4와 같으며, 전역 평균 통합을 수행한 전체 특징의 수는 2c개로 확장될 수 있다.That is, if the number of channels of the feature map obtained at the final stage of feature extraction by CNN is c, the features of each channel are the same as in Equation 4, and the total number of features on which global average integration has been performed will be expanded to 2c. can

필요에 따라(예를 들어, 학습 데이터가 충분한 경우), 공분산 총체화(covariance pooling)를 통해 각각의 특징을 c2차원의 특징으로 확장하여 변별력을 증가시킬 수 있다.If necessary (for example, when the training data is sufficient), each feature can be expanded to a c two- dimensional feature through covariance pooling to increase the discriminatory power.

분류부(140)는 특징 생성부(130)에 의해 생성된 관심영역 및 배경의 특징을 이용하여 분류를 수행하기 위한 것이다.The classification unit 140 is to perform classification using the features of the region of interest and the background generated by the feature generation unit 130 .

일 실시예에 따르면, 분류부(140)는 서포트 벡터 머신(Support Vector Machine; SVM) 등과 같은 기계학습 방법을 활용하거나, 신경망 모델을 사용하는 딥러닝 방법 등에 의해 단일 부류 분류를 수행할 수 있다. According to an embodiment, the classifier 140 may perform single class classification by using a machine learning method such as a support vector machine (SVM), or by a deep learning method using a neural network model.

일 예로, 분류부(140)는 딥러닝 방법을 활용한 분류기로 구현될 수 있으며, 분류하려는 부류의 특징은 뭉치고(즉, 분산 최소화) 다른 부류 특징은 흩어지게 하여 변별력을 최대로 하는 손실함수(loss function)를 사용할 수 있다.As an example, the classification unit 140 may be implemented as a classifier using a deep learning method, and a loss function that maximizes discrimination power by clustering (ie, minimizing variance) characteristics of a class to be classified and dispersing other class features ( loss function) can be used.

다른 예로, 분류부(140)는 생성적 적대 신경망(Generative Adversarial Network; GAN) 모델, 다층 퍼셉트론(Multilayer Perceptron) 등과 같은 신경망을 적용할 수도 있다.As another example, the classifier 140 may apply a neural network such as a generative adversarial network (GAN) model, a multilayer perceptron, or the like.

이 경우, 분류부(140)는 2c개의 특징을 인가하여 단일 부류 분류를 수행하거나, 또는 관심영역과 배경 특징을 분리하여 각각 c차원의 단일 부류 분류를 수행한 후 결과를 융합함으로써, 분류를 수행할 수 있다.In this case, the classification unit 140 performs a single class classification by applying 2c features, or performs a c-dimensional single class classification by separating a region of interest and a background feature, and then fuses the results to perform classification. can do.

또한, 분류부(140)는 2c개의 특징으로 분류하고자 하는 부류와 그렇지 않은 부류 각각에 대해 소프트맥스(softmax) 함수를 활용하여 관심영역과 배경 부분에 대해 CAM(class Activation Map)을 구성할 수도 있으며, 이를 통해 관심영역과 배경에 대해 어떠한 특징들이 단일 부류 분류에 적합한지 파악하도록 할 수 있다.In addition, the classification unit 140 may configure a CAM (class activation map) for the region of interest and the background portion by using a softmax function for each of the class to be classified into 2c features and the class not to be classified into 2c features. , through this, it is possible to identify which characteristics are suitable for a single classification for the region of interest and background.

도 3은 본 발명의 다른 실시예에 따른 문맥 정보를 활용하는 분류기의 분류 방법의 흐름도이다.3 is a flowchart of a classification method of a classifier using context information according to another embodiment of the present invention.

도 3을 참조하면, 우선, 입력 데이터로부터 특징을 추출하고(S310), 관심영역과 배경에 대한 가중치를 생성할 수 있다(S320).Referring to FIG. 3 , first, a feature may be extracted from input data ( S310 ), and weights may be generated for the region of interest and the background ( S320 ).

이후, 추출된 특징과 가중치를 기반으로 관심영역과 배경의 특징을 각각 생성한 후(S330), 생성된 관심영역과 배경의 특징을 이용하여 분류를 수행할 수 있다(S340).Thereafter, after generating the features of the region of interest and the background based on the extracted features and weights ( S330 ), classification may be performed using the generated features of the region of interest and the background ( S340 ).

각 단계의 구체적인 내용은 도 2를 참조하여 상술한 바와 동일하므로 이에 대한 중복적인 설명은 생략한다.Since the detailed contents of each step are the same as those described above with reference to FIG. 2 , a redundant description thereof will be omitted.

도 3을 참조하여 상술한 분류 방법은 도 2를 참조하여 상술한 분류기에 의해 수행될 수 있다.The classification method described above with reference to FIG. 3 may be performed by the classifier described above with reference to FIG. 2 .

상술한 본 발명의 실시예에 따른 단일 부류 분류기는 분류해 내고자 하는 단일 부류가 문맥 정보에 민감한 경우에 널리 활용될 수 있다. 즉, 영상, 음향 등과 같은 입력 데이터 중에서 검출하고자 하는 객체가 특별히 배경과 밀접한 관계를 가진 경우에 폭넓게 적용될 수 있다. The single class classifier according to the above-described embodiment of the present invention can be widely used when a single class to be classified is sensitive to context information. That is, it can be widely applied to a case in which an object to be detected among input data such as an image or sound has a close relationship with the background.

예를 들어, 식물의 병해영상을 분류하는 경우, 관심영역에 해당하는 병해 부분은 배경 정보에 해당하는 잎, 줄기, 과일 등의 부위에 따라 다르기 때문에 배경 정보 역시 중요한 시각 정보를 제공할 수 있다. For example, when classifying a disease image of a plant, the background information may also provide important visual information because the disease part corresponding to the region of interest differs according to the parts such as leaves, stems, and fruits corresponding to the background information.

따라서, 본 발명의 실시예에 따르면, 입력된 영상에서 관심영역과 배경을 분리하고 이들을 모두 고려하여 분류를 함으로써, 단순히 전체 영상을 대상으로 하는 경우에 비해서 분류 성능을 향상시킬 수 있다.Therefore, according to an embodiment of the present invention, classification performance can be improved compared to the case where the entire image is simply targeted by separating the region of interest and the background from the input image and performing classification in consideration of both.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.The present invention is not limited by the above embodiments and the accompanying drawings. For those of ordinary skill in the art to which the present invention pertains, it will be apparent that the components according to the present invention can be substituted, modified and changed without departing from the technical spirit of the present invention.

100: 분류기
110: 특징 추출부
120: 가중치 생성부
130: 특징 생성부
140: 분류부100: classifier
110: feature extraction unit
120: weight generator
130: feature generating unit
140: classification unit

Claims (8)

입력 데이터로부터 특징을 추출하는 특징 추출부;
상기 입력 데이터에서 분류 대상이 되는 객체가 위치하는 관심영역과 상기 관심영역을 제외한 배경에 대한 가중치를 각각 생성하는 가중치 생성부;
상기 특징 추출부에 의해 추출된 특징과 상기 가중치 생성부에 의해 생성된 가중치를 기반으로 상기 관심영역 및 배경의 특징을 생성하는 특징 생성부; 및
상기 특징 생성부에 의해 생성된 관심영역 및 배경의 특징을 이용하여 분류를 수행하는 분류부를 포함하는 문맥 정보를 활용하는 분류기.
a feature extracting unit for extracting features from input data;
a weight generator for generating weights for a region of interest in which an object to be classified is located in the input data and a weight for a background excluding the region of interest;
a feature generator for generating the features of the region of interest and the background based on the features extracted by the feature extractor and the weights generated by the weight generator; and
A classifier using context information, including a classifying unit that performs classification using the characteristics of the region of interest and the background generated by the feature generating unit.
 제 1 항에 있어서,
상기 입력 데이터는 영상 데이터, 음향 데이터 및 텍스트 데이터 중 어느 하나인 것을 특징으로 하는 문맥 정보를 활용하는 분류기.
The method of claim 1,
The classifier using context information, characterized in that the input data is any one of image data, sound data, and text data.
 제 1 항에 있어서,
상기 특징 추출부는 CNN(Convolutional Neural Network)에 의해 상기 입력 데이터를 학습하여 특징을 추출하고, CNN 특징 맵을 생성하는 것을 특징으로 하는 문맥 정보를 활용하는 분류기.
The method of claim 1,
The feature extraction unit learns the input data by a Convolutional Neural Network (CNN), extracts features, and generates a CNN feature map.
 제 3 항에 있어서,
상기 관심영역이 특정되지 않은 경우,
상기 가중치 생성부는 상기 객체가 상기 입력 데이터의 중심에 위치한다고 가정하고, 상기 중심으로부터의 거리에 따라 기 정해진 규칙에 따라 감소하도록 관심영역 가중치를 생성하는 것을 특징으로 하는 문맥 정보를 활용하는 분류기.
4. The method of claim 3,
If the region of interest is not specified,
The weight generator assumes that the object is located at the center of the input data, and generates an ROI weight to decrease according to a predetermined rule according to a distance from the center.
 제 4 항에 있어서,
상기 입력 데이터가 영상 데이터인 경우,
상기 가중치 생성부는 하기의 수학식,
Figure pat00007
,
Figure pat00008

에 따라 선형적으로 감소하도록 관심영역 및 배경 가중치를 각각 생성하며,
여기서,
Figure pat00009
및
Figure pat00010
는 각각 상기 CNN 특징 맵의 좌표가 (h', v')인 위치에서의 관심영역 가중치 및 배경 가중치이고, W 및 H는 각각 입력 영상의 가로 및 세로 크기이고, W' 및 H'는 각각 CNN에 의한 특징 추출의 최종단의 결과의 가로 및 세로 크기이며,
Figure pat00011
,
Figure pat00012
인 것을 특징으로 하는 문맥 정보를 활용하는 분류기.
5. The method of claim 4,
When the input data is image data,
The weight generating unit is expressed by the following equation,
Figure pat00007
,
Figure pat00008

Generates a region of interest and a background weight, respectively, to decrease linearly according to
here,
Figure pat00009
and
Figure pat00010
are the region of interest weight and background weight at the location where the coordinates of the CNN feature map are (h', v'), respectively, W and H are the horizontal and vertical sizes of the input image, respectively, and W' and H' are the CNN are the horizontal and vertical sizes of the result of the final stage of feature extraction by
Figure pat00011
,
Figure pat00012
A classifier using contextual information, characterized in that
 제 3 항에 있어서,
상기 관심영역이 특정된 경우,
상기 가중치 생성부는 하기의 수학식,
Figure pat00013

에 따라 관심영역 및 배경 가중치를 각각 생성하며,
여기서,
Figure pat00014
및
Figure pat00015
는 각각 상기 CNN 특징 맵의 좌표가 (h', v')인 위치에서의 관심영역 가중치 및 배경 가중치인 것을 특징으로 하는 문맥 정보를 활용하는 분류기.
4. The method of claim 3,
When the region of interest is specified,
The weight generating unit is expressed by the following equation,
Figure pat00013

ROI and background weights are generated according to
here,
Figure pat00014
and
Figure pat00015
A classifier using context information, characterized in that each of the ROI weights and the background weights at positions where the coordinates of the CNN feature map are (h', v').
 제 1 항에 있어서,
상기 특징 생성부는 가중화된 전역 평균 통합(Global Average Pooling)에 의해 상기 관심영역 및 배경의 특징을 별도로 생성하는 것을 특징으로 하는 문맥 정보를 활용하는 분류기.
The method of claim 1,
and the feature generator separately generates the features of the region of interest and the background by weighted global average pooling.
 입력 데이터로부터 특징을 추출하는 단계;
상기 입력 데이터에서 분류 대상이 되는 객체가 위치하는 관심영역과 상기 관심영역을 제외한 배경에 대한 가중치를 각각 생성하는 단계;
상기 추출된 특징과 생성된 가중치를 기반으로 상기 관심영역 및 배경의 특징을 생성하는 단계; 및
상기 관심영역 및 배경의 특징을 이용하여 분류를 수행하는 단계를 포함하는 문맥 정보를 활용하는 분류기의 분류 방법.extracting features from the input data;
generating weights for a region of interest in which an object to be classified is located in the input data and a background excluding the region of interest, respectively;
generating the features of the region of interest and the background based on the extracted features and the generated weights; and
and performing classification using the characteristics of the region of interest and background.
KR1020200039818A 2020-04-01 2020-04-01 Classifier Using Context Information and Classification Method Thereof KR102342967B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200039818A KR102342967B1 (en) 2020-04-01 2020-04-01 Classifier Using Context Information and Classification Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200039818A KR102342967B1 (en) 2020-04-01 2020-04-01 Classifier Using Context Information and Classification Method Thereof

Publications (2)

Publication Number Publication Date
KR20210122538A true KR20210122538A (en) 2021-10-12
KR102342967B1 KR102342967B1 (en) 2021-12-24

Family

ID=78078675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200039818A KR102342967B1 (en) 2020-04-01 2020-04-01 Classifier Using Context Information and Classification Method Thereof

Country Status (1)

Country Link
KR (1) KR102342967B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102571815B1 (en) * 2022-11-14 2023-08-28 주식회사 플랜티넷 Method And Apparatus for Classifying Document Based on Object Clustering and Object Selection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150118780A (en) * 2014-04-15 2015-10-23 한국과학기술원 Method and apparatus for generating scheduling information based on cost function optimized on the basis of user's profile information and context information
KR20160112464A (en) * 2015-03-19 2016-09-28 한국전자통신연구원 Object Segmentation Apparatus and Method Using Graph Cut Based on Region
KR101932008B1 (en) * 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 Image analysis apparatus and method based on feature and context of image
KR20190114602A (en) * 2018-03-30 2019-10-10 경일대학교산학협력단 Apparatus for performing virtual fitting using multi-level artificial neural network, method thereof and computer recordable medium storing program to perform the method
KR20190131206A (en) * 2018-05-16 2019-11-26 한양대학교 산학협력단 Deep learning-based object detection method and system utilizing global context feature of image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150118780A (en) * 2014-04-15 2015-10-23 한국과학기술원 Method and apparatus for generating scheduling information based on cost function optimized on the basis of user's profile information and context information
KR20160112464A (en) * 2015-03-19 2016-09-28 한국전자통신연구원 Object Segmentation Apparatus and Method Using Graph Cut Based on Region
KR101932008B1 (en) * 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 Image analysis apparatus and method based on feature and context of image
KR20190114602A (en) * 2018-03-30 2019-10-10 경일대학교산학협력단 Apparatus for performing virtual fitting using multi-level artificial neural network, method thereof and computer recordable medium storing program to perform the method
KR20190131206A (en) * 2018-05-16 2019-11-26 한양대학교 산학협력단 Deep learning-based object detection method and system utilizing global context feature of image

Also Published As

Publication number Publication date
KR102342967B1 (en) 2021-12-24

Similar Documents

Publication Publication Date Title
US9779354B2 (en) Learning method and recording medium
US9911033B1 (en) Semi-supervised price tag detection
JP6397986B2 (en) Image object region recognition method and apparatus
Nguwi et al. Detection and classification of road signs in natural environments
CN111860499A (en) Feature grouping-based bilinear convolutional neural network automobile brand identification method
US8606022B2 (en) Information processing apparatus, method and program
CN107463892A (en) Pedestrian detection method in a kind of image of combination contextual information and multi-stage characteristics
Sheikh et al. Traffic sign detection and classification using colour feature and neural network
CN110313017A (en) The machine vision method classified based on subject component to input data
CN106156777B (en) Text picture detection method and device
US11194330B1 (en) System and method for audio classification based on unsupervised attribute learning
KR101268520B1 (en) The apparatus and method for recognizing image
CN112990282A (en) Method and device for classifying fine-grained small sample images
Asri et al. A real time Malaysian sign language detection algorithm based on YOLOv3
US11526705B2 (en) Method of classificating outlier in object recognition and device and robot of classifying thereof
KR102342967B1 (en) Classifier Using Context Information and Classification Method Thereof
CN113658222A (en) Vehicle detection tracking method and device
Lin et al. TagCLIP: A Local-to-Global Framework to Enhance Open-Vocabulary Multi-Label Classification of CLIP without Training
Moumen et al. Real-time Arabic scene text detection using fully convolutional neural networks
JP6377214B2 (en) Text detection method and apparatus
Salau et al. Image-based number sign recognition for ethiopian sign language using support vector machine
CN115935257A (en) Classification recognition method, computer device, and storage medium
CN112115977B (en) Target detection algorithm based on scale invariance and feature fusion
CN116883820A (en) Training method of fusion model, image recognition method and system
Singh et al. Traffic control enhancement with video camera images using AI

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant