KR102238672B1 - Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor - Google Patents
Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor Download PDFInfo
- Publication number
- KR102238672B1 KR102238672B1 KR1020140024917A KR20140024917A KR102238672B1 KR 102238672 B1 KR102238672 B1 KR 102238672B1 KR 1020140024917 A KR1020140024917 A KR 1020140024917A KR 20140024917 A KR20140024917 A KR 20140024917A KR 102238672 B1 KR102238672 B1 KR 102238672B1
- Authority
- KR
- South Korea
- Prior art keywords
- background
- divided
- class
- classification unit
- divided regions
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 선행 배경 분류부를 통해 멀티클래스의 개별 객체가 아닌 배경에 대한 학습을 통해서 배경을 미리 제거한 후, 배경이 제거된 실질적인 관심 영역에 해당하는 객체 후보 영역만을 멀티클래스 분류부에 제공함으로써 실질적인 관심 영역에 해당하는 객체 후보 영역만 멀티클래스 분류부에 제공하며, 멀티클래스 분류부의 학습 부하를 낮추면서도 성능을 개선할 수 있다.The present invention discloses a multi-class classification apparatus, a method thereof, and a recording medium on which a computer program is recorded. That is, the present invention removes the background in advance through learning about the background, not individual objects of the multiclass through the preceding background classifier, and then provides only the object candidate regions corresponding to the actual region of interest from which the background has been removed to the multiclass classification unit. Only the object candidate region corresponding to the actual region of interest is provided to the multiclass classification unit, and performance can be improved while reducing the learning load of the multiclass classification unit.
Description
본 발명은 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 선행 배경 분류부를 통해 멀티클래스의 개별 객체가 아닌 배경에 대한 학습을 통해서 배경을 미리 제거한 후, 배경이 제거된 실질적인 관심 영역에 해당하는 객체 후보 영역만을 멀티클래스 분류부에 제공하는 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to a multi-class classification apparatus, a method thereof, and a recording medium in which a computer program is recorded. In particular, the background is removed in advance through learning about the background rather than individual objects of the multi-class through the preceding background classification unit, and then the background is removed. The present invention relates to a multi-class classification apparatus, a method thereof, and a recording medium on which a computer program is recorded, which provides only an object candidate region corresponding to the actual region of interest.
멀티클래스 분류 장치는 복수 종류의 클래스를 근거로 영상(또는 화상)에 포함된 객체를 분류하는 장치이다.The multi-class classification device is a device that classifies objects included in an image (or image) based on a plurality of types of classes.
이러한 복수 종류의 클래스로 객체를 분류하는 멀티클래스 분류기의 경우, 약분류기들을 통해 구성되는 클래스별 분류기의 구성이 복잡하며, 멀티클래스 분류를 위한 트레이닝 세트가 상당히 증가함에 따라 학습 시간이 오래 걸리며 다양한 클래스에 대한 분류를 위한 성능 확보가 어렵다.In the case of a multiclass classifier that classifies objects into such multiple types of classes, the composition of classifiers for each class configured through weak classifiers is complex, and as the training set for multiclass classification increases considerably, it takes a long time to learn, and various classes It is difficult to secure performance for classification.
본 발명의 목적은 멀티클래스의 개별 객체가 아닌 배경에 대한 학습을 통해서 배경을 미리 제공하는 선행 배경 분류부를 멀티클래스 분류부 이전에 추가로 구성하는 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.An object of the present invention is a multi-class classification apparatus that additionally configures a preceding background classification unit prior to the multi-class classification unit, which provides a background through learning about the background, not individual objects of the multi-class, and its method and computer program are recorded. It is to provide a recording medium.
본 발명의 다른 목적은 입력된 영상(또는 이미지)을 서브 영역으로 분할하고, 분할된 영상 중 배경에 해당하는 분할 영역을 멀티클래스 분류부에 제공하지 않고 미리 필터링하는 선행 배경 분류부를 구성하는 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.Another object of the present invention is to divide an input image (or image) into sub-regions, and to configure a preceding background classification unit that filters in advance without providing a divided region corresponding to the background among the divided images to the multi-class classification unit. It is to provide a classification apparatus, a method thereof, and a recording medium on which a computer program is recorded.
본 발명의 실시예에 따른 멀티클래스 분류 장치는 미리 설정된 기준값을 근거로 영상을 분할하고, 분할된 복수의 분할 영역에 대해 미리 학습된 배경 여부를 판단하고, 복수의 분할 영역 중에서 배경이 아닌 하나 이상의 분할 영역을 관심 영역으로 구분하는 선행 배경 분류부; 및 선행 배경 분류부에 의해 구분된 배경이 아닌 하나 이상의 분할 영역을 미리 학습된 복수의 클래스 분류 모듈에 통과시켜 복수 클래스로 각각 분류하는 멀티클래스 분류부를 포함할 수 있다.The multi-class classification apparatus according to an embodiment of the present invention divides an image based on a preset reference value, determines whether or not a background has been learned in advance for a plurality of divided areas, and selects one or more of the plurality of divided areas that are not backgrounds. A preceding background classifier for dividing the divided area into a region of interest; And a multi-class classification unit for classifying each of the plurality of classes by passing one or more divided regions other than the background classified by the preceding background classification unit through a plurality of pre-learned class classification modules.
본 발명과 관련된 일 예로서 선행 배경 분류부는 미리 설정된 기준값을 근거로 영상을 복수의 분할 영역으로 분할하는 영역 분할 모듈; 및 분할된 복수의 분할 영역에 대해 미리 학습된 배경 여부를 판단하고, 복수의 분할 영역 중에서 배경이 아닌 하나 이상의 분할 영역을 구분하는 배경 분류 모듈을 포함할 수 있다.As an example related to the present invention, the preceding background classifying unit comprises: a region dividing module that divides an image into a plurality of divided regions based on a preset reference value; And a background classification module that determines whether or not a background has been learned in advance for the divided plurality of divided regions, and distinguishes one or more divided regions other than the background among the plurality of divided regions.
본 발명과 관련된 일 예로서 배경 분류 모듈은 분할된 복수의 분할 영역 중에서 배경에 해당하지 않는 하나 이상의 분할 영역을 관심 영역으로 구분할 수 있다.As an example related to the present invention, the background classification module may classify one or more divided regions that do not correspond to a background among a plurality of divided divided regions as an ROI.
본 발명과 관련된 일 예로서 배경 분류 모듈은 분할된 복수의 분할 영역 중에서 배경에 해당되는 적어도 하나의 분할 영역을 제외한 관심 영역을 멀티클래스 분류부에 제공할 수 있다.As an example related to the present invention, the background classification module may provide a region of interest excluding at least one divided region corresponding to a background among a plurality of divided divided regions to the multiclass classification unit.
본 발명과 관련된 일 예로서 배경 분류 모듈은 영상 중에서 미리 설정된 클래스를 분류하고자 하는 부분을 제외한 나머지 부분을 배경으로 판단할 수 있다.As an example related to the present invention, the background classification module may determine a remaining part of an image except a part to be classified into a preset class as a background.
본 발명과 관련된 일 예로서 복수의 클래스 분류 모듈은 서로 다른 객체를 인식하기 위해 미리 학습된 복수의 클래스를 각각 포함할 수 있다.As an example related to the present invention, a plurality of class classification modules may each include a plurality of pre-learned classes to recognize different objects.
본 발명의 실시예에 따른 멀티클래스 분류 방법은 선행 배경 분류부를 통해 미리 설정된 기준값을 근거로 영상을 복수의 분할 영역으로 분할하는 단계; 선행 배경 분류부를 통해 분할된 복수의 분할 영역에 대해 미리 학습된 배경 여부를 판단하는 단계; 판단 결과, 선행 배경 분류부를 통해 복수의 분할 영역 중에서 배경이 아닌 하나 이상의 분할 영역을 관심 영역으로 구분하는 단계; 및 멀티클래스 분류부를 통해 구분된 배경이 아닌 하나 이상의 분할 영역을 미리 학습된 복수의 클래스 분류 모듈에 통과시켜 복수 클래스로 각각 분류하는 단계를 포함할 수 있다.A multi-class classification method according to an embodiment of the present invention includes the steps of dividing an image into a plurality of divided regions based on a preset reference value through a preceding background classification unit; Determining whether a background has been learned in advance for a plurality of divided regions divided through a preceding background classifier; As a result of the determination, dividing one or more divided regions other than the background from among the plurality of divided regions as a region of interest through a preceding background classifying unit; And classifying each of the divided regions into a plurality of classes by passing one or more divided regions other than the divided background through the multi-class classification unit through a plurality of pre-learned class classification modules.
본 발명과 관련된 일 예로서 분할된 복수의 분할 영역에 대해 미리 학습된 배경 여부를 판단하는 단계는 복수의 분할 영역으로 분할된 영상 중에서 미리 설정된 클래스를 분류하고자 하는 부분을 포함하는 분할 영역이 존재하는지 여부를 판단할 수 있다.As an example related to the present invention, the step of determining whether a background has been learned in advance for a plurality of divided regions is whether there is a divided region including a part to be classified into a preset class among images divided into a plurality of divided regions. You can judge whether or not.
본 발명과 관련된 일 예로서 분할된 복수의 분할 영역에 대해 미리 학습된 배경 여부를 판단하는 단계는 복수의 분할 영역에 포함된 영상 중에서 미리 설정된 클래스를 분류하고자 하는 부분을 제외한 나머지 부분을 배경으로 판단할 수 있다.As an example related to the present invention, the step of determining whether a background has been learned in advance for a plurality of divided regions is determined as the background of the remaining parts of the images included in the plurality of divided regions except for a part to be classified into a preset class. can do.
본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.A computer program for performing the method according to the above-described embodiment may be stored in the recording medium on which the computer program according to the embodiment of the present invention is recorded.
본 발명은 멀티클래스의 개별 객체가 아닌 배경에 대한 학습을 통해서 배경을 미리 제공하는 선행 배경 분류부를 멀티클래스 분류부 이전에 추가로 구성함으로써, 사용자 장치(또는 단말)나 서비스 제공 장치(또는 서버) 중 어느 하나의 장치에서 구성 가능하며, 멀티클래스의 다양한 객체가 아닌 배경 하나에 대한 기준으로 동작하므로 구성이 용이하며, 후속 멀티클래스 분류부의 트레이닝 세트 크기를 줄일 수 있으면서도 성능을 향상시키는 효과가 있다.According to the present invention, a user device (or terminal) or a service providing device (or server) is configured by additionally configuring a preceding background classifier that provides a background in advance through learning about a background, not an individual object of a multiclass, before the multiclass classifier. It is configurable in any one of the devices, and it is easy to configure because it operates as a reference for one background rather than a variety of multi-class objects, and there is an effect of improving performance while reducing the training set size of the subsequent multi-class classification unit.
또한, 본 발명은 입력된 영상(또는 이미지)을 서브 영역으로 분할하고, 분할된 영상 중 배경에 해당하는 분할 영역을 멀티클래스 분류부에 제공하지 않고 미리 필터링하는 선행 배경 분류부를 구성함으로써, 실질적인 관심 영역에 해당하는 객체 후보 영역만 멀티클래스 분류부에 제공하며, 멀티클래스 분류부의 학습 부하를 낮추면서도 성능을 개선하는 효과가 있다.In addition, the present invention divides the input image (or image) into sub-regions, and configures a preceding background classifier that filters in advance without providing a divided region corresponding to the background among the divided images to the multi-class classifier. Only the object candidate region corresponding to the region is provided to the multiclass classification unit, and there is an effect of improving performance while lowering the learning load of the multiclass classification unit.
도 1은 본 발명의 실시예에 따른 멀티클래스 분류 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 멀티클래스 분류 방법을 나타낸 흐름도이다.
도 3 내지 도 8은 본 발명의 실시예에 따른 멀티클래스 분류 방법에 의한 처리 영상을 나타낸 도이다.1 is a block diagram showing the configuration of a multi-class classification apparatus according to an embodiment of the present invention.
Figure 2 It is a flow chart showing a multi-class classification method according to an embodiment of the present invention.
3 to 8 are diagrams showing images processed by a multi-class classification method according to an embodiment of the present invention.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be interpreted as generally understood by those of ordinary skill in the technical field to which the present invention belongs, unless otherwise defined in the present invention, and is excessively comprehensive. It should not be construed as a human meaning or an excessively reduced meaning. In addition, when a technical term used in the present invention is an incorrect technical term that does not accurately express the spirit of the present invention, it should be replaced with a technical term that can be correctly understood by those skilled in the art. In addition, general terms used in the present invention should be interpreted as defined in the dictionary or according to the context before and after, and should not be interpreted as an excessively reduced meaning.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in the present invention includes a plurality of expressions unless the context clearly indicates otherwise. In the present invention, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various components or steps described in the invention, and some components or some steps may not be included. It is to be construed that it may or may further include additional components or steps.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used in the present invention may be used to describe the elements, but the elements should not be limited by the terms. The terms are used only to distinguish one component from another. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of the reference numerals, and redundant descriptions thereof will be omitted.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in describing the present invention, when it is determined that a detailed description of a related known technology may obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention and should not be construed as limiting the spirit of the present invention by the accompanying drawings.
도 1은 본 발명의 실시예에 따른 멀티클래스 분류 장치(10)의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of a
도 1에 도시된 바와 같이, 멀티클래스 분류 장치(10)는 선행 배경 분류부(100) 및 멀티클래스 분류부(200)로 구성된다. 도 1에 도시된 멀티클래스 분류 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 멀티클래스 분류 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 멀티클래스 분류 장치(10)가 구현될 수도 있다. 여기서, 멀티클래스 분류 장치(10)는 사용자 장치(또는 단말/디바이스)(미도시)나 서비스 제공 장치(또는 서버) 등에서 구성할 수도 있다.As shown in FIG. 1, the
선행 배경 분류부(100)는 영상(또는 이미지)에 대해서 복수로 분할한 후, 분할된 복수의 분할 영역 중에서 배경에 해당하지 않는 하나 이상의 분할 영역을 구분하고, 구분된 하나 이상의 분할 영역을 멀티클래스 분류부(200)에 제공한다. 이후, 멀티클래스 분류부(200)는 배경에 해당하지 않는 하나 이상의 분할 영역을 미리 학습된 복수의 클래스 분류 모듈에 통과시켜 복수 클래스로 각각 분류한다.The preceding
도 1에 도시된 바와 같이, 선행 배경 분류부(100)는 영역 분할 모듈(110) 및 배경 분류 모듈(120)로 구성된다.As shown in FIG. 1, the preceding
영역 분할 모듈(110)은 영상(또는 이미지)을 미리 설정된 기준(또는 기준값/간격)을 근거로 복수의 영상으로 분할한다. 여기서, 영상은 동영상 또는 정지영상일 수 있다. 이때, 동영상인 경우, 영상 분할 모듈(110)은 동영상 중 특정 부분(또는 특정 정지영상/이미지)을 복수로 분할할 수도 있다. 또한, 해당 영상은 멀티클래스 분류 장치(10)에 포함된 카메라(미도시)를 통해 촬영된 영상, 다른 디바이스(미도시)를 통해 촬영된 후 멀티클래스 분류 장치(10)로 전송된 영상 등일 수 있다.The region dividing
또한, 영역 분할 모듈(110)은 복수 영역으로 분할된 영상을 배경 분류 모듈(120)에 제공(또는 전송)한다.In addition, the region dividing
배경 분류 모듈(120)은 영역 분할 모듈(110)에서 복수 영역으로 분할된 영상의 복수의 분할 영역에 대해 미리 학습된(또는 미리 설정된) 배경 여부를 판단한다. 여기서, 배경은 영상 중에서 클래스를 분류하고자 하는 부분을 제외한 나머지 부분일 수 있다. 즉, 영상 중에서 사람 및 자전거를 분류하고자 하는 경우, 영상 중에서 사람 및 자전거를 제외한 나머지 부분이 배경일 수 있다. 또한, 영상 중에서 문(door)을 분류하고자 하는 경우, 영상 중에서 문을 제외한 나머지 부분이 배경일 수 있다. 이와 같이, 배경은 분류하고자 하는 클래스에 따라서 다르게 설정될 수 있다.The
즉, 배경 분류 모듈(120)은 복수의 분할 영역에 대해서 미리 설정된 클래스를 포함하고 있는지 여부를 확인하여 배경인지 여부를 판단(또는 확인)한다.That is, the
판단 결과, 복수 영역으로 분할된 영상의 복수의 분할 영역 중에서 배경에 해당하지 않는 하나 이상의 분할 영역에 대해서, 배경 분류 모듈(120)은 배경에 해당하지 않는 하나 이상의 분할 영역을 관심 영역(또는 Region of Interest: ROI)으로 구분(또는 설정)한다.As a result of the determination, for one or more divided regions that do not correspond to a background among a plurality of divided regions of an image divided into a plurality of regions, the
즉, 판단 결과, 배경 분류 모듈(120)은 복수의 분할 영역에 대해서 미리 설정된 클래스를 포함하는 하나 이상의 분할 영역을 관심 영역으로 구분한다.That is, as a result of the determination, the
또한, 배경 분류 모듈(120)은 관심 영역으로 구분된 하나 이상의 분할 영역(또는 배경에 해당하지 않는 하나 이상의 분할 영역)을 멀티클래스 분류부(200)에 제공한다.In addition, the
또한, 판단 결과, 복수 영역으로 분할된 영상의 복수의 분할 영역 중에서 배경에 해당되는 적어도 하나의 분할 영역에 대해서(또는 복수의 분할 영역 중에서 관심 영역을 제외한 나머지 영역에 대해서), 배경 분류 모듈(120)은 배경에 해당되는 적어도 하나의 분할 영역을 별도로 관리(예를 들어 버퍼에 임시 저장하거나 삭제)하거나 또는 멀티클래스 분류부(200)에 제공하지 않는다.In addition, as a result of the determination, for at least one divided region corresponding to the background among a plurality of divided regions of the image divided into a plurality of regions (or for the remaining regions excluding the region of interest among the plurality of divided regions), the background classification module 120 ) Does not separately manage (for example, temporarily store or delete) at least one divided area corresponding to the background or provide it to the
도 1에 도시된 바와 같이, 멀티클래스 분류부(200)는 복수의 클래스 분류 모듈(210, 220, ... )을 포함한다. 여기서, 복수의 클래스 분류 모듈(210, 220, ... )은 서로 다른 객체를 인식하기 위해서 개별적으로 미리 학습된 클래스(또는 하나 이상의/복수의 클래스)를 각각 포함한다.As shown in FIG. 1, the
또한, 멀티클래스 분류부(200)는 배경이 제거된 채로 선행 배경 분류부(100)(또는 배경 분류 모듈(120))로부터 제공되는 관심 영역으로 구분된 하나 이상의 분할 영역을 미리 학습된 복수의 클래스 분류 모듈(210, 220, ... )에 각각 통과시켜 복수 클래스로 분류한다. 이때, 멀티클래스 분류부(200)는 복수의 클래스에 대한 병렬 처리를 수행한다.In addition, the
이와 같이, 멀티클래스의 개별 객체가 아닌 배경에 대한 학습을 통해서 배경을 미리 제공하는 선행 배경 분류부를 멀티클래스 분류부 이전에 추가로 구성할 수 있다.In this way, the preceding background classification unit, which provides the background in advance through learning about the background, not the individual object of the multiclass, may be additionally configured before the multiclass classification unit.
또한, 이와 같이, 입력된 영상(또는 이미지)을 서브 영역으로 분할하고, 분할된 영상 중 배경에 해당하는 분할 영역을 멀티클래스 분류부에 제공하지 않고 미리 필터링하는 선행 배경 분류부를 구성할 수 있다.In addition, as described above, a preceding background classification unit may be configured to divide the input image (or image) into sub-regions, and to filter in advance without providing a divided region corresponding to a background among the divided images to the multi-class classification unit.
이하에서는, 본 발명에 따른 멀티클래스 분류 방법을 도 1 내지 도 8을 참조하여 상세히 설명한다.Hereinafter, a multi-class classification method according to the present invention will be described in detail with reference to FIGS. 1 to 8.
도 2는 본 발명의 실시예에 따른 멀티클래스 분류 방법을 나타낸 흐름도이다.Figure 2 It is a flow chart showing a multi-class classification method according to an embodiment of the present invention.
먼저, 선행 배경 분류부(100)는 입력된 영상(또는 이미지)을 미리 설정된 기준값을 근거로 복수의 영상으로 분할한다. 여기서, 영상은 동영상 또는 정지영상일 수 있으며, 동영상인 경우 선행 배경 분류부(100)는 동영상 중 특정 부분(또는 특정 이미지/정지영상)을 복수로 분할할 수 있다. 또한, 해당 영상은 멀티클래스 분류 장치(10)에 포함된 카메라(미도시)를 통해 촬영된 영상이거나 또는 다른 디바이스(미도시)를 통해 촬영된 후 전송된 영상일 수 있다.First, the preceding
일 예로, 선행 배경 분류부(100)에 포함된 영역 분할 모듈(110)은 도 3에 도시된 원본 이미지(또는 원본 영상)(310)를 도 4에 도시된 바와 같이 미리 설정된 간격(410)으로 복수로 분할(420)한다(S210).As an example, the
이후, 선행 배경 분류부(100)는 복수 영역으로 분할된 복수의 분할 영역에 대해 미리 학습된(또는 미리 설정된) 배경 여부를 판단한다. 여기서, 배경은 영상 중에서 클래스를 분류하고자 하는 부분을 제외한 나머지 부분일 수 있다. 예를 들어, 영상 중에서 사람을 분류하고자 하는 경우, 영상 중에서 사람을 제외한 나머지 부분이 배경일 수 있다.Thereafter, the preceding
일 예로, 선행 배경 분류부(100)에 포함된 배경 분류 모듈(120)은 도 4에 도시된 복수의 분할 영역에 대해서 미리 학습된 배경 여부를 판단한다.For example, the
즉, 배경 분류 모듈(120)은 도 4에 도시된 복수의 분할 영역 중에서 사람 또는 자전거를 포함하는지 여부를 확인하고, 사람 또는 자전거를 포함하지 않는 분할 영역의 경우 배경으로 판단한다(S220).That is, the
판단 결과, 선행 배경 분류부(100)는 복수의 분할 영역 중에서 배경에 해당하지 않는 하나 이상의 분할 영역을 관심 영역(또는 ROI)으로 구분(또는 설정)한다.As a result of the determination, the preceding
또한, 선행 배경 분류부(100)는 관심 영역으로 구분된 하나 이상의 분할 영역을 멀티클래스 분류부(200)에 제공한다.In addition, the preceding
일 예로, 판단 결과, 배경 분류 모듈(120)은 도 4에 도시된 복수의 분할 영역 중에서 사람 또는 자전거를 포함하는 하나 이상의 분할 영역을 도 5에 도시된 바와 같이 관심 영역(510)으로 구분하고, 도 5에 도시된 관심 영역으로 구분된 하나 이상의 분할 영역을 멀티클래스 분류부(200)에 제공한다(S230).For example, as a result of the determination, the
또한, 판단 결과, 선행 배경 분류부(100)는 복수의 분할 영역 중에서 배경에 해당하는 적어도 하나의 분할 영역을 별도로 관리(예를 들어 버퍼에 임시 저장하거나 삭제)하거나 또는 멀티클래스 분류부(200)에 제공하지 않는다.In addition, as a result of the determination, the preceding
일 예로, 판단 결과, 배경 분류 모듈(120)은 도 4에 도시된 복수의 분할 영역 중에서 사람 또는 자전거를 포함하지 않는 적어도 하나의 분할 영역(610)을 도 6에 도시된 바와 같이 별도로 관리한다(S240).As an example, as a result of the determination, the
이후, 멀티클래스 분류부(200)는 선행 배경 분류부(100)로부터 제공되는 관심 영역으로 구분된 하나 이상의 분할 영역에 대해서 각각의 분할 영역을 미리 학습된 복수의 클래스 분류 모듈에 통과시켜 복수 클래스로 각각 분류한다. 이때, 멀티클래스 분류부(200)는 복수의 클래스에 대한 병렬 처리를 수행한다.Thereafter, the
일 예로, 멀티클래스 분류부(200)에 포함된 복수의 클래스 분류 모듈(210, 220 등 포함)은 배경 분류 모듈(120)로부터 제공되는 관심 영역으로 구분된 하나 이상의 분할 영역을 미리 학습된 복수의 클래스 분류 모듈(예를 들어 사람 분류 모듈, 자전거 분류 모듈)에 통과시켜 도 7에 도시된 사람에 대응된 클래스(710)와 도 8에 도시된 자전거에 대응된 클래스(810)로 각각 분류한다(S250).As an example, a plurality of class classification modules (including 210, 220, etc.) included in the
본 발명의 실시예에 따른 멀티클래스 분류 장치 및 그 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 멀티클래스 분류 장치, 사용자 장치, 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 멀티클래스 분류 장치 및 그 방법을 구현할 수 있다.The multi-class classification apparatus and method according to an embodiment of the present invention can be written in a computer program, and codes and code segments constituting a computer program can be easily inferred by a computer programmer in the art. In addition, the computer program is stored in a computer readable media, and is read and executed by a computer or a multi-class classification device, user device, service providing device, etc. Class classification apparatus and method can be implemented.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 멀티클래스 분류 장치 및 그 방법을 구현하는 컴퓨터 프로그램은 멀티클래스 분류 장치, 사용자 장치, 서비스 제공 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 멀티클래스 분류 장치 및 그 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 멀티클래스 분류 장치, 사용자 장치, 서비스 제공 장치 등에 장착될 수도 있다.Information storage media include magnetic recording media, optical recording media, and carrier wave media. The multi-class classification apparatus and a computer program implementing the method according to an embodiment of the present invention may be stored and installed in an internal memory such as a multi-class classification apparatus, a user apparatus, and a service providing apparatus. Alternatively, an external memory such as a smart card storing and installing a multi-class classification device and a computer program implementing the method according to an embodiment of the present invention may be mounted to a multi-class classification device, a user device, or a service providing device through an interface. May be.
본 발명의 실시예는 앞서 설명된 바와 같이, 멀티클래스의 개별 객체가 아닌 배경에 대한 학습을 통해서 배경을 미리 제공하는 선행 배경 분류부를 멀티클래스 분류부 이전에 추가로 구성하여, 사용자 장치(또는 단말)나 서비스 제공 장치(또는 서버) 중 어느 하나의 장치에서 구성 가능하며, 멀티클래스의 다양한 객체가 아닌 배경 하나에 대한 기준으로 동작하므로 구성이 용이하며, 후속 멀티클래스 분류부의 트레이닝 세트 크기를 줄일 수 있으면서도 성능을 향상시킬 수 있다.In the embodiment of the present invention, as described above, a prior background classification unit that provides a background in advance through learning about a background, not an individual object of a multiclass, is additionally configured before the multiclass classification unit, so that the user device (or terminal ) Or a service providing device (or server), and it is easy to configure because it operates based on one background rather than a variety of multi-class objects, and the training set size of the subsequent multi-class classification unit can be reduced. While it is, it can improve performance.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 입력된 영상(또는 이미지)을 서브 영역으로 분할하고, 분할된 영상 중 배경에 해당하는 분할 영역을 멀티클래스 분류부에 제공하지 않고 미리 필터링하는 선행 배경 분류부를 구성하여, 실질적인 관심 영역에 해당하는 객체 후보 영역만 멀티클래스 분류부에 제공하며, 멀티클래스 분류부의 학습 부하를 낮추면서도 성능을 개선할 수 있다.In addition, as described above, an embodiment of the present invention divides the input image (or image) into sub-regions, and pre-filters without providing a divided region corresponding to the background among the divided images to the multiclass classification unit. By configuring the preceding background classifier, only the object candidate regions corresponding to the actual ROI are provided to the multiclass classifier, and performance can be improved while lowering the learning load of the multiclass classifier.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above-described contents may be modified and modified without departing from the essential characteristics of the present invention by those of ordinary skill in the technical field to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
본 발명은 선행 배경 분류부를 통해 멀티클래스의 개별 객체가 아닌 배경에 대한 학습을 통해서 배경을 미리 제거한 후, 배경이 제거된 실질적인 관심 영역에 해당하는 객체 후보 영역만을 멀티클래스 분류부에 제공함으로써 멀티클래스의 다양한 객체가 아닌 배경 하나에 대한 기준으로 동작하므로 구성이 용이하며, 후속 멀티클래스 분류부의 트레이닝 세트 크기를 줄일 수 있으면서도 성능을 향상시키는 것으로, 영상 처리 분야, 객체 인식 분야 등에서 광범위하게 이용될 수 있다.The present invention removes the background in advance through learning about the background, not individual objects of the multiclass through the preceding background classifier, and then provides only the object candidate region corresponding to the actual region of interest from which the background has been removed to the multiclass classification unit. It is easy to configure because it operates as a reference for one background rather than a variety of objects, and it improves performance while reducing the training set size of the subsequent multi-class classification unit, and can be widely used in image processing fields, object recognition fields, etc. .
10: 멀티클래스 분류 장치 100: 선행 배경 분류부
200: 멀티클래스 분류부 110: 영역 분할 모듈
120: 배경 분류 모듈 200: 멀티클래스 분류부
210, 220: 클래스 분류 모듈10: multi-class classification device 100: preceding background classification unit
200: multiclass classification unit 110: region division module
120: background classification module 200: multiclass classification unit
210, 220: class classification module
Claims (10)
상기 선행 배경 분류부에 의해 구분된 배경이 아닌 하나 이상의 분할 영역을 미리 학습된 복수의 클래스 분류 모듈에 통과시켜 복수 클래스로 각각 분류하는 멀티클래스 분류부
를 포함하며,
상기 선행 배경 분류부는 상기 복수의 분할 영역에 대해서 미리 설정된 클래스를 포함하고 있는지 여부를 확인하여 배경인지 여부를 판단하고, 상기 복수의 분할 영역 중에서 배경에 해당되는 적어도 하나의 분할 영역을 상기 멀티클래스 분류부에 제공하지 않는 것을 특징으로 하고,
상기 멀티클래스 분류부는 상기 복수의 클래스 분류 모듈을 통해 상기 배경이 아닌 하나 이상의 분할 영역별로 클래스가 분류되도록 하는 것을 특징으로 하는 멀티클래스 분류 장치.A preceding background for dividing an image based on a preset reference value, determining whether a background has been learned in advance for the divided plurality of divided areas, and dividing one or more divided areas other than the background among the plurality of divided areas as a region of interest Classification unit; And
A multi-class classification unit for classifying each of a plurality of classes by passing one or more divided regions other than the background classified by the preceding background classification unit through a plurality of pre-learned class classification modules
Including,
The preceding background classifier checks whether the plurality of divided regions includes a preset class, determines whether the background is a background, and classifies at least one divided region corresponding to the background among the plurality of divided regions as the multiclass. It is characterized in that it is not provided to wealth,
The multi-class classification unit, wherein the class is classified according to one or more divided regions other than the background through the plurality of class classification modules.
상기 선행 배경 분류부를 통해 상기 분할된 복수의 분할 영역에 대해 미리 학습된 배경 여부를 판단하는 단계;
상기 판단 결과, 상기 선행 배경 분류부를 통해 상기 복수의 분할 영역 중에서 배경이 아닌 하나 이상의 분할 영역을 관심 영역으로 구분하는 단계; 및
멀티클래스 분류부를 통해 상기 구분된 배경이 아닌 하나 이상의 분할 영역을 미리 학습된 복수의 클래스 분류 모듈에 통과시켜 복수 클래스로 각각 분류하는 단계를 포함하며,
상기 분할된 복수의 분할 영역에 대해 미리 학습된 배경 여부를 판단하는 단계는 상기 복수의 분할 영역으로 분할된 영상 중에서 미리 설정된 클래스를 분류하고자 하는 부분을 포함하는 분할 영역이 존재하는지 여부를 판단하고, 상기 복수의 분할 영역에 포함된 영상 중에서 미리 설정된 클래스를 분류하고자 하는 부분을 제외한 나머지 부분을 배경으로 판단하여 상기 멀티클래스 분류부에 제공하지 않는 단계를 더 포함하고,
상기 복수 클래스로 각각 분류하는 단계는, 상기 멀티클래스 분류부가 상기 복수의 클래스 분류 모듈을 통해 상기 배경이 아닌 하나 이상의 분할 영역별로 클래스를 분류하는 것을 특징으로 하는 멀티클래스 분류 방법.Dividing the image into a plurality of divided regions based on a preset reference value through a preceding background classifier;
Determining whether a background has been learned in advance for the divided plurality of divided regions through the preceding background classifying unit;
As a result of the determination, dividing one or more divided regions other than the background from among the plurality of divided regions as an ROI through the preceding background classifying unit; And
Classifying into a plurality of classes by passing one or more divided regions other than the divided background through a multiclass classification unit through a plurality of pre-learned class classification modules,
The step of determining whether a background has been learned in advance for the divided plurality of divided areas may include determining whether a divided area including a part to be classified into a preset class among the images divided into the plurality of divided areas exists, Determining the remaining part of the images included in the plurality of divided regions except for a part to be classified into a preset class as a background and not providing the multi-class classification unit,
In the step of classifying each into a plurality of classes, the multi-class classification unit classifies the classes according to one or more divided regions other than the background through the plurality of class classification modules.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140024917A KR102238672B1 (en) | 2014-03-03 | 2014-03-03 | Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140024917A KR102238672B1 (en) | 2014-03-03 | 2014-03-03 | Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150103443A KR20150103443A (en) | 2015-09-11 |
KR102238672B1 true KR102238672B1 (en) | 2021-04-09 |
Family
ID=54243636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140024917A KR102238672B1 (en) | 2014-03-03 | 2014-03-03 | Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102238672B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101867586B1 (en) * | 2017-09-22 | 2018-06-15 | 주식회사 이넘넷 | Apparatus and method for processing image |
KR102138680B1 (en) * | 2018-04-16 | 2020-07-28 | 연세대학교 산학협력단 | Apparatus for Video Recognition and Method thereof |
KR102534936B1 (en) * | 2018-10-24 | 2023-05-22 | 삼성에스디에스 주식회사 | Apparatus and method for classifying image |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011014052A (en) * | 2009-07-03 | 2011-01-20 | Nikon Corp | Image identifying device, image identifying method, identifier creating device, identifier creating method and imaging system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058842A (en) | 2005-07-26 | 2007-03-08 | Sony Corp | Information processor, feature extraction method, recording medium, and program |
KR101158728B1 (en) * | 2010-03-31 | 2012-06-22 | 한국과학기술원 | Real-time Foreground Detection Method |
-
2014
- 2014-03-03 KR KR1020140024917A patent/KR102238672B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011014052A (en) * | 2009-07-03 | 2011-01-20 | Nikon Corp | Image identifying device, image identifying method, identifier creating device, identifier creating method and imaging system |
Also Published As
Publication number | Publication date |
---|---|
KR20150103443A (en) | 2015-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10706320B2 (en) | Determining a document type of a digital document | |
CN107871130B (en) | Image processing | |
CN109670500B (en) | Text region acquisition method and device, storage medium and terminal equipment | |
US10417478B2 (en) | Method for improving a fingerprint template, device and terminal thereof | |
JP5775225B2 (en) | Text detection using multi-layer connected components with histograms | |
US8559672B2 (en) | Determining detection certainty in a cascade classifier | |
US9589351B2 (en) | System and method for pet face detection | |
US10140510B2 (en) | Machine print, hand print, and signature discrimination | |
KR102655789B1 (en) | Face detecting method and apparatus | |
CN110139169B (en) | Video stream quality evaluation method and device and video shooting system | |
KR20170109304A (en) | Method for parallel learning of cascade classifier by object recognition | |
KR102238672B1 (en) | Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor | |
CN111417960A (en) | Information processing apparatus, information processing method, and program | |
US11709914B2 (en) | Face recognition method, terminal device using the same, and computer readable storage medium | |
CN104966109A (en) | Medical laboratory report image classification method and apparatus | |
CN114627484A (en) | Complex multi-scene document segmentation method, system, device and medium | |
CN111652256B (en) | Method and system for acquiring multidimensional data | |
US11068718B2 (en) | Attribute classifiers for image classification | |
KR102221684B1 (en) | Multiclass classification apparatus, method thereof and computer readable medium having computer program recorded therefor | |
KR102050422B1 (en) | Apparatus and method for recognizing character | |
WO2016149937A1 (en) | Neural network classification through decomposition | |
US11876945B2 (en) | Device and method for acquiring shadow-free images of documents for scanning purposes | |
CN114443878A (en) | Image classification method, device, equipment and storage medium | |
CN109829378B (en) | Identification method and device for road throwing behavior and electronic equipment | |
KR102203000B1 (en) | Object identification apparatus, method thereof and computer readable medium having computer program recorded therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |