KR102389600B1 - Convolution neural network effective learning strengthening method and device - Google Patents

Convolution neural network effective learning strengthening method and device Download PDF

Info

Publication number
KR102389600B1
KR102389600B1 KR1020190167541A KR20190167541A KR102389600B1 KR 102389600 B1 KR102389600 B1 KR 102389600B1 KR 1020190167541 A KR1020190167541 A KR 1020190167541A KR 20190167541 A KR20190167541 A KR 20190167541A KR 102389600 B1 KR102389600 B1 KR 102389600B1
Authority
KR
South Korea
Prior art keywords
edge
learning
haar
image
feature
Prior art date
Application number
KR1020190167541A
Other languages
Korean (ko)
Other versions
KR20210077034A (en
Inventor
이영숙
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190167541A priority Critical patent/KR102389600B1/en
Publication of KR20210077034A publication Critical patent/KR20210077034A/en
Application granted granted Critical
Publication of KR102389600B1 publication Critical patent/KR102389600B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

본 발명은 컨볼루션 신경망의 효과적인 학습 강화 방법 및 장치에 관한 것으로, 본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법은 이미지 로딩부가 학습 이미지를 로드하는 제1 단계; 상기 이미지 로딩부가 하르 유사 특징(Haar-like feature)을 로드하는 제2 단계; 스케일 변환부가 상기 학습 이미지와 상기 하르 유사 특징(Haar-like feature)을 상호간에 같은 스케일로 변환하는 제3 단계; 객체 검출 판단부가 상기 학습 이미지에 상기 하르 유사 특징(Haar-like feature)을 겹쳐서 객체 검출이 이루어진 것으로 판단하면, 엣지 처리부가 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 겹쳐진 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하는 제4 단계; 및 학습 이미지 저장부가 상기 엣지가 강조된 학습 이미지를 저장하는 제5 단계;를 포함한다.The present invention relates to a method and apparatus for effective learning reinforcement of a convolutional neural network, and an effective learning reinforcement method for a convolutional neural network according to an embodiment of the present invention includes: a first step of loading a learning image by an image loading unit; a second step of loading, by the image loading unit, a Haar-like feature; a third step of converting the learning image and the Haar-like feature into the same scale by a scale converter; When the object detection determination unit determines that object detection has been made by superimposing the Haar-like feature on the training image, the edge processing unit uses an edge enhancement filter to the edge of the overlapping Haar-like feature area ( edge) a fourth step of emphasizing (enhancement); and a fifth step of storing the training image in which the edge is emphasized by the training image storage unit.

Description

컨볼루션 신경망의 효과적인 학습 강화 방법 및 장치{CONVOLUTION NEURAL NETWORK EFFECTIVE LEARNING STRENGTHENING METHOD AND DEVICE}EFFECTIVE NEURAL NETWORK EFFECTIVE LEARNING STRENGTHENING METHOD AND DEVICE

본 발명은 컨볼루션 신경망의 효과적인 학습 강화 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for effective learning reinforcement of a convolutional neural network.

비올라 존스(Viola-Jones) 방법은 얼굴 검출의 실용적인 가능성을 제시한 최초의 모델로서, 적분 영상(integral image) 기법을 이용하여 Haar-like 특징 정보를 효율적으로 추출하고 이를 제안한 Adaboost의 직렬로 연결된 분류기를 이용하여 최종적인 얼굴 영역을 선별한다.The Viola-Jones method is the first model to suggest the practical possibility of face detection, and Adaboost's series-connected classifier that efficiently extracts Haar-like feature information using the integral image technique and proposed it is used to select the final face area.

그러나 이러한 방법은 단순한 특징 정보를 이용하기 때문에 얼굴의 자세 변화 또는 가림과 같은 환경에서 얼굴 검출 성능이 크게 떨어진다.However, since this method uses simple feature information, the face detection performance is greatly deteriorated in an environment such as a face posture change or occlusion.

이러한 문제를 해결하기 위해 변형 가능한 파트 모델(deformable part model; DPM)이 제안되었다. 이 방법은 얼굴 구성 요소의 기하학적인 위치 관계에 의한 조합으로서 얼굴 영역을 정의한다. 얼굴 구성 요소의 일부가 손실되더라도 얼굴 영역을 판정할 수 있기 때문에 자세 변화 또는 가림에 강인한 특성을 보인다.To solve this problem, a deformable part model (DPM) has been proposed. This method defines a face region as a combination by geometric positional relationships of face components. Even if a part of the face component is lost, the face area can be determined, so it shows strong characteristics against posture changes or occlusion.

그러나 각 얼굴의 구성 요소의 존재 가능성에 대한 일차적인 과정뿐만 아니라 슬라이딩 윈도우 방법(sliding window method)으로부터 추출된 수많은 윈도우에 대해 파트 모델의 매칭(matching) 정도를 판정하는 것은 큰 복잡도를 수반 하게 된다.However, determining the matching degree of the part model for numerous windows extracted from the sliding window method as well as the primary process for the possibility of existence of each face component entails great complexity.

또한, 이러한 파트 모델을 학습하기 위해서는 각각의 파트의 정확한 라벨(label)이 포함된 대규모의 데이터베이스(database)가 필요하다.In addition, in order to learn such a part model, a large-scale database including accurate labels of each part is required.

최근에는, 딥러닝의 한 종류인 CNN(Convolutional Neural Network)은 영상 검출/인식에 많이 사용하는 알고리즘으로서 기존의 알고리즘에 비해 검출 성능이 좋은 것으로 알려져 있다.Recently, a Convolutional Neural Network (CNN), a type of deep learning, is an algorithm that is often used for image detection/recognition and is known to have better detection performance than existing algorithms.

CNN은 컨볼루션 레이어(convolution layer)로 구성되며, 학습을 하게 되면 컨볼루션 레이어의 필터 계수가 검출하고자 하는 대상의 특징에 맞게 변화된다. 이 과정에서 학습을 할 때 많은 학습이미지가 필요하게 되면 많은 반복 학습을 필요로 한다.CNN is composed of a convolution layer, and when learning is performed, the filter coefficients of the convolution layer are changed according to the characteristics of the target to be detected. In this process, if many learning images are needed when learning, a lot of repetitive learning is required.

따라서, CNN 알고리즘은 성능은 좋으나 많은 학습이미지 와 많은 학습 반복으로 인해 시간이 많이 소요된다는 단점이 있었다.Therefore, the CNN algorithm has good performance, but it has the disadvantage that it takes a lot of time due to many training images and many learning iterations.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법 및 장치는 하르 유사 특징(Haar-like feature)를 이용하여 특징을 강조할 영역에 엣지 강조(Edge Enhancement)를 이용하여 특징을 강화하여, CNN(Convolutional Neural Network)이 보다 적은 수의 이미지 학습과 학습 시간의 단축을 통해 학습 효율을 보다 향상시키고자 한다.The present invention is to solve the above problems, and the effective learning reinforcement method and apparatus for a convolutional neural network according to the present invention uses a Haar-like feature to emphasize an edge in an area to be emphasized. Enhancement), the convolutional neural network (CNN) intends to further improve the learning efficiency by learning fewer images and shortening the learning time.

본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법은 이미지 로딩부가 학습 이미지를 로드하는 제1 단계; 상기 이미지 로딩부가 하르 유사 특징(Haar-like feature)을 로드하는 제2 단계; 스케일 변환부가 상기 학습 이미지와 상기 하르 유사 특징(Haar-like feature)을 상호간에 같은 스케일로 변환하는 제3 단계; 객체 검출 판단부가 상기 학습 이미지에 상기 하르 유사 특징(Haar-like feature)을 겹쳐서 객체 검출이 이루어진 것으로 판단하면, 엣지 처리부가 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 겹쳐진 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하는 제4 단계; 및 학습 이미지 저장부가 상기 엣지가 강조된 학습 이미지를 저장하는 제5 단계;를 포함한다.An effective learning reinforcement method of a convolutional neural network according to an embodiment of the present invention comprises: a first step of loading a learning image by an image loading unit; a second step of loading, by the image loading unit, a Haar-like feature; a third step of converting the learning image and the Haar-like feature into the same scale by a scale converter; When the object detection determination unit determines that object detection has been made by superimposing the Haar-like feature on the training image, the edge processing unit uses an edge enhancement filter to the edge of the overlapping Haar-like feature area ( edge) a fourth step of emphasizing (enhancement); and a fifth step of storing the training image in which the edge is emphasized by the training image storage unit.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 객체 검출 판단부가 상기 학습 이미지의 얼굴의 각 부위에 상기 하르 유사 특징(Haar-like feature)의 양(Positive)의 영역과 음(Negative)의 영역을 겹쳐 일치하면, 객체 검출이 이루어진 것으로 판단하여, 상기 엣지 처리부가 상기 겹쳐진 영역의 엣지(edge)를 강조(enhancement)할 수 있다.According to another embodiment of the present invention, in the fourth step, the object detection determination unit includes a positive region and a negative region of the Haar-like feature in each part of the face of the training image. ), it is determined that object detection has been made, and the edge processing unit may enhance an edge of the overlapped area.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 객체 검출 판단부가 상기 학습 이미지의 얼굴의 각 부위에 다수의 하르 유사 특징(Haar-like feature)을 순차적으로 겹쳐, 각 겹치는 단계에서 일치하지 않으면, 객체 검출에 실패한 것으로 판단하여 상기 학습 이미지를 제외시킬 수 있다.According to another embodiment of the present invention, in the fourth step, the object detection determination unit sequentially superimposes a plurality of Haar-like features on each part of the face of the learning image, and coincides with each overlapping step Otherwise, it is determined that the object detection has failed, and the training image may be excluded.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 엣지 처리부가 상기 겹쳐진 영역의 상기 음(Negative)의 영역을 엣지(edge) 증강 또는 감소 처리할 수 있다.According to another embodiment of the present invention, in the fourth step, the edge processing unit may increase or decrease an edge of the negative region of the overlapping region.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 엣지 처리부가 상기 겹쳐진 영역의 양(Positive)의 영역과 음(Negative)의 영역을 엣지(edge) 증강처리하고, 상기 양(Positive)의 영역과 음(Negative)의 영역 이외의 영역은 엣지(edge) 감소 처리할 수 있다.According to another embodiment of the present invention, in the fourth step, the edge processing unit performs edge augmentation processing on a positive region and a negative region of the overlapping region, and the positive Regions other than the region of and negative regions can be edge-reduced.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 객체 검출 판단부가 상기 학습 이미지에 다수의 상기 하르 유사 특징(Haar-like feature)을 겹쳐 하나의 학습 이미지를 구성하여 객체 검출이 이루어진 것으로 판단하면, 상기 엣지 처리부가 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 하나의 학습 이미지의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)할 수 있다.According to another embodiment of the present invention, in the fourth step, the object detection determination unit superimposes a plurality of Haar-like features on the learning image to construct one learning image, so that object detection is performed. If it is determined, the edge processing unit may enhance an edge of a Har-like feature region of the one training image by using the edge enhancement filter.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 상기 객체 검출 판단부가 다수의 상기 학습 이미지에 각각 상이한 하르 유사 특징(Haar-like feature)을 겹쳐 각각의 학습 이미지를 구성하여 객체 검출이 이루어진 것으로 판단하면, 상기 엣지 처리부가 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 생성된 각각의 학습 이미지 상의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)할 수 있다.According to another embodiment of the present invention, in the fourth step, the object detection determination unit overlaps a plurality of the learning images with different Haar-like features, respectively, to construct each learning image, and object detection is performed. If it is determined that there is, the edge processing unit may enhance an edge of a Har-like feature region on each of the generated training images by using the edge enhancement filter.

본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 장치는 학습 이미지와 하르 유사 특징(Haar-like feature)을 각각 로드하는 이미지 로딩부; 상기 학습 이미지와 상기 하르 유사 특징(Haar-like feature)을 상호간에 같은 스케일로 변환하는 스케일 변환부; 상기 학습 이미지에 상기 하르 유사 특징(Haar-like feature)을 겹쳐서 객체 검출이 이루어지는지 판단하는 객체 검출 판단부; 상기 객체 검출의 성공 시에, 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 겹쳐진 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하는 엣지 처리부; 및 상기 엣지가 강조된 학습 이미지를 저장하는 학습 이미지 저장부;를 포함한다.An effective learning reinforcement apparatus for a convolutional neural network according to an embodiment of the present invention includes: an image loading unit for loading a learning image and a Haar-like feature, respectively; a scale conversion unit converting the training image and the Haar-like feature to the same scale; an object detection determination unit that determines whether object detection is performed by superimposing the Haar-like feature on the learning image; an edge processing unit for enhancing an edge of the overlapping HAR-like feature region using an edge enhancement filter when the object detection is successful; and a learning image storage unit for storing the learning image in which the edge is emphasized.

본 발명의 다른 일실시예에 따르면, 상기 객체 검출 판단부는 상기 학습 이미지의 얼굴의 각 부위에 상기 하르 유사 특징(Haar-like feature)의 양(Positive)의 영역과 음(Negative)의 영역을 겹쳐 일치하면, 객체 검출이 이루어진 것으로 판단할 수 있다.According to another embodiment of the present invention, the object detection determining unit overlaps a positive area and a negative area of the Haar-like feature on each part of the face of the learning image. If they match, it can be determined that object detection has been made.

본 발명의 다른 일실시예에 따르면, 상기 객체 검출 판단부는 상기 학습 이미지의 얼굴의 각 부위에 다수의 하르 유사 특징(Haar-like feature)을 순차적으로 겹쳐, 각 겹치는 단계에서 일치하지 않으면, 객체 검출에 실패한 것으로 판단하여 상기 학습 이미지를 제외시킬 수 있다.According to another embodiment of the present invention, the object detection determining unit sequentially overlaps a plurality of Haar-like features on each part of the face of the learning image, and if they do not match in each overlapping step, object detection It may be determined that the training has failed, and the training image may be excluded.

본 발명의 다른 일실시예에 따르면, 상기 엣지 처리부는 상기 겹쳐진 영역의 상기 음(Negative)의 영역을 엣지(edge) 증강 또는 감소 처리하거나, 상기 겹쳐진 영역의 양(Positive)의 영역과 음(Negative)의 영역을 엣지(edge) 증강처리하고, 상기 양(Positive)의 영역과 음(Negative)의 영역 이외의 영역은 엣지(edge) 감소 처리할 수 있다.According to another embodiment of the present invention, the edge processing unit increases or decreases an edge of the negative area of the overlapped area, or a positive area and a negative area of the overlapped area. ) area may be edge-enhanced, and areas other than the positive area and negative area may be edge-reduced.

본 발명의 다른 일실시예에 따르면, 상기 객체 검출 판단부는 상기 학습 이미지에 다수의 상기 하르 유사 특징(Haar-like feature)을 겹쳐 하나의 학습 이미지를 구성하거나, 다수의 상기 학습 이미지에 각각 상이한 하르 유사 특징(Haar-like feature)을 겹쳐 각각의 학습 이미지를 구성하여 객체 검출의 여부를 판단할 수 있다.According to another embodiment of the present invention, the object detection determination unit constitutes one learning image by overlapping the plurality of Haar-like features on the learning image, or each different har in the plurality of learning images. By overlapping Haar-like features to configure each training image, it is possible to determine whether an object is detected.

본 발명의 다른 일실시예에 따르면, 상기 엣지 처리부는 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해, 상기 하나의 학습 이미지의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하거나, 상기 생성된 각각의 학습 이미지 상의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)할 수 있다.According to another embodiment of the present invention, the edge processing unit uses the edge enhancement filter to enhance the edge of the Har-like feature region of the one training image, or to generate the It is possible to emphasize the edge of the Har-like feature area on each training image.

본 발명의 실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법 및 장치는 하르 유사 특징(Haar-like feature)를 이용하여 특징을 강조할 영역에 엣지 강조(Edge Enhancement)를 이용하여 특징을 강화하여, CNN(Convolutional Neural Network)이 보다 적은 수의 이미지 학습과 학습 시간의 단축을 통해 학습 효율을 보다 향상시키도록 할 수 있다.An effective learning reinforcement method and apparatus for a convolutional neural network according to an embodiment of the present invention enhances a feature by using an edge enhancement in an area to emphasize a feature using a Haar-like feature, Convolutional Neural Network (CNN) can further improve learning efficiency by learning fewer images and shortening the learning time.

본 발명의 실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법 및 장치는 하르 유사 특징(Haar-like feature)를 이용하여 특징을 강조할 영역에 엣지 강조(Edge Enhancement)를 이용하여 특징을 강화하여, CNN(Convolutional Neural Network)이 보다 적은 수의 이미지 학습과 학습 시간의 단축을 통해 학습 효율을 보다 향상시키도록 할 수 있다.An effective learning reinforcement method and apparatus for a convolutional neural network according to an embodiment of the present invention enhances a feature by using an edge enhancement in an area to emphasize a feature using a Haar-like feature, Convolutional Neural Network (CNN) can further improve learning efficiency by learning fewer images and shortening the learning time.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present specification are only identification symbols for distinguishing one component from other components.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.Also, throughout the specification, when an element is referred to as “connected” or “connected” with another element, the one element may be directly connected or directly connected to the other element, but in particular It should be understood that, unless there is a description to the contrary, it may be connected or connected through another element in the middle. In addition, throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, terms such as "unit" and "module" described in the specification mean a unit that processes at least one function or operation, which means that it can be implemented as one or more hardware or software or a combination of hardware and software .

딥러닝 학습 과정에서 학습대상의 특성을 극대화하면 학습의 효율을 높일 수 있다. 이때, 학습의 효율이란 작은 수의 학습 이미지로 학습이 가능하도록 하는 것과 학습을 할 때 필수적인 반복 학습의 획수를 줄이 있는 것을 말한다.By maximizing the characteristics of the learning object in the deep learning learning process, the learning efficiency can be increased. At this time, the learning efficiency refers to enabling learning with a small number of learning images and reducing the number of strokes of repetitive learning essential for learning.

학습의 효과를 높이기 위해 사용하는 하르 유사 특징(Haar-like feature) 또는 하르 유사 캐스캐이드(Haar-like Cascade)는 어답티브 부스팅(Adaptive Boost) 기법을 사용하고 약류기의 캐스캐이드(Cascade) 결합으로 이루어져 있으며 각 단계의 약분류기를 거쳐 최종 인식을 한다.Haar-like feature or Haar-like cascade, which is used to increase the effect of learning, uses the Adaptive Boost technique, and the cascade of weak current It consists of a combination, and the final recognition is done through the weak classifier of each stage.

이때, 각 단계의 약분류기에서 하나라도 단계를 통과하지 못하면 검출을 실패한 것으로 판단하며, 각 단계의 약분류기는 검출하고자 하는 대상은 특징을 양(Positive)와 음(Negative)의 사각형 영역을 사용하여 대상이미지를 검사를 한다.At this time, if at least one of the weak classifiers of each stage does not pass, it is judged that the detection has failed. Inspect the target image.

테스트 하고자 하는 이미지의 스케일 동일하게 하고 테스트 이미지와 하르 유사(Haar-Like) 사각형을 겹쳐서 양(Positive)와 음(Negative)의 영역이 테스트 이미지와 비교적 일치하면 그 단계에서는 성공한 것으로 판단하고 다음의 약분류기로 넘어간다.If the scale of the image to be tested is the same, and the test image and the Haar-Like rectangle are overlapped, if the positive and negative areas are relatively consistent with the test image, it is judged as successful in that stage and the next move on to the classifier.

이와 같이 각 단계에서 사용하는 하르 유사(Haar-Like) 사각형은 검출하고자 하는 대상의 특징을 잘 표현 한다고 볼 수 있다.As such, it can be seen that the Haar-Like quadrangle used in each step expresses the characteristics of the target to be detected well.

한편, 딥러닝의 한 종류인 CNN(Convolutional Neural Network)은 영상 검출/인식에 많이 사용하는 알고리즘으로서 기존의 알고리즘에 비해 검출 성능이 좋은 것으로 알려져 있다.On the other hand, CNN (Convolutional Neural Network), a type of deep learning, is an algorithm widely used for image detection/recognition and is known to have better detection performance than existing algorithms.

CNN은 컨볼루션 레이어(convolution layer)로 구성되며, 학습을 하게 되면 컨볼루션 레이어의 필터 계수가 검출하고자 하는 대상의 특징에 맞게 변화된다. 이 과정에서 학습을 할 때 많은 학습이미지가 필요하게 되면 많은 반복 학습을 필요로 한다.CNN is composed of a convolution layer, and when learning is performed, the filter coefficients of the convolution layer are changed according to the characteristics of the target to be detected. In this process, if many learning images are needed when learning, a lot of repetitive learning is required.

따라서, CNN 알고리즘은 성능은 좋으나 많은 학습이미지 와 많은 학습 반복으로 인해 시간이 많이 소요된다는 단점은 익히 알려져 있다.Therefore, the CNN algorithm has good performance, but the disadvantage that it takes a lot of time due to many training images and many training repetitions is well known.

CNN은 컨볼루션을 하여 엣지(Edge)를 찾아내고 학습한다. 하르 유사 특징(Haar-like feature) 영역을 엣지 강조(Edge enhancement)를 통해 엣지(edge) 강화하면, 인식하고자 하는 영상의 특징의 엣지(edge)가 강화되어, 컨볼루션 후 남아있는 엣지(edge)는 인식하고자 하는 대상의 특징을 더 많이 포함하게 된다. 이와 같이 엣지가 강조된 이미지를 학습하면 엣지 강조(Edge enhancement)를 하지 않은 이미지를 학습하는 것 보다 더 효율적으로 학습이 가능하다.CNN finds and learns edges through convolution. If the Haar-like feature region is edge-enhanced through edge enhancement, the edge of the image to be recognized is reinforced, and the edge remaining after convolution will include more features of the object to be recognized. In this way, learning an image in which an edge is emphasized can learn more efficiently than learning an image in which edge enhancement is not applied.

본 발명에 따른 학습 강화 방법 및 장치는 하르 유사 특징(Haar-like feature)와 엣지 강조(Edge enhancement)를 이용하여 CNN의 학습 효율을 높이고자 한다.A learning reinforcement method and apparatus according to the present invention is intended to increase the learning efficiency of a CNN by using a Haar-like feature and edge enhancement.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법을 설명하기 위한 흐름도이고, 도 2 내지 도 7은 본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법을 설명하기 위한 도면이다.1 is a flowchart for explaining an effective learning reinforcement method of a convolutional neural network according to an embodiment of the present invention, and FIGS. 2 to 7 illustrate an effective learning reinforcement method of a convolutional neural network according to an embodiment of the present invention It is a drawing for

먼저, 본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법은 이미지 로딩부가 학습 이미지를 로드하고(S110), 하르 유사 특징(Haar-like feature)을 로드한다(S120).First, in an effective learning reinforcement method of a convolutional neural network according to an embodiment of the present invention, an image loading unit loads a training image (S110) and loads a Haar-like feature (S120).

본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 방법은 각 하르 유사 특징(Haar-like feature)을 통한 학습 이미지의 테스트 단계에서 모두 객체 검출에 성공해야 최종 검출이 성공한 것으로 판단할 수 있다.In an effective learning reinforcement method of a convolutional neural network according to an embodiment of the present invention, it can be determined that the final detection is successful only when all objects are detected in the test step of the learning image through each Haar-like feature. .

도 2를 참조하면, 각 1, 2, 3의 원은 각 하르 유사 특징(Haar-like feature)의 테스트를 나타내고, 1번 테스트 단계를 성공해야 다음 2번 테스트 단계로 넘어갈 수 있다. 따라서, 각 테스트 단계를 통과하지 못하면 검출 실패가 되고, 마지막 테스트 단계까지 통과해야 검출 성공이 된다.Referring to FIG. 2 , each of the circles 1, 2, and 3 represents a test of each Haar-like feature, and only after successful test step 1, the next test step can be moved to the second test step. Therefore, if each test step is not passed, the detection fails, and the detection succeeds only when the last test step is passed.

도 3은 상기 각 테스트 단계에서의 학습 이미지의 얼굴 검출 테스트에 사용되는 하르 유사 특징(Haar-like feature)의 예를 도시하고 있다.3 shows an example of a Haar-like feature used in a face detection test of a training image in each of the test steps.

하르 유사 특징(Haar-like feature)은 양(Positive)의 영역과 음(Negative)의 영역으로 구성될 수 있다. 도 3의 실시예에서는 하르 유사 특징(Haar-like feature)이 인식하고자 학습 이미지의 얼굴의 눈과 눈썹의 위치에 음(Negative)의 영역이 위치하도록 하여, 음(Negative)의 영역에 눈과 눈썹이 겹쳐지고, 양(Positive)의 영역에 눈과 눈썹 밑의 밝은 부분이 겹쳐지면, 테스트에 성공한 것으로 판단할 수 있으며, 이와 같은 각 테스트 단계를 여러 번 진행할 수 있다.The Haar-like feature may be composed of a positive region and a negative region. In the embodiment of FIG. 3 , in order to recognize a Haar-like feature, a negative region is positioned at the position of the eyes and eyebrows of the face of the learning image, and the eyes and eyebrows are located in the negative region. When these overlaps and the bright areas under the eyes and eyebrows overlap in the positive area, it can be determined that the test is successful, and each of these test steps can be performed several times.

도 4에 도시된 바와 같이 스케일 변환부는 상기 학습 이미지와 상기 하르 유사 특징(Haar-like feature)을 상호간에 같은 스케일로 변환한다(S130).As shown in FIG. 4 , the scale converter converts the training image and the Haar-like feature to the same scale (S130).

이후, 도 5에 도시된 바와 같이, 객체 검출 판단부가 상기 학습 이미지에 상기 하르 유사 특징(Haar-like feature)을 겹쳐서, 상기 겹쳐진 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement) 한다(S140).Thereafter, as shown in FIG. 5 , the object detection determiner superimposes the Haar-like feature on the training image to enhance the edge of the overlapped Haar-like feature region (S140). ).

이때, 객체 검출 판단부가 상기 학습 이미지에 상기 하르 유사 특징(Haar-like feature)을 겹쳐서 객체 검출이 이루어졌는지를 판단하여 객체 검출이 이루어진 것으로 판단하면, 엣지 처리부가 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 겹쳐진 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하도록 구성된다.At this time, if the object detection determination unit determines whether object detection is performed by superimposing the Haar-like feature on the learning image, and determines that the object detection has been made, the edge processing unit selects an edge enhancement filter and to enhance an edge of the overlapping HAR-like feature region using the .

보다 구체적으로, 상기 객체 검출 판단부가 상기 학습 이미지의 얼굴의 각 부위에 상기 하르 유사 특징(Haar-like feature)의 양(Positive)의 영역과 음(Negative)의 영역을 겹쳐 일치하면 객체 검출에 성공한 것으로 판단하여, 상기 엣지 처리부가 상기 겹쳐진 영역의 엣지(edge)를 강조(enhancement)할 수 있다.More specifically, when the object detection determination unit overlaps each part of the face of the learning image with a positive area and a negative area of the Haar-like feature, the object detection is successful Determining that, the edge processing unit may enhance an edge of the overlapping area.

또한, 상기 객체 검출 판단부가 상기 학습 이미지의 얼굴의 각 부위에 다수의 하르 유사 특징(Haar-like feature)을 순차적으로 겹쳐, 각 겹치는 단계에서 일치하지 않으면, 객체 검출에 실패한 것으로 판단하여 상기 학습 이미지를 제외시킬 수 있다.In addition, if the object detection determination unit sequentially overlaps a plurality of Haar-like features on each part of the face of the learning image and does not match in each overlapping step, it is determined that the object detection has failed, and the learning image can be excluded.

이때, 본 발명의 일실시예에 따르면 상기 엣지 처리부가 상기 겹쳐진 영역의 상기 음(Negative)의 영역을 엣지(edge) 증강 또는 감소 처리하도록 구성될 수 있다.In this case, according to an embodiment of the present invention, the edge processing unit may be configured to enhance or reduce the edge of the negative region of the overlapping region.

또한, 본 발명의 다른 일실시예에 따르면 상기 엣지 처리부가 상기 겹쳐진 영역의 양(Positive)의 영역과 음(Negative)의 영역을 엣지(edge) 증강처리하고, 상기 양(Positive)의 영역과 음(Negative)의 영역 이외의 영역은 엣지(edge) 감소 처리하도록 구성될 수 있다.In addition, according to another embodiment of the present invention, the edge processing unit performs edge augmentation processing on a positive region and a negative region of the overlapping region, and the positive region and negative region Regions other than the (Negative) region may be configured to undergo edge reduction processing.

이후에는 도 6 및 도 7에서와 같이, 학습 이미지 저장부가 상기 엣지가 강조된 학습 이미지를 저장한다.Thereafter, as in FIGS. 6 and 7 , the training image storage unit stores the training image in which the edge is emphasized.

즉, 본 발명의 일실시예에 따르면 도 6에 도시된 바와 같이, 상기 객체 검출 판단부가 상기 학습 이미지에 다수의 상기 하르 유사 특징(Haar-like feature)을 겹쳐 하나의 학습 이미지를 구성하고 객체 검출이 이루어진 것으로 판단하면, 상기 엣지 처리부가 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 하나의 학습 이미지의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)할 수 있다.That is, according to an embodiment of the present invention, as shown in FIG. 6 , the object detection determination unit superimposes a plurality of Haar-like features on the learning image to construct one learning image and detect the object. If it is determined that this has been achieved, the edge processing unit may enhance an edge of a Haar-like feature region of the one training image using the edge enhancement filter.

또한, 본 발명의 또 다른 일실시예에 따르면 도 7에 도시된 바와 같이, 학습 이미지 처리부가 다수의 상기 학습 이미지에 각각 상이한 하르 유사 특징(Haar-like feature)을 겹쳐 각각의 학습 이미지를 구성하여 객체 검출이 이루어진 것으로 판단하면, 상기 엣지 처리부가 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 생성된 각각의 학습 이미지 상의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)할 수 있다.In addition, according to another embodiment of the present invention, as shown in FIG. 7 , the learning image processing unit constructs each learning image by overlapping different Haar-like features on a plurality of the learning images. When it is determined that object detection has been made, the edge processing unit may enhance an edge of a Har-like feature region on each of the generated training images by using the edge enhancement filter.

따라서, 본 발명의 일실시예에 따르면 학습 이미지 저장부가 이와 같이 엣지(edge)가 강조(enhancement)된 학습 이미지를 저장하여 컨볼루션 신경망의 학습 강화에 사용할 수 있다(S150).Therefore, according to an embodiment of the present invention, the learning image storage unit can store the learning image in which the edge is enhanced as described above and use it to reinforce the learning of the convolutional neural network (S150).

도 8은 본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 장치의 구성도이다.8 is a block diagram of an effective learning reinforcement apparatus for a convolutional neural network according to an embodiment of the present invention.

이후부터는 도 8을 참조하여 본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 장치의 구성을 설명하기로 한다.Hereinafter, the configuration of an effective learning reinforcement device for a convolutional neural network according to an embodiment of the present invention will be described with reference to FIG. 8 .

도 8을 참조하면, 본 발명의 일실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 장치(200)는 이미지 로딩부(210), 스케일 변환부(220), 객체 검출 판단부(230), 엣지 처리부(240) 및 학습 이미지 저장부(250)를 포함하여 구성될 수 있다.Referring to FIG. 8 , an apparatus 200 for effective learning reinforcement of a convolutional neural network according to an embodiment of the present invention includes an image loading unit 210 , a scale transformation unit 220 , an object detection determination unit 230 , and an edge processing unit. 240 and the learning image storage unit 250 may be included.

이미지 로딩부(210)는 학습 이미지를 로딩하고, 또한 하르 유사 특징(Haar-like feature)을 로딩한다.The image loading unit 210 loads a training image, and also loads a Haar-like feature.

또한, 스케일 변환부(220)는 상기 학습 이미지와 상기 하르 유사 특징(Haar-like feature)을 상호간에 같은 스케일로 변환한다.Also, the scale converter 220 converts the training image and the Haar-like feature to the same scale.

객체 검출 판단부(230)는 상기 학습 이미지에 상기 하르 유사 특징(Haar-like feature)을 겹쳐서 객체 검출의 성공 여부를 판단한다.The object detection determination unit 230 determines whether object detection is successful by superimposing the Haar-like feature on the learning image.

보다 구체적으로, 상기 객체 검출 판단부(230)는 상기 학습 이미지의 얼굴의 각 부위에 상기 하르 유사 특징(Haar-like feature)의 양(Positive)의 영역과 음(Negative)의 영역을 겹쳐 일치하면, 객체 검출이 이루어진 것으로 판단할 수 있다.More specifically, when the object detection determining unit 230 overlaps each part of the face of the learning image with a positive area and a negative area of the Haar-like feature, , it can be determined that object detection has been made.

또한, 상기 객체 검출 판단부(230)는 상기 학습 이미지의 얼굴의 각 부위에 다수의 하르 유사 특징(Haar-like feature)을 순차적으로 겹쳐, 각 겹치는 단계에서 일치하지 않으면, 객체 검출에 실패한 것으로 판단하여 상기 학습 이미지를 제외시킬 수 있다.In addition, the object detection determination unit 230 sequentially overlaps a plurality of Haar-like features on each part of the face of the learning image, and if they do not match in each overlapping step, it is determined that the object detection has failed Thus, the learning image may be excluded.

엣지 처리부(240)는 상기 객체 검출이 이루어지면 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 겹쳐진 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement) 한다.When the object detection is performed, the edge processing unit 240 enhances an edge of the overlapping HAR-like feature region using an edge enhancement filter.

이때, 상기 객체 검출 판단부(230)는 상기 학습 이미지에 다수의 상기 하르 유사 특징(Haar-like feature)을 겹쳐 하나의 학습 이미지를 구성하여 객체 검출이 이루어진 것으로 판단한 경우에는, 상기 엣지 처리부(240)가 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 하나의 학습 이미지의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement) 하도록 구성될 수 있다.At this time, when the object detection determination unit 230 determines that object detection has been achieved by overlapping the plurality of Haar-like features on the learning image to form one learning image, the edge processing unit 240 ) may be configured to enhance an edge of a Har-like feature region of the one training image using the edge enhancement filter.

또 달리, 상기 학습 이미지 처리부(235)가 다수의 상기 학습 이미지에 각각 상이한 하르 유사 특징(Haar-like feature)을 겹쳐 각각의 학습 이미지를 구성하여 객체 검출이 이루어진 것으로 판단한 경우에는, 상기 엣지 처리부(240)가 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 생성된 각각의 학습 이미지 상의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement) 하도록 구성될 수 있다.Alternatively, when the learning image processing unit 235 determines that object detection has been achieved by overlapping different Haar-like features on a plurality of the training images to form each training image, the edge processing unit ( 240) may be configured to enhance an edge of a Har-like feature region on each of the generated training images by using the edge enhancement filter.

아울러, 상기 엣지 처리부(240)는 상기 겹쳐진 영역의 상기 음(Negative)의 영역을 엣지(edge) 증강 또는 감소 처리하도록 구성될 수 있다.In addition, the edge processing unit 240 may be configured to enhance or reduce an edge of the negative region of the overlapping region.

또 달리, 상기 엣지 처리부(240)는 상기 겹쳐진 영역의 양(Positive)의 영역과 음(Negative)의 영역을 엣지(edge) 증강처리하고, 상기 양(Positive)의 영역과 음(Negative)의 영역 이외의 영역은 엣지(edge) 감소 처리하도록 구성될 수 있다.Alternatively, the edge processing unit 240 performs edge augmentation processing on a positive region and a negative region of the overlapped region, and the positive region and negative region Other regions may be configured to process edge reduction.

따라서, 본 발명의 실시예에 따른 컨볼루션 신경망의 효과적인 학습 강화 장치는 하르 유사 특징(Haar-like feature)를 이용하여 특징을 강조할 영역에 엣지 강조(Edge Enhancement)를 이용하여 특징을 강화하여, CNN(Convolutional Neural Network)가 보다 적은 수의 이미지 학습과 학습 시간의 단축을 통해 학습 효율을 보다 향상시키도록 할 수 있다.Therefore, the effective learning reinforcement apparatus of a convolutional neural network according to an embodiment of the present invention uses a Haar-like feature to enhance a feature by using an edge enhancement in an area to emphasize the feature, Convolutional Neural Network (CNN) can further improve learning efficiency by learning fewer images and shortening the learning time.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.Although described above with reference to the embodiments of the present invention, those of ordinary skill in the art can variously modify the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. and can be changed.

200: 컨볼루션 신경망의 효과적인 학습 강화 장치
210: 이미지 로딩부
220: 스케일 변환부
230: 객체 검출 판단부
240: 엣지 처리부
250: 학습 이미지 저장부200: Effective learning reinforcement device of convolutional neural network
210: image loading unit
220: scale conversion unit
230: object detection determination unit
240: edge processing unit
250: training image storage unit

Claims (13)

이미지 로딩부가 학습 이미지를 로드하는 제1 단계;
상기 이미지 로딩부가 하르 유사 특징(Haar-like feature)을 로드하는 제2 단계;
스케일 변환부가 상기 학습 이미지와 상기 하르 유사 특징(Haar-like feature)을 상호간에 같은 스케일로 변환하는 제3 단계;
객체 검출 판단부가 상기 학습 이미지에 상기 하르 유사 특징(Haar-like feature)을 겹쳐서 객체 검출이 이루어진 것으로 판단하면, 엣지 처리부가 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 겹쳐진 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하는 제4 단계; 및
학습 이미지 저장부가 상기 엣지가 강조된 학습 이미지를 저장하는 제5 단계;를 포함하되,
상기 제4단계는,
상기 객체 검출 판단부가 상기 학습 이미지의 얼굴의 각 부위에 다수의 하르 유사 특징(Haar-like feature)을 순차적으로 겹쳐, 각 겹치는 단계에서 일치하지 않으면, 객체 검출에 실패한 것으로 판단하여 상기 학습 이미지를 제외시키고,
상기 객체 검출 판단부가 상기 학습 이미지의 얼굴의 각 부위에 상기 하르 유사 특징(Haar-like feature)의 양(Positive)의 영역과 음(Negative)의 영역을 겹쳐 일치하면, 객체 검출이 이루어진 것으로 판단하여, 상기 엣지 처리부가 상기 하르 유사 특징 겹쳐진 영역의 엣지(edge)를 강조(enhancement)하는 단계를 포함하는 것을 특징으로 하는, 컨볼루션 신경망의 효과적인 학습 강화 방법.
A first step of loading the image loading unit learning image;
a second step of loading, by the image loading unit, a Haar-like feature;
a third step of converting the learning image and the Haar-like feature into the same scale by a scale converter;
When the object detection determination unit determines that object detection has been made by superimposing the Haar-like feature on the training image, the edge processing unit uses an edge enhancement filter to the edge of the overlapping Haar-like feature area ( edge) a fourth step of emphasizing (enhancement); and
A fifth step of the learning image storage unit storing the learning image in which the edge is emphasized; including,
The fourth step is
If the object detection determination unit sequentially overlaps a plurality of Haar-like features on each part of the face of the learning image and does not match in each overlapping step, it is determined that the object detection has failed, and the learning image is excluded make it,
If the object detection determination unit overlaps the positive area and the negative area of the Haar-like feature on each part of the face of the learning image, it is determined that the object detection has been made, , The effective learning reinforcement method of a convolutional neural network, characterized in that it comprises the step of emphasizing (enhancement) the edge (edge) of the region where the edge processing unit overlaps the har-like features.
 삭제delete 삭제delete 청구항 1에 있어서,
상기 제4 단계는,
상기 엣지 처리부가 상기 겹쳐진 하르 유사 특징 영역의 상기 음(Negative)의 영역을 엣지(edge) 증강 또는 감소 처리하는 컨볼루션 신경망의 효과적인 학습 강화 방법.
The method according to claim 1,
The fourth step is
An effective learning reinforcement method of a convolutional neural network in which the edge processing unit enhances or reduces the edge of the negative region of the overlapping HAR-like feature region.
 청구항 1에 있어서,
상기 제4 단계는,
상기 엣지 처리부가 상기 겹쳐진 하르 유사 특징 영역의 양(Positive)의 영역과 음(Negative)의 영역을 엣지(edge) 증강처리하고, 상기 양(Positive)의 영역과 음(Negative)의 영역 이외의 영역은 엣지(edge) 감소 처리하는 컨볼루션 신경망의 효과적인 학습 강화 방법.
The method according to claim 1,
The fourth step is
The edge processing unit performs edge augmentation processing on a positive area and a negative area of the overlapping HAR-like feature area, and an area other than the positive area and negative area is an effective learning reinforcement method for convolutional neural networks with edge reduction processing.
 청구항 1에 있어서,
상기 제4 단계는,
상기 객체 검출 판단부가 상기 학습 이미지에 다수의 상기 하르 유사 특징(Haar-like feature)을 겹쳐 하나의 학습 이미지를 구성하여 객체 검출이 이루어진 것으로 판단하면,
상기 엣지 처리부가 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 하나의 학습 이미지의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하는 컨볼루션 신경망의 효과적인 학습 강화 방법.
The method according to claim 1,
The fourth step is
When the object detection determination unit determines that object detection has been made by superimposing a plurality of Haar-like features on the learning image to form one learning image,
An effective learning reinforcement method of a convolutional neural network in which the edge processing unit enhances an edge of a Har-like feature region of the one training image using the edge enhancement filter.
 청구항 1에 있어서,
상기 제4 단계는,
상기 객체 검출 판단부가 다수의 상기 학습 이미지에 각각 상이한 하르 유사 특징(Haar-like feature)을 겹쳐 각각의 학습 이미지를 구성하여 객체 검출이 이루어진 것으로 판단하면,
상기 엣지 처리부가 상기 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 각각의 학습 이미지 상의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하는 컨볼루션 신경망의 효과적인 학습 강화 방법.
The method according to claim 1,
The fourth step is
When the object detection determining unit determines that object detection has been achieved by overlapping different Haar-like features on a plurality of the learning images to configure each learning image,
An effective learning reinforcement method of a convolutional neural network in which the edge processing unit enhances an edge of a Har-like feature region on each of the training images by using the edge enhancement filter.
 학습 이미지와 하르 유사 특징(Haar-like feature)을 각각 로드하는 이미지 로딩부;
상기 학습 이미지와 상기 하르 유사 특징(Haar-like feature)을 상호간에 같은 스케일로 변환하는 스케일 변환부;
상기 학습 이미지에 상기 하르 유사 특징(Haar-like feature)을 겹쳐서 객체 검출이 이루어지는지 판단하는 객체 검출 판단부;
상기 객체 검출의 성공 시에, 엣지 강조 필터(Edge Enhancement filter)를 이용해 상기 겹쳐진 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하는 엣지 처리부; 및
상기 엣지가 강조된 학습 이미지를 저장하는 학습 이미지 저장부;를 포함하되,
상기 객체 검출 판단부는,
상기 학습 이미지의 얼굴의 각 부위에 다수의 하르 유사 특징(Haar-like feature)을 순차적으로 겹쳐, 각 겹치는 단계에서 일치하지 않으면, 객체 검출에 실패한 것으로 판단하여 상기 학습 이미지를 제외시키고,
상기 학습 이미지의 얼굴의 각 부위에 상기 하르 유사 특징(Haar-like feature)의 양(Positive)의 영역과 음(Negative)의 영역을 겹쳐 일치하면, 객체 검출이 이루어진 것으로 판단하는 것을 특징으로 하는, 컨볼루션 신경망의 효과적인 학습 강화 장치.
an image loading unit for loading a training image and a Haar-like feature, respectively;
a scale conversion unit converting the training image and the Haar-like feature to the same scale;
an object detection determination unit that determines whether object detection is performed by superimposing the Haar-like feature on the learning image;
an edge processing unit for enhancing an edge of the overlapping HAR-like feature region using an edge enhancement filter when the object detection is successful; and
Including; a learning image storage unit for storing the learning image emphasizing the edge;
The object detection determination unit,
A plurality of Haar-like features are sequentially superimposed on each part of the face of the learning image, and if they do not match in each overlapping step, it is determined that the object detection has failed and the learning image is excluded,
When the positive and negative areas of the Haar-like feature overlap and match each part of the face of the learning image, it is determined that object detection has been made, An effective learning reinforcement device for convolutional neural networks.
 삭제delete 삭제delete 청구항 8에 있어서,
상기 엣지 처리부는,
상기 겹쳐진 하르 유사 특징 영역의 상기 음(Negative)의 영역을 엣지(edge) 증강 또는 감소 처리하거나,
상기 겹쳐진 하르 유사 특징 영역의 양(Positive)의 영역과 음(Negative)의 영역을 엣지(edge) 증강처리하고, 상기 양(Positive)의 영역과 음(Negative)의 영역 이외의 영역은 엣지(edge) 감소 처리하는 컨볼루션 신경망의 효과적인 학습 강화 장치.
9. The method of claim 8,
The edge processing unit,
Edge enhancement or reduction processing for the negative region of the overlapping HAR-like feature region, or
Edge enhancement processing is performed on a positive region and a negative region of the overlapping HAR-like feature region, and the region other than the positive region and negative region is an edge ), an effective learning reinforcement device for convolutional neural networks with reduction processing.
 청구항 8에 있어서,
상기 객체 검출 판단부는,
상기 학습 이미지에 다수의 상기 하르 유사 특징(Haar-like feature)을 겹쳐 하나의 학습 이미지를 구성하거나, 다수의 상기 학습 이미지에 각각 상이한 하르 유사 특징(Haar-like feature)을 겹쳐 각각의 학습 이미지를 구성하여 객체 검출의 여부를 판단하는 컨볼루션 신경망의 효과적인 학습 강화 장치.
9. The method of claim 8,
The object detection determination unit,
A plurality of Haar-like features are superimposed on the learning image to form one learning image, or different Haar-like features are superimposed on a plurality of the learning images to form each learning image. An effective learning reinforcement device for a convolutional neural network that determines whether or not to detect an object by constructing it.
 청구항 12에 있어서,
상기 엣지 처리부는,
상기 엣지 강조 필터(Edge Enhancement filter)를 이용해, 상기 하나의 학습 이미지의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하거나, 상기 각각의 학습 이미지 상의 하르 유사 특징 영역의 엣지(edge)를 강조(enhancement)하는 컨볼루션 신경망의 효과적인 학습 강화 장치.
13. The method of claim 12,
The edge processing unit,
By using the edge enhancement filter, the edge of the Haar-like feature region of the one training image is enhanced, or the edge of the Har-like feature region on each training image is enhanced. An effective learning reinforcement device for convolutional neural networks with enhancements.
KR1020190167541A 2019-12-16 2019-12-16 Convolution neural network effective learning strengthening method and device KR102389600B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190167541A KR102389600B1 (en) 2019-12-16 2019-12-16 Convolution neural network effective learning strengthening method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190167541A KR102389600B1 (en) 2019-12-16 2019-12-16 Convolution neural network effective learning strengthening method and device

Publications (2)

Publication Number Publication Date
KR20210077034A KR20210077034A (en) 2021-06-25
KR102389600B1 true KR102389600B1 (en) 2022-04-22

Family

ID=76628989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190167541A KR102389600B1 (en) 2019-12-16 2019-12-16 Convolution neural network effective learning strengthening method and device

Country Status (1)

Country Link
KR (1) KR102389600B1 (en)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jonghwa Yim et al., "Enhancing the Performance of Convolutional Neural Networks on Quality Degraded Datasets," The International Conference on Digital Image Computing: Techniques and Applications (DICTA), 2017 (2017.11.29.)*
Paul Viola et al., "Robust real-time face detection," International Journal of Computer Vision, volume 57 (2004.05.31.)*

Also Published As

Publication number Publication date
KR20210077034A (en) 2021-06-25

Similar Documents

Publication Publication Date Title
Trnovszky et al. Animal recognition system based on convolutional neural network
US9400919B2 (en) Learning deep face representation
US20170124409A1 (en) Cascaded neural network with scale dependent pooling for object detection
US20170364742A1 (en) Lip-reading recognition method and apparatus based on projection extreme learning machine
Sharma et al. A static hand gesture and face recognition system for blind people
CN111489285B (en) Method and device for converting real image into virtual image by using cyclic GAN
US20230134967A1 (en) Method for recognizing activities using separate spatial and temporal attention weights
US20070031041A1 (en) Apparatus and method for detecting a face
US9202109B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
US20120063689A1 (en) Object recognition in an image
CN105320945A (en) Image classification method and apparatus
US8750628B2 (en) Pattern recognizer, pattern recognition method and program for pattern recognition
JP6924031B2 (en) Object detectors and their programs
Lu et al. Contour box: Rejecting object proposals without explicit closed contours
JP2012190159A (en) Information processing device, information processing method, and program
KR20180107988A (en) Apparatus and methdo for detecting object of image
US11704828B2 (en) Road obstacle detection device, road obstacle detection method, and computer-readable storage medium
US7813533B2 (en) Operation-discerning apparatus and apparatus for discerning posture of subject
KR102195940B1 (en) System and Method for Detecting Deep Learning based Human Object using Adaptive Thresholding Method of Non Maximum Suppression
CN109101858B (en) Action recognition method and device
KR102389600B1 (en) Convolution neural network effective learning strengthening method and device
CN107886093B (en) Character detection method, system, equipment and computer storage medium
Lin et al. Fast vehicle detector for autonomous driving
Jiang et al. High precision deep learning-based tabular position detection
US20230230404A1 (en) Recognizing handwritten text by combining neural networks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant