KR20200094814A - Apparatus and method for validating image data for learning - Google Patents

Apparatus and method for validating image data for learning Download PDF

Info

Publication number
KR20200094814A
KR20200094814A KR1020190005886A KR20190005886A KR20200094814A KR 20200094814 A KR20200094814 A KR 20200094814A KR 1020190005886 A KR1020190005886 A KR 1020190005886A KR 20190005886 A KR20190005886 A KR 20190005886A KR 20200094814 A KR20200094814 A KR 20200094814A
Authority
KR
South Korea
Prior art keywords
learning image
difference
self
image
frame
Prior art date
Application number
KR1020190005886A
Other languages
Korean (ko)
Other versions
KR102211541B1 (en
Inventor
한요섭
박준우
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190005886A priority Critical patent/KR102211541B1/en
Publication of KR20200094814A publication Critical patent/KR20200094814A/en
Application granted granted Critical
Publication of KR102211541B1 publication Critical patent/KR102211541B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

Provided are a training image validation device and method thereof. The training image validation device comprises: an image acquisition part that acquires an original training image and a self-proliferation training image generated in a predetermined manner from the original training image; a feature point analysis part that extracts feature points for each frame from the self-proliferation training image and the original training image, and compares the number of feature points for each frame extracted from the self-proliferation training image and the original training image to acquire a difference in the number of feature points for each frame; a time sequence analysis part that extracts a plurality of optical flows between frames from a plurality of frames of each of the self-proliferation training image and the original training image, and acquires a difference between the plurality of optical flows extracted from the self-proliferation training image and the original training image as a difference in the amount of change for each optical flow; and a validity determination part that determines the validity of the self-proliferation training image based on the difference in the number of feature points for each frame and the difference in the amount of change for each optical flow.

Description

학습 영상 유효성 검증 장치 및 방법{APPARATUS AND METHOD FOR VALIDATING IMAGE DATA FOR LEARNING}Learning image validation device and method {APPARATUS AND METHOD FOR VALIDATING IMAGE DATA FOR LEARNING}

본 발명은 학습을 위한 학습 영상 유효성 검증 장치 및 방법에 관한 것으로, 자가증식된 학습 영상 유효성 검증 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for validating a learning image for learning, and to an apparatus and method for validating a self-proliferating learning image.

인공 신경망을 이용한 딥러닝 기법에 대한 연구가 발전됨에 따라, 딥러닝을 이용하여 영상의 다양한 특성을 획득하는 연구가 활발하게 이루어지고 있다.As research on deep learning techniques using artificial neural networks develops, research on acquiring various characteristics of images using deep learning is being actively conducted.

딥러닝 기법에 의해 학습되는 인공 신경망은 많은 양의 학습 영상을 이용하여 충분하게 학습된 경우에만 요구되는 성능을 나타낼 수 있으며, 학습 영상의 질 또한 매우 중요하다.The artificial neural network learned by the deep learning technique can exhibit the required performance only when it is sufficiently learned using a large amount of training images, and the quality of the training image is also very important.

그러나 영상에서 획득하고자 하는 특성에 따라 적합한 학습 영상이 요구되므로, 많은 분야에서 학습 영상은 매우 부족한 실정이다. 그리고 기존에 학습 영상을 생성하는 것은 대부분 수작업으로 수행되므로, 매우 오랜 시간과 노력 및 비용이 요구된다.However, since an appropriate learning image is required according to the characteristics to be acquired from the image, the learning image is very insufficient in many fields. In addition, since most of the existing learning images are manually performed, a very long time, effort, and cost are required.

이에 최근에는 학습 영상 부족 문제를 극복하기 위해, 학습 영상을 자동으로 생성하는 방법에 대한 연구가 이루어지고 있다. 그 중 한가지 방법으로 기존의 학습 영상을 기반으로 새로운 학습 영상을 자가증식 방식으로 생성하는 방법이 있다. 그러나, 자가증식 방식으로 생성된 학습 영상은 부자연스럽고 적합한 학습 영상이 아닐 가능성이 높다는 문제가 있다. 즉 자가증식 학습 영상은 원본 학습 영상과는 상이해야 하지만, 원본 학습 영상과 매우 크게 차이가 발생되는 경우, 인공 신경망의 학습에 적합한 학습 영상으로 생성되지 않을 수 있다.Accordingly, recently, in order to overcome the problem of lack of learning images, research on a method of automatically generating learning images has been conducted. One of them is a method of generating a new learning image based on an existing learning image in a self-proliferating method. However, there is a problem that the learning images generated by the self-proliferation method are unnatural and are likely not suitable learning images. That is, the self-proliferative learning image should be different from the original training image, but if there is a very large difference from the original training image, it may not be generated as a training image suitable for learning of an artificial neural network.

따라서 자가증식을 통해 생성된 학습 영상이 학습에 적합한지 여부에 대한 유효성을 검증할 필요성이 있다.Therefore, there is a need to verify the validity of whether the learning image generated through self-proliferation is suitable for learning.

한국 등록 특허 제10-1880035호 (2018.07.13 등록)Korean Patent Registration No. 10-1880035 (Registered on July 13, 2018)

본 발명의 목적은 자가증식 방식으로 생성된 학습 영상의 유효성을 검증할 수 있는 학습 영상 유효성 검증 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide an apparatus and method for validating a learning image capable of verifying the validity of a learning image generated by a self-proliferation method.

본 발명의 다른 목적은 원본 영상과 자가증식 학습 영상의 각 프레임에서의 특징 변화량 비교와 옵티컬플로우 변화를 기반으로 원본 영상 대비 자가증식 학습 영상의 유효성 및 자연스러움을 검증할 수 있는 학습 영상 유효성 검증 장치 및 방법을 제공하는데 있다.Another object of the present invention is a learning image validation apparatus capable of verifying the validity and naturalness of the self-proliferating learning image compared to the original image based on the comparison of the feature change amount in each frame of the original image and the self-proliferating learning image and optical flow change. And to provide a method.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 장치는 원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 영상 획득부; 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 상기 자가증식 학습 영상와 상기 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 분석부; 상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 시간 시퀀스 분석부; 및 상기 프레임별 특징점 개수차와 상기 옵티컬플로우별 변화량 차이를 기반으로 상기 자가증식 학습 영상의 유효성을 판별하는 유효성 판별부; 를 포함한다.In order to achieve the above object, an apparatus for validating a learning image according to an embodiment of the present invention includes: an image acquisition unit for acquiring an original learning image and a self-proliferating learning image generated in a predetermined manner from the original learning image; A feature point analysis unit that extracts feature points for each frame from the self-proliferation learning image and the original training image, and compares the number of feature points for each frame extracted from the self-proliferation learning image and the original training image to obtain a difference in the number of feature points for each frame ; Extract a plurality of optical flows between frames from a plurality of frames of each of the self-proliferative learning image and the original learning image, and determine the difference between the self-proliferating learning image and a plurality of optical flows extracted from the original learning image. A time sequence analysis unit that obtains a difference in the amount of change for each optical flow; And a validity determination unit determining the validity of the self-proliferating learning image based on the difference in the number of feature points for each frame and the difference in the amount of change for each optical flow. It includes.

상기 특징점 분석부는 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하는 특징점 추출부; 및 상기 자가증식 학습 영상에서 추출된 프레임별 특징점 개수와 상기 원본 학습 영상에서 추출된 프레임별 특징점 개수 중 대응하는 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 차이 판별부; 를 포함할 수 있다.The feature point analysis unit includes a feature point extracting unit for extracting feature points for each frame from the self-proliferating learning image and the original learning image; And a feature point difference determining unit for obtaining a difference in the number of feature points for each frame by comparing the number of feature points for each frame extracted from the self-proliferating learning image and the number of feature points for each frame extracted from the original training image. It may include.

상기 특징점 추출부는 해리스 코너 기법을 이용하여 상기 자가증식 학습 영상과 상기 원본 학습 영상의 각 프레임에서 코너에 해당하는 픽셀을 특징점으로 추출할 수 있다.The feature point extracting unit may extract, as a feature point, a pixel corresponding to a corner in each frame of the self-proliferating learning image and the original learning image using a Harris corner technique.

상기 시간 시퀀스 분석부는 상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하는 옵티컬플로우 추출부; 및 상기 자가증식 학습 영상에서 추출된 다수의 옵티컬플로우와 상기 원본 학습 영상에서 추출된 옵티컬플로우 중 대응하는 옵티컬플로우 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 변화량 판별부; 를 포함할 수 있다.The temporal sequence analysis unit includes an optical flow extraction unit for extracting a plurality of optical flows between frames from a plurality of frames of each of the self-proliferating learning image and the original learning image; And a change amount determination unit for obtaining a difference between a plurality of optical flows extracted from the self-proliferative learning image and a corresponding optical flow among the optical flows extracted from the original learning image as a difference in change amount for each optical flow. It may include.

상기 유효성 판별부는 각 프레임별 특징점 개수의 차이가 기지정된 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기지정된 기준 변화량 차이 이상인 옵티컬플로우의 수가 상기 자가증식 학습 영상의 전체 프레임의 수에 비해 기지정된 기준 비율 이하이면, 상기 자가증식 학습 영상이 유효한 것으로 판별할 수 있다.The validity determining unit is within a predetermined reference number difference in the difference in the number of feature points for each frame, and the number of optical flows equal to or greater than a predetermined reference variation difference among the difference in the variation amount for each optical flow is determined compared to the total number of frames in the self-growing learning image. If it is less than the reference ratio, it can be determined that the self-proliferating learning image is valid.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 학습 영상 유효성 검증 방법은 원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 단계; 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 상기 자가증식 학습 영상와 상기 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 단계; 상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 단계; 및 상기 프레임별 특징점 개수차와 상기 옵티컬플로우별 변화량 차이를 기반으로 상기 자가증식 학습 영상의 유효성을 판별하는 단계; 를 포함한다.A learning image validation method according to another embodiment of the present invention for achieving the above object includes: acquiring an original learning image and a self-proliferating learning image generated in a predetermined manner from the original learning image; Extracting feature points for each frame from the self-proliferating learning image and the original training image, comparing the number of feature points for each frame extracted from the self-proliferating learning image and the original training image to obtain a difference in the number of feature points for each frame; Extract a plurality of optical flows between frames from a plurality of frames of each of the self-proliferative learning image and the original learning image, and determine the difference between the self-proliferating learning image and a plurality of optical flows extracted from the original learning image. Obtaining a difference in the amount of change for each optical flow; And determining the validity of the self-proliferating learning image based on the difference in the number of feature points for each frame and the difference in the amount of change for each optical flow. It includes.

따라서, 본 발명의 실시예에 따른 학습 영상 유효성 검증 장치 및 방법은 원본 영상과 자가증식 학습 영상의 각 프레임에서 특징점과 옵티컬플로우를 추출하여, 원본 영상과의 프레임별 특징 변화량 및 옵티컬플로우 변화량 비교를 통하여 원본 영상 대비 자가증식 학습 영상의 유효성 및 자연스러움을 검증할 수 있도록 한다. 자가증식 학습 영상의 유효성과 자연스러움을 검증함으로써, 다양한 자가증식 학습 영상을 안정적으로 생성할 수 있도록 하여 학습 영상의 부족 문제를 해소할 수 있다.Accordingly, the apparatus and method for validating a learning image according to an embodiment of the present invention extracts feature points and optical flows from each frame of the original image and the self-proliferating learning image, and compares the amount of feature change and optical flow change for each frame with the original image. Through this, it is possible to verify the validity and naturalness of the self-proliferating learning image compared to the original image. By verifying the validity and naturalness of the self-proliferating learning images, it is possible to stably generate various self-proliferating learning images, thereby solving the problem of lack of learning images.

도1 은 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 장치의 개략적 구조를 나타낸다.
도2 는 도1 의 학습 영상 유효성 검증 장치가 유효성을 검증하는 개념을 나타낸다.
도3 은 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 방법을 나타낸다.
1 shows a schematic structure of an apparatus for validating a training image according to an embodiment of the present invention.
FIG. 2 shows a concept in which the apparatus for validating the training image of FIG. 1 verifies the validity.
3 shows a method for validating a training image according to an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part “includes” a certain component, this means that other components may be further included, rather than excluding other components, unless specifically stated to the contrary. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware or software or hardware. And software.

도1 은 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 장치의 개략적 구조를 나타내고, 도2 는 도1 의 학습 영상 유효성 검증 장치가 유효성을 검증하는 개념을 나타낸다.1 illustrates a schematic structure of an apparatus for validating a training image according to an embodiment of the present invention, and FIG. 2 illustrates a concept in which the apparatus for validating a training image of FIG. 1 verifies the validity.

도1 및 도2 를 참조하면, 본 실시예에 따른 학습 영상 유효성 검증 장치는 영상 획득부(110), 특징점 분석부(120), 시간 시퀀스 분석부(130) 및 유효성 판별부(140)를 포함한다.1 and 2, the training image validity verification apparatus according to the present embodiment includes an image acquisition unit 110, a feature point analysis unit 120, a time sequence analysis unit 130, and a validity determination unit 140. do.

영상 획득부(110)는 유효성을 검증할 자가증식 학습 영상을 원본 학습 영상과 함께 획득한다.The image acquisition unit 110 acquires a self-proliferating learning image to be validated together with the original learning image.

여기서 자가증식 학습 영상은 원본 학습 영상으로부터 생성된 학습 영상으로 자가증식 학습 영상과 원본 학습 영상은 각각 다수의 프레임을 갖는 영상이다. 일예로 자가증식 학습 영상은 미리 학습된 인공 신경망 등을 이용하여 원본 학습 영상이 생성된 의도를 분류하고, 분류된 의도에 대응하여 영상 내의 객체의 움직임이나 색상 또는 주변 환경 요인들을 변경한 영상일 수 있다. Here, the self-proliferative learning image is a learning image generated from the original learning image, and the self-proliferating learning image and the original learning image are images each having a plurality of frames. As an example, the self-proliferative learning image may be an image in which the intention from which the original learning image was created is classified using a pre-learned artificial neural network, and the movement or color of an object in the image or environmental factors are changed in response to the classified intention. have.

특징점 분석부(120)는 자가증식 학습 영상과 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 자가증식 학습 영상과 학습 영상에서 프레임별로 추출된 특징점의 차이를 비교 분석하여 유효성 판별부(140)로 전달한다.The feature point analysis unit 120 extracts feature points for each frame from the self-proliferation learning image and the original learning image, and compares and analyzes the difference between the feature points extracted for each frame from the self-proliferation learning image and the learning image, and sends the result to the validity determination unit 140. Deliver.

특징점 분석부(120)는 특징점 추출부(121) 및 특징점 차이 판별부(122)를 포함한다.The feature point analysis unit 120 includes a feature point extraction unit 121 and a feature point difference determination unit 122.

특징점 추출부(121)는 자가증식 학습 영상과 원본 학습 영상에 대해 기지정된 방식으로 각 프레임별 특징점을 추출한다. 일예로 특징점 추출부(121)는 자가증식 학습 영상과 원본 학습 영상의 각 프레임에서 해리스 코너(Harris coner) 기법을 이용하여 특징점을 추출할 수 있다.The feature point extracting unit 121 extracts feature points for each frame in a predetermined manner for the self-proliferating learning image and the original learning image. As an example, the feature point extraction unit 121 may extract feature points from each frame of the self-proliferating learning image and the original learning image using a Harris coner technique.

해리스 코너 기법은 영상에서 지정된 크기의 윈도우를 이동시키면서, 윈도우 내의 각 픽셀이 모든 방향으로 영상변화가 클 때, 해당 픽셀을 코너(또는 에지)로 판별하여 특징점으로 추출하는 기법이다.The Harris Corner technique is a technique in which, while moving a window of a specified size in an image, when each pixel in the window has a large image change in all directions, the corresponding pixel is identified as a corner (or edge) and extracted as a feature point.

해리스 코너 기법에 따르면, 특정 픽셀(x, y)에 대한 변화량(Δx, Δy)이 주어지면, 지역적인 신호의 변화를 측정할 수 있는 로컬 자기상관(Local auto-correlation) 함수는 수학식 1로 표현된다.According to the Harris Corner method, given the amount of change (Δx, Δy) for a specific pixel (x, y), a local auto-correlation function capable of measuring a change in a local signal is expressed as Equation 1. Is expressed.

Figure pat00001
Figure pat00001

여기서 I는 픽셀의 밝기를 나타내고, (xi, yi)는 가우시안 윈도우(wg) 내부의 픽셀을 나타낸다.Here, I denotes the brightness of a pixel, and (x i , y i ) denotes a pixel inside the Gaussian window (w g ).

한편 변화량(Δx, Δy)만큼 이동한 영역은 테일러 확장을 이용하면, 수학식 2와 같이 표현된다.On the other hand, the area moved by the amount of change (Δx, Δy) is expressed as in Equation 2 when Taylor expansion is used.

Figure pat00002
Figure pat00002

여기서 Ix와 Iy는 각각 x, y에 대한 그래디언트를 나타낸다.Here, I x and I y represent the gradients for x and y, respectively.

수학식 2를 수학식 1에 대입하면, 수학식 3이 획득된다.When Equation 2 is substituted into Equation 1, Equation 3 is obtained.

Figure pat00003
Figure pat00003

그리고 수학식 3의 C(x, y)를 이용하여 수학식 4와 같이 코너의 정도를 판별한다.Then, the degree of the corner is determined as shown in Equation 4 using C(x, y) in Equation 3.

Figure pat00004
Figure pat00004

수학식 4에 따라 판별되는 각 픽셀에 대한 코너의 정도를 이용하여, 수학식 5와 같이 영상 내의 특징점(Feature point: FP)을 추출한다.Using the degree of corners for each pixel determined according to Equation 4, a feature point (FP) in the image is extracted as shown in Equation 5.

Figure pat00005
Figure pat00005

여기서 TF는 특징점 판별을 위한 기준 코너값을 나타낸다.Here, T F denotes a reference corner value for determining feature points.

특징점 추출부(121)가 자가증식 학습 영상과 원본 학습 영상 각각의 프레임별 특징점을 획득하면, 특징점 차이 판별부(122)는 도2 의 세로 방향 화살표와 같이, 자가증식 학습 영상의 프레임별 특징점의 개수를 원본 학습 영상의 대응하는 프레임의 특징점의 개수와 비교하여, 프레임별 특징점 개수의 차이를 유효성 판별부(140)로 전달한다.When the feature point extracting unit 121 acquires the feature points for each frame of the self-proliferating learning image and the original learning image, the feature point difference determining unit 122 determines the feature points for each frame of the self-proliferating learning image, as shown by the vertical arrow in FIG. The number is compared with the number of feature points of a corresponding frame of the original training image, and a difference in the number of feature points for each frame is transmitted to the validity determination unit 140.

만일 자가증식 학습 영상과 원본 학습 영상 사이의 특징점, 즉 코너의 개수가 크게 차이가 나는 경우, 인공 신경망은 두 영상이 매우 상이한 영상으로 판별할 수 있으며, 이는 자가증식 학습 영상이 인공 신경망의 학습에 적합하지 않음을 의미하기 때문이다.If the feature points between the self-proliferative learning image and the original training image, that is, the number of corners, are significantly different, the artificial neural network can discriminate between the two images as very different images. Because it means it is not suitable.

한편, 시간 시퀀스 분석부(130)는 자가증식 학습 영상과 원본 학습 영상 각각에서 프레임의 순서에 따라 연속된 프레임들 사이의 픽셀의 이동, 즉 옵티컬플로우를 획득하고, 원본 학습 영상 대비 자가증식 학습 영상의 픽셀 이동의 변화량의 차이를 획득된 옵티컬플로우의 변화량 차이로 획득하여 유효성 판별부(140)로 전달한다.On the other hand, the time sequence analysis unit 130 acquires the movement of pixels, that is, optical flow, between consecutive frames according to the order of the frames in each of the self-proliferating learning image and the original training image, and The difference in the amount of change in the pixel movement of is obtained as the difference in the amount of change in the acquired optical flow and transmitted to the validity determination unit 140.

시간 시퀀스 분석부(130)는 옵티컬플로우 추출부(131) 및 변화량 판별부(132)를 포함한다.The time sequence analysis unit 130 includes an optical flow extraction unit 131 and a change amount determination unit 132.

옵티컬플로우 추출부(131)는 도2 의 가로 방향 화살표로 표시된 바와 같이, 자가증식 학습 영상과 원본 학습 영상 각각에서 프레임 사이의 옵티컬플로우를 획득한다. 옵티컬플로우는 알려진 바와 같이, 연속된 두 프레임 사이에서 대응하는 픽셀의 위치 변화를 나타낸다. 옵티컬플로우는 다양한 방식을 이용하여 획득될 수 있으며, 일예로 미리 패턴 인식 기법이 학습된 인공 신경망을 이용하여 획득될 수 있다.The optical flow extraction unit 131 acquires an optical flow between frames in each of the self-proliferating learning image and the original learning image, as indicated by the horizontal arrow of FIG. 2. Optical flow, as is known, represents the change in position of a corresponding pixel between two consecutive frames. The optical flow may be obtained using various methods, for example, it may be obtained using an artificial neural network in which a pattern recognition technique has been learned in advance.

옵티컬플로우 추출부(131)에서 자가증식 학습 영상과 원본 학습 영상에 대한 다수의 옵티컬플로우가 획득되면, 변화량 판별부(132)는 자가증식 학습 영상에서 프레임간 획득된 옵티컬플로우와 원본 학습 영상에서 대응하는 프레임간 획득된 옵티컬플로우를 비교하여 변화량의 차이를 유효성 판별부(140)로 전달한다. 여기서 변화량 판별부(132)는 일예로 자가증식 학습 영상의 옵티컬플로우의 평균 변화량과 원본 학습 영상의 옵티컬플로우의 평균 변화량 사이의 차이를 비교하여 변화량 차이를 획득할 수도 있으나, 각 픽셀별 또는 영역별 옵티컬 플로우의 차이를 변화량의 차이로 획득할 수도 있다.When the optical flow extraction unit 131 acquires a plurality of optical flows for the self-proliferative learning image and the original learning image, the change amount determination unit 132 corresponds to the optical flow acquired between frames from the self-proliferating learning image and the original learning image. The optical flow obtained between the frames is compared and the difference in the amount of change is transmitted to the validity determination unit 140. Here, the change amount determination unit 132 may obtain a difference in the amount of change by comparing the difference between the average amount of change in the optical flow of the self-proliferating learning image and the average amount of change in the optical flow of the original training image, for example. The difference in the optical flow may be obtained as a difference in the amount of change.

시간 시퀀스 분석부(130)가 자가증식 학습 영상의 프레임간 옵티컬플로우를 원본 학습 영상의 프레임간 옵티컬플로우와 비교하는 것은 원본 학습 영상으로부터 생성된 자가증식 학습 영상의 자연스러움을 판별하기 위해서이다.The time sequence analysis unit 130 compares the inter-frame optical flow of the self-proliferating learning image with the inter-frame optical flow of the original training image to determine the naturalness of the self-proliferating learning image generated from the original training image.

만일 원본 학습 영상에서 특정 객체가 다수의 프레임에서 우측방향으로 이동하고 있는 반면, 자가증식 학습 영상에서의 객체가 여러 프레임에 걸쳐 좌측 방향, 즉 원본 학습 영상과 반대 방향으로 이동한다면, 이는 자가증식 학습 영상이 부자연스럽게 생성된 것으로 볼 수 있기 때문이다.If a specific object in the original training image moves to the right in a number of frames, whereas the object in the self-proliferative learning image moves to the left over several frames, that is, in the opposite direction to the original training image, it is self-proliferative learning. This is because the video can be viewed as being created unnaturally.

유효성 판별부(140)는 특징점 분석부(120)에서 인가되는 프레임별 특징점 개수의 차이와 시간 시퀀스 분석부(130)에서 인가되는 옵티컬플로우별 변화량 차이를 기반으로 자가증식 학습 영상의 유효성을 판별한다.The validity determination unit 140 determines the validity of the self-reproducing learning image based on the difference in the number of feature points per frame applied from the feature point analysis unit 120 and the difference in the amount of change for each optical flow applied from the time sequence analysis unit 130. .

유효성 판별부(140)는 각 프레임별 특징점 개수의 차이가 기지정된 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기지정된 기준 변화량 차이 이상인 옵티컬플로우의 수가 자가증식 학습 영상의 전체 프레임의 수에 비해 기지정된 기준 비율 이하이면, 자가증식 학습 영상이 유효한 것으로 판별한다.The validity determining unit 140 has a difference in the number of feature points for each frame within a predetermined reference number difference, and the number of optical flows equal to or greater than a predetermined reference change difference among the difference in the amount of change for each optical flow compared to the total number of frames of the self-growing learning image. If it is less than the predetermined reference ratio, it is determined that the self-proliferating learning image is valid.

유효성 판별부(140)는 프레임별 특징점 개수차를 인가받아, 각 프레임별 특징점 개수차 각각이 기준 개수차이내인지 판별한다. 만일 적어도 하나의 프레임별 특징점 개수차가 기준 개수차를 초과하면, 자가증식 학습 영상의 적어도 하나의 프레임이 원본 학습 영상의 대응하는 프레임과 상이하게 생성된 것을 의미하므로, 유효성 판별부(140)는 자가증식 학습 영상이 유효하지 않은 것으로 판별한다.The validity determination unit 140 receives the difference in the number of feature points for each frame and determines whether each difference in the number of feature points for each frame is within a reference number difference. If the difference in the number of feature points by at least one frame exceeds the reference number difference, it means that at least one frame of the self-proliferating learning image is generated differently from the corresponding frame of the original training image, so that the validity determination unit 140 It is determined that the multiplication learning image is not valid.

그리고 유효성 판별부(140)는 옵티컬플로우별 변화량 차이를 인가받고, 각 옵티컬플로우별 변화량 차이 각각이 기준 변화량 차이 이상인지 판별한다. 그리고 기준 변화량 차이 이상인 옵티컬플로우의 개수를 판별하고, 기준 변화량 차이 이상인 옵티컬플로우의 수가 자가증식 학습 영상의 전체 프레임의 수에 비해 기준 비율 이상인지 판별한다. 만일 기준 변화량 차이 이상인 옵티컬플로우의 수의 비율이 기준 비율 이상이면, 유효성 판별부(140)는 생성된 자가증식 학습 영상이 유효하지 않은 것으로 판별한다.In addition, the validity determination unit 140 receives the difference in the amount of change for each optical flow, and determines whether each difference in the amount of change for each optical flow is greater than or equal to the difference in the reference amount. Then, it is determined whether the number of optical flows equal to or greater than the reference variation difference is determined, and whether the number of optical flows equal to or greater than the reference variation difference is greater than or equal to the reference ratio compared to the total number of frames of the self-growing learning image. If the ratio of the number of optical flows equal to or greater than the reference change amount is equal to or greater than the reference ratio, the effectiveness determining unit 140 determines that the generated self-proliferating learning image is not valid.

도3 은 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 방법을 나타낸다.3 shows a method of validating a training image according to an embodiment of the present invention.

도1 및 도2 를 참조하여, 도3 의 본 실시예에 따른 학습 영상 유효성 검증 방법을 설명하면, 학습 영상 유효성 검증 장치는 우선 원본 학습 영상과 유효성을 검증할 자가증식 학습 영상을 획득한다(S10).Referring to Figs. 1 and 2, when the training image validation method according to the present embodiment of Fig. 3 is described, the training image validation apparatus first acquires an original training image and a self-proliferating learning image to verify the validity (S10). ).

그리고 획득된 자가증식 학습 영상과 원본 학습 영상 각각에 대해 기지정된 방식으로 각 프레임별로 특징점을 추출한다(S20).In addition, feature points are extracted for each frame in a predetermined manner for each of the acquired self-proliferation learning image and the original learning image (S20).

자가증식 학습 영상과 원본 학습 영상의 각 프레임별 특징점이 추출되면, 자가증식 학습 영상의 프레임별 특징점의 개수와 원본 학습 영상의 대응하는 프레임의 특징점의 개수를 비교하여, 프레임별 특징점 개수의 차이를 계산한다(S30).When the feature points for each frame of the self-proliferative learning image and the original training image are extracted, the number of feature points for each frame of the self-proliferating learning image and the number of feature points for the corresponding frame of the original training image are compared to determine the difference in the number of feature points for each frame. Calculate (S30).

이와 함께 획득된 자가증식 학습 영상과 원본 학습 영상 각각에서 다수의 프레임들 사이의 옵티컬플로우를 획득한다(S40). 그리고 획득된 자가증식 학습 영상에서 프레임간 획득된 옵티컬플로우와 원본 학습 영상에서 대응하는 프레임간 획득된 옵티컬플로우를 비교하여 변화량의 차이를 계산한다(S50). 이때, 학습 영상 유효성 검증 장치는 자가증식 학습 영상의 옵티컬플로우의 평균 변화량과 원본 학습 영상의 옵티컬플로우의 평균 변화량 사이의 차이를 비교하여 변화량 차이를 계산하거나, 각 픽셀별 또는 영역별 옵티컬 플로우의 차이를 변화량의 차이로 계산할 수도 있다.An optical flow between a plurality of frames is obtained from each of the self-proliferating learning image and the original learning image acquired together (S40). Then, the difference in the amount of change is calculated by comparing the optical flow acquired between frames in the acquired self-proliferating learning image and the optical flow acquired between corresponding frames in the original training image (S50). At this time, the training image validity verification apparatus calculates the difference in the amount of change by comparing the difference between the average amount of change in the optical flow of the self-proliferating learning image and the average amount of change in the optical flow of the original training image, or the difference in optical flow for each pixel or region. Can also be calculated as the difference in the amount of change.

프레임별 특징점 개수의 차이와 옵티컬플로우별 변화량 차이가 계산되면, 학습 영상 유효성 검증 장치는 프레임별 특징점 개수의 차이와 옵티컬플로우별 변화량 차이를 이용하여 자가증식 학습 영상의 유효성을 판별한다(S60).When the difference in the number of feature points for each frame and the difference in the amount of change for each optical flow are calculated, the training image validation apparatus determines the validity of the self-proliferating learning image using the difference in the number of feature points for each frame and the difference in the amount of change for each optical flow (S60).

학습 영상 유효성 검증 장치는 각 프레임별 특징점 개수의 차이가 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기준 변화량 차이 이상인 옵티컬플로우의 수가 자가증식 학습 영상의 전체 프레임의 수에 비해 기준 비율 이하이면, 자가증식 학습 영상이 유효한 것으로 판별한다.If the difference in the number of feature points for each frame is within the reference number difference, and the number of optical flows that is greater than or equal to the reference change amount difference among the difference in the amount of change by optical flow is less than the reference ratio compared to the total number of frames of the self-growing learning image, It is determined that the self-proliferating learning image is valid.

결과적으로 본 발명의 실시예에 따른 학습 영상 유효성 검증 장치 및 방법은 원본 영상과 자가증식 학습 영상의 각 프레임에서 특징점과 옵티컬플로우를 추출하여, 원본 영상과의 프레임별 특징 변화량 및 옵티컬플로우 변화량 비교를 통하여 원본 영상 대비 자가증식 학습 영상의 유효성 및 자연스러움을 검증한다. 따라서 다양한 자가증식 학습 영상의 유효성 검증을 통해 자가증식 학습 영상을 안정적으로 생성할 수 있도록 하여 학습 영상의 부족 문제를 해소할 수 있다.As a result, the apparatus and method for validating a learning image according to an embodiment of the present invention extract feature points and optical flow from each frame of the original image and the self-proliferating learning image, and compare the amount of change in feature and optical flow for each frame with the original image. Through this, the validity and naturalness of the self-proliferating learning image compared to the original image are verified. Therefore, it is possible to stably generate self-proliferative learning images through validation of various self-proliferative learning images, thereby solving the problem of lack of learning images.

본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer. Computer readable media herein can be any available media that can be accessed by a computer, and can also include any computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (readable) Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, these are merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

110: 영상 획득부 120: 특징점 분석부
130: 시간 시퀀스 분석부 140: 유효성 판별부
121: 특징점 추출부 122: 특징점 차이 판별부
131: 옵티컬플로우 추출부 132: 변화량 차이 판별부
110: image acquisition unit 120: feature point analysis unit
130: time sequence analysis unit 140: validity determination unit
121: feature point extraction unit 122: feature point difference determination unit
131: optical flow extraction unit 132: change amount difference determination unit

Claims (9)

원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 영상 획득부;
상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 상기 자가증식 학습 영상와 상기 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 분석부;
상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 시간 시퀀스 분석부; 및
상기 프레임별 특징점 개수차와 상기 옵티컬플로우별 변화량 차이를 기반으로 상기 자가증식 학습 영상의 유효성을 판별하는 유효성 판별부; 를 포함하는 학습 영상 유효성 검증 장치.
An image acquisition unit for acquiring an original learning image and a self-proliferating learning image generated in a predetermined manner from the original learning image;
A feature point analysis unit that extracts feature points for each frame from the self-proliferation learning image and the original training image, and compares the number of feature points for each frame extracted from the self-proliferation learning image and the original training image to obtain a difference in the number of feature points for each frame ;
Extract a plurality of optical flows between frames from a plurality of frames of each of the self-proliferative learning image and the original learning image, and determine the difference between the self-proliferating learning image and a plurality of optical flows extracted from the original learning image. A time sequence analysis unit that obtains a difference in the amount of change for each optical flow; And
A validity determination unit determining the validity of the self-proliferating learning image based on the difference in the number of feature points for each frame and the difference in the amount of change for each optical flow; Learning image validation device comprising a.
제1 항에 있어서, 상기 특징점 분석부는
상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하는 특징점 추출부; 및
상기 자가증식 학습 영상에서 추출된 프레임별 특징점 개수와 상기 원본 학습 영상에서 추출된 프레임별 특징점 개수 중 대응하는 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 차이 판별부; 를 포함하는 학습 영상 유효성 검증 장치.
The method of claim 1, wherein the feature point analysis unit
A feature point extracting unit for extracting feature points for each frame from the self-proliferative learning image and the original learning image; And
A feature point difference determining unit for obtaining a difference in the number of feature points for each frame by comparing the number of feature points for each frame extracted from the self-proliferative learning image and the number of feature points for each frame extracted from the original training image; Learning image validation device comprising a.
제2 항에 있어서, 상기 특징점 추출부는
해리스 코너 기법을 이용하여 상기 자가증식 학습 영상과 상기 원본 학습 영상의 각 프레임에서 코너에 해당하는 픽셀을 특징점으로 추출하는 학습 영상 유효성 검증 장치.
The method of claim 2, wherein the feature point extraction unit
A training image validation apparatus for extracting a pixel corresponding to a corner from each frame of the self-proliferating learning image and the original training image as a feature point using a Harris corner technique.
제1 항에 있어서, 상기 시간 시퀀스 분석부는
상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하는 옵티컬플로우 추출부; 및
상기 자가증식 학습 영상에서 추출된 다수의 옵티컬플로우와 상기 원본 학습 영상에서 추출된 옵티컬플로우 중 대응하는 옵티컬플로우 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 변화량 판별부; 를 포함하는 학습 영상 유효성 검증 장치.
The method of claim 1, wherein the time sequence analysis unit
An optical flow extraction unit extracting a plurality of optical flows between frames from a plurality of frames of each of the self-proliferating learning image and the original learning image; And
A change amount determination unit for obtaining a difference between a plurality of optical flows extracted from the self-proliferative learning image and a corresponding optical flow among the optical flows extracted from the original learning image as a difference in change amount for each optical flow; Learning image validation device comprising a.
제1 항에 있어서, 상기 유효성 판별부는
각 프레임별 특징점 개수의 차이가 기지정된 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기지정된 기준 변화량 차이 이상인 옵티컬플로우의 수가 상기 자가증식 학습 영상의 전체 프레임의 수에 비해 기지정된 기준 비율 이하이면, 상기 자가증식 학습 영상이 유효한 것으로 판별하는 학습 영상 유효성 검증 장치.
The method of claim 1, wherein the validity determination unit
If the difference in the number of feature points for each frame is within a predetermined reference number difference, and the number of optical flows that are greater than or equal to the predetermined reference variation difference among the difference in variation by optical flow is less than a predetermined reference ratio compared to the total number of frames of the self-growing learning image , Learning image validity verification device for determining that the self-proliferating learning image is valid.
원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 단계;
상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 상기 자가증식 학습 영상와 상기 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 단계;
상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 단계; 및
상기 프레임별 특징점 개수차와 상기 옵티컬플로우별 변화량 차이를 기반으로 상기 자가증식 학습 영상의 유효성을 판별하는 단계; 를 포함하는 학습 영상 유효성 검증 방법.
Acquiring an original learning image and a self-proliferating learning image generated in a predetermined manner from the original learning image;
Extracting feature points for each frame from the self-proliferating learning image and the original training image, comparing the number of feature points for each frame extracted from the self-proliferating learning image and the original training image to obtain a difference in the number of feature points for each frame;
Extract a plurality of optical flows between frames from a plurality of frames of each of the self-proliferative learning image and the original learning image, and determine the difference between the self-proliferating learning image and a plurality of optical flows extracted from the original learning image. Obtaining a difference in the amount of change for each optical flow; And
Determining the effectiveness of the self-proliferating learning image based on the difference in the number of feature points for each frame and the difference in the amount of change for each optical flow; Learning image validation method comprising a.
제6 항에 있어서, 상기 특징점 개수차를 획득하는 단계는
상기 자가증식 학습 영상과 상기 원본 학습 영상에서 해리스 코너 기법을 이용하여 각 프레임별로 코너에 해당하는 픽셀을 판별하여 특징점으로 추출하는 단계; 및
상기 자가증식 학습 영상에서 추출된 프레임별 특징점 개수와 상기 원본 학습 영상에서 추출된 프레임별 특징점 개수 중 대응하는 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 차이 판별부; 를 포함하는 학습 영상 유효성 검증 방법.
The method of claim 6, wherein obtaining the number difference of the feature points
Discriminating a pixel corresponding to a corner for each frame using a Harris corner technique from the self-proliferating learning image and the original learning image and extracting as a feature point; And
A feature point difference determining unit for obtaining a difference in the number of feature points for each frame by comparing the number of feature points for each frame extracted from the self-proliferative learning image and the number of feature points for each frame extracted from the original training image; Learning image validation method comprising a.
제6 항에 있어서, 상기 변화량 차이로 획득하는 단계는
상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하는 단계; 및
상기 자가증식 학습 영상에서 추출된 다수의 옵티컬플로우와 상기 원본 학습 영상에서 추출된 옵티컬플로우 중 대응하는 옵티컬플로우 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 단계; 를 포함하는 학습 영상 유효성 검증 방법.
The method of claim 6, wherein the step of obtaining the difference in the amount of change
Extracting a plurality of optical flows between frames from a plurality of frames of each of the self-proliferating learning image and the original learning image; And
Acquiring a difference between a plurality of optical flows extracted from the self-proliferation learning image and a corresponding optical flow among the optical flows extracted from the original learning image as a difference in change amount for each optical flow; Learning image validation method comprising a.
제6 항에 있어서, 상기 유효성을 판별하는 단계는
각 프레임별 특징점 개수의 차이가 기지정된 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기지정된 기준 변화량 차이 이상인 옵티컬플로우의 수가 상기 자가증식 학습 영상의 전체 프레임의 수에 비해 기지정된 기준 비율 이하이면, 상기 자가증식 학습 영상이 유효한 것으로 판별하는 학습 영상 유효성 검증 방법.
The method of claim 6, wherein determining the effectiveness
If the difference in the number of feature points for each frame is within a predetermined reference number difference, and the number of optical flows that are greater than or equal to the predetermined reference variation difference among the difference in variation by optical flow is less than a predetermined reference ratio compared to the total number of frames of the self-growing learning image , A learning image validation method for determining that the self-proliferating learning image is valid.
KR1020190005886A 2019-01-16 2019-01-16 Apparatus and method for validating image data for learning KR102211541B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190005886A KR102211541B1 (en) 2019-01-16 2019-01-16 Apparatus and method for validating image data for learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190005886A KR102211541B1 (en) 2019-01-16 2019-01-16 Apparatus and method for validating image data for learning

Publications (2)

Publication Number Publication Date
KR20200094814A true KR20200094814A (en) 2020-08-10
KR102211541B1 KR102211541B1 (en) 2021-02-02

Family

ID=72049334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190005886A KR102211541B1 (en) 2019-01-16 2019-01-16 Apparatus and method for validating image data for learning

Country Status (1)

Country Link
KR (1) KR102211541B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546193B1 (en) * 2022-11-30 2023-06-22 주식회사 인피닉 Method for learning data classification using color information, and computer program recorded on record-medium for executing method thereof
KR102546195B1 (en) * 2022-11-30 2023-06-23 주식회사 인피닉 Method for learning data classification based on collection environment, and computer program recorded on record-medium for executing method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150077654A (en) * 2013-12-30 2015-07-08 전자부품연구원 Device for detecting object, device for detecting object for vehicle and method thereof
JP2016200971A (en) * 2015-04-09 2016-12-01 キヤノン株式会社 Learning apparatus, identification apparatus, learning method, identification method and program
KR101750094B1 (en) * 2015-12-29 2017-06-26 건국대학교 산학협력단 Method for classification of group behavior by real-time video monitoring
KR101802500B1 (en) * 2016-10-20 2017-11-28 재단법인대구경북과학기술원 Learning device for improving image recogntion performance and learning method thereof
KR101880035B1 (en) 2015-09-24 2018-07-19 주식회사 뷰노 Image generation method and apparatus, and image analysis method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150077654A (en) * 2013-12-30 2015-07-08 전자부품연구원 Device for detecting object, device for detecting object for vehicle and method thereof
JP2016200971A (en) * 2015-04-09 2016-12-01 キヤノン株式会社 Learning apparatus, identification apparatus, learning method, identification method and program
KR101880035B1 (en) 2015-09-24 2018-07-19 주식회사 뷰노 Image generation method and apparatus, and image analysis method
KR101750094B1 (en) * 2015-12-29 2017-06-26 건국대학교 산학협력단 Method for classification of group behavior by real-time video monitoring
KR101802500B1 (en) * 2016-10-20 2017-11-28 재단법인대구경북과학기술원 Learning device for improving image recogntion performance and learning method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546193B1 (en) * 2022-11-30 2023-06-22 주식회사 인피닉 Method for learning data classification using color information, and computer program recorded on record-medium for executing method thereof
KR102546195B1 (en) * 2022-11-30 2023-06-23 주식회사 인피닉 Method for learning data classification based on collection environment, and computer program recorded on record-medium for executing method thereof

Also Published As

Publication number Publication date
KR102211541B1 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
JP4489120B2 (en) Reduce artifacts in digital video
Pless et al. Evaluation of local models of dynamic backgrounds
US20120093362A1 (en) Device and method for detecting specific object in sequence of images and video camera device
US10565713B2 (en) Image processing apparatus and method
US9740965B2 (en) Information processing apparatus and control method thereof
CN103198311B (en) Image based on shooting recognizes the method and device of character
KR20140038139A (en) Apparatus and method for processing color image using depth image
KR102140873B1 (en) Apparatus and method for detecting dynamic object
JP2012038318A (en) Target detection method and device
KR102211541B1 (en) Apparatus and method for validating image data for learning
CN111192241B (en) Quality evaluation method and device for face image and computer storage medium
KR20180093402A (en) System and method for tracking multiple objects
KR20080069878A (en) Face view determining apparatus and method and face detection apparatus and method employing the same
CN110738686A (en) Static and dynamic combined video man-vehicle detection method and system
KR20190028103A (en) Method for masking non object-of-interest and Apparatus thereof
KR102355006B1 (en) Apparatus and method for tracking pedestrians in multiple cctv environment
KR101845280B1 (en) System and method for recognizing vehicle number by removing shadow signals
US20230069608A1 (en) Object Tracking Apparatus and Method
Dubey Heuristic approach for license plate detection
KR102326185B1 (en) Apparatus and method of matching faces using a deep learning
CN111105438B (en) Motion detection method based on dynamic pattern decomposition, terminal equipment and computer readable storage medium
JP2001076094A (en) Device and method for character string extraction and recording medium with the method recorded therein
KR20210114805A (en) Methods and systems for recognizing object using machine learning model
KR101999338B1 (en) Method and apparatus for objection tracjing in real time
CN111882656A (en) Graph processing method, equipment and storage medium based on artificial intelligence

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant