KR102211541B1 - 학습 영상 유효성 검증 장치 및 방법 - Google Patents

학습 영상 유효성 검증 장치 및 방법 Download PDF

Info

Publication number
KR102211541B1
KR102211541B1 KR1020190005886A KR20190005886A KR102211541B1 KR 102211541 B1 KR102211541 B1 KR 102211541B1 KR 1020190005886 A KR1020190005886 A KR 1020190005886A KR 20190005886 A KR20190005886 A KR 20190005886A KR 102211541 B1 KR102211541 B1 KR 102211541B1
Authority
KR
South Korea
Prior art keywords
learning image
self
difference
image
original
Prior art date
Application number
KR1020190005886A
Other languages
English (en)
Other versions
KR20200094814A (ko
Inventor
한요섭
박준우
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190005886A priority Critical patent/KR102211541B1/ko
Publication of KR20200094814A publication Critical patent/KR20200094814A/ko
Application granted granted Critical
Publication of KR102211541B1 publication Critical patent/KR102211541B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 영상 획득부, 자가증식 학습 영상과 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 자가증식 학습 영상와 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 분석부, 자가증식 학습 영상과 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 자가증식 학습 영상과 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 시간 시퀀스 분석부 및 프레임별 특징점 개수차와 옵티컬플로우별 변화량 차이를 기반으로 자가증식 학습 영상의 유효성을 판별하는 유효성 판별부를 학습 영상 유효성 검증 장치 및 방법을 제공할 수 있다.

Description

학습 영상 유효성 검증 장치 및 방법{APPARATUS AND METHOD FOR VALIDATING IMAGE DATA FOR LEARNING}
본 발명은 학습을 위한 학습 영상 유효성 검증 장치 및 방법에 관한 것으로, 자가증식된 학습 영상 유효성 검증 장치 및 방법에 관한 것이다.
인공 신경망을 이용한 딥러닝 기법에 대한 연구가 발전됨에 따라, 딥러닝을 이용하여 영상의 다양한 특성을 획득하는 연구가 활발하게 이루어지고 있다.
딥러닝 기법에 의해 학습되는 인공 신경망은 많은 양의 학습 영상을 이용하여 충분하게 학습된 경우에만 요구되는 성능을 나타낼 수 있으며, 학습 영상의 질 또한 매우 중요하다.
그러나 영상에서 획득하고자 하는 특성에 따라 적합한 학습 영상이 요구되므로, 많은 분야에서 학습 영상은 매우 부족한 실정이다. 그리고 기존에 학습 영상을 생성하는 것은 대부분 수작업으로 수행되므로, 매우 오랜 시간과 노력 및 비용이 요구된다.
이에 최근에는 학습 영상 부족 문제를 극복하기 위해, 학습 영상을 자동으로 생성하는 방법에 대한 연구가 이루어지고 있다. 그 중 한가지 방법으로 기존의 학습 영상을 기반으로 새로운 학습 영상을 자가증식 방식으로 생성하는 방법이 있다. 그러나, 자가증식 방식으로 생성된 학습 영상은 부자연스럽고 적합한 학습 영상이 아닐 가능성이 높다는 문제가 있다. 즉 자가증식 학습 영상은 원본 학습 영상과는 상이해야 하지만, 원본 학습 영상과 매우 크게 차이가 발생되는 경우, 인공 신경망의 학습에 적합한 학습 영상으로 생성되지 않을 수 있다.
따라서 자가증식을 통해 생성된 학습 영상이 학습에 적합한지 여부에 대한 유효성을 검증할 필요성이 있다.
한국 등록 특허 제10-1880035호 (2018.07.13 등록)
본 발명의 목적은 자가증식 방식으로 생성된 학습 영상의 유효성을 검증할 수 있는 학습 영상 유효성 검증 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 원본 영상과 자가증식 학습 영상의 각 프레임에서의 특징 변화량 비교와 옵티컬플로우 변화를 기반으로 원본 영상 대비 자가증식 학습 영상의 유효성 및 자연스러움을 검증할 수 있는 학습 영상 유효성 검증 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 장치는 원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 영상 획득부; 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 상기 자가증식 학습 영상와 상기 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 분석부; 상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 시간 시퀀스 분석부; 및 상기 프레임별 특징점 개수차와 상기 옵티컬플로우별 변화량 차이를 기반으로 상기 자가증식 학습 영상의 유효성을 판별하는 유효성 판별부; 를 포함한다.
상기 특징점 분석부는 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하는 특징점 추출부; 및 상기 자가증식 학습 영상에서 추출된 프레임별 특징점 개수와 상기 원본 학습 영상에서 추출된 프레임별 특징점 개수 중 대응하는 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 차이 판별부; 를 포함할 수 있다.
상기 특징점 추출부는 해리스 코너 기법을 이용하여 상기 자가증식 학습 영상과 상기 원본 학습 영상의 각 프레임에서 코너에 해당하는 픽셀을 특징점으로 추출할 수 있다.
상기 시간 시퀀스 분석부는 상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하는 옵티컬플로우 추출부; 및 상기 자가증식 학습 영상에서 추출된 다수의 옵티컬플로우와 상기 원본 학습 영상에서 추출된 옵티컬플로우 중 대응하는 옵티컬플로우 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 변화량 판별부; 를 포함할 수 있다.
상기 유효성 판별부는 각 프레임별 특징점 개수의 차이가 기지정된 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기지정된 기준 변화량 차이 이상인 옵티컬플로우의 수가 상기 자가증식 학습 영상의 전체 프레임의 수에 비해 기지정된 기준 비율 이하이면, 상기 자가증식 학습 영상이 유효한 것으로 판별할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 학습 영상 유효성 검증 방법은 원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 단계; 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 상기 자가증식 학습 영상와 상기 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 단계; 상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 단계; 및 상기 프레임별 특징점 개수차와 상기 옵티컬플로우별 변화량 차이를 기반으로 상기 자가증식 학습 영상의 유효성을 판별하는 단계; 를 포함한다.
따라서, 본 발명의 실시예에 따른 학습 영상 유효성 검증 장치 및 방법은 원본 영상과 자가증식 학습 영상의 각 프레임에서 특징점과 옵티컬플로우를 추출하여, 원본 영상과의 프레임별 특징 변화량 및 옵티컬플로우 변화량 비교를 통하여 원본 영상 대비 자가증식 학습 영상의 유효성 및 자연스러움을 검증할 수 있도록 한다. 자가증식 학습 영상의 유효성과 자연스러움을 검증함으로써, 다양한 자가증식 학습 영상을 안정적으로 생성할 수 있도록 하여 학습 영상의 부족 문제를 해소할 수 있다.
도1 은 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 장치의 개략적 구조를 나타낸다.
도2 는 도1 의 학습 영상 유효성 검증 장치가 유효성을 검증하는 개념을 나타낸다.
도3 은 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 장치의 개략적 구조를 나타내고, 도2 는 도1 의 학습 영상 유효성 검증 장치가 유효성을 검증하는 개념을 나타낸다.
도1 및 도2 를 참조하면, 본 실시예에 따른 학습 영상 유효성 검증 장치는 영상 획득부(110), 특징점 분석부(120), 시간 시퀀스 분석부(130) 및 유효성 판별부(140)를 포함한다.
영상 획득부(110)는 유효성을 검증할 자가증식 학습 영상을 원본 학습 영상과 함께 획득한다.
여기서 자가증식 학습 영상은 원본 학습 영상으로부터 생성된 학습 영상으로 자가증식 학습 영상과 원본 학습 영상은 각각 다수의 프레임을 갖는 영상이다. 일예로 자가증식 학습 영상은 미리 학습된 인공 신경망 등을 이용하여 원본 학습 영상이 생성된 의도를 분류하고, 분류된 의도에 대응하여 영상 내의 객체의 움직임이나 색상 또는 주변 환경 요인들을 변경한 영상일 수 있다.
특징점 분석부(120)는 자가증식 학습 영상과 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 자가증식 학습 영상과 학습 영상에서 프레임별로 추출된 특징점의 차이를 비교 분석하여 유효성 판별부(140)로 전달한다.
특징점 분석부(120)는 특징점 추출부(121) 및 특징점 차이 판별부(122)를 포함한다.
특징점 추출부(121)는 자가증식 학습 영상과 원본 학습 영상에 대해 기지정된 방식으로 각 프레임별 특징점을 추출한다. 일예로 특징점 추출부(121)는 자가증식 학습 영상과 원본 학습 영상의 각 프레임에서 해리스 코너(Harris coner) 기법을 이용하여 특징점을 추출할 수 있다.
해리스 코너 기법은 영상에서 지정된 크기의 윈도우를 이동시키면서, 윈도우 내의 각 픽셀이 모든 방향으로 영상변화가 클 때, 해당 픽셀을 코너(또는 에지)로 판별하여 특징점으로 추출하는 기법이다.
해리스 코너 기법에 따르면, 특정 픽셀(x, y)에 대한 변화량(Δx, Δy)이 주어지면, 지역적인 신호의 변화를 측정할 수 있는 로컬 자기상관(Local auto-correlation) 함수는 수학식 1로 표현된다.
Figure 112019005564183-pat00001
여기서 I는 픽셀의 밝기를 나타내고, (xi, yi)는 가우시안 윈도우(wg) 내부의 픽셀을 나타낸다.
한편 변화량(Δx, Δy)만큼 이동한 영역은 테일러 확장을 이용하면, 수학식 2와 같이 표현된다.
Figure 112019005564183-pat00002
여기서 Ix와 Iy는 각각 x, y에 대한 그래디언트를 나타낸다.
수학식 2를 수학식 1에 대입하면, 수학식 3이 획득된다.
Figure 112019005564183-pat00003
그리고 수학식 3의 C(x, y)를 이용하여 수학식 4와 같이 코너의 정도를 판별한다.
Figure 112019005564183-pat00004
수학식 4에 따라 판별되는 각 픽셀에 대한 코너의 정도를 이용하여, 수학식 5와 같이 영상 내의 특징점(Feature point: FP)을 추출한다.
Figure 112019005564183-pat00005
여기서 TF는 특징점 판별을 위한 기준 코너값을 나타낸다.
특징점 추출부(121)가 자가증식 학습 영상과 원본 학습 영상 각각의 프레임별 특징점을 획득하면, 특징점 차이 판별부(122)는 도2 의 세로 방향 화살표와 같이, 자가증식 학습 영상의 프레임별 특징점의 개수를 원본 학습 영상의 대응하는 프레임의 특징점의 개수와 비교하여, 프레임별 특징점 개수의 차이를 유효성 판별부(140)로 전달한다.
만일 자가증식 학습 영상과 원본 학습 영상 사이의 특징점, 즉 코너의 개수가 크게 차이가 나는 경우, 인공 신경망은 두 영상이 매우 상이한 영상으로 판별할 수 있으며, 이는 자가증식 학습 영상이 인공 신경망의 학습에 적합하지 않음을 의미하기 때문이다.
한편, 시간 시퀀스 분석부(130)는 자가증식 학습 영상과 원본 학습 영상 각각에서 프레임의 순서에 따라 연속된 프레임들 사이의 픽셀의 이동, 즉 옵티컬플로우를 획득하고, 원본 학습 영상 대비 자가증식 학습 영상의 픽셀 이동의 변화량의 차이를 획득된 옵티컬플로우의 변화량 차이로 획득하여 유효성 판별부(140)로 전달한다.
시간 시퀀스 분석부(130)는 옵티컬플로우 추출부(131) 및 변화량 판별부(132)를 포함한다.
옵티컬플로우 추출부(131)는 도2 의 가로 방향 화살표로 표시된 바와 같이, 자가증식 학습 영상과 원본 학습 영상 각각에서 프레임 사이의 옵티컬플로우를 획득한다. 옵티컬플로우는 알려진 바와 같이, 연속된 두 프레임 사이에서 대응하는 픽셀의 위치 변화를 나타낸다. 옵티컬플로우는 다양한 방식을 이용하여 획득될 수 있으며, 일예로 미리 패턴 인식 기법이 학습된 인공 신경망을 이용하여 획득될 수 있다.
옵티컬플로우 추출부(131)에서 자가증식 학습 영상과 원본 학습 영상에 대한 다수의 옵티컬플로우가 획득되면, 변화량 판별부(132)는 자가증식 학습 영상에서 프레임간 획득된 옵티컬플로우와 원본 학습 영상에서 대응하는 프레임간 획득된 옵티컬플로우를 비교하여 변화량의 차이를 유효성 판별부(140)로 전달한다. 여기서 변화량 판별부(132)는 일예로 자가증식 학습 영상의 옵티컬플로우의 평균 변화량과 원본 학습 영상의 옵티컬플로우의 평균 변화량 사이의 차이를 비교하여 변화량 차이를 획득할 수도 있으나, 각 픽셀별 또는 영역별 옵티컬 플로우의 차이를 변화량의 차이로 획득할 수도 있다.
시간 시퀀스 분석부(130)가 자가증식 학습 영상의 프레임간 옵티컬플로우를 원본 학습 영상의 프레임간 옵티컬플로우와 비교하는 것은 원본 학습 영상으로부터 생성된 자가증식 학습 영상의 자연스러움을 판별하기 위해서이다.
만일 원본 학습 영상에서 특정 객체가 다수의 프레임에서 우측방향으로 이동하고 있는 반면, 자가증식 학습 영상에서의 객체가 여러 프레임에 걸쳐 좌측 방향, 즉 원본 학습 영상과 반대 방향으로 이동한다면, 이는 자가증식 학습 영상이 부자연스럽게 생성된 것으로 볼 수 있기 때문이다.
유효성 판별부(140)는 특징점 분석부(120)에서 인가되는 프레임별 특징점 개수의 차이와 시간 시퀀스 분석부(130)에서 인가되는 옵티컬플로우별 변화량 차이를 기반으로 자가증식 학습 영상의 유효성을 판별한다.
유효성 판별부(140)는 각 프레임별 특징점 개수의 차이가 기지정된 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기지정된 기준 변화량 차이 이상인 옵티컬플로우의 수가 자가증식 학습 영상의 전체 프레임의 수에 비해 기지정된 기준 비율 이하이면, 자가증식 학습 영상이 유효한 것으로 판별한다.
유효성 판별부(140)는 프레임별 특징점 개수차를 인가받아, 각 프레임별 특징점 개수차 각각이 기준 개수차이내인지 판별한다. 만일 적어도 하나의 프레임별 특징점 개수차가 기준 개수차를 초과하면, 자가증식 학습 영상의 적어도 하나의 프레임이 원본 학습 영상의 대응하는 프레임과 상이하게 생성된 것을 의미하므로, 유효성 판별부(140)는 자가증식 학습 영상이 유효하지 않은 것으로 판별한다.
그리고 유효성 판별부(140)는 옵티컬플로우별 변화량 차이를 인가받고, 각 옵티컬플로우별 변화량 차이 각각이 기준 변화량 차이 이상인지 판별한다. 그리고 기준 변화량 차이 이상인 옵티컬플로우의 개수를 판별하고, 기준 변화량 차이 이상인 옵티컬플로우의 수가 자가증식 학습 영상의 전체 프레임의 수에 비해 기준 비율 이상인지 판별한다. 만일 기준 변화량 차이 이상인 옵티컬플로우의 수의 비율이 기준 비율 이상이면, 유효성 판별부(140)는 생성된 자가증식 학습 영상이 유효하지 않은 것으로 판별한다.
도3 은 본 발명의 일 실시예에 따른 학습 영상 유효성 검증 방법을 나타낸다.
도1 및 도2 를 참조하여, 도3 의 본 실시예에 따른 학습 영상 유효성 검증 방법을 설명하면, 학습 영상 유효성 검증 장치는 우선 원본 학습 영상과 유효성을 검증할 자가증식 학습 영상을 획득한다(S10).
그리고 획득된 자가증식 학습 영상과 원본 학습 영상 각각에 대해 기지정된 방식으로 각 프레임별로 특징점을 추출한다(S20).
자가증식 학습 영상과 원본 학습 영상의 각 프레임별 특징점이 추출되면, 자가증식 학습 영상의 프레임별 특징점의 개수와 원본 학습 영상의 대응하는 프레임의 특징점의 개수를 비교하여, 프레임별 특징점 개수의 차이를 계산한다(S30).
이와 함께 획득된 자가증식 학습 영상과 원본 학습 영상 각각에서 다수의 프레임들 사이의 옵티컬플로우를 획득한다(S40). 그리고 획득된 자가증식 학습 영상에서 프레임간 획득된 옵티컬플로우와 원본 학습 영상에서 대응하는 프레임간 획득된 옵티컬플로우를 비교하여 변화량의 차이를 계산한다(S50). 이때, 학습 영상 유효성 검증 장치는 자가증식 학습 영상의 옵티컬플로우의 평균 변화량과 원본 학습 영상의 옵티컬플로우의 평균 변화량 사이의 차이를 비교하여 변화량 차이를 계산하거나, 각 픽셀별 또는 영역별 옵티컬 플로우의 차이를 변화량의 차이로 계산할 수도 있다.
프레임별 특징점 개수의 차이와 옵티컬플로우별 변화량 차이가 계산되면, 학습 영상 유효성 검증 장치는 프레임별 특징점 개수의 차이와 옵티컬플로우별 변화량 차이를 이용하여 자가증식 학습 영상의 유효성을 판별한다(S60).
학습 영상 유효성 검증 장치는 각 프레임별 특징점 개수의 차이가 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기준 변화량 차이 이상인 옵티컬플로우의 수가 자가증식 학습 영상의 전체 프레임의 수에 비해 기준 비율 이하이면, 자가증식 학습 영상이 유효한 것으로 판별한다.
결과적으로 본 발명의 실시예에 따른 학습 영상 유효성 검증 장치 및 방법은 원본 영상과 자가증식 학습 영상의 각 프레임에서 특징점과 옵티컬플로우를 추출하여, 원본 영상과의 프레임별 특징 변화량 및 옵티컬플로우 변화량 비교를 통하여 원본 영상 대비 자가증식 학습 영상의 유효성 및 자연스러움을 검증한다. 따라서 다양한 자가증식 학습 영상의 유효성 검증을 통해 자가증식 학습 영상을 안정적으로 생성할 수 있도록 하여 학습 영상의 부족 문제를 해소할 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 영상 획득부 120: 특징점 분석부
130: 시간 시퀀스 분석부 140: 유효성 판별부
121: 특징점 추출부 122: 특징점 차이 판별부
131: 옵티컬플로우 추출부 132: 변화량 차이 판별부

Claims (9)

  1. 원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 영상 획득부;
    상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 상기 자가증식 학습 영상와 상기 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 분석부;
    상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 시간 시퀀스 분석부; 및
    상기 프레임별 특징점 개수차와 상기 옵티컬플로우별 변화량 차이를 기반으로 상기 자가증식 학습 영상의 유효성을 판별하는 유효성 판별부; 를 포함하는 학습 영상 유효성 검증 장치.
  2. 제1 항에 있어서, 상기 특징점 분석부는
    상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하는 특징점 추출부; 및
    상기 자가증식 학습 영상에서 추출된 프레임별 특징점 개수와 상기 원본 학습 영상에서 추출된 프레임별 특징점 개수 중 대응하는 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 특징점 차이 판별부; 를 포함하는 학습 영상 유효성 검증 장치.
  3. 제2 항에 있어서, 상기 특징점 추출부는
    해리스 코너 기법을 이용하여 상기 자가증식 학습 영상과 상기 원본 학습 영상의 각 프레임에서 코너에 해당하는 픽셀을 특징점으로 추출하는 학습 영상 유효성 검증 장치.
  4. 제1 항에 있어서, 상기 시간 시퀀스 분석부는
    상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하는 옵티컬플로우 추출부; 및
    상기 자가증식 학습 영상에서 추출된 다수의 옵티컬플로우와 상기 원본 학습 영상에서 추출된 옵티컬플로우 중 대응하는 옵티컬플로우 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 변화량 판별부; 를 포함하는 학습 영상 유효성 검증 장치.
  5. 제1 항에 있어서, 상기 유효성 판별부는
    각 프레임별 특징점 개수의 차이가 기지정된 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기지정된 기준 변화량 차이 이상인 옵티컬플로우의 수가 상기 자가증식 학습 영상의 전체 프레임의 수에 비해 기지정된 기준 비율 이하이면, 상기 자가증식 학습 영상이 유효한 것으로 판별하는 학습 영상 유효성 검증 장치.
  6. 컴퓨터로 구현되는 학습 유효성 검증 장치에 의해 각 단계가 수행되는 시스템에 의해 수행되는 학습 영상 유효성 검증 방법에 있어서,
    원본 학습 영상과 원본 학습 영상으로부터 기지정된 방식으로 생성된 자가증식 학습 영상을 획득하는 단계;
    상기 자가증식 학습 영상과 상기 원본 학습 영상에서 각 프레임별로 특징점을 추출하고, 상기 자가증식 학습 영상와 상기 원본 학습 영상 각각에서 추출된 프레임별 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 단계;
    상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하고, 상기 자가증식 학습 영상과 상기 원본 학습 영상에서 추출된 다수의 옵티컬플로우들 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 단계; 및
    상기 프레임별 특징점 개수차와 상기 옵티컬플로우별 변화량 차이를 기반으로 상기 자가증식 학습 영상의 유효성을 판별하는 단계; 를 포함하는 학습 영상 유효성 검증 방법.
  7. 제6 항에 있어서, 상기 특징점 개수차를 획득하는 단계는
    상기 자가증식 학습 영상과 상기 원본 학습 영상에서 해리스 코너 기법을 이용하여 각 프레임별로 코너에 해당하는 픽셀을 판별하여 특징점으로 추출하는 단계; 및
    상기 자가증식 학습 영상에서 추출된 프레임별 특징점 개수와 상기 원본 학습 영상에서 추출된 프레임별 특징점 개수 중 대응하는 특징점 개수를 비교하여 프레임별 특징점 개수차를 획득하는 단계; 를 포함하는 학습 영상 유효성 검증 방법.
  8. 제6 항에 있어서, 상기 변화량 차이로 획득하는 단계는
    상기 자가증식 학습 영상과 상기 원본 학습 영상 각각의 다수의 프레임에서 프레임들 사이에서 다수의 옵티컬플로우를 추출하는 단계; 및
    상기 자가증식 학습 영상에서 추출된 다수의 옵티컬플로우와 상기 원본 학습 영상에서 추출된 옵티컬플로우 중 대응하는 옵티컬플로우 사이의 차이를 옵티컬플로우별 변화량 차이로 획득하는 단계; 를 포함하는 학습 영상 유효성 검증 방법.
  9. 제6 항에 있어서, 상기 유효성을 판별하는 단계는
    각 프레임별 특징점 개수의 차이가 기지정된 기준 개수차 이내이고, 옵티컬플로우별 변화량 차이 중 기지정된 기준 변화량 차이 이상인 옵티컬플로우의 수가 상기 자가증식 학습 영상의 전체 프레임의 수에 비해 기지정된 기준 비율 이하이면, 상기 자가증식 학습 영상이 유효한 것으로 판별하는 학습 영상 유효성 검증 방법.
KR1020190005886A 2019-01-16 2019-01-16 학습 영상 유효성 검증 장치 및 방법 KR102211541B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190005886A KR102211541B1 (ko) 2019-01-16 2019-01-16 학습 영상 유효성 검증 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190005886A KR102211541B1 (ko) 2019-01-16 2019-01-16 학습 영상 유효성 검증 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200094814A KR20200094814A (ko) 2020-08-10
KR102211541B1 true KR102211541B1 (ko) 2021-02-02

Family

ID=72049334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190005886A KR102211541B1 (ko) 2019-01-16 2019-01-16 학습 영상 유효성 검증 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102211541B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546193B1 (ko) * 2022-11-30 2023-06-22 주식회사 인피닉 컬러 정보를 이용한 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102546195B1 (ko) * 2022-11-30 2023-06-23 주식회사 인피닉 수집 환경 기반 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016200971A (ja) 2015-04-09 2016-12-01 キヤノン株式会社 学習装置、識別装置、学習方法、識別方法及びプログラム
KR101750094B1 (ko) 2015-12-29 2017-06-26 건국대학교 산학협력단 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
KR101802500B1 (ko) 2016-10-20 2017-11-28 재단법인대구경북과학기술원 영상 인식을 위한 학습 장치 및 그 학습 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101537559B1 (ko) * 2013-12-30 2015-07-20 전자부품연구원 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
KR101880035B1 (ko) 2015-09-24 2018-07-19 주식회사 뷰노 영상 생성 방법 및 장치, 및 영상 분석 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016200971A (ja) 2015-04-09 2016-12-01 キヤノン株式会社 学習装置、識別装置、学習方法、識別方法及びプログラム
KR101750094B1 (ko) 2015-12-29 2017-06-26 건국대학교 산학협력단 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
KR101802500B1 (ko) 2016-10-20 2017-11-28 재단법인대구경북과학기술원 영상 인식을 위한 학습 장치 및 그 학습 방법

Also Published As

Publication number Publication date
KR20200094814A (ko) 2020-08-10

Similar Documents

Publication Publication Date Title
KR101901184B1 (ko) 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
Pless et al. Evaluation of local models of dynamic backgrounds
US9740965B2 (en) Information processing apparatus and control method thereof
US20150279021A1 (en) Video object tracking in traffic monitoring
CN100369049C (zh) 灰度字符的精确分割装置及方法
CN103198311B (zh) 基于拍摄的图像来识别字符的方法及装置
KR102140873B1 (ko) 동적 객체 검출 장치 및 방법
US20120093362A1 (en) Device and method for detecting specific object in sequence of images and video camera device
US20180137630A1 (en) Image processing apparatus and method
KR102211541B1 (ko) 학습 영상 유효성 검증 장치 및 방법
JP2012038318A (ja) ターゲット検出方法及び装置
KR20190028103A (ko) 비관심 객체에 대한 마스크 처리 방법 및 그 장치
CN112597943A (zh) 行人重识别的特征提取方法及装置、电子设备、存储介质
CN110738686A (zh) 静动态结合的视频人车检测方法及系统
KR102355006B1 (ko) 다중 cctv 환경에서의 보행자 추적 장치 및 방법
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
JP2016053763A (ja) 画像処理装置、画像処理方法及びプログラム
KR101845280B1 (ko) 그림자 신호를 제거하는 차량번호 인식 시스템 및 방법
KR20170086165A (ko) 영상 내 특징점의 움직임 검출 장치 및 방법
Dubey Heuristic approach for license plate detection
JP6935690B2 (ja) 検出プログラム、方法、及び装置
CN111105438B (zh) 基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质
KR102426591B1 (ko) 머신러닝 모델을 이용한 객체 인식 방법 및 시스템
KR102326185B1 (ko) 딥러닝을 이용한 얼굴 매칭 방법 및 장치
CN111882656A (zh) 基于人工智能的图形处理方法、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant