KR20200057823A - 영상 데이터 증식 장치 및 방법 - Google Patents

영상 데이터 증식 장치 및 방법 Download PDF

Info

Publication number
KR20200057823A
KR20200057823A KR1020180139324A KR20180139324A KR20200057823A KR 20200057823 A KR20200057823 A KR 20200057823A KR 1020180139324 A KR1020180139324 A KR 1020180139324A KR 20180139324 A KR20180139324 A KR 20180139324A KR 20200057823 A KR20200057823 A KR 20200057823A
Authority
KR
South Korea
Prior art keywords
video
sub
image
section
unit
Prior art date
Application number
KR1020180139324A
Other languages
English (en)
Other versions
KR102546631B1 (ko
Inventor
손정우
이상훈
이호재
김선중
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180139324A priority Critical patent/KR102546631B1/ko
Priority to US16/683,227 priority patent/US20200151458A1/en
Publication of KR20200057823A publication Critical patent/KR20200057823A/ko
Application granted granted Critical
Publication of KR102546631B1 publication Critical patent/KR102546631B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

동영상 데이터를 사용하여 대용량의 학습 데이터를 자동적으로 구축하는 영상 데이터 증식 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 영상 데이터 증식 장치는 원본 동영상을 구성하는 미리 정해진 단위의 서브 영상에 대한 내용 특성, 흐름 특성, 및 클래스 특성을 포함하는 특성정보를 확인하는 특성정보 확인부와, 상기 서브 영상에 대한 특성정보에 기초하여, 적어도 하나의 상기 서브 영상을 포함하는 영상 구간을 선택하는 구간 확인부와, 미리 저장된 복수의 서브 영상으로부터, 상기 선택된 영상 구간에 대응되는 적어도 하나의 대체 서브 영상을 추출하고, 상기 추출된 적어도 하나의 대체 서브 영상을 상기 선택된 영상 구간에 적용하여 증식된 동영상을 생성하는 동영상 증식부를 포함할 수 있다.

Description

영상 데이터 증식 장치 및 방법{APPARATUS FOR VIDEO DATA ARGUMENTATION AND METHOD FOR THE SAME}
본 개시는 기계학습 기술에 관한 것이며, 보다 구체적으로는 기계학습에 사용되는 데이터 셋을 증식하는 방법 및 장치에 대한 것이다.
학습 데이터를 기반으로 인공지능을 구현하는 기계학습 기술, 딥러닝 기술 등이 최근 다양한 분야에서 활용되고 있다.
기계학습 기반의 인공지능 학습 모델의 성능은 딥러닝 기술의 출현으로 급격하게 향상되었지만, 여전히 학습 모델의 성능을 결정하는 것은 대용량의 학습 데이터 셋이다.
특히, 동영상 데이터는 대용량의 데이터로 이루어지며, 촬영, 편집 등과 같은 작업이 요구되며, 나아가 수집 환경에 대한 제약으로 인해 자유롭게 학습 데이터로 사용하기 어려운 문제가 있다.
본 개시의 기술적 과제는 동영상 데이터를 사용하여 대용량의 학습 데이터를 자동적으로 구축하는 영상 데이터 증식 방법 및 장치를 제공하는데 있다.
본 개시의 다른 기술적 과제는 원본 동영상 데이터의 레이블이 속하는 클래스에 맞게 동영상 데이터를 자동으로 생성하여, 기계학습에 사용되는 학습 데이터를 구축하는 영상 데이터 증식 방법 및 장치를 제공하는데 있다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면 영상 데이터 증식 장치가 제공될 수 있다. 상기 장치는 원본 동영상을 구성하는 미리 정해진 단위의 서브 영상에 대한 내용 특성, 흐름 특성, 및 클래스 특성을 포함하는 특성정보를 확인하는 특성정보 확인부와, 상기 서브 영상에 대한 특성정보에 기초하여, 적어도 하나의 상기 서브 영상을 포함하는 영상 구간을 선택하는 구간 확인부와, 미리 저장된 복수의 서브 영상으로부터, 상기 선택된 영상 구간에 대응되는 적어도 하나의 대체 서브 영상을 추출하고, 상기 추출된 적어도 하나의 대체 서브 영상을 상기 선택된 영상 구간에 적용하여 증식된 동영상을 생성하는 동영상 증식부를 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 동영상 데이터를 사용하여 대용량의 학습 데이터를 자동적으로 구축하는 영상 데이터 증식 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 원본 동영상 데이터의 레이블이 속하는 클래스에 맞게 동영상 데이터를 자동으로 생성하여, 기계학습에 사용되는 학습 데이터를 구축하는 영상 데이터 증식 방법 및 장치가 제공될 수 있다.
본 개시에 따르면, 소량의 원본 동영상 데이터만으로도 대용량의 동영상 데이터를 자동으로 생성할 수 있으므로 학습 데이터의 구축 비용을 절감할 수 있으며, 나아가 대용량의 동영상 데이터를 사용하여 학습을 수행함에 따라 학습 모델의 성능을 향상시킬 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 영상 데이터 증식 장치에 사용되는 영상의 계층적 구조를 설명하는 도면이다.
도 2는 본 개시의 일 실시예에 따른 영상 데이터 증식 장치의 구성을 도시하는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 영상 데이터 증식 장치에 구비되는 특성정보 확인부의 상세 동작을 설명하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 영상 데이터 증식 장치에 구비되는 동영상 증식부의 상세 동작을 설명하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 영상 데이터 증식 방법의 순서를 도시하는 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 영상 데이터 증식 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시예에 따른 영상 데이터 증식 장치에 사용되는 영상의 계층적 구조를 설명하는 도면이다.
도 1을 참고하면, 유사한 프레임(Frame)이 모여 샷(shot)을 이루고, 유사한 의미를 갖는 집단의 샷들이 모여 장면(Scene)을 구성하며, 장면들의 집합이 영상을 구성하는 계층적 구조를 가진다.
이하, 본 개시의 일 실시예에 따른 영상 데이터 증식 장치는, 미리 정해진 단위를 기준으로, 영상 데이터의 특성을 검출하고, 이를 기반으로 영상 데이터를 생성하고, 생성된 영상 데이터에 대한 학습을 수행하도록 구성될 수 있다.
이하, 본 개시의 일 실시예에 따른 영상 데이터 증식 장치를 설명함에 있어서, 전술한 미리 정해진 단위를 "샷" 단위로 예시하여 설명한다. 비록, 본 개시의 일 실시예에서, "샷" 단위를 기반으로 설명하고 있으나, 본 개시가 이를 한정하는 것은 아니며, 전술한 미리 정해진 단위는 프레임 단위나 장면 단위로 변경되어 적용될 수도 있다.
도 2는 본 개시의 일 실시예에 따른 영상 데이터 증식 장치의 구성을 도시하는 블록도이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 영상 데이터 증식 장치는 특성정보 확인부(21), 구간 확인부(23), 및 동영상 증식부(25)를 포함할 수 있다.
특성정보 확인부(21)는 원본 동영상을 구성하는 미리 정해진 단위의 서브 영상에 대한 내용 특성, 흐름 특성, 및 클래스 특성을 포함하는 특성정보를 확인할 수 있다.
여기서, 내용 특성(vc)은 서브 영상 단위에 포함된 콘텐츠의 내용에 대한 특성일 수 있으며, 흐름 특성(vm)은 내용 특성(vc)과 달리 인접한 서브 영상 단위 사이의 차이를 나타내는 특성일 수 있다. 클래스 특성은 추출된 내용 특성(vc) 및 흐름 특성(vm)과 함께, 서브 영상 단위에 대한 클래스 정보를 기반으로 추출되는 특성일 수 있다.
구간 확인부(23)는 상기 서브 영상에 대한 특성정보에 기초하여, 적어도 하나의 상기 서브 영상을 포함하는 영상 구간을 선택할 수 있다.
본 개시의 일 실시예에 따른 영상 데이터 증식 장치는 학습에 사용되는 동영상을 다양하게 증식하기 위한 것으로서, 원본 동영상을 변형하여 새로운 영상을 생성할 수 있다. 학습 데이터로서 의미가 있는 부분을 대체 구간으로 변형하여 증식된 동영상을 구성하는 것이 바람직하다.
따라서, 원본 데이터에 대한 무조건적인 변형은 자칫 특정한 형태의 동영상 데이터를 복제하여 생성하는 상황이 발생될 수 있다. 이와 같이, 특정한 형태의 동영상 데이터가 생성될 경우, 이를 사용하여 학습 모델의 구성시 모델의 편향(bias)이 발생될 수 있으므로, 학습 데이터로서 의미가 없어지는 문제가 발생될 수 있다. 이를 고려하여, 구간 확인부(23)는 전술한 특성정보를 반영하여 학습 데이터로서 의미가 있는 구간을 선택하도록 구성될 수 있다.
예를 들어, 구간 확인부(23)는 클래스 특성을 기반으로, 상기 적어도 하나의 상기 서브 영상에 대한 변화량을 확인하고, 상기 변화량에 기초하여 상기 영상 구간을 선택할 수 있다. 나아가, 구간 확인부(23)는 서브 영상에 대한 내용 특성 및 흐름 특성에 대한 평균값과 편차값을 확인하고, 상기 평균값과 편차값을 기반으로 하는 확률값을 확인하고, 상기 확률값과 상기 변화량 사이의 비를 고려하여 상기 영상 구간을 선택할 수 있다.
또한, 구간 확인부(23)는 클래스 특성을 기반으로, 상기 적어도 하나의 상기 서브 영상의 시작지점을 확인하고, 상기 시작지점으로부터의 길이정보를 확인하고, 상기 시작지점 및 길이정보를 기반으로 상기 영상 구간을 선택할 수도 있다.
한편, 동영상 증식부(25)는 미리 저장된 복수의 서브 영상으로부터, 상기 선택된 영상 구간에 대응되는 적어도 하나의 대체 서브 영상을 추출하고, 상기 추출된 적어도 하나의 대체 서브 영상을 상기 선택된 영상 구간에 적용하여 증식된 동영상을 생성할 수 있다.
예컨대, 동영상 증식부(25)는 미리 저장된 복수의 서브 영상의 특성정보와 상기 선택된 영상 구간에 인접한 서브 영상의 특성정보를 확인할 수 있으며, 미리 저장된 복수의 서브 영상의 특성정보와 상기 선택된 영상 구간에 인접한 서브 영상의 특성정보를 고려하여, 상기 선택된 영상 구간에 대응되는 적어도 하나의 대체 서브 영상을 추출할 수 있다. 그리고, 동영상 증식부(25)는 추출된 적어도 하나의 대체 서브 영상을 해당 구간에 삽입하여 증식된 동영상을 구성할 수 있다.
나아가, 본 개시의 일 실시예에 따른 영상 데이터 증식 장치는 동영상 학습부(27)를 더 포함할 수 있다.
동영상 학습부(27)는, 동영상 증식부(25)로부터 증식된 동영상을 제공받을 수 있으며, 이(증식된 동영상)를 동영상 학습 데이터로서 구축하여 저장할 수 있다. 나아가, 동영상 학습부(27)는 증식된 동영상을 원본 영상과 구분하여 DB(200)에 저장할 수 있다. 예컨대, 동영상 학습부(27)는 증식된 동영상에 포함된 서브 영상 중, 삽입된 구간의 대체 서브 영상에 대한 클래스 특성을 명시하여 저장할 수 있다.
구체적으로, 동영상 학습부(27)는 증식된 동영상에 대응되는 원본 동영상의 정보(예, 생성일자, 생성한 사람, 데이터 셋 명칭, 클래스 인덱스, 클래스별 영상 수 등)(310, 도 3참조)와 클래스 분포에 대한 정보를 명시할 수 있다. 그리고, 동영상 학습부(27)는 증식된 동영상에 삽입된 구간에 대한 정보(클래스 인덱스, 구간, 신뢰도 등)(320)를 명시할 수 있다.
한편, 동영상 학습부(27)는 원본 동영상과 증식된 동영상을 학습하여 동영상 학습 모델(250)을 구축할 수 있다.
이하, 첨부되는 도면 및 이의 설명을 통해, 본 개시의 일 실시예에 따른 영상 데이터 증식 장치에 구비되는 구성부의 상세 동작을 예시한다.
도 4는 본 개시의 일 실시예에 따른 영상 데이터 증식 장치에 구비되는 특성정보 확인부의 상세 동작을 설명하는 도면이다.
특성정보 확인부(400)는 원본 동영상 데이터(401) 및 이와 관련된 레이블 정보(402)를 입력받을 수 있으며, 입력된 정보(401, 402)를 기반으로 내용 특성, 흐름 특성, 및 클래스 특성을 검출할 수 있다.
우선, 특성정보 확인부(400)는 내용 특성을 검출할 수 있는데 이러한 내용 특성(vc)은 함수 fc(V)를 통해 도출될 수 있다. fc는 파라미터 W를 이용하여 영상 데이터를 저차원 공간에 맵핑하는 복수 단계의 선형함수들로 구성된다. 이때, W는 영상 데이터의 재생성 가능 여부를 토대로 최적의 내용 특성을 추출하도록 학습된다. 초기에 W는 임의의 실수값으로 이루어진 벡터로 정의된다. 이후, W의 값들은 V를 구성하는 모든 i번째 샷들을 생성된 내용 특성이 최대한 정확하게 추정할 수 있도록 조정된다.
추정하는 W*는 하기의 수학식 1과 같이 예시될 수 있다.
Figure pat00001
이때, fc -1 은 fc 함수의 역함수로서 내용 특성을 샷 공간에 맵핑하는 함수이며
Figure pat00002
는 V를 구성하는 i 번째 샷이다. 따라서 전체 영상 데이터 V에 대한 내용 특성 내용 특성을 기반으로 생성된 임의의 샷은 원본 영상을 구성하는 모든 샷과 유사하도록 W를 강제하는 것이다.
특성정보 확인부(400)는 원본 동영상 데이터에 포함된 샷 단위에 대해 반복적으로 수행하여 최적의
Figure pat00003
를 계산할 수 있다.
특성정보 확인부(400)는 흐름 특성(vm)을 검출할 수 있는데, 흐름 특성은 내용 특성과 달리 인접한 샷 간의 차이를 반영하도록 추출할 수 있다. 즉, 특성정보 확인부(400)는 i번째 샷과 i+1번째 샷 사이의 영상의 차이를 흐름 특성이 내포하도록 추출할 수 있다. 특성정보 확인부(400)는 함수 fm(V)를 통해 흐름 특성을 산출할 수 있다. fm(V)는 파라미터 Z를 이용하여 샷 단위 사이의 차이를 표현하는 흐름 특성을 반환하는 함수이다. 이때 Z는 i번째 샷의 정보에 흐름 특성을 추가할 경우 i+1번째 샷과 유사한 샷이 생성되도록 조정될 수 있다. 최종 학습되는
Figure pat00004
은 하기의 수학식 2와 같이 예시될 수 있다.
Figure pat00005
여기서, fm-1 은 함수 fm의 역함수이다.
최적의 Z*는 두 샷 간의 평균적인 변화를 내포하는 벡터로 나타낼 수 있으며, 이를 흐름 특성으로서 생성할 수 있다.
특성정보 확인부(400)는 클래스 특성을 검출할 수 있는데, 클래스 특성은 추출된 내용 및 흐름 특성과 클래스 정보를 기반으로 추출될 수 있다. 클래스 특성(c)은 함수 g(V,C)를 통해 도출될 수 있으며, 전술한 fc, fm과 마찬가지로 파라미터 P와 이를 기반으로 한 복수 단계의 선형 함수를 통해 구성될 수 있다.
나아가, 다수의 클래스가 존재할 때, 특정 클래스를 표현하는 벡터는, 대상이 되는 클래스를 구성하는 서브 영상의 내용 특성 및 흐름 특성을 반영하되, 다른 클래스와는 차별되는 정보를 구비하도록 구성되어야 한다. 따라서, g(V,C)는 클래스 C에 속하는 임의 비디오 V1, V2, V3에서 추출된 내용 특성 및 흐름 특성을 파라미터 P를 기반으로 선형 결합한 것이며, 이때, 다른 클래스에서 도출된 클레스 벡터와는 충분히 구별되어야 한다. 따라서, P는 매 클래스마다 다르게 정의되며, 클래스 C에 대한 파라미터 PC는 하기의 수학식 3의 연산을 통해 산출될 수 있다.
Figure pat00006
여기서, c-1는 C를 제외한 클래스를 의미하고, 함수 E는 평균을 취하는 함수이다.
도 5는 본 개시의 일 실시예에 따른 영상 데이터 증식 장치에 구비되는 동영상 증식부의 상세 동작을 설명하는 도면이다.
전술한 바와 같이, 동영상 증식부는 내용 특성, 흐름 특성, 클래스 특성(vc, vm, c)(501, 502, 503)과, 원본 동영상 데이터(V)를 입력받고, 해당 데이터 내의 특정 구간을 선택한 후, 선택된 구간에 포함된 적어도 하나의 서브 영상을 새로운 대체 서브 영상으로 대체하여 동영상을 증식할 수 있다.
원본 동영상 데이터(V)는 복수개(n개)의 샷 단위 서브 영상으로 이루어져 있으므로, 동영상 증식부가 선택하는 구간의 시작 지점(i)과 길이(m)는 다음과 같이 정의될 수 있다.
i < n and i+m <= n
본 개시의 일 실시예에 따른 영상 데이터 증식 장치는 학습 데이터로 사용될 수 있는 동영상 데이터를 자동으로 구축하기 위한 것이다.
원본 동영상 데이터에 대한 무조건 변형은 특정한 형태의 동영상 데이터를 반복적으로 생성하게 될 수 있다. 이와 같이 특정한 형태의 동영상 데이터를 사용하여 학습 모델을 구축하게 되면, 학습 모델의 편향(bias)이 발생될 수 있다. 따라서, 특정한 형태로 반복적으로 생성된 동영상 데이터는 학습 데이터로 사용할 수 없는 문제가 있다. 이를 위해, 동영상 증식부는 학습 데이터로서 의미가 있는 구간을 선택하여 해당 구간의 서브 영상을 대체 서브 영상으로 대체할 필요가 있다.
전술한 바를 고려하여, 변형 시작 지점(i)과 길이(m)를 결정할 수 있다. 예컨대, 동영상 증식부는 하기의 수학식 4의 연산을 통해 변형 시작 지점(i)을 결정할 수 있다.
Figure pat00007
여기서, varc는 C클래스에서 i번째 샷 정보에 대한 변화량을 의미한다. 그리고, P(Vi|C)는 C클래스에서 i번째 샷과 유사한 샷이 도출될 확률을 나타낸다.
변화량은 클래스에 속한 모든 영상 데이터(V)에 대한 내용 특성 및 흐름 특성을 기반으로 평균과 편차를 산출하고, 산출된 값을 기반으로 결정할 수 있다. 그리고, P(Vi|C)는 Vi로부터 추출된 내용 특성 및 흐름 특성과, 클래스 특성 사이의 거리에 기초한 확률값을 나타내는 값일 수 있다.
한편, 동영상 증식부는 길이(m)는 변형 시작 지점(i)을 기준으로 이후에 위치한 샷 단위의 서브 영상에 대한 스코어를 계산하고, 스코어의 평균 값과 i번째 샷에서의 스코어를 확인하고, 이를 기반으로 길이(m)를 결정할 수 있다. 예컨대, 동영상 증식부는 하기의 수하식 5의 연산을 통해 길이(m)를 결정할 수 있다.
Figure pat00008
비록, 본 개시의 일 실시예에서 전술한 수학식 4를 사용하여 변형 시작 지점(i)을 결정하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 변형 시작 지점(i)의 결정 방식은 다양하게 변경될 수 있다. 예컨대, 변형 시작 지점(i)은 사용자의 지정에 의해 수동적으로 결정되거나, 수동적으로 태깅된 정보를 사용하여 결정할 수도 있다.
마찬가지로, 본 개시의 일 실시예에서 전술한 수학식 5를 사용하여 길이(m)를 결정하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 길이(m)의 결정 방식은 다양하게 변경될 수 있다. 예컨대, 변형 시작 지점(i)은 사용자의 지정에 의해 수동적으로 결정되거나, 수동적으로 지정된 정보를 사용하여 결정할 수도 있다.
변형 시작 지점(i)과 길이(m)가 결정되면, 동영상 증식부는 해당 구간에 포함된 서브 영상을 대체 서브 영상(520-1, ... 520-1+m)으로 대체한다.
구체적으로, 동영상 증식부는 이전 샷 단위부터 다음 샷 단위의 정보를 담고 있는 벡터 v+(511-1, ... 511-p)를 생성하는 제1함수(수학식 6)와 다음 샷으로부터 이전 샷의 정보를 담고 있는 벡터 v-(512-1, ... 512-q)를 생성하는 제2함수(수학식 7)를 사용하여 대체 서브 영상(520-1, ... 520-1+m)을 구성할 수 있다.
Figure pat00009
Figure pat00010
여기서, Vi->j는 영상 V에서 i부터 j까지의 서브 영상을 의미한다.
동영상 증식부는 제1 및 제2함수를 사용하여 샷 단위에 대한 v+(511-1, ... 511-p)와 v-(512-1, ... 512-q)를 생성할 수 있는데, 변형 시작 지점(i)의 샷부터 변형 시작 지점(i)에 길이(m)를 가산한 샷 단위에 대한 v+(511-1, ... 511-p)와 v-(512-1, ... 512-q)를 생성할 수 있다. 이렇게 생성한 v+(511-1, ... 511-p)와 v-(512-1, ... 512-q)는 가상의 i번째 샷인
Figure pat00011
을 생성하는 제3함수(수학식 8)(505)를 호출하는데 사용될 수 있다.
Figure pat00012
나아가, 동영상 증식부는 전술한 제3함수(505)를 사용하여, 변형 시작 지점(i)의 샷부터 변형 시작 지점(i)에 길이(m)를 가산한 샷 단위에 대응되는 대체 서브 영상(520-1, ... 520-1+m)을 구성할 수 있다. 대체 서브 영상(520-1, ... 520-1+m)의 구성에 사용되는 제1, 제2, 및 제3함수는 딥러닝 기술(RNN(Recurrent Neural Networks), LSTM(Long Short-Term Memory models), GANs(Generative adversarial networks) 등)을 이용하여 구성할 수 있다.
도 6은 본 개시의 일 실시예에 따른 영상 데이터 증식 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시예에 따른 영상 데이터 증식 방법은 전술한 본 개시의 일 실시예에 따른 영상 데이터 증식 장치에 의해 수행될 수 있다.
S601 단계에서, 영상 데이터 증식 장치는 원본 동영상을 구성하는 미리 정해진 단위의 서브 영상에 대한 내용 특성, 흐름 특성, 및 클래스 특성을 포함하는 특성정보를 확인할 수 있다.
여기서, 내용 특성(vc)은 서브 영상 단위에 포함된 콘텐츠의 내용에 대한 특성일 수 있으며, 흐름 특성(vm)은 내용 특성(vc)과 달리 인접한 서브 영상 단위 사이의 차이를 나타내는 특성일 수 있다. 클래스 특성은 추출된 내용 특성(vc) 및 흐름 특성(vm)과 함께, 서브 영상 단위에 대한 클래스 정보를 기반으로 추출되는 특성일 수 있다.
구체적으로, 영상 데이터 증식 장치는 내용 특성을 검출할 수 있는데 이러한 내용 특성(vc)은 함수 fc(V)를 통해 도출될 수 있다. fc는 파라미터 W를 이용하여 영상 데이터를 저차원 공간에 맵핑하는 복수 단계의 선형함수들로 구성된다. 이때, W는 영상 데이터의 재생성 가능 여부를 토대로 최적의 내용 특성을 추출하도록 학습된다. 초기에 W는 임의의 실수값으로 이루어진 벡터로 정의된다. 이후, W의 값들은 V를 구성하는 모든 i번째 샷들을 생성된 내용 특성이 최대한 정확하게 추정할 수 있도록 조정된다. 추정하는 W*는 전술한 수학식 1과 같이 예시될 수 있다.
영상 데이터 증식 장치는 원본 동영상 데이터에 포함된 샷 단위에 대해 반복적으로 수행하여 최적의 W*를 계산할 수 있다.
또한, 영상 데이터 증식 장치는 흐름 특성(vm)을 검출할 수 있는데, 흐름 특성은 내용 특성과 달리 인접한 샷 간의 차이를 반영하도록 추출할 수 있다. 즉, 영상 데이터 증식 장치는 i번째 샷과 i+1번째 샷 사이의 영상의 차이를 흐름 특성이 내포하도록 추출할 수 있다. 영상 데이터 증식 장치는 함수 fm(V)를 통해 흐름 특성을 산출할 수 있다. fm(V)는 파라미터 Z를 이용하여 샷 단위 사이의 차이를 표현하는 흐름 특성을 반환하는 함수이다. 이때, Z는 i번째 샷의 정보에 흐름 특성을 추가할 경우 i+1번째 샷과 유사한 샷이 생성되도록 조정될 수 있다. 최종 학습되는 Z*은 전술한 수학식 2와 같이 예시될 수 있다. 최적의 Z*는 두 샷 간의 평균적인 변화를 내포하는 벡터로 나타낼 수 있으며, 이를 흐름 특성으로서 생성할 수 있다.
나아가, 영상 데이터 증식 장치는 클래스 특성을 검출할 수 있는데, 클래스 특성은 추출된 내용 및 흐름 특성과 클래스 정보를 기반으로 추출될 수 있다. 클래스 특성(c)은 함수 g(V,C)를 통해 도출될 수 있으며, 전술한 fc, fm과 마찬가지로 파라미터 P와 이를 기반으로 한 복수 단계의 선형 함수를 통해 구성될 수 있다.
나아가, 다수의 클래스가 존재할 때, 특정 클래스를 표현하는 벡터는, 대상이 되는 클래스를 구성하는 서브 영상의 내용 특성 및 흐름 특성을 반영하되, 다른 클래스와는 차별되는 정보를 구비하도록 구성되어야 한다. 따라서, g(V,C)는 클래스 C에 속하는 임의 비디오 V1, V2, V3에서 추출된 내용 특성 및 흐름 특성을 파라미터 P를 기반으로 선형 결합한 것이며, 이때, 다른 클래스에서 도출된 클레스 벡터와는 충분히 구별되어야 한다. 따라서, P는 매 클래스마다 다르게 정의되며, 클래스 C에 대한 파라미터 PC는 전술한 수학식 3의 연산을 통해 산출될 수 있다.
한편, S602 단계에서, 영상 데이터 증식 장치는 상기 서브 영상에 대한 특성정보에 기초하여, 적어도 하나의 상기 서브 영상을 포함하는 영상 구간을 선택할 수 있다.
본 개시의 일 실시예에 따른 영상 데이터 증식 장치는 학습에 사용되는 동영상을 다양하게 증식하기 위한 것으로서, 원본 동영상을 변형하여 새로운 영상을 생성할 수 있다. 학습 데이터로서 의미가 있는 부분을 대체 구간으로 변형하여 증식된 동영상을 구성하는 것이 바람직하다.
따라서, 원본 데이터에 대한 무조건적인 변형은 자칫 특정한 형태의 동영상 데이터를 복제하여 생성하는 상황이 발생될 수 있다. 이와 같이, 특정한 형태의 동영상 데이터가 생성될 경우, 이를 사용하여 학습 모델의 구성시 모델의 편향(bias)이 발생될 수 있으므로, 학습 데이터로서 의미가 없어지는 문제가 발생될 수 있다. 이를 고려하여, 영상 데이터 증식 장치는 전술한 특성정보를 반영하여 학습 데이터로서 의미가 있는 구간을 선택하도록 구성될 수 있다.
구체적으로, 영상 데이터 증식 장치는 다음과 같이 영상 구간을 선택할 수 있다.
영상 데이터 증식 장치는 내용 특성, 흐름 특성, 클래스 특성(vc, vm, c)(501, 502, 503)과, 원본 동영상 데이터(V)를 입력받을 수 있으며, 해당 데이터 내의 특정 구간을 선택할 수 있다.
원본 동영상 데이터(V)는 복수개(n개)의 샷 단위 서브 영상으로 이루어져 있으므로, 동영상 증식부가 선택하는 구간의 시작 지점(i)과 길이(m)는 다음과 같이 정의될 수 있다.
i < n and i+m <= n
본 개시의 일 실시예에 따른 영상 데이터 증식 방법은 학습 데이터로 사용될수 있는 동영상 데이터를 자동으로 구축하기 위한 것이다. 원본 동영상 데이터에 대한 무조건 변형은 특정한 형태의 동영상 데이터를 반복적으로 생성하게 될 수 있다. 이와 같이 특정한 형태의 동영상 데이터를 사용하여 학습 모델을 구축하게되면, 학습 모델의 편향(bias)이 발생될 수 있다. 따라서, 특정한 형태로 반복적으로 생성된 동영상 데이터는 학습 데이터로 사용할 수 없는 문제가 있다. 이를 위해, 영상 데이터 증식 장치는 학습 데이터로서 의미가 있는 구간을 선택한 후, 해당 구간의 서브 영상을 대체 서브 영상으로 대체할 필요가 있다.
전술한 바를 고려하여, 변형 시작 지점(i)과 길이(m)를 결정할 수 있다. 예컨대, 영상 데이터 증식 장치는 전술한 수학식 4의 연산을 통해 변형 시작 지점(i)을 결정할 수 있다.
변화량은 클래스에 속한 모든 영상 데이터(V)에 대한 내용 특성 및 흐름 특성을 기반으로 평균과 편차를 산출하고, 산출된 값을 기반으로 결정할 수 있다. 그리고, P(Vi|C)는 Vi로부터 추출된 내용 특성 및 흐름 특성과, 클래스 특성 사이의 거리에 기초한 확률값을 나타내는 값일 수 있다.
한편, 영상 데이터 증식 장치는 변형 시작 지점(i)을 기준으로 이후에 위치한 샷 단위의 서브 영상에 대한 스코어를 계산하고, 스코어의 평균 값과 i번째 샷에서의 스코어를 확인하고, 이를 기반으로 길이(m)를 결정할 수 있다. 예컨대, 영상 데이터 증식 장치는 전술한 수하식 5의 연산을 통해 길이(m)를 결정할 수 있다.
비록, 본 개시의 일 실시예에서 전술한 수학식 4를 사용하여 변형 시작 지점(i)을 결정하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 변형 시작 지점(i)의 결정 방식은 다양하게 변경될 수 있다. 예컨대, 변형 시작 지점(i)은 사용자의 지정에 의해 수동적으로 결정되거나, 수동적으로 태깅된 정보를 사용하여 결정할 수도 있다.
마찬가지로, 본 개시의 일 실시예에서 전술한 수학식 5를 사용하여 길이(m)를 결정하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 길이(m)의 결정 방식은 다양하게 변경될 수 있다. 예컨대, 변형 시작 지점(i)은 사용자의 지정에 의해 수동적으로 결정되거나, 수동적으로 지정된 정보를 사용하여 결정할 수도 있다.
한편, S603 단계에서, 영상 데이터 증식 장치는 미리 저장된 복수의 서브 영상으로부터, 상기 선택된 영상 구간에 대응되는 적어도 하나의 대체 서브 영상을 추출하고, 상기 추출된 적어도 하나의 대체 서브 영상을 상기 선택된 영상 구간에 적용하여 증식된 동영상을 생성할 수 있다.
예컨대, 영상 데이터 증식 장치는 미리 저장된 복수의 서브 영상의 특성정보와 상기 선택된 영상 구간에 인접한 서브 영상의 특성정보를 확인할 수 있으며, 미리 저장된 복수의 서브 영상의 특성정보와 상기 선택된 영상 구간에 인접한 서브 영상의 특성정보를 고려하여, 상기 선택된 영상 구간에 대응되는 적어도 하나의 대체 서브 영상을 추출할 수 있다. 그리고, 영상 데이터 증식 장치는 추출된 적어도 하나의 대체 서브 영상을 해당 구간에 삽입하여 증식된 동영상을 구성할 수 있다.
이하, 영상 데이터 증식 장치가 대체 서브 영상을 사용하여 증식된 동영상을 구성하는 동작을 구체적으로 예시한다.
영상 데이터 증식 장치는 이전 샷 단위부터 다음 샷 단위의 정보를 담고 있는 벡터 v+(511-1, ... 511-p)를 생성하는 제1함수(수학식 6)와 다음 샷으로부터 이전 샷의 정보를 담고 있는 벡터 v-(512-1, ... 512-q)를 생성하는 제2함수(수학식 7)를 사용하여 대체 서브 영상(520-1, ... 520-1+m)을 구성할 수 있다.
영상 데이터 증식 장치는 제1 및 제2함수를 사용하여 샷 단위에 대한 v+와 v-를 생성할 수 있는데, 변형 시작 지점(i)의 샷부터 변형 시작 지점(i)에 길이(m)를 가산한 샷 단위에 대한 v+(511-1, ... 511-p)와 v-(512-1, ... 512-q)를 생성할 수 있다. 이렇게 생성한 v+(511-1, ... 511-p)와 v-(512-1, ... 512-q)는 가상의 i번째 샷인
Figure pat00013
을 생성하는 제3함수(수학식 8)(505)를 호출하는데 사용될 수 있다.
영상 데이터 증식 장치는 전술한 제3함수(505)를 사용하여, 변형 시작 지점(i)의 샷부터 변형 시작 지점(i)에 길이(m)를 가산한 샷 단위에 대응되는 대체 서브 영상(520-1, ... 520-1+m)을 구성할 수 있다. 대체 서브 영상(520-1, ... 520-1+m)의 구성에 사용되는 제1, 제2, 및 제3함수는 딥러닝 기술(RNN(Recurrent Neural Networks), LSTM(Long Short-Term Memory models), GANs(Generative adversarial networks) 등)을 이용하여 구성할 수 있다.
도 7은 본 개시의 일 실시예에 따른 영상 데이터 증식 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (9)

  1. 동영상 데이터 증식 장치에 있어서,
    원본 동영상을 구성하는 미리 정해진 단위의 서브 영상에 대한 내용 특성, 흐름 특성, 및 클래스 특성을 포함하는 특성정보를 확인하는 특성정보 확인부와,
    상기 서브 영상에 대한 특성정보에 기초하여, 적어도 하나의 상기 서브 영상을 포함하는 영상 구간을 선택하는 구간 확인부와,
    미리 저장된 복수의 서브 영상으로부터, 상기 선택된 영상 구간에 대응되는 적어도 하나의 대체 서브 영상을 추출하고, 상기 추출된 적어도 하나의 대체 서브 영상을 상기 선택된 영상 구간에 적용하여 증식된 동영상을 생성하는 동영상 증식부를 포함하는 것을 특징으로 하는 영상 데이터 증식 장치.
  2. 제1항에 있어서,
    상기 구간 확인부는,
    상기 클래스 특성을 기반으로, 상기 적어도 하나의 상기 서브 영상에 대한 변화량을 확인하고, 상기 변화량에 기초하여 상기 영상 구간을 선택하는 것을 특징으로 하는 영상 데이터 증식 장치.
  3. 제2항에 있어서,
    상기 구간 확인부는,
    상기 내용 특성 및 흐름 특성에 대한 평균값과 편차값을 확인하고, 상기 평균값과 편차값을 기반으로 하는 확률값을 확인하고, 상기 확률값과 상기 변화량 사이의 비를 고려하여 상기 영상 구간을 선택하는 것을 특징으로 하는 영상 데이터 증식 장치.
  4. 제2항에 있어서,
    상기 구간 확인부는,
    상기 클래스 특성을 기반으로, 상기 적어도 하나의 상기 서브 영상의 시작지점을 확인하고, 상기 시작지점으로부터의 길이정보를 확인하고, 상기 시작지점 및 길이정보를 기반으로 상기 영상 구간을 선택하는 것을 특징으로 하는 영상 데이터 증식 장치.
  5. 제1항에 있어서,
    상기 동영상 증식부는,
    상기 미리 저장된 복수의 서브 영상의 특성정보와 상기 선택된 영상 구간에 인접한 서브 영상의 특성정보를 고려하여, 상기 선택된 영상 구간에 대응되는 상기 적어도 하나의 대체 서브 영상을 추출하는 것을 특징으로 하는 영상 데이터 증식 장치.
  6. 제1항에 있어서,
    상기 증식된 동영상을 사용하여 학습을 수행하는 동영상 학습부를 더 포함하는 것을 특징으로 하는 영상 데이터 증식 장치.
  7. 제1항에 있어서,
    상기 동영상 학습부는,
    상기 증식된 동영상에 대응되는 원본 동영상의 위치정보 및 클래스 특성을 확인하고, 상기 원본 동영상의 위치정보 및 클래스 특성을 명시하는 것을 특징으로 하는 영상 데이터 증식 장치.
  8. 제7항에 있어서,
    상기 동영상 학습부는,
    상기 증식된 동영상에 에 포함된 서브 영상 단위의 클래스 특성을 확인하고,
    상기 서브 영상 단위에 대한 신뢰도를 확인하고,
    상기 서브 영상 단위에 대한 클래스 특성 및 신뢰도를 명시하는 것을 특징으로 하는 영상 데이터 증식 장치.
  9. 동영상 데이터 증식 방법에 있어서,
    원본 동영상을 구성하는 미리 정해진 단위의 서브 영상에 대한 내용 특성, 흐름 특성, 및 클래스 특성을 포함하는 특성정보를 확인하는 과정과,
    상기 서브 영상에 대한 특성정보에 기초하여, 적어도 하나의 상기 서브 영상을 포함하는 영상 구간을 선택하는 과정과,
    미리 저장된 복수의 서브 영상으로부터, 상기 선택된 영상 구간에 대응되는 적어도 하나의 대체 서브 영상을 추출하는 과정과,
    상기 추출된 적어도 하나의 대체 서브 영상을 상기 선택된 영상 구간에 적용하여 증식된 동영상을 생성하는 과정을 포함하는 것을 특징으로 하는 영상 데이터 증식 방법.
KR1020180139324A 2018-11-13 2018-11-13 영상 데이터 증식 장치 및 방법 KR102546631B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180139324A KR102546631B1 (ko) 2018-11-13 2018-11-13 영상 데이터 증식 장치 및 방법
US16/683,227 US20200151458A1 (en) 2018-11-13 2019-11-13 Apparatus and method for video data augmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180139324A KR102546631B1 (ko) 2018-11-13 2018-11-13 영상 데이터 증식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200057823A true KR20200057823A (ko) 2020-05-27
KR102546631B1 KR102546631B1 (ko) 2023-06-22

Family

ID=70552247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180139324A KR102546631B1 (ko) 2018-11-13 2018-11-13 영상 데이터 증식 장치 및 방법

Country Status (2)

Country Link
US (1) US20200151458A1 (ko)
KR (1) KR102546631B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647337B1 (ko) 2023-07-24 2024-03-13 주식회사 아임토리 데이터 증식 및 분석 장치 및 방법
KR20240057974A (ko) 2022-10-24 2024-05-03 한국전자통신연구원 합성 데이터 기반 시공간 예측 질의 처리 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11829443B2 (en) 2021-03-29 2023-11-28 International Business Machines Corporation Augmentation of video datasets for machine learning training
US11941080B2 (en) 2021-05-20 2024-03-26 Retrocausal, Inc. System and method for learning human activities from video demonstrations using video augmentation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000033244A (ko) * 1998-11-20 2000-06-15 정선종 동영상의 특성에 따른 선택적 영상 객체 분할 방법
KR101084719B1 (ko) * 2010-06-25 2011-11-22 (주)퓨처아이스 영상 처리와 지능 연산을 이용한 지능형 연기 검출 시스템
KR101602878B1 (ko) * 2014-09-26 2016-03-11 삼성전자주식회사 영상 처리 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000033244A (ko) * 1998-11-20 2000-06-15 정선종 동영상의 특성에 따른 선택적 영상 객체 분할 방법
KR101084719B1 (ko) * 2010-06-25 2011-11-22 (주)퓨처아이스 영상 처리와 지능 연산을 이용한 지능형 연기 검출 시스템
KR101602878B1 (ko) * 2014-09-26 2016-03-11 삼성전자주식회사 영상 처리 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240057974A (ko) 2022-10-24 2024-05-03 한국전자통신연구원 합성 데이터 기반 시공간 예측 질의 처리 방법 및 장치
KR102647337B1 (ko) 2023-07-24 2024-03-13 주식회사 아임토리 데이터 증식 및 분석 장치 및 방법

Also Published As

Publication number Publication date
KR102546631B1 (ko) 2023-06-22
US20200151458A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
KR102546631B1 (ko) 영상 데이터 증식 장치 및 방법
CN110188760B (zh) 一种图像处理模型训练方法、图像处理方法及电子设备
CN112884881B (zh) 三维人脸模型重建方法、装置、电子设备及存储介质
US20190236452A1 (en) Video deblurring using neural networks
CN111144483B (zh) 一种图像特征点过滤方法以及终端
US11080553B2 (en) Image search method and apparatus
CN112819944A (zh) 三维人体模型重建方法、装置、电子设备及存储介质
CN116363261B (zh) 图像编辑模型的训练方法、图像编辑方法和装置
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN113379627A (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN111968123A (zh) 一种半监督视频目标分割方法
CN110443874B (zh) 基于卷积神经网络的视点数据生成方法和装置
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
EP3958207A2 (en) Method and apparatus for video frame interpolation, and electronic device
CN111105375A (zh) 图像生成方法及其模型训练方法、装置及电子设备
CN113379877B (zh) 人脸视频生成方法、装置、电子设备及存储介质
CN114444653A (zh) 一种数据增广对深度学习模型性能影响评估方法及系统
US20230419561A1 (en) Three-dimensional model rendering method and apparatus, device, storage medium, and program product
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN116402914B (zh) 用于确定风格化图像生成模型的方法、装置及产品
CN114863450B (zh) 图像处理方法、装置、电子设备及存储介质
KR102468718B1 (ko) 심층신경망을 이용하여 3차원 디지털 트윈 공간을 제공하기 위한 장치 및 방법
CN111246246A (zh) 一种视频播放方法及装置
CN113052156B (zh) 光学字符识别方法、装置、电子设备和存储介质
KR20180053494A (ko) 모바일 환경에서의 증강현실 게임공간 구축방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant