KR102194303B1 - ３ｄ 데이터 프로세싱에 이용되는 ａｉ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법 - Google Patents

３ｄ 데이터 프로세싱에 이용되는 ａｉ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법 Download PDF

Info

Publication number
KR102194303B1
KR102194303B1 KR1020180119819A KR20180119819A KR102194303B1 KR 102194303 B1 KR102194303 B1 KR 102194303B1 KR 1020180119819 A KR1020180119819 A KR 1020180119819A KR 20180119819 A KR20180119819 A KR 20180119819A KR 102194303 B1 KR102194303 B1 KR 102194303B1
Authority
KR
South Korea
Prior art keywords
data
sub
processing
sequence
mhi
Prior art date
Application number
KR1020180119819A
Other languages
English (en)
Other versions
KR20200044189A (ko
Inventor
김현진
김동섭
송지원
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020180119819A priority Critical patent/KR102194303B1/ko
Publication of KR20200044189A publication Critical patent/KR20200044189A/ko
Application granted granted Critical
Publication of KR102194303B1 publication Critical patent/KR102194303B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 소수의 데이터로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하여 데이터의 활용성 및 출력 결과의 정밀도를 높일 수 있도록 한 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법에 관한 것으로, 제 1 개수의 3D 데이터를 입력받는 데이터 입력부;여러 개의 서브 데이터로 이루어진 하나의 데이터에서 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하는 서브 데이터 선택부;서브 데이터의 시퀀스를 생성하여 제 1 개수보다 많은 제 2 개수의 3D 데이터로 확장 생성하는 서브 데이터 시퀀스 생성부;상기 서브 데이터 시퀀스 생성부에서 생성된 다수의 3D 데이터를 MHI(motion history image) 과정을 거쳐 2D 데이터로 변환하는 MHI 2D 데이터 생성부;상기 MHI 2D 데이터 생성부의 2D 데이터를 입력으로 받고 필터를 적용하여 2D 데이터의 특징을 추출하여 특징맵(feature map) 추출을 하고, 대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하고 만들어진 특징들을 모두 연결하여 학습하는 기계학습 처리부;를 포함하는 것이다.

Description

３Ｄ 데이터 프로세싱에 이용되는 ＡＩ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법{System and Method for Preprocessing and Data Set Augmentation for training ＡＩwith ３Ｄ Data Processing}
본 발명은 기계학습을 위한 시퀀스 데이터 생성에 관한 것으로, 구체적으로 소수의 데이터로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하여 데이터의 활용성 및 출력 결과의 정밀도를 높일 수 있도록 한 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법에 관한 것이다.
머신 러닝(machine learning) 환경에서, 트레이닝 입력(training input)과 트레이닝 레이블(training label)을 포함하는 트레이닝 데이터가 학습 함수(learned function)를 결정하는 데에 사용될 수 있다.
학습 함수는 트레이닝 입력과 트레이닝 레이블 사이의 관계를 나타내는 데에 효과가 있을 수 있다.
학습 함수는 머신 러닝 시스템에 활용될 수 있다. 머신 러닝 시스템은 테스트 입력을 수신할 수 있고 학습 함수를 테스트 입력에 적용하여 테스트 레이블을 생산할 수 있다.
또한, 이미지 프로세싱에서 많은 애플리케이션들은 상이한 이미지 영역들에 대해 리소스들의 유동적인 할당을 요구한다.
예를 들어, 압축 파라미터들이 이미지의 특정 특성들에 기초하여 선택될 수 있거나, 또는 이미지 영역들은 전송 신뢰도와 효율성 사이에서 최적의 트레이드-오프를 달성하기 위해 유동적인 에러 정정의 대상이 될 수 있다.
특정 이미지 영역에 할당되어야 하는 리소스들의 양을 결정하기 위해 이미지 영역들의 관련 레벨들을 자동으로 식별하는 것은 중요하고 그리고 그러한 알고리즘을 실행하는 것은 또한 가치 있는 CPU 시간을 요구할 수 있다.
이는, 예를 들어, 많은 프로그램들이 모니터링 카메라와 같은 임베딩된 플랫폼에서 제한된 리소스들을 위해 경쟁하는 경우 문제들을 야기할 수 있다.
특히, 인공지능 학습을 위해서는 기존에 수집된 데이터와 이의 분류 결과를 가지고 학습을 수행하여야 한다.
이 경우 데이터 셋을 확보하기 위하여 공공기관, 인터넷 포탈과 같이 다수의 데이터 수집이 용이한 단체나 회사에서 데이터를 수집할 수 밖에 없다.
이는 데이터 수집의 비용이 많이 들고 기존에 많은 데이터가 수집된 상태가 아니거나 불가능한 경우 학습에 충분한 데이터의 개수를 확보할 수 없다.
또한, 시퀀스 데이터는 하나의 데이터 셋의 용량이 크고 그 형태가 다양하기 때문에 충분한 데이터를 확보하기 어렵다.
이러한 시퀀스 데이터로 대표적인 예는 동영상이다.
동영상의 경우 여러개의 이미지인 프레임(frame)이 연결되어 이를 순차적으로 빠르게 화면에 주사함으로써 사람은 동영상으로 인식하게 된다.
궁극적으로 프레임이라는 서브 데이터가 순서대로 연결된 시퀀스가 된다.
이러한 시퀀스 데이터는 수집, 저장 등이 쉽지않다는 특징이 있다.
따라서, 소수의 데이터으로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2018-0037593호 대한민국 공개특허 제10-2018-0035633호 대한민국 공개특허 제10-2017-0006281호
본 발명은 종래 기술의 기계학습을 위한 시퀀스 데이터 생성의 문제점을 해결하기 위한 것으로, 소수의 데이터로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하여 데이터의 활용성 및 출력 결과의 정밀도를 높일 수 있도록 한 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 시퀀스 데이터를 샘플링하여 다수의 독립적인 데이터를 생성 확보해서 소수의 시퀀스 데이터로부터 학습에 필요한 다수의 데이터를 확보할 수 있도록 한 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 하나의 데이터가 여러 개의 서브 데이터로 이루어져 있을 때, 이 중 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하여 서브 데이터의 시퀀스를 생성하여 생성된 서브 데이터 시퀀스 각각이 학습을 위한 데이터로 사용될 수 있도록 한 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 소수의 데이터로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하여 데이터 수집 비용을 줄이고, 많은 데이터가 수집된 상태가 아니거나 불가능한 경우에도 학습에 필요한 충분한 데이터의 개수를 확보할 수 있도록 한 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치는 제 1 개수의 3D 데이터를 입력받는 데이터 입력부;여러 개의 서브 데이터로 이루어진 하나의 데이터에서 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하는 서브 데이터 선택부;서브 데이터의 시퀀스를 생성하여 제 1 개수보다 많은 제 2 개수의 3D 데이터로 확장 생성하는 서브 데이터 시퀀스 생성부;상기 서브 데이터 시퀀스 생성부에서 생성된 다수의 3D 데이터를 MHI(motion history image) 과정을 거쳐 2D 데이터로 변환하는 MHI 2D 데이터 생성부;상기 MHI 2D 데이터 생성부의 2D 데이터를 입력으로 받고 필터를 적용하여 2D 데이터의 특징을 추출하여 특징맵(feature map) 추출을 하고, 대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하고 만들어진 특징들을 모두 연결하여 학습하는 기계학습 처리부;를 포함하는 것을 특징으로 한다.
여기서, 하나의 데이터가 여러 개의 서브 데이터로 이루어져 있을 때, 이 중 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하여 서브 데이터의 시퀀스를 생성하여 생성된 서브 데이터 시퀀스 각각이 학습을 위한 데이터로 사용될 수 있도록 하는 것을 특징으로 한다.
그리고 상기 서브 데이터 선택부에서 x,y,t로 이루어진 3D Data가 입력되면 t축의 크기가 k+1이고, 간격(range)가 n이고 이 중 하나의 데이터를 랜덤하게 선택하고, A는
Figure 112020029734078-pat00001
보다 작거나 같은 최대 정수라 하면, 서브 데이터 시퀀스 생성부에서
Figure 112020029734078-pat00002
개의 서브 데이터 시퀀스 생성을 하는 것을 특징으로 한다.
그리고 서브 데이터 시퀀스 생성부는,
Figure 112020029734078-pat00003
으로 이루어진 3D Data를
Figure 112020029734078-pat00004
과 같이 n개 간격마다 n개중의 하나를 랜덤 추출하여 새로운 3D Data들을 생성하는 것을 특징으로 한다.
그리고 생성된 서브 3D Data의 t축의 길이는 A이고, t에 따라 순차적인
Figure 112018099074518-pat00005
로 구성되는 것을 특징으로 한다.
그리고 생성된 데이터들을 t의 진행에 따라 (x,y)의 모션 그레디언트인 t의 변화에 따른 움직임 변화를 측정한 후, 이를 t의 진행 순서에 따라 픽셀의 밝기 정도의 정보를 이용하여 전후 관계 정보를 가지는 하나의 MHI 2D Data로 만드는 것을 특징으로 한다.
그리고 기계학습 처리부는, 2D Data를 입력으로 받고 필터를 적용하여 2D Data의 특징을 추출하여 특징맵을 만드는 C 레이어(Convolutional layer),C 레이어(Convolutional layer)에서 추출된 특징맵 내에서 대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하는 S 레이어(subsampling layer), C 레이어(Convolutional layer) 및 S 레이어(subsampling layer)를 통하여 만들어진 특징들을 모두 연결하여 학습시키는 FC 레이어(Fully Connected layer)를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 방법은 제 1 개수의 3D 데이터를 입력받는 데이터 입력 단계;여러 개의 서브 데이터로 이루어진 하나의 데이터에서 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하는 서브 데이터 선택 단계;서브 데이터의 시퀀스를 생성하여 제 1 개수보다 많은 제 2 개수의 3D 데이터로 확장 생성하는 서브 데이터 시퀀스 생성 단계;상기 서브 데이터 시퀀스 생성 단계에서 생성된 다수의 3D 데이터를 MHI(motion history image) 과정을 거쳐 2D 데이터로 변환하는 MHI 2D 데이터 생성 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 MHI 2D 데이터 생성 단계의 2D 데이터를 입력으로 받고 필터를 적용하여 2D 데이터의 특징을 추출하여 특징맵(feature map) 추출을 하고, 대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하고 만들어진 특징들을 모두 연결하여 학습하는 기계학습 처리 단계;를 더 포함하는 것을 특징으로 한다.
그리고 상기 서브 데이터 선택 단계에서 x,y,t로 이루어진 3D Data가 입력되면 t축의 크기가 k+1이고, 간격(range)가 n이고 이 중 하나의 데이터를 랜덤하게 선택하고, A는
Figure 112020029734078-pat00006
보다 작거나 같은 최대 정수라 하면, 서브 데이터 시퀀스 생성 단계에서
Figure 112020029734078-pat00007
개의 서브 데이터 시퀀스 생성을 하는 것을 특징으로 한다.
그리고 서브 데이터 시퀀스 생성 단계는,
Figure 112020029734078-pat00008
으로 이루어진 3D Data를
Figure 112020029734078-pat00009
과 같이 n개 간격마다 n개중의 하나를 랜덤 추출하여 새로운 3D Data들을 생성하는 것을 특징으로 한다.
그리고 생성된 서브 3D Data의 t축의 길이는 A이고, t에 따라 순차적인
Figure 112018099074518-pat00010
로 구성되는 것을 특징으로 한다.
그리고 생성된 데이터들을 t의 진행에 따라 (x,y)의 모션 그레디언트인 t의 변화에 따른 움직임 변화를 측정한 후, 이를 t의 진행 순서에 따라 픽셀의 밝기 정도의 정보를 이용하여 전후 관계 정보를 가지는 하나의 MHI 2D Data로 만드는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 소수의 데이터로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하여 데이터의 활용성 및 출력 결과의 정밀도를 높일 수 있도록 한다.
둘째, 시퀀스 데이터를 샘플링하여 다수의 독립적인 데이터를 생성 확보해서 소수의 시퀀스 데이터로부터 학습에 필요한 다수의 데이터를 효과적으로 확보할 수 있도록 한다.
셋째, 하나의 데이터가 여러 개의 서브 데이터로 이루어져 있을 때, 이 중 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하여 서브 데이터의 시퀀스를 생성하여 생성된 서브 데이터 시퀀스 각각이 학습을 위한 데이터로 사용될 수 있도록 한다.
넷째, 소수의 데이터로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하여 데이터 수집 비용을 줄이고, 많은 데이터가 수집된 상태가 아니거나 불가능한 경우에도 학습에 필요한 충분한 데이터의 개수를 확보할 수 있도록 한다.
도 1은 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리 과정을 나타낸 구성도
도 2는 본 발명에 데이터 셋 확장 생성과 전처리 과정을 적용한 일 예를 나타낸 구성도
도 3은 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치의 구성도
도 4는 본 발명에 따른 서브 데이터 시퀀스 생성의 일 예를 나타낸 구성도
도 5는 본 발명에 적용되는 인공 지능 학습의 일 예를 나타낸 구성도
도 6은 본 발명에 적용되는 인공 지능 학습 과정에서의 필터 적용의 일 예를 나타낸 구성도
도 7은 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리 과정을 나타낸 구성도이고, 도 2는 본 발명에 데이터 셋 확장 생성과 전처리 과정을 적용한 일 예를 나타낸 구성도이다.
본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법은 하나의 데이터가 여러 개의 서브 데이터로 이루어져 있을 때, 이 중 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하여 서브 데이터의 시퀀스를 생성하여 생성된 서브 데이터 시퀀스 각각이 학습을 위한 데이터로 사용될 수 있도록 한 것이다.
이와 같은 본 발명은 소수의 데이터로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하여 데이터 수집 비용을 줄이고, 많은 데이터가 수집된 상태가 아니거나 불가능한 경우에도 학습에 필요한 충분한 데이터의 개수를 확보할 수 있도록 한다.
이를 위하여 본 발명은 도 1에서와 같이 소수의 3D 데이터를 다수의 3D 데이터로 확장 생성하는 구성 및 생성된 다수의 3D 데이터를 MHI(motion history image) 과정을 거쳐 2D 데이터로 변환하는 구성을 포함할 수 있다.
MHI(Motion History Image) 처리는 도 2에서와 같이, 정적 이미지 템플릿으로 모션 위치와 경로의 진행을 표시한다.
MHI 픽셀 강도는 그 위치에서 모션 히스토리의 함수이며, 여기서 더 밝은 값은 보다 최근의 모션에 대응한다.
MHI로 모션 흐름과 동작을 예측할 수 있는 단일 이미지로 만들 수 있다.
본 발명은 동영상 및 기타 시퀀스 데이터에 있어서 서브 데이터들에서 적절한 데이터를 샘플링함으로써 또 다른 시퀀스 데이터를 생성하는 방식으로 다수의 데이터를 확보하는 것이다.
실제로 서브 데이터는 센서를 통해 입력된 단위 결과물이다.
원본 데이터내에서 포함하는 모든 서브 데이터는 지능의 영역에서 과다한 경우가 다수 존재한다. 또한 기계적인 센서의 경우 나노초 (nano second)의 영역에서 데이터를 수집하고 전달하게 되는데, 인간을 모방한 인공지능의 영역에서는 눈, 귀와 같은 센서는 시간에는 둔감한 상당한 오차를 가지고 있다.
본 발명은 부분적으로 적절한 샘플링을 통해 강제적으로 인간의 센서에 해당되는 오차를 단순하게 강제로 삽입하여 다수의 데이터를 확보하는 매우 단순한 직관적인 방법을 제시한다.
또한, 각 서브 데이터들 간의 관계를 분석하여 추가적인 데이터를 추가해 데이터를 가공하여 서브 데이터 시퀀스를 만드는 것도 가능하다.
이와 같은 본 발명은 충분한 Data set 물량을 확보하기 어려운 문제, 2D가 아닌 3D이므로 처리 속도가 느린 문제, 2D가 아닌 3D이므로 용량이 커서 보관하기가 어려운 문제들을 해결하기 위한 것이다.
이를 위한 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치는 다음과 같다.
도 3은 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치의 구성도이다.
본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치는 정해진 개수의 3D 데이터를 입력받는 데이터 입력부(30)와, 여러 개의 서브 데이터로 이루어진 하나의 데이터에서 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하는 서브 데이터 선택부(31)와, 서브 데이터의 시퀀스를 생성하여 다수의 3D 데이터로 확장 생성하는 서브 데이터 시퀀스 생성부(32)와, 서브 데이터 시퀀스 생성부(32)에서 생성된 다수의 3D 데이터를 MHI(motion history image) 과정을 거쳐 2D 데이터로 변환하는 MHI 2D 데이터 생성부(33)와, MHI 2D 데이터 생성부(33)의 2D 데이터를 입력으로 받고 필터를 적용하여 2D 데이터의 특징을 추출하여 특징맵(feature map) 추출을 하고, 특징맵(feature map) 내에서 대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하고 만들어진 특징들을 모두 연결하여 학습하는 기계학습 처리부(34)를 포함한다.
이와 같은 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치는 외부로부터 입수하거나 직접 생성한 소수의 x,y,t로 이루어진 3D Data를 1 out of N으로 추출하여 다수의 새로운 Data set들을 확보한다.
도 4는 본 발명에 따른 서브 데이터 시퀀스 생성의 일 예를 나타낸 구성도이다.
본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치는 도 4에서와 같이, 소수의 3D Data를 다수의 3D Data로 확장 생성하는 과정(가) 및, 생성된 다수의 3D Data를 MHI(motion history image) 과정을 거쳐 2D Data로 변환하는 과정(나)을 수행한다.
도 4는 서브 데이터 시퀀스 생성의 예이다.
하나의 데이터가 여러 개의 서브 데이터로 이루어져 있을 때, 이 중 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하여 서브 데이터의 시퀀스를 생성한다.
이렇게 생성된 서브 데이터 시퀀스 각각이 학습을 위한 데이터로 사용된다.
도 4에서와 같이, 3D 시퀀스를 이루는 2D 데이터의 개수가 k+1이면, t축의 크기는 k+1이 되고, 랜덤 추출을 위한 간격(range)이 n이라 하고, 이 중 하나의 데이터를 랜덤하게 선택한다면 위의 경우는
Figure 112020089455951-pat00011
개의 서브 데이터 시퀀스 생성이 가능하다.(단, A는
Figure 112020089455951-pat00012
보다 작거나 같은 최대 정수)
여기서, 분류대상이 되는 3D 데이터가 30장의 frame으로 구성되어 있다고 가정하면 k+1=30으로 k=29가 된다.
Figure 112020029734078-pat00013
으로 이루어진 3D Data를
Figure 112020029734078-pat00014
과 같이 n개 간격마다 n개중의 하나를 랜덤 추출하여 새로운 3D Data들을 생성한다.
여기서, ti는 랜덤 추출시의 추출 시작 시간을 의미한다.
이와 같이 새롭게 생성된 서브 3D Data의 t축의 길이는 A이고, t에 따라 순차적인
Figure 112018099074518-pat00015
로 구성된다.
이 데이터들을 t의 진행에 따라 (x,y)의 모션 그레디언트(t의 변화에 따른 움직임 변화)를 측정한 후, 이를 t의 진행 순서에 따라 픽셀의 밝기 정도의 정보를 이용하여 전후 관계 정보를 가지는 하나의 MHI 2D Data로 만든다.
이와 같이 하나의 MHI 2D Data로 만든 후에 필터를 적용하여 2D 데이터의 특징을 추출하여 특징맵(feature map) 추출을 하고, 특징맵(feature map) 내에서 대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하고 만들어진 특징들을 모두 연결하여 학습하는 기계학습 처리 단계를 수행한다.
도 5는 본 발명에 적용되는 인공 지능 학습의 일 예를 나타낸 구성도이다.
도 5에서 C는 Convolutional layer로, 2D Data를 입력으로 받고 filter를 적용하여 2D Data의 특징을 추출하여 feature map이 만들어지는 과정이다.
여러 filter들을 적용하여 여러 경우의 feature map들을 추출해낸다.
S는 subsampling layer로, C에서 추출된 feature map 내에서 대표적인 값들로 추려서 데이터 량을 줄인 feature map을 출력한다.
C, S를 통하여 만들어진 특징들을 모두 연결하여 학습시키는 과정이 FC(Fully Connected layer)이다.
도 6은 본 발명에 적용되는 인공 지능 학습 과정에서의 필터 적용의 일 예를 나타낸 구성도로, Convolutional layer에서 Input Data에 Filter를 적용하여 Input Data의 특징이 포함된 Feature map을 만드는 과정을 나타낸 것이다.
본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 방법을 구체적으로 설명하면 다음과 같다.
도 7은 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 방법을 나타낸 플로우 차트이다.
먼저, 데이터 입력부(30)를 통하여 소수의 3D 데이터를 입력받는다.(S701)
이어, 서브 데이터 선택부(31)에서 여러 개의 서브 데이터로 이루어진 하나의 데이터에서 정해진 범위 내에서 랜덤하게 서브 데이터를 선택한다.(S702)
그리고 서브 데이터 시퀀스 생성부(32)에서 서브 데이터의 시퀀스를 생성하여 다수의 3D Data로 확장 생성한다.(S703)
이어, MHI 2D 데이터 생성부(33)에서 생성된 다수의 3D Data를 MHI(motion history image)과정을 거쳐 2D Data로 변환한다.(S704)
그리고 기계학습 처리부(34)에서 2D Data를 입력으로 받고 filter를 적용하여 2D Data의 특징을 추출하여 feature map 추출한다.(S705)
추출된 feature map 내에서 대표적인 값들로 추려서 데이터 량을 줄인 feature map을 출력하고 만들어진 특징들을 모두 연결하여 학습한다.(S706)
이상에서 설명한 본 발명에 따른 본 발명에 따른 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법은 하나의 데이터가 여러 개의 서브 데이터로 이루어져 있을 때, 이 중 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하여 서브 데이터의 시퀀스를 생성하여 생성된 서브 데이터 시퀀스 각각이 학습을 위한 데이터로 사용될 수 있도록 한 것이다.
이를 통하여 본 발명은 소수의 데이터로부터 인공지능의 학습을 위한 다수의 데이터 셋을 생성하여 데이터 수집 비용을 줄이고, 많은 데이터가 수집된 상태가 아니거나 불가능한 경우에도 학습에 필요한 충분한 데이터의 개수를 확보할 수 있도록 한다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
30. 데이터 입력부 31. 서브 데이터 선택부
32. 서브 데이터 시퀀스 생성부 33. MHI 2D 데이터 생성부
34. 기계학습 처리부

Claims (13)

  1. 제 1 개수의 3D 데이터를 입력받는 데이터 입력부;
    여러 개의 서브 데이터로 이루어진 하나의 데이터에서 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하는 서브 데이터 선택부;
    서브 데이터의 시퀀스를 생성하여 제 1 개수보다 많은 제 2 개수의 3D 데이터로 확장 생성하는 서브 데이터 시퀀스 생성부;
    상기 서브 데이터 시퀀스 생성부에서 생성된 다수의 3D 데이터를 MHI(motion history image) 과정을 거쳐 2D 데이터로 변환하는 MHI 2D 데이터 생성부;
    상기 MHI 2D 데이터 생성부의 2D 데이터를 입력으로 받고 필터를 적용하여 2D 데이터의 특징을 추출하여 특징맵(feature map) 추출을 하고, 대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하고 만들어진 특징들을 모두 연결하여 학습하는 기계학습 처리부;를 포함하고,
    상기 서브 데이터 선택부에서 x,y,t로 이루어진 3D Data가 입력되면, 3D 시퀀스를 이루는 2D 데이터의 개수가 k+1이면, t축의 크기는 k+1이 되고, 랜덤 추출을 위한 간격(range)이 n이라 하고, 이 중 하나의 데이터를 랜덤하게 선택하고,
    A는
    Figure 112020089455951-pat00033
    보다 작거나 같은 최대 정수라 하면, 서브 데이터 시퀀스 생성부에서
    Figure 112020089455951-pat00034
    개의 서브 데이터 시퀀스 생성을 하는 것이고,
    서브 데이터 시퀀스 생성부는,
    Figure 112020089455951-pat00035
    으로 이루어진 3D Data를, 추출 시작 시간을 ti라 하면,
    Figure 112020089455951-pat00036
    과 같이 n개 간격마다 n개중의 하나를 랜덤 추출하여 새로운 3D Data들을 생성하는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치.
  2. 제 1 항에 있어서, 하나의 데이터가 여러 개의 서브 데이터로 이루어져 있을 때,
    이 중 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하여 서브 데이터의 시퀀스를 생성하여 생성된 서브 데이터 시퀀스 각각이 학습을 위한 데이터로 사용될 수 있도록 하는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 생성된 서브 3D Data의 t축의 길이는 A이고, t에 따라 순차적인
    Figure 112020029734078-pat00020
    로 구성되는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치.
  6. 제 5 항에 있어서, 생성된 데이터들을 t의 진행에 따라 (x,y)의 모션 그레디언트인 t의 변화에 따른 움직임 변화를 측정한 후,
    이를 t의 진행 순서에 따라 픽셀의 밝기 정도의 정보를 이용하여 전후 관계 정보를 가지는 하나의 MHI 2D Data로 만드는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치.
  7. 제 1 항에 있어서, 기계학습 처리부는,
    2D Data를 입력으로 받고 필터를 적용하여 2D Data의 특징을 추출하여 특징맵을 만드는 C 레이어(Convolutional layer),
    C 레이어(Convolutional layer)에서 추출된 특징맵 내에서 대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하는 S 레이어(subsampling layer),
    C 레이어(Convolutional layer) 및 S 레이어(subsampling layer)를 통하여 만들어진 특징들을 모두 연결하여 학습시키는 FC 레이어(Fully Connected layer)를 포함하는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치.
  8. 데이터 입력부에서 제 1 개수의 3D 데이터를 입력받는 데이터 입력 단계;
    서브 데이터 선택부에서 여러 개의 서브 데이터로 이루어진 하나의 데이터에서 정해진 범위 내에서 랜덤하게 서브 데이터를 선택하는 서브 데이터 선택 단계;
    서브 데이터 시퀀스 생성부에서 서브 데이터의 시퀀스를 생성하여 제 1 개수보다 많은 제 2 개수의 3D 데이터로 확장 생성하는 서브 데이터 시퀀스 생성 단계;
    MHI 2D 데이터 생성부에서 상기 서브 데이터 시퀀스 생성 단계에서 생성된 다수의 3D 데이터를 MHI(motion history image) 과정을 거쳐 2D 데이터로 변환하는 MHI 2D 데이터 생성 단계;를 포함하고,
    상기 서브 데이터 선택 단계에서 x,y,t로 이루어진 3D Data가 입력되면, 3D 시퀀스를 이루는 2D 데이터의 개수가 k+1이면, t축의 크기는 k+1이 되고, 랜덤 추출을 위한 간격(range)이 n이라 하고, 이 중 하나의 데이터를 랜덤하게 선택하고, A는
    Figure 112020089455951-pat00037
    보다 작거나 같은 최대 정수라 하면, 서브 데이터 시퀀스 생성 단계에서
    Figure 112020089455951-pat00038
    개의 서브 데이터 시퀀스 생성하고,
    상기 서브 데이터 시퀀스 생성 단계는,
    Figure 112020089455951-pat00039
    으로 이루어진 3D Data를, 추출 시작 시간을 ti라 하면,
    Figure 112020089455951-pat00040
    과 같이 n개 간격마다 n개중의 하나를 랜덤 추출하여 새로운 3D Data들을 생성하는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 방법.
  9. 제 8 항에 있어서, 기계학습 처리부에서 상기 MHI 2D 데이터 생성 단계의 2D 데이터를 입력으로 받고 필터를 적용하여 2D 데이터의 특징을 추출하여 특징맵(feature map) 추출을 하고,
    대표적인 값들을 추출하여 데이터 량을 줄인 특징맵을 출력하고 만들어진 특징들을 모두 연결하여 학습하는 기계학습 처리 단계;를 더 포함하는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 방법.
  10. 삭제
  11. 삭제
  12. 제 8 항에 있어서, 생성된 서브 3D Data의 t축의 길이는 A이고, t에 따라 순차적인
    Figure 112020029734078-pat00025
    로 구성되는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 방법.
  13. 제 12 항에 있어서, 생성된 데이터들을 t의 진행에 따라 (x,y)의 모션 그레디언트인 t의 변화에 따른 움직임 변화를 측정한 후,
    이를 t의 진행 순서에 따라 픽셀의 밝기 정도의 정보를 이용하여 전후 관계 정보를 가지는 하나의 MHI 2D Data로 만드는 것을 특징으로 하는 3D 데이터 프로세싱에 이용되는 AI 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 방법.
KR1020180119819A 2018-10-08 2018-10-08 ３ｄ 데이터 프로세싱에 이용되는 ａｉ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법 KR102194303B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180119819A KR102194303B1 (ko) 2018-10-08 2018-10-08 ３ｄ 데이터 프로세싱에 이용되는 ａｉ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180119819A KR102194303B1 (ko) 2018-10-08 2018-10-08 ３ｄ 데이터 프로세싱에 이용되는 ａｉ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200044189A KR20200044189A (ko) 2020-04-29
KR102194303B1 true KR102194303B1 (ko) 2020-12-22

Family

ID=70466909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180119819A KR102194303B1 (ko) 2018-10-08 2018-10-08 ３ｄ 데이터 프로세싱에 이용되는 ａｉ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102194303B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180121824A1 (en) 2014-09-26 2018-05-03 Dreamsquare Inc. Artificial Intelligence for Decision Making Based on Machine Learning of Human Decision Making Process
US20170011307A1 (en) 2015-07-07 2017-01-12 California Institute Of Technology Alternative training distribution based on density modification
EP3306528B1 (en) 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIN, Cheng-Bin; LI, Shengzhe; KIM, Hakil. "Real-time action detection in video surveillance using sub-action descriptor with multi-cnn." arXiv:1710.03383 (2017.10.10. 공개)*
ZHANG, Teng; ZHANG, Kailai; WU, Ji. "Data Independent Sequence Augmentation Method for Acoustic Scene Classification." In: Interspeech 2018, Hyderabad. p. 3289-3293. (2018.09.06. 공개)*

Also Published As

Publication number Publication date
KR20200044189A (ko) 2020-04-29

Similar Documents

Publication Publication Date Title
CN110796619B (zh) 一种图像处理模型训练方法、装置、电子设备及存储介质
CN110866509B (zh) 动作识别方法、装置、计算机存储介质和计算机设备
CN111512344A (zh) 使用增强用生成式对抗神经网络从cad数据生成合成深度图像
CN110570433B (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
CN108961220B (zh) 一种基于多层卷积特征融合的图像协同显著性检测方法
CN110852256B (zh) 时序动作提名的生成方法、装置、设备及存储介质
CN112149694B (zh) 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端
CN110599455A (zh) 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN108431824A (zh) 图像处理系统
CN111915618B (zh) 基于峰值响应增强的实例分割算法、计算设备
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
Diqi et al. Design and building Javanese script classification in the state museum of Sonobudoyo Yogyakarta
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
Papa et al. On the use of Stable Diffusion for creating realistic faces: from generation to detection
KR102194303B1 (ko) ３ｄ 데이터 프로세싱에 이용되는 ａｉ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN116167910B (zh) 文本编辑方法、装置、计算机设备及计算机可读存储介质
KR20190056873A (ko) 다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법
CN111741329A (zh) 一种视频处理方法、装置、设备及存储介质
CN116052053A (zh) 一种智慧文博下的监控图像准确度提升方法及装置
CN114005020B (zh) 一种基于M3-YOLOv5的指定移动目标检测方法
CN113962332A (zh) 基于自优化融合反馈的显著目标识别方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant