KR20200119042A - 댄스 평가 서비스를 제공하기 위한 방법 및 시스템 - Google Patents

댄스 평가 서비스를 제공하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20200119042A
KR20200119042A KR1020190041371A KR20190041371A KR20200119042A KR 20200119042 A KR20200119042 A KR 20200119042A KR 1020190041371 A KR1020190041371 A KR 1020190041371A KR 20190041371 A KR20190041371 A KR 20190041371A KR 20200119042 A KR20200119042 A KR 20200119042A
Authority
KR
South Korea
Prior art keywords
image
unit
dance
evaluation service
evaluation
Prior art date
Application number
KR1020190041371A
Other languages
English (en)
Inventor
김영근
지은숙
Original Assignee
유진기술 주식회사
지은숙
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유진기술 주식회사, 지은숙 filed Critical 유진기술 주식회사
Priority to KR1020190041371A priority Critical patent/KR20200119042A/ko
Publication of KR20200119042A publication Critical patent/KR20200119042A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Marketing (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따르면, 댄스 평가 서비스 제공 서버가 댄스 평가를 수행하기 위한 방법으로서, 사용자 단말기로부터 수신되는 영상에서, 분할 대상 단위 영상과 그 직전의 단위 영상 간 비교를 수행하는 단계; 상기 비교 결과, 일치도가 임계값 미만인 경우에만, 상기 분할 대상 단위 영상을 분할해낸 후 저장하는 단계; 및 분할 및 저장된 단위 영상만을 기준 영상과 비교하여 사용자 댄스에 대한 평가를 수행하는 단계를 포함하는, 댄스 평가 서비스 제공 방법이 제공된다.

Description

댄스 평가 서비스를 제공하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING DANCE EVALUATION SERVICE}
본 발명은 댄스 평가 서비스를 제공하기 위한 방법 및 시스템에 관한 것이다.
최근, K-POP 열풍, 진로 선택에 따른 오디션 및 활발한 SNS 활동 등의 이유로, 자신의 댄스에 대한 객관적인 평가를 받고자 하는 니즈가 커지고 있다.
그러나, 현재 존재하는 댄스 평가 방법은, 해당 영상을 공개 동영상 웹사이트에 업로드하면, 다수의 사용자가 해당 영상을 확인한 후 정성적 또는 정량적으로 평가하는 방법 뿐이다.
이에는 평가자들에 대한 자율적 의사가 필요하며, 해당 평가자들이 전문적 지식을 갖추지 않고 있다면, 각 사용자의 댄스에 대한 객관적 평가가 어려워진다는 문제점이 있다.
정답이 되는 댄스 영상과 사용자의 댄스 영상을 비교하여 시스템적으로 댄스 평가를 하는 방법을 생각해볼 수도 있지만, 무수히 많은 이미지로 이루어지는 영상을 상호 비교한다는 것은 매우 많은 알고리즘 처리를 필요로 하므로 간소화된 시스템에서 수행되기가 어렵다.
따라서, 적은 시스템 로드만으로도 영상 간 효율적 비교를 통해 사용자의 댄스에 대한 평가를 가능하게 하는 기술이 필요하다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것이다.
본 발명은 사용자로부터 전송된 영상에서, 평가에 필수적으로 필요한 영상만을 추출하여, 댄스 평가에 있어서의 효율성을 향상시키는 것을 목적으로 한다.
본 발명의 다른 목적은, 평가 대상으로 추출된 영상 내에서도 인접 단위 영상과의 비교를 통해 불필요한 단위 영상을 제거해냄으로써, 불필요한 기준 영상과의 비교 및 이에 따른 시스템 로드를 최소화시키는 것이다.
본 발명의 또 다른 목적은, 딥러닝 기반의 알고리즘을 통해 영상에 대한 학습을 하고, 이를 통해 특징값을 찾아냄으로써, 새로운 사용자 영상 또는 새로운 기준 영상에도 강건한 모델 생성을 가능해지게 하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 댄스 평가 서비스 제공 서버가 댄스 평가를 수행하기 위한 방법으로서, (a) 사용자 단말기로부터 수신되는 영상에서, 분할 대상 단위 영상과 그 직전의 단위 영상 간 비교를 수행하는 단계; (b) 상기 비교 결과, 일치도가 임계값 미만인 경우에만, 상기 분할 대상 단위 영상을 분할해낸 후 저장하는 단계; 및 (c) 분할 및 저장된 단위 영상만을 기준 영상과 비교하여 사용자 댄스에 대한 평가를 수행하는 단계를 포함하는, 댄스 평가 서비스 제공 방법이 제공된다.
상기 댄스 평가 서비스 제공 방법은, 상기 (a) 단계 이전에, 상기 사용자 단말기로부터 수신되는 영상에서, 영상 촬영에 사용되는 곡 정보를 기초로 평가의 대상이 되는 부분에 대한 영상만을 추출해내는 단계를 더 포함할 수 있다.
상기 곡 정보는 상기 사용자 단말기로부터 영상 수신 시 함께 수신되거나, 상기 영상을 분석함으로써 획득될 수 있다.
상기 댄스 평가 서비스 제공 방법은, 상기 (b) 단계 이후에, 분할 및 저장된 복수개의 단위 영상을 신경망 구조를 통해 학습함으로써, 각 단위 영상에 대한 특징값을 획득하는 단계를 더 포함할 수 있다.
상기 (c) 단계는, 상기 특징값에 기초하여 단위 영상별 기준 영상과의 일치도를 기초로 상기 평가를 수행하는 단계를 포함할 수 있다.
상기 (c) 단계는,
Figure pat00001
로 표현되는 수학식에 기초하여, 평가를 수행하는 단계를 포함하되, 상기 수학식에서 a, b, c 는 각각 상이한 신체 부위별 기준 영상과의 일치도, l, m, k 는 각각 신체 부위별 가중치, M은 사용자 단말기(100)로부터 수신된 영상 내에서 추출 및 분할된 단위 영상의 개수일 수 있다.
상기 특징값을 획득하는 단계는, 획득된 특징값을 다시 스택(stack) 또는 컨캣(concat)하는 과정을 반복하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 사용자 단말기로부터 영상을 수신하는 영상 수신부; 상기 영상에서 분할 대상 단위 영상과 그 직전의 단위 영상 간 비교를 수행하여, 일치도가 임계값 미만인 경우에만, 상기 분할 대상 단위 영상을 분할해낸 후 저장하는 영상 분할 부; 및 분할 및 저장된 단위 영상만을 기준 영상과 비교하여 사용자 댄스에 대한 평가를 수행하는 점수 산출부를, 댄스 평가 서비스 제공 시스템이 제공된다.
본 발명의 일 실시예에 따르면, 사용자로부터 전송된 영상에서, 평가에 필수적으로 필요한 영상만을 추출함으로써, 댄스 평가에 있어서의 효율성이 향상될 수 있다.
본 발명의 일 실시예에 따르면, 평가 대상으로 추출된 영상 내에서도 인접 단위 영상과의 비교를 통해 불필요한 단위 영상을 제거해냄으로써, 불필요한 기준 영상과의 비교 및 이에 따른 시스템 로드를 최소화시킬 수 있다.
본 발명의 일 실시예에 따르면, 딥러닝 기반의 알고리즘을 통해 영상에 대한 학습을 하고, 이를 통해 특징값을 찾아내기 때문에, 새로운 사용자 영상 또는 새로운 기준 영상에도 강건한 모델 생성이 가능해진다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 댄스 평가 서비스 제공 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 일 실시예에 따른 댄스 평가 서비스 제공 서버의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따라 영상 내에서 단위 영상을 분할하는 과정을 설명하기 위한 도면이다.
도 4는 일 실시예에 따라 영상 분할을 수행하는 과정을 설명하기 위한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 댄스 평가 시스템의 구성을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 사용자 댄스 평가 시스템은 복수개의 사용자 단말기(100) 및 댄스 평가 서비스 제공 서버(200)를 포함한다.
복수개의 사용자 단말기(100)는 영상 촬영 장치 및 음성 녹음 장치를 구비하여, 사용자가 취하는 동작, 대표적으로는 댄스 동작을 촬영 및 획득할 수 있다. 획득된 영상은 압축 및 암호화 과정을 거쳐 댄스 평가 서비스 제공 서버(200)로 전송될 수 있다. 그러나, 사용자 단말기(100)는 외부 장치에 의해 획득된 영상을 유/무선 방식으로 수신하여, 이를 댄스 평가 서비스 제공 서버(200)로 전송하는 중개 역할만을 수행할 수도 있다.
사용자 단말기(100)에는 댄스 평가 서비스 제공 서버(200)로 영상을 전송하고, 영상에 대한 평가 점수를 수신하기 위한 애플리케이션이 설치될 수 있다. 이러한 애플리케이션은 댄스 평가 서비스 제공 서버(200)로부터 다운로드되어 설치된 것일 수도 있으나, 이에 제한되지는 않는다.
사용자 단말기(100)는 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등과 같이 무선 통신망을 통하여 외부 서버와 연결될 수 있는 모든 종류의 통신 장치를 포함할 수 있으며, 이 외에도 데스크탑 PC, 태블릿 PC, 랩탑 PC, 셋탑 박스를 포함하는 IPTV와 같이, 네트워크를 통하여 외부 서버와 연결될 수 있는 통신 장치도 포함할 수 있다.
일 실시예에 따른 댄스 평가 서비스 제공 서버(200)는 사용자 단말기(100)로부터 수신된 영상을 프레임 단위로 분할한 후, 딥러닝 알고리즘 기반의 학습을 수행할 수행할 수 있다. 또한, 딥러닝 알고리즘에 기반하여 해당 영상에 대한 평가를 수행함으로써, 점수를 산출해낼 수도 있다.
도 2는 본 발명의 일 실시예에 따른 댄스 평가 서비스 제공 서버(200)의 구성을 나타내는 도면이다.
댄스 평가 서비스 제공 서버(200)는 영상 수신부(210), 영상 분할부(220), 영상 학습부(230) 및 점수 산출부(240)를 포함하여 구성될 수 있다.
영상 수신부(210), 영상 분할부(220), 영상 학습부(230) 및 점수 산출부(240)는 외부 장치와 통신할 수 있는 프로그램 모듈 또는 하드웨어들일 수 있다. 이러한 프로그램 모듈 또는 하드웨어는 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 댄스 평가 서비스 제공 서버(200) 또는 이와 통신 가능한 다른 장치에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 한편, 이러한 프로그램 모듈 또는 하드웨어들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
영상 수신부(210)는 사용자 단말기(100)로부터 전송된 영상을 수신할 수 있다. 사용자 단말기(100)로부터 암호화된 영상이 수신되는 경우, 이를 복호화하는 작업을 수행할 수 있다.
영상 분할부(220)는 영상 수신부(210)에 의해 수신된 영상에서 점수 산출 대상이 될 영상을 추출해내는 기능, 추출된 영상을 프레임 단위로 분할하는 기능을 수행한다.
이를 위해 영상 분할부(220)는 영상 추출부(221) 및 영상 분할부(222)를 포함할 수 있다.
영상 추출부(221)는 사용자 단말기(100)로부터 수신된 영상에서, 점수 산출의 대상이 될 부분만을 추출해내는 동작을 수행한다.
영상에 포함되는 사용자의 댄스에 대한 평가에 있어서, 영상의 처음부터 끝까지 전부다 평가의 대상이 된다면, 시스템 로드가 과도하게 사용될 것이기 때문에, 영상에서 특징이 되는 부분만을 추출할 필요가 있다.
예를 들면, 사용자 단말기(100)로부터 특정 가요에 대한 댄스 영상이 수신된 경우, 해당 영상에 포함된 음성 정보를 기초로, 특정 부분만을 영상에서 추출해낼 수 있다.
추출해내는 부분은 필수적으로 평가의 대상이 되어야만하는 동작이 시작되는 지점에서 해당 동작이 끝나는 시점까지의 영상일 수 있으며, 추출되는 영상은 복수개가 될 수 있다.
이를 위해, 댄스 평가 서비스 제공 서버(200)는 각 곡마다 추출되어야 하는 부분에 대한 정보(예를 들면, 해당 부분의 음성 정보, 추출이 필요한 부분의 시작 시점과 끝 시점에 대한 정보 등)를 데이터베이스로서 저장해둘 수 있으며, 사용자 단말기(100)는 영상을 댄스 평가 서비스 제공 서버(200)로 전송할 시, 사용자에 의해 입력되거나, 사용자 단말기(100)의 애플리케이션에 의해 자동 입력된 곡에 대한 정보를 함께 전송할 수 있다. 그러나, 해당 곡 정보는 댄스 평가 서비스 제공 서버(200)에 의해 자동 인식될 수도 있다.
영상 분할부(222)는 영상 추출부(221)에 의해 추출된 영상들을 N 프레임 단위(N은 1 이상의 정수)로 분할하는 동작을 수행한다.
영상을 분할하는 이유는, 영상에 포함된 사용자의 댄스 영상에서 추출되는 특징값과 기준 영상에서 추출되는 특징값을 프레임 단위로 비교하여, 사용자의 댄스를 점수로 평가하기 위함이다.
영상 분할부(222)는 추출된 영상들 중 분할 단위(예를 들면, 1 프레임)가 되는 최초 단위 영상을 분할해내고, 이후의 단위 영상에 대해서는 그 직전의 단위 영상과 비교한다.
도 3을 참조하여 예를 들어 설명하면, 단위 영상이 1프레임 영상인 경우, 제1 단위 영상(a)을 먼저 분할해내고, 그 직후의 제2 단위 영상(b)을 분할할지 여부를 제1 단위 영상(a)과의 비교를 통해 결정한다.
비교에는 공지의 이미지 비교 알고리즘이 활용될 수 있다. 예를 들면, 히스토그램 비교 방식, 템플릿 매칭 방식, 특정값 매칭 방식 등이 활용될 수 있으나, 이에 제한되는 것은 아니다.
비교 결과, 단위 영상 간 일치도가 임계값 이상인 경우에는, 상기 제2 단위 영상(b)을 삭제하고, 반대로 일치도가 임계값 미만인 경우에는 제2 단위 영상(b) 또한 분할 후 저장해둔다.
영상 추출 및 분할부(220)는 상기와 같이, 평가에 큰 영향을 미칠만한 영상들만 추출해내고, 추출된 영상 내에서도 불필요한 단위 영상, 즉, 직전 단위 영상과 동일 또는 유사한 영상은 삭제해냄으로써, 이후, 댄스 평가 동작을 실시함에 있어서 효율성을 향상시킨다.
영상 학습부(230)는 영상 추출 및 분할부(220)에 의해 추출 및 분할된 단위 영상을 신경망 구조를 통해 학습하는 기능을 수행한다.
본 발명은 머신러닝(Machine Learning)의 일종인 딥러닝(Deep Learning) 기술을 이용한 학습 방법을 채택하고 있는데, 머신러닝은 인공지능의 한 분야로 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이다.
머신러닝은 주위 환경을 학습 요소로서 사용하여 지식베이스를 개선한다. 개선된 지식베이스를 이용하여 특정 작업을 수행하게 되고, 작업을 수행하는 동안에 얻은 정보는 다시 학습 요소에 반영된다. 머신러닝은 이러한 방식으로 경험적 데이터를 기반으로 학습을 하고 예측을 수행하며 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다. 머신러닝의 알고리즘들은 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 사용한다.
머신러닝은 학습 전략에 따라 암기 학습과 새로운 지식을 직접적으로 부여하는 방식, 지도 학습 방식, 유추에 의한 학습 방식, 귀납적 학습 방식 등으로 분류될 수 있다.
암기 학습과 새로운 지식의 직접적인 부여 방식은 추론이나 지식의 변형이 필요치 않다. 이러한 학습 방식의 변형으로는, 외부 객체 또는 프로그램에 의해 구축 및 변경되는 학습방식, 주어진 사실이나 데이터에 대한 기억으로만 학습이 이루어지고 입력 정보 위한 추론이 없는 방식 등이 있다.
지도 학습 방식은 입력된 정보들을 내부적인 표현 기법으로 변환시키고, 새로운 정보는 기존의 원천적 지식과 통합하는 방식이다. 외부에서는 머신러닝 시스템의 지식을 증식시키기 위해 정보들을 적절히 조합하여 머신러닝 시스템에 부여한다. 여러 가지 지도를 실행 프로그램으로 변형하기 위해서는, 지도를 요구하는 요구 단계, 외부의 지도를 내부 표현으로 변환하는 해석 단계, 지도의 수준과 실행 요소가 적용하는 수준의 차이를 줄이기 위해 연산자로 변환하는 연산자화 단계, 기존의 지식과 새로운 지식을 합병하는 합병 단계, 새롭게 만들어진 지식을 평가하는 평가 단계를 거쳐야 한다.
유추 학습 방식은 이미 존재하는 정보를 변형 또는 증식시켜 새로운 사실을 습득하는 방식으로서, 지식의 변형 과정에서 원하는 새로운 개념이나 기술에 대한 강한 유사성을 도출하여 이것을 새로운 상황에서 유용하게 이용하는 방식이다. 이미 만들어진 컴퓨터 프로그램을 원래 설계된 것과는 다르게 운용되는 프로그램으로 변형하는 데 이용될 수 있을 것이다. 이는 암기 학습 또는 지도 학습 방식에 비해 좀 더 많은 추론이 요구되는 방식이다.
귀납적 학습 방식은 어떤 개념에 대해서 그 개념을 잘 설명하는 예(긍정적 예, positive example)와 개념을 부정하는 예(부정적 예, counterexample 또는 negative example)들의 집합이 주어질 때, 부정적인 예들의 성질을 배제하면서 모든 긍정적인 예들의 성질을 잘 묘사하는 일반적인 개념 묘사를 추론해낸다. 이 학습 방식은 인공 지능 분야에서 가장 많이 연구되어 왔던 방식이다. 추론에 드는 노력은 지도 학습 방식보다 훨씬 많으며, 외부에서 일반적인 개념이 주어지지 않는다면 유추에 의한 학습보다도 추론에 드는 노력이 더 많아지게 된다. 이 방식은, 외부에서 예를 제공하는 방식, 시스템 내에서 예를 생성하여 제공하는 방식, 외부 환경에서 예제들을 제공하는 방식, 긍정적인 예제들만 이용하는 방식, 긍정적/부정적 예제들을 모두 이용하는 방식 등으로 분류될 수 있다.
딥러닝은 신경망 기반의 복잡도가 큰 모델이다. 기존의 신경망 모델이 한 개의 은닉층을 사용한 비교적 단순한 모델인 것에 비해서 딥러닝 모델은 아주 많은 수의 은닉층을 사용한다. 인간 뇌의 시각피질에서도 V1, V2, V4 등 점차적으로 복잡한 정보를 추출하는 일련의 신경층들이 발견되며 딥러닝은 이러한 구조를 모사한 머신러닝 모델이다. 예를 들어, 하위층에서는 비교적 단순한 정보처리(예, 라인 탐지)를 수행하고, 상위층으로 갈수록 점차 복잡한 정보(예, 에지 검출과 물체 인식)를 추출하는 구조를 사용하는 것으로 알려져 있다.
딥러닝의 핵심 아이디어는 기존에는 복잡한 문제를 풀기 위해서 특징 추출과 패턴 분류의 두 단계로 분리하여 문제를 해결하던 방식을 하나의 단계로 통합하여 해결하는 자동화로 볼 수 있다. 기존에는 먼저 데이터 전처리 및 가공을 통해서 문제 해결에 적합한 특징들을 추출한 다음, 이를 학습 데이터로 하여 패턴 분류기를 훈련시키는 두 개의 단계로 문제를 해결하였다. 딥러닝 구조는 특징 추출을 위한 전처리 단계를 전체 학습 프로세스에 포함시킴으로써 가공되지 않은 원래 데이터를 직접 학습하도록 하는 통합된 문제해결 방식을 취한다. 딥러닝 구조는 특히 영상 데이터와 같이 차원수가 아주 크고 복잡한 데이터의 경우에 전처리 과정을 통해서 손실될 수도 있는 정보를 기계가 자동으로 추출해서 활용할 수 있다. 즉 기존의 전처리 방법이나 소위 feature engineering을 통해 배제되었던 해의 영역 조차도 탐색함으로써 더욱 유용한 정보를 추출하여 활용할 수 있다.
딥러닝 모델의 성과가 향상될 수 있었던 것은 대규모 데이터로 대규모 모델을 학습시킬 수 있었기 때문이며, 이에 크게 기여한 것이 본 발명이 채택한 콘볼루션 신경망이다.
콘볼루션 신경망은 영상과 같이 차원수가 아주 높은 데이터로부터 유용한 특징과 표현을 자동으로 추출하기 위해 컨볼루션 커널(convolution kernels)을 사용하고, 이를 통해 위치가 달라도 같은 파라미터값을 갖게 되며, 파라미터의 수를 줄임으로써 학습해야 하는 차원의 수를 줄일 수 있다. 콘볼루션 신경망 모델을 사용함으로써 과다학습이 방지되고 유용한 특징이 추출될 수 있다.
콘볼루션 신경망은 기본적으로 감독학습 문제를 풀도록 설계되어 있고, 입력데이터를 분류하기 위한 변별적 학습에 초점이 맞춰져 있다. 이는 패턴 분류 성능을 향상시킬 수 있고, 아주 많은 수의 뉴런층을 사용하여 복잡한 특징과 표현을 스스로 구축할 수 있다. 콘볼루션 신경망은 종래의 신경망이 가지는 은닉 계층(Hidden layer)의 완전 접속 계층(Fully connected layer)에 콘볼루션 계층(Convolution layer) 및 보조 표본화 계층(Sub-sampling layer)을 추가하고 구조적으로 세분화하여 성능을 향상시킨 신경망 이다. 이러한 콘볼루션 신경망을 활용한 딥러닝은 다른 기법들과 비교하여 매우 우수한 정확도를 보인다.
콘볼루션 신경망은 특징추출을 콘볼루션으로 하고, 분류 행위를 신경망으로 수행한다. 영상처리에서 콘볼루션이란 가중치를 갖는 마스크를 이용하여 영상처리를 하는 것을 의미하는데, 입력 영상에 마스크를 씌운 후, 입력 영상의 픽셀값과 마스크의 가중치를 각각 곱한 후 그 합을 출력 영상의 픽셀값으로 정하는 과정이다. 영상처리에 사용되는 마스크를 필터, 윈도우 또는 커널이라고 한다.
입력 영상에 윈도우를 씌운 후 이를 이동시켜가며 콘볼루션 값을 계산하는데, 이는 영상에서의 특징 추출이 목적이다. 특징 추출 시에는 여러장에 대한 추출을 수행하여 영상 왜곡 또는 변형 등과 같은 환경에 잘 적응하는 강인한 특징을 유도한다.
콘볼루션과 서브샘플링(subsampling)을 반복하면, 추출된 특징이 남게 되고, 신경망의 각 입력단자에 입력하면, 학습이 이루어지게 된다.
딥러닝에서 활용하는 콘볼루션 신경망은 이미지를 이해하고 이로부터 고수준의 추상화된 정보, 예를 들면, 특징값을 추출하거나 또는 새로운 질감을 가진 이미지를 생성하는 등 다양한 영상 처리, 컴퓨터 비전 분야에서 연구되고 있는 인공 신경망이다. 본 발명은 지도 학습 (Supervised Learning) 알고리즘을 채택하고, 콘볼루션 신경망을 구조화하여 신경망 내에 다시 하위 신경망을 넣는 방식을 적용하고 있다.
영상 학습부(230)는 상기의 콘볼루션 신경망을 통해 생성된 단위 영상 내에서의 특징값에 대해 다시 스택(stack) 또는 컨캣(concat)하는 과정을 반복 수행할 수 있다.
점수 산출부(240)는 영상 학습부(230)에 의해 획득된 특징값을 기준 영상에서의 특징값과 비교하는 기능을 수행한다.
댄스 평가 서비스 제공 서버(200)의 데이터베이스에는 각 곡별 댄스 영상에 있어서, 평가 기준이 되는 부분 영상으로서, 상기 영상 추출부(221)와 관련하여 설명한 방식과 동일한 방식으로 추출된 영상, 및 상기 영상 분할부(222)와 관련하여 설명한 방식과 동일한 방식으로 분할된 단위 영상이 저장되어 있을 수 있다.
점수 산출부(240)는 데이터베이스에 저장된 기준 단위 영상과 당해 사용자 단말기(100)로부터 수신된 영상에서 획득된 단위 영상을 1:1로 비교하여 일치 여부를 판단함으로써, 사용자 댄스에 대한 점수를 산출해낼 수 있다.
일 실시예에 따르면, 당해 획득된 단위 영상과 기준 단위 영상을 비교하되, 신체 부위별로 서로 다른 가중치를 적용시켜, 해당 단위 영상에 대한 점수를 산출할 수 있다. 또한, 각 단위 영상에도 중요도별로 가중치를 적용시켜, 사용자 댄스에 대한 총 점수를 산출해낼 수 있다.
예를 들어, 사용자 댄스에 대한 최종 점수는 다음의 수학식에 의해 산출될 수 있다.
Figure pat00002
상기 수학식 1에서 a, b, c 는 각각 머리, 팔, 다리 부위에 대한 기준 단위 영상과의 일치도, l, m, k 는 각각 머리, 팔, 다리에 대한 가중치, M은 사용자 단말기(100)로부터 수신된 영상 내에서 추출 및 분할된 단위 영상의 개수이다.
기준 단위 영상과의 일치도는 특징값에 대한 일치 정도, 인접한 특징점 간의 벡터에 대한 일치 정도 등을 참조로 결정될 수 있다.
이를 위해, 기준 단위 영상에서 특징값을 기초로 생성된 템플릿 또는 각 단위 영상별 인접한 특징점 간의 벡터에 대한 정보 등이 데이터베이스에 저장되어 있을 수 있다.
도 4는 본 발명의 일 실시예에 따라 댄스 평가 서비스 제공 서버(200)가 사용자 단말기로부터 수신된 영상에서 단위 영상을 분할해내는 과정을 설명하는 도면이다.
도 4를 참조하면, 먼저, 사용자 단말기(100)로부터 영상이 수신되면(S410), 해당 영상 촬영에 사용된 곡목을 판별한 후, 댄스 평가에 필요한 부분을 해당 영상에서 추출해낸다(S420).
곡목 정보는 사용자 단말기(100)로부터 직접 수신될 수도 있고, 댄스 평가 서비스 제공 서버(200) 내에서 해당 영상을 분석하여 획득해낼 수도 있다.
영상이 추출되면, 추출된 영상 내에서 인접 단위 영상 간 비교 절차가 수행된다(S430).
인접 단위 영상 간 비교를 통해 일치도가 임계값 이상인지 여부를 판단하고(S440), 일치도가 임계값 이상이라고 판단되면, 해당 단위 영상을 분할하여 저장한다(S450). 그리고, 일치도가 임계값 미만이라고 판단되면, 해당 단위 영상을 삭제하고(S460), 그 이후의 단위 영상을 상기 해당 단위 영상과 비교하는 동작을 수행하여, 단계 S430 내지 S450를 반복 수행한다.
본 발명의 실시예에 따르면, 딥러닝 기반의 알고리즘을 통해 영상에 대한 학습을 하고, 이를 통해 특징값을 찾아내기 때문에, 새로운 사용자 영상 또는 새로운 기준 영상에도 강건한 모델 생성이 가능해진다.
또한, 본 발명의 실시예에 따르면, 사용자로부터 전송된 댄스 영상에서 점수 산정에 필요한 특징적인 영상만 추출해내고, 이 영상 내에서도 불필요한 단위 영상들이 분할 과정에서 삭제되기 때문에, 기준 영상과의 비교 및 이를 통한 점수 산정 과정에 소요되는 시스템 로드가 감소될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 댄스 평가 서비스 제공 서버가 댄스 평가를 수행하기 위한 방법으로서,
    (a) 사용자 단말기로부터 수신되는 영상에서, 분할 대상 단위 영상과 그 직전의 단위 영상 간 비교를 수행하는 단계;
    (b) 상기 비교 결과, 일치도가 임계값 미만인 경우에만, 상기 분할 대상 단위 영상을 분할해낸 후 저장하는 단계; 및
    (c) 분할 및 저장된 단위 영상만을 기준 영상과 비교하여 사용자 댄스에 대한 평가를 수행하는 단계를 포함하는, 댄스 평가 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 (a) 단계 이전에,
    상기 사용자 단말기로부터 수신되는 영상에서, 영상 촬영에 사용되는 곡 정보를 기초로 평가의 대상이 되는 부분에 대한 영상만을 추출해내는 단계를 더 포함하는, 댄스 평가 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 곡 정보는 상기 사용자 단말기로부터 영상 수신 시 함께 수신되거나, 상기 영상을 분석함으로써 획득되는, 댄스 평가 서비스 제공 방법.
  4. 제1항에 있어서,
    상기 (b) 단계 이후에,
    분할 및 저장된 복수개의 단위 영상을 신경망 구조를 통해 학습함으로써, 각 단위 영상에 대한 특징값을 획득하는 단계를 더 포함하는, 댄스 평가 서비스 제공 방법.
  5. 제4항에 있어서,
    상기 (c) 단계는,
    상기 특징값에 기초하여 단위 영상별 기준 영상과의 일치도를 기초로 상기 평가를 수행하는 단계를 포함하는, 댄스 평가 서비스 제공 방법.
  6. 제5항에 있어서,
    상기 (c) 단계는,
    Figure pat00003
    로 표현되는 수학식에 기초하여, 평가를 수행하는 단계를 포함하되,
    상기 수학식에서 a, b, c 는 각각 상이한 신체 부위별 기준 영상과의 일치도, l, m, k 는 각각 신체 부위별 가중치, M은 사용자 단말기(100)로부터 수신된 영상 내에서 추출 및 분할된 단위 영상의 개수인, 댄스 평가 서비스 제공 방법.
  7. 제4항에 있어서,
    상기 특징값을 획득하는 단계는,
    획득된 특징값을 다시 스택(stack) 또는 컨캣(concat)하는 과정을 반복하는 단계를 더 포함하는, 댄스 평가 서비스 제공 방법.
  8. 사용자 단말기로부터 영상을 수신하는 영상 수신부;
    상기 영상에서 분할 대상 단위 영상과 그 직전의 단위 영상 간 비교를 수행하여, 일치도가 임계값 미만인 경우에만, 상기 분할 대상 단위 영상을 분할해낸 후 저장하는 영상 분할 부; 및
    분할 및 저장된 단위 영상만을 기준 영상과 비교하여 사용자 댄스에 대한 평가를 수행하는 점수 산출부를, 댄스 평가 서비스 제공 시스템.
KR1020190041371A 2019-04-09 2019-04-09 댄스 평가 서비스를 제공하기 위한 방법 및 시스템 KR20200119042A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190041371A KR20200119042A (ko) 2019-04-09 2019-04-09 댄스 평가 서비스를 제공하기 위한 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190041371A KR20200119042A (ko) 2019-04-09 2019-04-09 댄스 평가 서비스를 제공하기 위한 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20200119042A true KR20200119042A (ko) 2020-10-19

Family

ID=73042935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190041371A KR20200119042A (ko) 2019-04-09 2019-04-09 댄스 평가 서비스를 제공하기 위한 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20200119042A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381118A (zh) * 2020-10-23 2021-02-19 百色学院 一种大学舞蹈考试测评方法及装置
KR20230035770A (ko) * 2021-09-06 2023-03-14 주식회사 이엠피이모션캡쳐 인공지능 댄스 학습 제공 시스템 및 방법
KR102633788B1 (ko) * 2023-10-11 2024-02-02 정우진 뉴럴 네트워크를 이용하여 댄스 대회를 관리하는 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381118A (zh) * 2020-10-23 2021-02-19 百色学院 一种大学舞蹈考试测评方法及装置
CN112381118B (zh) * 2020-10-23 2024-05-17 百色学院 一种大学舞蹈考试测评方法及装置
KR20230035770A (ko) * 2021-09-06 2023-03-14 주식회사 이엠피이모션캡쳐 인공지능 댄스 학습 제공 시스템 및 방법
KR102633788B1 (ko) * 2023-10-11 2024-02-02 정우진 뉴럴 네트워크를 이용하여 댄스 대회를 관리하는 방법 및 시스템

Similar Documents

Publication Publication Date Title
CN108780519B (zh) 卷积神经网络的结构学习
CN110163258B (zh) 一种基于语义属性注意力重分配机制的零样本学习方法及系统
Passalis et al. Learning bag-of-features pooling for deep convolutional neural networks
CN110889672B (zh) 一种基于深度学习的学生打卡及上课状态的检测系统
Wan et al. Spontaneous facial expression recognition: A robust metric learning approach
KR102138657B1 (ko) 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN111428771B (zh) 视频场景分类方法、装置和计算机可读存储介质
KR20200119042A (ko) 댄스 평가 서비스를 제공하기 위한 방법 및 시스템
KR102370910B1 (ko) 딥러닝 기반 소수 샷 이미지 분류 장치 및 방법
Barra et al. Gait analysis for gender classification in forensics
KR20180123810A (ko) Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법
CN111783997B (zh) 一种数据处理方法、装置及设备
Barros et al. I only have eyes for you: The impact of masks on convolutional-based facial expression recognition
CN113536970A (zh) 一种视频分类模型的训练方法及相关装置
Bose et al. In-situ recognition of hand gesture via Enhanced Xception based single-stage deep convolutional neural network
KR102200496B1 (ko) 딥러닝을 이용한 이미지 인식 방법 및 서버
Subarna et al. Real time facial expression recognition based on deep convolutional spatial neural networks
Gnjatović et al. Putting humans back in the loop: a study in human-machine cooperative learning
Latha et al. Human action recognition using deep learning methods (CNN-LSTM) without sensors
CN114463810A (zh) 一种人脸识别模型的训练方法和装置
KR102340387B1 (ko) 뇌 연결성 학습 방법 및 이를 위한 시스템
Abidin et al. Wavelet based approach for facial expression recognition
Chowdhury et al. Face recognition from non-frontal images using deep neural network
Nguyen et al. Classification and temporal localization for human-human interactions

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application