KR20220145675A - 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치 - Google Patents

음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치 Download PDF

Info

Publication number
KR20220145675A
KR20220145675A KR1020210052548A KR20210052548A KR20220145675A KR 20220145675 A KR20220145675 A KR 20220145675A KR 1020210052548 A KR1020210052548 A KR 1020210052548A KR 20210052548 A KR20210052548 A KR 20210052548A KR 20220145675 A KR20220145675 A KR 20220145675A
Authority
KR
South Korea
Prior art keywords
ballet
accompaniment
motion
music
user
Prior art date
Application number
KR1020210052548A
Other languages
English (en)
Other versions
KR102490769B1 (ko
Inventor
김은수
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020210052548A priority Critical patent/KR102490769B1/ko
Publication of KR20220145675A publication Critical patent/KR20220145675A/ko
Application granted granted Critical
Publication of KR102490769B1 publication Critical patent/KR102490769B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Abstract

본 발명은 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치에 관한 것으로, 상기 방법은 발레수업동작에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축하는 단계; 상기 인공지능 모델을 통해 생성된 기초 발레반주를 재생하는 단계; 상기 기초 발레반주의 재생 동안 카메라를 통해 사용자의 움직임을 촬영하는 단계; 상기 움직임에 대응하는 사용자 발레동작을 결정하고 상기 인공지능 모델을 통해 상기 사용자 발레동작에 매칭되는 사용자 발레반주를 생성하는 단계; 및 상기 기초 발레반주 및 상기 사용자 발레반주 각각의 특징 정보들을 상호 비교하여 상기 움직임에 대한 평가 결과를 생성하는 단계;를 포함한다.

Description

음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치{METHOD AND DEVICE FOR EVALUATING BALLET MOVEMENTS BASED ON AI USING MUSICAL ELEMENTS}
본 발명은 발레동작 연습을 위한 평가 기술에 관한 것으로, 보다 상세하게는 발레 연습 과정에서 인공지능을 기초로 발레동작에 관한 평가를 생성하여 제공함으로써 사용자의 연습 효율을 개선시킬 수 있는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치에 관한 것이다.
최근 인공지능(artificial intelligence, AI) 기술이 첨단의 발전 양상을 보이면서 사회 전반의 관심을 모으고 있다. 인공지능은 “인간의 지능으로 할 수 있는 영역을 컴퓨터가 실행하는 컴퓨터 두뇌”, “지능적인 기계를 만드는 엔지니어링 및 과학”, “인간처럼 사고하고, 감지하고, 행동하도록 설계된 일련의 알고리즘 체계” 등 인간 고유의 지적 능력을 컴퓨터가 고도의 능력으로 수행하는 것을 의미한다.
바둑 프로그램 알파고(alphago)가 소프트웨어의 가능성을 보여준 이래 인공지능은 사회 전반에 큰 변화를 가져오고 있다. 인공지능은 증강현실, 사물인터넷, 에지 컴퓨팅, 디지털트윈 등과 함께 이용되어 고도로 통합된 스마트 공간을 제공할 것으로 소개되고 있으며 4차 산업혁명 시대를 주도할 핵심 신기술로 강조되고 있다. 또한, 인공지능은 정형화된 문제 해결을 넘어 산업 생태계를 진화시킬 수 있는 차세대 성장 동력으로 주목받고 있으며, IT, 의료, 농업, 에너지, 자동차, 로봇 뿐 아니라 유통, 금융, 법률, 교육, 부동산, 광고, 통신 등 지식 서비스 산업에도 활발히 적용되고 있다.
즉, 인공지능은 실생활의 편의나 수준 향상을 위한 산업 뿐 아니라 우리 사회의 문화 예술 전반에 이르기까지 모든 기존의 시스템들이 인공지능과 결합하여 새로운 시대를 준비하고 있는 것이다.
인공지능이 감당하기에는 무리가 있을 것으로 보였던 예술 창작에서조차 새로운 혁명적 결과물이 출범하면서 음악분야에서도 작곡, 연주, 모창 등 다양한 실험이 이루어지고 있다. 가장 구조가 명확한 클래식 음악에서 시작한 인공지능 음악은 현재 딥러닝 기술을 통해 복잡한 음악도 빠르게 즉시 생산해내고 있다. 그러나, 발레수업용 음악은 감상용 음악과는 차별화된 독자적인 특성을 가지고 있기 때문에 동작의 질감, 빠르기, 에너지 등 발레반주에 특화된 추가적인 정보 입력이 필요하다. 이는 발레연습의 효율에 절대적인 영향을 주며 음악적 예술성보다도 더 중요하게 다뤄지는 부분이다.
한국등록특허 제10-0658869호 (2006.12.11)
본 발명의 일 실시예는 발레반주의 특징들을 정의하여 학습 데이터를 생성하고 이를 학습하여 발레수업에 필요한 발레반주를 생성하는 인공지능을 구축할 수 있는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치를 제공하고자 한다.
본 발명의 일 실시예는 발레 연습 과정에서 인공지능을 기초로 발레동작에 관한 평가를 생성하여 제공함으로써 사용자의 연습 효율을 개선시킬 수 있는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치에 관한 것이다.
실시예들 중에서, 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법은 발레수업동작에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축하는 단계; 상기 인공지능 모델을 통해 생성된 기초 발레반주를 재생하는 단계; 상기 기초 발레반주의 재생 동안 카메라를 통해 사용자의 움직임을 촬영하는 단계; 상기 움직임에 대응하는 사용자 발레동작을 결정하고 상기 인공지능 모델을 통해 상기 사용자 발레동작에 매칭되는 사용자 발레반주를 생성하는 단계; 및 상기 기초 발레반주 및 상기 사용자 발레반주 각각의 특징 정보들을 상호 비교하여 상기 움직임에 대한 평가 결과를 생성하는 단계;를 포함한다.
상기 인공지능 모델을 구축하는 단계는 발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의하는 단계; 상기 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의하는 단계; 및 복수의 발레음악들로부터 상기 제1 및 제2 특징 정보들을 각각 추출하여 상기 발레수업음악에 관한 학습 데이터를 생성하는 단계;를 포함할 수 있다.
상기 복수의 발레음악 장르들을 정의하는 단계는 느리고 우아한 제1 음악, 보통 빠르기의 편안한 제2 음악, 보통 빠르기의 우아한 제3 음악, 조금 빠르고 가벼운 분위기의 제4 음악, 조금 빠르고 악센트가 있는 제5 음악, 조금 빠르고 악센트가 있는 제6 음악, 조금 빠르고 우아하면서 힘이 있는 제7 음악 및 빠르고 가벼운 제8 음악을 상기 복수의 발레음악 장르들로서 정의하는 단계를 포함할 수 있다.
상기 복수의 발레음악 특징들을 정의하는 단계는 형식, 프레이즈, 박, 템포, 다이내믹, 벨로시티, 반주형, 악센트 및 페달링을 상기 복수의 발레음악 특징들로서 정의하는 단계를 포함할 수 있다.
상기 인공지능 모델을 구축하는 단계는 상기 복수의 발레수업동작들에 매칭되는 발레수업 기본음악을 생성하는 제1 인공지능 모델을 구축하는 단계; 및 상기 발레수업 기본음악을 기초로 발레수업 응용음악을 생성하는 제2 인공지능 모델을 구축하는 단계;를 포함할 수 있다.
상기 기초 발레반주를 재생하는 단계는 상기 기초 발레반주를 피아노 단일 음색의 연주로 변환하여 재생하는 단계를 포함할 수 있다.
상기 사용자 발레반주를 생성하는 단계는 상기 사용자 발레동작으로부터 박, 템포, 다이내믹 및 벨로시티에 관한 동작 특징 정보를 결정하는 단계를 포함할 수 있다.
상기 평가 결과를 생성하는 단계는 상기 기초 발레반주의 특징 정보 중 상기 동작 특징 정보에 대응하는 특징 정보들만을 상기 동작 특징 정보와 상호 비교하여 상기 평가 결과를 생성하는 단계를 포함할 수 있다.
상기 평가 결과를 생성하는 단계는 상기 기초 발레반주의 특징 정보 중 상기 동작 특징 정보에 대응하는 특징 정보들을 상기 동작 특징 정보와 상호 비교하여 상기 움직임에 관한 제1 평가 결과를 생성하는 단계; 및 상기 기초 발레반주의 특징 정보 중 상기 동작 특징 정보에 대응하지 않는 특징 정보들을 상기 사용자 발레반주의 특징 정보와 상호 비교하여 상기 움직임에 관한 제2 평가 결과를 생성하는 단계;를 포함할 수 있다.
실시예들 중에서, 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 장치는 발레수업동작에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축하는 모델 구축부; 발레수업음악의 음악적 요소에 관한 특징 정보를 포함하는 기초 발레반주를 재생하는 발레반주 재생부; 상기 기초 발레반주의 재생 동안 카메라를 통해 사용자의 움직임을 촬영하는 움직임 촬영부; 상기 움직임에 대응하는 사용자 발레동작을 결정하고 인공지능 모델을 통해 상기 사용자 발레동작에 매칭되는 사용자 발레반주를 생성하는 움직임 분석부; 및 상기 기초 발레반주 및 상기 사용자 발레반주 각각의 특징 정보들을 상호 비교하여 상기 움직임에 대한 평가 결과를 생성하는 평가 수행부;를 포함한다.
상기 발레반주 재생부는 기 생성 또는 저장된 발레반주들 중에서 사용자 단말로부터 수신된 사용자의 선택에 따라 특정되는 발레반주를 상기 기초 발레반주로서 재생할 수 있다.
상기 장치는 상기 평가 결과를 사용자 단말에게 제공하는 평가 제공부; 및 상기 사용자 단말로부터 상기 평가 결과에 대한 피드백을 수신하는 피드백 수신부;를 더 포함할 수 있다.
상기 피드백 수신부는 상기 피드백이 상기 기초 발레반주의 특징 정보에 관한 수치값을 포함하는 경우 상기 특징 정보를 해당 수치값으로 갱신하여 상기 발레반주 재생부에 전달함으로써 상기 인공지능 모델에 의한 상기 기초 발레반주의 생성 동작을 갱신할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치는 발레반주의 특징들을 정의하여 학습 데이터를 생성하고 이를 학습하여 발레수업에 필요한 발레반주를 생성하는 인공지능을 구축할 수 있다.
본 발명의 일 실시예에 따른 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치는 발레 연습 과정에서 인공지능을 기초로 발레동작에 관한 평가를 생성하여 제공함으로써 사용자의 연습 효율을 개선시킬 수 있다.
도 1은 본 발명에 따른 발레동작 평가 시스템을 설명하는 도면이다.
도 2는 도 1의 발레동작 평가 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 발레동작 평가 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 음악 장르별 발레수업동작을 설명하는 도면이다.
도 6은 발레수업음악의 형식구조와 발레수업음악의 리듬분할에 의한 프레이즈 구성을 설명하는 도면이다.
도 7은 본 발명에 따른 발레수업동작의 특성들을 설명하는 도면이다.
도 8은 발레수업음악의 프레이즈 끝 음의 벨로시티와 서스테인을 설명하는 도면이다.
도 9는 본 발명에 따른 발레동작 평가 및 피드백 과정의 일 실시예를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 발레동작 평가 시스템을 설명하는 도면이다.
도 1을 참조하면, 발레동작 평가 시스템(100)은 사용자 단말(110), 발레동작 평가 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
사용자 단말(110)은 발레반주의 생성 및 재생을 요청하고 발레동작에 관한 평가 결과를 확인할 수 있는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(110)은 발레동작 평가 장치(130)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 발레동작 평가 장치(130)와 유선 또는 무선 네트워크를 통해 연결될 수 있으며, 복수의 사용자 단말(110)들은 발레동작 평가 장치(130)와 동시에 연결될 수 있다.
발레동작 평가 장치(130)는 인공지능(AI) 기반의 발레반주를 생성하고 재생할 수 있으며, 사용자의 움직임과 발레반주와의 매칭 정도에 따른 발레동작의 평가를 수행할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 발레동작 평가 장치(130)는 사용자 단말(110)과 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다. 발레동작 평가 장치(130)는 인공지능을 통해 사용자의 동작에 적합한 발레반주를 자동으로 생성할 수 있으며, 발레반주를 직접 재생하거나 또는 사용자 단말(110)에게 전달하여 사용자 단말(110)을 통해 재생되도록 할 수도 있다.
일 실시예에서, 발레동작 평가 장치(130)는 데이터의 전송 또는 처리를 위한 추가 기능을 제공하기 위하여 별도의 외부 시스템(도 1에 미도시함)과 연동하여 동작하도록 구현될 수도 있다. 예를 들어, 발레동작 평가 장치(130)는 다양한 음악을 제공하는 음악 제공 서버와 연동하여 동작할 수 있으며, 이를 통해 특정 음악에 대응하는 발레반주를 자동으로 생성하여 제공할 수도 있다.
또한, 발레동작 평가 장치(130)는 사용자 움직임 인식을 위한 카메라를 포함하여 구현될 수 있으며, 별도의 카메라 시스템과 연동하거나 사용자 움직임 인식 결과를 제공하는 동작 감지 시스템과 연동하여 동작할 수도 있다.
데이터베이스(150)는 발레동작 평가 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 발레반주의 음악적 특성들에 관한 정보를 저장할 수 있고, 발레반주 생성을 위한 인공지능 구축과 연관된 학습 데이터, 학습 알고리즘 및 학습 모델에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 발레동작 평가 장치(130)가 음악적 요소를 이용하여 AI 기반의 발레동작 평가 방법을 실행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
한편, 도 1에서, 데이터베이스(150)는 발레동작 평가 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 발레동작 평가 장치(130)의 논리적인 저장장치로서 발레동작 평가 장치(130)에 포함되어 구현될 수 있음은 물론이다. 또한, 사용자 단말(110)도 발레동작 평가 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 필요에 따라 사용자 단말(110)과 발레동작 평가 장치(130)가 통합된 형태로 구현될 수 있으며, 이에 대한 구체적인 설명은 생략한다.
도 2는 도 1의 발레동작 평가 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 발레동작 평가 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.
프로세서(210)는 발레동작 평가 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 발레동작 평가 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 발레동작 평가 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 발레동작 평가 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 발레동작 평가 장치(130)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.
도 3은 도 1의 발레동작 평가 장치의 기능적 구성을 설명하는 도면이이고, 도 5는 본 발명에 따른 음악 장르별 발레수업동작을 설명하는 도면이며, 도 6은 발레수업음악의 형식구조와 발레수업음악의 리듬분할에 의한 프레이즈 구성을 설명하는 도면이고, 도 7은 본 발명에 따른 발레수업동작의 특성들을 설명하는 도면이며, 도 8는 발레수업음악의 프레이즈 끝 음의 벨로시티와 서스테인을 설명하는 도면이다.
이하, 도 3 및 도 5 내지 8를 참조하여 본 발명에 따른 구성 및 동작을 구체적으로 설명한다.
도 3a을 참조하면, 발레동작 평가 장치(130)는 모델 구축부(310), 발레반주 재생부(320), 움직임 촬영부(330), 움직임 분석부(340), 평가 수행부(350), 평가 제공부(360), 피드백 수신부(370) 및 제어부(380)를 포함할 수 있다.
모델 구축부(310)는 발레수업동작에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축할 수 있다. 모델 구축부(310)는 반레반주가 가진 특유의 음악적 요소들을 특징 정보로 정의하여 인공지능 모델을 구축할 수 있다. 여기에서, 인공지능 모델은 발레수업동작에 관한 정보를 입력 데이터로 수신하여 해당 발레수업동작에 대응하는 발레수업음악을 출력 데이터로 생성할 수 있다.
예를 들어, 인공지능 모델이 출력하는 발레반주는 시간의 흐름에 따라 진행하는 음들의 집합으로 표현될 수 있다. 특히, 인공지능 음악은 10개의 손가락으로 혼자 모든 음을 연주해야 하는 피아니스트의 한계를 넘어 고난이도의 기교가 필요한 음악도 손쉽게 표현할 수 있다. 즉, 넓은 음역의 음들을 동시에 연주할 수 있고, 빠른 음계와 아르페지오도 정확하게 구현할 수 있는 점에서, 인공지능 모델이 출력하는 발레반주는 매우 다양하고 자유로운 형태로 생성될 수 있다.
한편, 모델 구축부(310)는 모델 구축 과정의 각 동작을 독립적으로 수행하는 복수의 모듈들을 포함하여 구현될 수 있다.
보다 구체적으로, 도 3b를 참조하면, 모델 구축부(310)는 장르 분류모듈(311), 특징 추출모듈(312), 학습 데이터 생성모듈(313) 및 모델 구축모듈(314)을 포함하여 구현될 수 있다.
장르 분류모듈(311)은 발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의할 수 있다. 발레수업은 느리고 유연한 동작부터 빠르고 힘찬 동작까지 다양한 동작들로 구성될 수 있다. 발레수업에서 모든 동작들은 좌우 동일하게 각 방향으로 반복 수행되기 때문에 프레이즈가 간결, 명료하며 동작 수행의 목표와 부합하는 고유의 감성을 가질 수 있다.
예를 들어, 파반느, 갈리아드, 미뉴에트, 알르망드, 사라방드, 왈츠, 타란텔라, 탱고 등 명료한 프레이즈와 독자적인 리듬형을 가지고 있는 춤곡은 발레음악 학습에 좋은 표본이 될 수 있다. 세레나데, 발라드, 녹턴 등 고유의 성격이 담긴 곡들 역시 발레의 감성을 표현하는데 효과적이며 오페라 아리아, 샹송, 칸초네, 리트 등 성악곡은 호흡 면에서 발레와 유사성을 지니고 있으므로 활용도가 높을 수 있다.
발레수업동작은 '유연하다', '우아하다', '절도 있다', '민첩하다', '가볍다', '힘차다’, '강하다', '크다' 등의 언어적 뉘앙스를 가질 수 있다. 이는 동작의 질감을 표현하는 데 매우 중요한 개념이며, 이러한 뉘앙스를 갖는 음악 장르와의 연결은 인공지능 모델 구축에 있어 매우 중요한 요소에 해당할 수 있다. 이에 따라, 장르 분류모듈(311)은 발레반주에 효과적인 음악 장르를 빠르기와 성격에 따라 총 8가지 범주로 분류할 수 있으며, 도 5와 같이 표현될 수 있다.
보다 구체적으로, 제1 음악은 느리고 우아한 음악 즉, 낭만시대 Chopin, F.이 주로 작곡했던 녹턴, 발라드, 환상곡, 느린 전주곡, 느린 간주곡, 그리고 고전시대에 성행했던 교향곡·협주곡·소나타의 느린 악장들, 성악곡 중 유연한 아리아들, 우아함을 담은 가곡들로서 이러한 음악들은 발레수업의 플리에, 바뜨망 데벨로페, 스트레치, 아다지오, 느린 왈츠의 분위기를 효과적으로 표현할 수 있다.
제2 음악은 보통 빠르기의 편안한 음악으로서 귀족들이 궁정에서 추었던 파반느, 알르망드, 미뉴에트, 가보트, 18세기 농민 무용 렌틀러, 그리고 하바네라와 편안한 분위기의 아프로큐반 재즈를 포함할 수 있다. 이러한 음악들은 발레동작 중 유연함과 절제미를 겸비한 바뜨망 탄듀, 바뜨망 퐁뒤, 롱드 쟘 앙 레르 등에 사용될 수 있다.
제3 음악은 넓은 음역대에서 진행되는 보통 빠르기의 우아한 음악으로서 싱커페이션이 가미된 19세기 비엔나 왈츠를 포함할 수 있다. 해당 음악은 발레수업에서 우아함 및 에너지의 흐름을 중요하게 다루는 롱드 쟘 아 떼르, 왈츠에 효과적으로 사용될 수 있다.
제4 음악은 조금 빠르고 가벼운 분위기의 음악 즉, 전고전시대의 갈랑양식 음악 중 빠른 패세지를 담은 음악들, 고전시대 가벼운 여흥을 묘사한 디베르티멘토, 세레나데, 카사치오네, 노투르노, 이탈리아 민속춤곡인 타란텔라, 20세기 초반의 폭스트롯, 보사노바 등으로서 이러한 음악들은 발레수업의 바뜨망 탄듀 줴떼, 쁘띠 바뜨망 등 가벼운 동작과 연결될 수 있다.
제5 음악은 조금 빠르면서 악센트를 포함하는 음악으로서 18세기 초반 만하임 악파의 곡들, 갤롭, 트레팍, 탱고, 차르다시 후반부 등 민속 춤곡들을 포함할 수 있다. 해당 음악들은 발레수업에서 민첩성과 악센트를 요구하는 바뜨망 후라뻬와 뚜르에 유용하게 사용될 수 있다.
제6 음악은 조금 빠르고 강한 에너지를 담고 있는 음악으로서 마주르카, 폴로네즈, 폴로, 행진곡, 힘찬 피날레 악장 등을 포함할 수 있다. 해당 음악들은 발레수업에서 크고 강한 에너지를 요구하는 그랑 바뜨망, 미디움 알레그로, 뚜르 앙 레르 등에 효과적으로 사용될 수 있다.
제7 음악은 조금 빠른 템포에 우아하고 힘찬 분위기를 담고 있는 빅 왈츠를 포함할 수 있다. 왈츠는 느린 왈츠부터 빠르고 화려한 왈츠까지 종류도 다양하며 발레에서 가장 활용도가 높은 춤곡이다. 힘찬 분위기의 빅 왈츠는 발레수업의 그랑 알레그로에 유용하게 사용될 수 있다.
끝으로 제8 음악은 빠르고 가벼운 에너지의 음악으로서 밝고 빠른 에튀드, 가벼운 폴카, 래그타임, 찰스턴, 딕시랜드 재즈 등을 포함할 수 있다. 해당 음악들은 민첩하고 가볍게 수행하는 쏘떼, 아쌈블레, 줴떼 등 쁘띠 알레그로에 효율적으로 사용될 수 있다.
특징 추출모듈(312)은 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의할 수 있다. 예를 들어, 복수의 발레음악 특징들은 형식, 프레이즈, 박, 템포, 다이내믹, 벨로시티, 반주형, 악센트 및 페달링을 포함할 수 있다. 여기에서는 특징 추출모듈(312)에 의해 정의되는 복수의 발레음악 특징들을 구체적으로 설명한다.
1) 카운트, 형식, 프레이즈
발레수업음악은 일반 음악과는 달리 '박자' 개념 보다는 '카운트'의 개념이 사용될 수 있다. 발레반주 악보에는 다양한 박자로 표기되어 있지만 복합박, 혼합박 등 혼돈을 줄 수 있기 때문에 베이스음이 나타날 때 마다 1카운트로 변환되어 계산될 수 있다. 발레음악동작과의 명확한 매치를 위하여 4박은 2박으로, 6박은 3박으로 최소화하여 2카운트 단위의 프레이즈로 진행할 수 있다. 즉, 4박 8마디는 2박 16카운트로 계산될 수 있다. 그러나, 빠른 6박은 일반 음악에서와 같이 3박씩 묶어 2박으로 계산될 수 있다.
또한, 발레수업은 2부 형식 또는 3부 형식으로 구성될 수 있으며, 반드시 전주를 포함하여 구성될 수 있다. 2부 형식은 앞쪽 방향부터 16카운트 수행한 직후 뒤쪽 방향부터 16카운트를 수행하는 32카운트 또는 두 배로 늘인 64카운트 길이로 구성될 수 있다. 3부 형식은 앞쪽 방향과 뒤쪽 방향을 수행한 후 옆쪽 방향의 동작을 덧붙이는 구조에 해당할 수 있다. 또한, 전주는 '3음', '2카운트', '4카운트'의 3가지 유형을 포함할 수 있으며, 그 외 신호의 역할로서 음을 추가하는 경우도 포함할 수 있다. 후주는 마무리 동작을 위해 필요한 경우 '1음’, '2음', '4카운트', '8카운트' 길이의 4가지 유형을 포함할 수 있다(도 6 그림 (a) 참조).
프레이즈는 카운트가 모여 형성될 수 있다. 1카운드, 2카운트, 4카운트, 8카운트 단위의 프레이즈는 다양한 조합으로 16카운트 즉, 1세트를 구성할 수 있다. 하나의 프레이즈는 중요 지점을 통과하거나 도착하는 순간 형성될 수 있다. 기본 골격을 이루는 4카운트는 1+1+1+1, 1+1+2, 1+2+1, 2+1+1, 2+2, 4의 6가지 조합으로 구성될 수 있다. 발레에서 프레이즈는 호흡과 연결되므로 최소단위의 프레이즈는 매우 중요한 개념에 해당할 수 있다. 감상용 음악은 4카운트를 어느 형태로 구성하든지 문제되지 않지만 발레수업음악에서는 같은 4카운트라도 2+2와 1+1+2는 완전히 다른 동작 구성을 의미할 수 있다.
최소단위의 프레이즈는 리듬분할과 연관될 수 있다. 동일한 카운트가 연속 진행할 때는 같은 리듬형을 반복 사용하는 것이 가장 효과적이다. 예를 들어, 1+1+2의 조합은 1카운트 리듬형을 2회 반복하고 2카운트 리듬형을 더해 표현될 수 있다(도 6 그림 (b) 참조).
2) 박, 템포, 다이내믹
감상용 음악과는 달리 모든 발레수업음악은 2박, 3박으로 최소화하여 입력될 수 있다. 1카운트 당 2박 혹은 3박으로 계산 단위를 통일시킨 후 각 동작의 빠르기에 맞는 BPM 수치를 입력할 수 있다. 음악의 템포는 정확한 발레동작 수행에 직접적인 영향을 주기 때문에 각 동작의 특성에 맞는 BPM 수치 입력은 매우 중요할 수 있다. 도 7은 발레수업동작 별로 박과 템포를 분석하여 정의한 것에 해당할 수 있다.
다이내믹은 동작의 규모, 에너지, 생동감을 표현해주는 요소에 해당할 수 있으며, 피아니시모에서 포르티시모까지 6개 정도의 단계로 구분될 수 있다. 예를 들어, 플리에, 바뜨망 탄듀, 바뜨망 탄듀 줴떼, 바뜨망 퐁뒤, 롱드 쟘 앙 레르, 쁘띠 알레그로는 메조피아노에서 메조포르테 사이의 다이내믹으로, 바뜨망 데벨로페, 아다지오, 왈츠는 메조피아노에서 포르테까지 폭넓게 연주될 수 있다. 롱드 쟘 아 떼르, 바뜨망 후라뻬, 쁘띠 바뜨망, 뚜르는 박진감을 표현하기 위해 메조 포르테에서 포르테까지의 다이내믹으로, 그랑 바뜨망, 미디움 알레그로, 그랑 알레그로는 화려함과 격렬한 에너지를 표현하기 위해 메조 포르테에서 포르티시모까지로 다이내믹의 폭을 확장하여 연주될 수 있다.
한편, 다이내믹은 컴퓨팅 장치에서 벨로시티 값으로 변환 입력될 수 있다. 이때, 벨로시티는 127단계로 세분화되어 있으므로 피아노는 55(±5), 메조피아노는 70(±5), 메조포르테는 85(±5), 포르테는 100(±5), 그리고 포르티시모는 115(±5)로 정의될 수 있으며, 각 동작의 특성에 따라 구체적인 수치가 조절될 수 있다. 예를 들어, 플리에, 바뜨망 탄듀, 바뜨망 탄듀 줴떼의 다이내믹 범위는 메조 피아노에서 메조 포르테까지로 동일하지만 벨로시티로 변환할 경우 플리에는 65~80, 바뜨망 탄듀는 70~85, 좀 더 경쾌한 분위기의 바뜨망 탄듀 줴떼는 75~90으로 조정될 수 있어 곡의 뉘앙스가 섬세하게 표현될 수 있다(도 7 참조).
3) 반주형, 악센트, 페달링
연주법은 발레수업의 효율성을 높이는데 매우 중요할 수 있다. 빠른 음계, 트릴, 장식음, 옥타브, 코드, 다양한 반주형, 페달링 등 동작의 뉘앙스를 표현할 수 있는 여러 가지 연주법들이 있지만, 이 중 발레수업에 가장 필요한 것은 동작의 특성과 관계된 '반주형', 신호 역할로서의 '악센트', 그리고 공간감, 흐름과 관계된 '페달링'에 해당할 수 있다.
발레수업에서 보편적으로 사용되는 반주형은 베이스와 코드로 구성된 '왈츠형’, '폴카형', 녹턴이나 발라드 등에서 부드러운 패세지를 표현할 때 사용되는 '아르페지오형', 절도 있는 동작 표현을 위한 '행진곡형', 내면의 에너지를 유도하는 '하바네라형', '탱고형'을 포함할 수 있다. '왈츠'와 '폴카' 반주형은 대부분의 동작에 사용될 수 있다. 예를 들어, 바뜨망 탄듀, 바뜨망 탄듀 줴떼, 롱드 쟘 아 떼르, 바뜨망 퐁뒤, 롱드 쟘 앙 레르, 그리고 알레그로 동작에 유용하게 사용될 수 있다. 즉, 베이스 음이 카운트의 시작을 알려주고 코드가 박을 안내해주기 때문에 연습의 효율을 높일 수 있다. 플리에, 바뜨망 데벨로페, 스트레치, 아다지오 등 부드럽고 유연한 동작은 '아르페지오' 반주형을 사용하여 음의 끊어짐을 방지할 수 있다. 해당 반주형은 하프의 글리산도처럼 코드를 분산하여 물 흐르듯 연주하는 기법으로서 근육을 신전하는데 긍정적인 효과를 줄 수 있다. '행진곡' 반주형은 매 박마다 코드로 진행하며 강한 느낌을 줄 수 있다. 이는 질서정연한 행진을 위해 타악기와 금관악기가 계속 박을 연주하는데서 기인한 것이다. 발레수업에서도 바뜨망 후라뻬, 그랑 바뜨망 등 힘차고 절도 있게 동작을 수행해야할 경우 '행진곡형'이 사용될 수 있다.
'하바네라', '탱고'는 내면의 에너지를 끌어 올릴 수 있는 싱커페이션 리듬이 특징적 요소에 해당할 수 있다. 해당 음악들은 동일한 리듬으로 구성되지만 곡의 흐름과 악센트에서 차이가 존재할 수 있다. 바뜨망 퐁뒤는 에너지가 계속 이어지도록 '하바네라' 반주형이 사용될 수 있으며, 바뜨망 탄듀, 바뜨망 후라뻬, 그랑 바뜨망은 강한 악센트가 가미된 '탱고' 반주형이 사용될 수 있다.
또한, 악센트는 발레리나에게 새로운 프레이즈가 시작됨을 알리는 준비 신호에 해당할 수 있다. 즉, '강조한다'는 의미를 지니며 음을 '길게' 또는 '강하게' 하여 특정 부분을 부각시킬 수 있다.
악센트는 '중요한 음을 강조할 때' 또는 '감정이 고조될 때' 나타나는데 일반적으로 악센트 표시가 없어도 선율의 방향이 바뀌는 곳이나 규칙적인 프레이즈의 첫 박은 강하게 연주하는 것이 통례이다. 그러나, 발레수업에서는 프레이즈가 시작되기 직전에 새로운 프레이즈를 준비하도록 유도하는 신호로서 악센트가 사용될 수 있다. 예를 들어, 짧은 전주에서는 마지막 음을 길게 늘여 강조하고 규칙적인 프레이즈에서는 마지막 박을 강하게 연주하여 준비 박으로서의 의미가 전달될 수 있다.
한편, 악센트를 수행할 때 페달을 함께 밟아 효과를 증대시킬 수 있다. 페달은 특정한 부분에 울림을 주는 장치로서 풍성한 공간감을 부여할 수 있다. 예를 들어, 악센트를 도와 강조할 때, 음을 자연스럽게 연결하여 곡에 부드러움을 줄 때 사용될 수 있다. 페달은 컴퓨팅 장치에서 서스테인(sustain)으로 변환되어 입력될 수 있다. 도 8에서, 4카운트 곡에 악센트와 페달을 적절하게 사용한 예시가 도시되어 있다. 구체적으로, 2카운트 단위의 프레이즈가 2회 반복되며 프레이즈의 끝 음에 벨로시티 값을 높이고 동시에 서스테인도 입력한 것을 확인할 수 있다.
발레수업에서는 반주 패턴이 반복되기 때문에 페달을 규칙적으로 사용하지만 선율선에서 특별한 진행이 있는 경우 선율의 흐름이 우선적으로 반영될 수 있다. 즉, 서스테인을 규칙적으로 입력하되 선율의 흐름에 따라 서스테인 시작 지점은 변경, 추가 또는 삭제될 수 있다.
학습 데이터 생성모듈(313)은 복수의 발레음악들로부터 제1 및 제2 특징 정보들을 각각 추출하여 발레수업음악에 관한 학습 데이터를 생성할 수 있다. 학습 데이터 생성모듈(313)은 다양한 발레음악들로 구성된 학습 모집단에 대해 각 발레음악에서 제1 및 제2 특징 정보들을 추출할 수 있다. 예를 들어, 하나의 발레음악에 대해 음악 장르가 부여될 수 있고 해당 음악 장르에 대응하는 발레수업동작이 부여될 수 있다.
또한, 해당 발레음악의 구성에 따라 형식, 프레이즈, 박, 템포, 다이내믹, 벨로시티, 반주형, 악센트 및 페달링에 대한 특징값이 부여될 수 있다. 학습 데이터 생성모듈(313)은 각 발레수업음악에 대해 부여된 복수의 특징 정보들을 기초로 인공지능 모델 구축을 위한 학습 데이터를 생성할 수 있다. 이때, 학습 데이터는 발레음악에 대한 제1 특징 정보 또는 제2 특징 정보로만 구성될 수 있고, 각 특징 정보들 중 일부만으로 구성될 수 있으며, 제1 및 제2 특징 정보들이 통합된 형태로 구성될 수도 있다.
모델 구축모듈(314)은 학습 데이터를 학습한 결과로서 복수의 발레수업동작들에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축할 수 있다. 모델 구축모듈(314)은 학습 모집단으로부터 생성된 학습 데이터를 기초로 소정의 매칭 정확도에 도달할 때까지 인공지능 모델에 관한 학습을 반복적으로 수행할 수 있다. 모델 구축모듈(314)은 기본적으로 하나의 인공지능 모델을 구축하는 동작을 수행할 수 있으나, 반드시 이에 한정되지 않고, 필요에 따라 하나 이상의 인공지능 모델을 독립적으로 구축할 수도 있다.
일 실시예에서, 모델 구축모듈(314)은 복수의 발레수업동작들에 매칭되는 발레수업 기본음악을 생성하는 제1 인공지능 모델 및 발레수업 기본음악을 기초로 발레수업 응용음악을 생성하는 제2 인공지능 모델을 독립적으로 구축할 수 있다. 제1 및 제2 인공지능 모델 각각은 상호 연결되어 동작함으로써 결과적으로 발레수업동작에 매칭되는 발레수업음악을 결정하는데 활용될 수 있다. 즉, 제1 인공지능 모델에 의해 출력되는 발레수업 기본음악은 제2 인공지능 모델의 입력으로 제공될 수 있으며, 제2 인공지능 모델에 의해 출력되는 발레수업 응용음악은 발레수업동작에 대응하는 발레수업음악으로 사용될 수 있다. 이때, 발레수업 기본음악은 발레반주의 기본 반주형에 해당할 수 있으며, 발레수업 응용음악은 발레반주의 응용 반주형에 해당할 수 있다.
한편, 모델 구축모듈(314)은 제1 인공지능 모델을 구축하기 위하여 발레수업음악의 제1 특징 정보로서 발레음악 장르에 관한 데이터를 학습 데이터로 사용할 수 있으며, 제2 인공지능 모델을 구축하기 위하여 발레수업음악의 제2 특징 정보로서 발레음악 특징에 관한 데이터를 학습 데이터로 사용할 수 있다.
발레반주 재생부(320)는 인공지능 모델을 통해 생성된 기초 발레반주를 재생할 수 있다. 여기에서, 기초 발레반주는 발레동작 연습을 위해 사용되는 발레수업음악으로서 사용자의 발레동작에 관한 평가를 위한 기준 정보로 사용될 수 있다. 발레반주 재생부(320)는 스피커를 통해 기초 발레반주를 재생할 수 있으며, 발레반주를 단일의 악기 또는 복수의 악기들로 연주하는 방식으로 실제 사운드를 재생할 수 있다. 발레반주 재생부(320)는 복수의 악기들 중 발레반주의 특징 정보에 대응하는 악기들을 선택할 수 있고, 해당 악기들의 사운드를 기초로 발레반주를 연주함으로써 발레반주를 재생할 수 있다.
일 실시예에서, 발레반주 재생부(320)는 발레반주를 피아노 단일 음색의 연주로 변환하여 재생할 수 있다. 발레수업음악의 경우 대부분 피아노 단일 음색으로 수행되는 점에서 발레반주 재생부(320)는 실제 발레수업음악과 동일한 형태로 발레반주를 실제감 있게 재생할 수 있다.
일 실시예에서, 발레반주 재생부(320)는 카메라의 촬영 영역 내에 복수의 사용자들이 검출된 경우 식별된 사용자의 수에 따라 스피커의 음량을 자동 조절할 수 있다. 움직임 촬영부(330)는 카메라를 통해 사용자의 움직임을 촬영하면서 카메라의 촬영 영역 내에 존재하는 사용자들을 식별하여 카운팅 동작을 수행할 수 있다. 발레반주 재생부(320)는 움직임 촬영부(330)에 의해 복수의 사용자들이 식별된 경우 사용자의 수에 따라 스피커의 음량을 자동으로 조절할 수 있다.
예를 들어, 발레반주 재생부(320)는 사용자들이 많을 경우 스피커 음량을 증가시킬 수 있다. 한편, 발레반주 재생부(320)는 사전 입력된 촬영 영역의 크기 정보와 스피커 출력 정보를 기초로 사용자의 수에 따른 스피커의 음량의 변화량을 산출할 수 있으며, 해당 변화량을 기초로 스피커의 음량을 조절할 수 있다.
일 실시예에서, 발레반주 재생부(320)는 발레동작 평가를 목적으로 발레반주를 재생하는 경우 기 설정된 스피커 음량으로 발레반주를 재생할 수 있다. 즉, 발레동작의 정확한 평가를 위해서는 사용자에게 제공되는 반레반주가 동일한 조건에서 재생될 필요가 있으며, 발레반주 재생부(320)는 사용자의 설정 또는 입력으로 발레반주의 재생이 발레동작 평가를 위한 목적임이 특정된 경우 기 설정된 스피커 음량에 따라 발레반주를 재생하도록 동작할 수 있다.
일 실시예에서, 발레반주 재생부(320)는 기본적으로 인공지능 모델에 의해 생성된 발레반주를 재생할 수 있지만, 반드시 이에 한정되지 않고, 기 생성 또는 저장된 발레반주들 중에서 사용자 단말(110)로부터 수신된 사용자의 선택에 따라 특정되는 발레반주를 기초 발레반주로서 재생할 수도 있다. 이를 위해, 발레반주 재생부(320)는 데이터베이스(150)에 저장된 발레반주를 활용할 수 있고, 필요에 따라 발레동작 평가 장치(130)와 연동하는 외부 시스템으로부터 발레반주를 수신할 수 있다.
움직임 촬영부(330)는 기초 발레반주의 재생 동안 카메라를 통해 사용자의 움직임을 촬영할 수 있다. 발레동작 평가 장치(130)는 사용자의 발레동작을 평가하기 위해 발레반주가 재생되는 동안 사용자의 움직임을 촬영할 수 있다. 이를 위해, 사용자의 움직임을 촬영하는 카메라는 소정의 촬영 영역이 고정될 수 있으며, 촬영 영역 뿐만 아니라 공정한 평가를 위해 촬영 방향, 촬영 해상도, 촬영 배율 등이 특정된 상태에서 동작할 수도 있다.
또한, 움직임 촬영부(330)는 사용자의 움직임을 촬영하는 카메라를 포함하여 구현되거나 또는 독립적인 카메라 장치와 연동하여 동작할 수 있다. 움직임 촬영부(330)는 유선 또는 무선으로 연결된 카메라를 통해 사용자의 움직임에 관한 영상을 촬영할 수 있다.
일 실시예에서, 움직임 촬영부(330)는 복수의 카메라들을 통해 사용자의 움직임을 촬영할 수도 있다. 움직임 촬영부(330)는 카메라에 의해 촬영된 영상 또는 사진을 수신하여 데이터베이스(150)에 저장할 수 있으며, 사용자 움직임을 분석하는 움직임 분석부(340) 또는 발레동작 평가를 수행하는 평가 수행부(350)에 직접 전달할 수도 있다.
일 실시예에서, 움직임 촬영부(330)는 카메라의 촬영 영역 내에 복수의 사용자들이 검출된 경우 복수의 사용자들 각각을 식별할 수 있고, 각 사용자 별로 움직임에 관한 영상을 생성하여 저장할 수 있다. 기본적으로 발레동작에 관한 평가를 사용자 개인에 대해 수행될 수 있으며, 필요에 따라 두명 이상의 사용자들이 함께 수행하는 단체 발레동작에 대한 평가가 수행될 수도 있다. 움직임 촬영부(330)는 단체 발레동작에 대한 평가의 경우 촬영 영상으로부터 촬영 영역 내에 존재하는 각 사용자들의 식별할 수 있고, 각 사용자 별로 독립된 움직임 영상을 추출할 수 있다.
움직임 분석부(340)는 움직임에 대응하는 사용자 발레동작을 결정하고 인공지능 모델을 통해 사용자 발레동작에 매칭되는 사용자 발레반주를 생성할 수 있다. 즉, 사용자 발레동작은 사용자의 움직임에 대응하는 발레동작에 해당할 수 있으며, 움직임 분석부(340)의 분석 결과에 따라 결정될 수 있다. 또한, 움직임 분석부(340)는 식별된 사용자 발레동작에 대응하는 사용자 발레반주를 생성할 수 있으며, 사용자 발레반주는 사용자의 발레동작을 평가하기 위한 평가 자료로 활용될 수 있다. 예를 들어, 발레동작 평가 장치(130)는 사용자의 발레동작에 대응되고 인공지능 모델에 의해 생성된 사용자 발레반주를 실제 재생된 기초 발레반주와 비교한 결과에 따라 구체적인 평가를 수행할 수 있다.
움직임 분석부(340)는 영상 분석 또는 이미지 분석 알고리즘을 활용하여 사용자의 움직임에 관한 영상 또는 이미지로부터 사용자 발레동작을 결정할 수 있다. 이를 위해, 움직임 분석부(340)는 사전에 정의된 발레동작들에 관한 데이터를 활용할 수 있다. 즉, 데이터베이스(150)에 저장된 발레동작에 관한 정보를 기초로 사용자의 움직임에 가장 유사한 발레동작을 사용자 발레동작으로 결정할 수 있다.
일 실시예에서, 움직임 분석부(340)는 사용자 발레동작에 관한 박, 템포, 다이내믹 및 벨로시티를 각각 결정할 수 있다. 움직임 분석부(340)는 사용자 움직임에 대응하는 사용자 발레동작을 결정함과 동시에 사용자 발레동작에 대한 특징 정보로서 박, 템포, 다이내믹 및 벨로시티에 관한 데이터를 구체적인 수치값으로 표현할 수 있다.
일 실시예에서, 움직임 분석부(340)는 복수의 발레수업동작들에 대해 정의된 특성 테이블을 기초로 사용자 발레동작에 관한 박, 템포, 다이내믹 및 벨로시티를 각각 결정할 수 있다. 예를 들어, 움직임 분석부(340)는 도 7과 같이 사전에 정의된 특성 테이블을 기초로 사용자 발레동작에 대응되는 박, 템포, 다이내믹 및 벨로시티를 각각 결정할 수 있다. 즉, 특성 테이블은 발레수업동작들 별로 박, 템포, 다이내믹 범위 및 벨로시티에 관한 특성을 구체적으로 정의한 매칭 테이블에 해당할 수 있다. 특성 테이블은 발레동작 평가 장치(130)에 의해 사전에 생성되어 데이터베이스(150)에 저장될 수 있다.
일 실시예에서, 움직임 분석부(340)는 복수의 사용자들의 단체 발레동작에 대한 평가가 수행되는 경우, 각 사용자의 움직임에 대응하는 사용자 발레동작을 독립적으로 결정할 수 있다. 또한, 움직임 분석부(340)는 각 사용자의 사용자 발레동작 사이의 상관관계를 분석할 수 있다. 예를 들어, 움직임 분석부(340)는 사용자 발레동작들 간의 유사도를 산출할 수 있으며, 해당 유사도 정보는 이후 평가 수행부(350)에 전달되어 단체 발레동작에 대한 평가에 사용될 수 있다.
평가 수행부(350)는 기초 발레반주 및 사용자 발레반주 각각의 특징 정보들을 상호 비교하여 움직임에 대한 평가 결과를 생성할 수 있다. 발레반주의 음악적 요소에 관해 정의된 특징 정보에는 카운트, 형식, 프레이즈, 박, 템포, 다이내믹 등이 포함될 수 있으며, 평가 수행부(350)는 특징 정보들 간의 상관관계를 개별로 분석하여 평가 결과를 생성할 수 있다. 또한, 평가 수행부(350)는 특징 정보들 각각 개별로 분석된 결과를 하나로 통합한 결과로서 기초 발레반주와 사용자 발레반주 간의 유사도를 산출할 수 있고, 이를 기초로 사용자의 움직임에 대한 평가 결과를 생성할 수도 있다.
또한, 평가 수행부(350)는 평가 결과를 구체적인 수치로 표현할 수 있다. 예를 들어, 평가 수행부(350)는 사용자의 움직임에 대한 통합된 평가 결과를 전체 평가 점수로 표현할 수 있다. 평가 수행부(350)는 전체 평가 점수와 함께 각 항목별 세부 평가 점수를 평가 결과로 생성할 수 있다. 평가 수행부(350)는 항목별 평가 결과를 기초로 종합 평가 결과를 생성하는 과정에서 표준화, 가중치부여, 종합화, 등급화 등을 적용할 수 있다.
평가 제공부(360)는 평가 결과를 사용자 단말(110)에게 제공할 수 있다. 평가 제공부(360)는 평가 수행부(350)에 의해 생성된 평가 결과를 다양한 그래픽 유저 인터페이스(GUI)를 통해 제공할 수 있다. 사용자 단말(110)은 이를 위한 전용 인터페이스를 제공할 수 있으며, 통계표, 그래프 등 다양한 표현 방법이 적용될 수 있다. 예를 들어, 사용자 단말(110)는 수치화된 평가 점수를 표현하기 위한 막대 그래프, 이전 평가와 비교를 위한 꺾은선 그래프, 항목별 평가 점수의 빈도, 분포 등 구조적 특징을 시각화하기 위한 그래프 등의 시각화 요소를 활용하여 평가 결과를 효과적으로 표현할 수 있다.
일 실시예에서, 평가 제공부(360)는 사용자의 움직임에 관한 평가 결과와 함께 사용자 수준에 적합한 발레반주의 추천을 제공할 수 있다. 예를 들어, 사용자의 평가 결과 특정 항목이 평균보다 낮은 것으로 판단된 경우 평가 제공부(360)는 해당 항목의 보완을 위해 사용 가능한 발레반주를 사용자에게 추천할 수 있다. 다른 실시예에서, 평가 제공부(360)는 사용자 수준에 적합한 발레반주를 추천하는 대신 해당 발레반주의 특징 정보를 구체적인 수치값으로 표현하여 사용자에게 제공할 수 있다. 사용자는 해당 수치값을 기초로 자신이 원하는 항목의 수치값을 변경하여 그에 대한 피드백을 입력할 수 있다.
피드백 수신부(370)는 사용자 단말(110)로부터 평가 결과에 대한 피드백을 수신할 수 있다. 이때, 피드백은 사용자가 평가 결과를 확인한 후 특정 항목에 대한 구체적인 수치값을 변경하는 사용자 입력을 포함할 수 있다. 즉, 피드백 수신부(370)는 사용자로부터 평가 항목들 중 특정 항목(음악적 요소)에 대한 구체적인 수치값을 피드백으로 수신할 수 있으며, 해당 피드백은 발레반주 재생부(320)에 제공되어 기초 발레반주를 갱신시킬 수 있다. 이를 통해, 사용자는 평가 결과 분석을 통해 발레반주의 난이도를 조절함으로써 연습의 효과를 높일 수 있다.
일 실시예에서, 피드백 수신부(370)는 평가 제공부(360)에 의해 사용자에게 제공된 추천 발레반주의 항목별 수치값들 중 특정 항목에 대한 수치값의 변경을 검출하여 사용자의 피드백으로 수신할 수 있다. 평가 제공부(360)는 평가 결과와 함께 소정의 발레반주를 추천할 수 있고, 추천된 발레반주의 특징 정보로서 구체적인 항목별 수치값을 제공할 수도 있다. 피드백 수신부(370)는 사용자에게 제공된 항목별 수치값 중 일부가 검출된 경우 해당 변경 정보를 피드백으로 수신할 수 있고, 발레반주 재생부(320)에 전달하여 사용자에게 제공되는 기초 발레반주를 갱신시킬 수 있다. 즉, 발레반주 재생부(320)에 전달된 피드백 정보는 인공지능 모델의 입력으로 제공된 결과, 인공지능 모델이 생성하는 기초 발레반주가 갱신될 수 있다.
제어부(380)는 발레동작 평가 장치(130)의 전체적인 동작을 제어하고, 모델 구축부(310), 발레반주 재생부(320), 움직임 촬영부(330), 움직임 분석부(340), 평가 수행부(350), 평가 제공부(360) 및 피드백 수신부(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법을 설명하는 순서도이다.
도 4를 참조하면, 발레동작 평가 장치(130)는 모델 구축부(310)를 통해 발레수업동작에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축할 수 있다(단계 S410). 인공지능 모델은 발레수업음악의 음악적 요소에 관한 특징 정보를 정의하고, 학습 모집단의 발레음악들에 대한 특징 정보를 학습한 결과로서 생성될 수 있다.
발레동작 평가 장치(130)는 발레반주 재생부(320)를 통해 기 구축된 인공지능 모델을 활용하여 기초 발레반주를 생성한 다음 스피커를 통해 재생할 수 있다(단계 S430). 인공지능 모델은 특정 발레수업동작에 대응하는 발레수업음악을 생성할 수 있으며, 발레반주 재생부(320)는 기초 발레반주 생성을 위해 발레수업동작에 관한 특징 정보를 인공지능 모델에 입력 데이터로 제공할 수 있다. 일 실시예에서, 발레반주 재생부(320)는 카메라를 통해 촬영된 사용자의 움직임을 분석하여 해당 움직임에 대응하는 발레반주를 자동으로 재생할 수도 있다.
발레동작 평가 장치(130)는 움직임 촬영부(330)를 통해 기초 발레반주의 재생 동안 카메라를 통해 사용자의 움직임을 촬영할 수 있으며, 움직임 분석부(340)를 통해 움직임에 대응하는 사용자 발레동작을 결정하고 인공지능 모델을 통해 사용자 발레동작에 매칭되는 사용자 발레반주를 생성할 수 있다(단계 S450).
발레동작 평가 장치(130)는 평가 수행부(350)를 통해 기초 발레반주 및 사용자 발레반주 각각의 특징 정보들을 상호 비교하여 움직임에 대한 평가 결과를 생성할 수 있다(단계 S470). 또한, 발레동작 평가 장치(130)는 평가 제공부(360)를 통해 사용자 단말(110)에게 평가 결과를 제공할 수 있다.
도 9는 본 발명에 따른 발레동작 평가 및 피드백 과정의 일 실시예를 설명하는 도면이다.
도 9를 참조하면, 발레동작 평가 장치(130)는 기초 발레반주를 재생하는 과정에서 사용자의 움직임을 카메라를 통해 촬영할 수 있다. 발레동작 평가 장치(130)는 카메라를 통해 촬영된 영상을 분석하여 사용자의 움직임이 기초 발레반주에 매칭되는 정도에 따라 평가 결과를 생성하고, 이를 사용자 단말(110)을 통해 사용자에게 제공할 수 있다.
이를 통해, 사용자는 자신의 발레동작에 대한 평가를 확인할 수 있으며, 항목별 구체화된 수치값을 통해 자신에게 부족한 부분이 무엇인지 명확히 인지할 수 있다. 또한, 사용자는 발레동작 평가 장치(130)가 제공하는 평가 결과에 대한 피드백을 입력할 수 있다.
예를 들어, 사용자는 자신이 부족한 평가 항목을 보완하기 위해 해당 항목의 수치값을 변경하는 피드백을 입력할 수 있고, 발레동작 평가 장치(130)는 해당 피드백을 수신하여 수치값의 변동에 따라 기초 발레반주의 갱신을 수행할 수 있다(S930). 만약 사용자가 별도의 피드백을 입력하지 않거나 또는 피드백을 입력한 경우라 하더라도 구체적인 수치값의 변동이 없는 경우라면 발레동작 평가 장치(130)는 기존의 기초 발래반주를 계속 재생하면서 사용자의 움직임에 관한 평가를 반복적으로 수행할 수 있다(S910).
본 발명에 따른 발레동작 평가 방법 및 장치는 인공지능 발레반주 구현을 위한 데이터 셋의 기초자료로서 발레수업음악의 특성을 분석 및 정의하고, 학습 데이터 모집단의 발레음악들에서 도출된 특징 정보를 학습하여 발레반주를 생성하는 인공지능 모델을 구축할 수 있다. 또한, 본 발명에 따른 발레동작 평가 및 장치는 사용자의 움직임을 인식하고 사용자의 발레동작에 적합한 발레반주를 실시간으로 제공하여 발레수업의 효율적인 진행을 지원하고 발레수업의 참여도 및 효율성을 극대화 시킬 수 있다.
또한, 본 발명에 따른 발레동작 평가 방법 및 장치는 발레반주에 대응하는 사용자의 움직임을 평가하고 그 결과를 제공할 수 있다. 즉, 발레반주와 사용자의 발레동작이 매칭하는 정도를 구체적인 수치값으로 표현하여 제공할 수 있고, 발레반주의 특징 정보인 음악적 요소 별로 세분화된 평가 결과를 제공할 수도 있다. 이를 통해, 사용자는 발레동작 연습 과정에서 스스로 음악성을 체크할 수 있고, 자신의 수준에 맞는 발레반주에 맞춰 발레동작을 연습함으로써 연습의 효율성을 높일 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 발레동작 평가 시스템
110: 사용자 단말 130: 발레동작 평가 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 모델 구축부
311: 장르 분류모듈 312: 특징 추출모듈
313: 학습 데이터 생성모듈 314: 모델 구축모듈
320: 발레반주 재생부
330: 움직임 촬영부 340: 움직임 분석부
350: 평가 수행부 360: 평가 제공부
370: 피드백 수신부 380: 제어부

Claims (13)

  1. 발레수업동작에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축하는 단계;
    상기 인공지능 모델을 통해 생성된 기초 발레반주를 재생하는 단계;
    상기 기초 발레반주의 재생 동안 카메라를 통해 사용자의 움직임을 촬영하는 단계;
    상기 움직임에 대응하는 사용자 발레동작을 결정하고 상기 인공지능 모델을 통해 상기 사용자 발레동작에 매칭되는 사용자 발레반주를 생성하는 단계; 및
    상기 기초 발레반주 및 상기 사용자 발레반주 각각의 특징 정보들을 상호 비교하여 상기 움직임에 대한 평가 결과를 생성하는 단계;를 포함하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법.
  2. 제1항에 있어서,
    상기 인공지능 모델을 구축하는 단계는
    발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의하는 단계;
    상기 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의하는 단계; 및
    복수의 발레음악들로부터 상기 제1 및 제2 특징 정보들을 각각 추출하여 상기 발레수업음악에 관한 학습 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법.
  3. 제2항에 있어서,
    상기 복수의 발레음악 장르들을 정의하는 단계는
    느리고 우아한 제1 음악, 보통 빠르기의 편안한 제2 음악, 보통 빠르기의 우아한 제3 음악, 조금 빠르고 가벼운 분위기의 제4 음악, 조금 빠르고 악센트가 있는 제5 음악, 조금 빠르고 악센트가 있는 제6 음악, 조금 빠르고 우아하면서 힘이 있는 제7 음악 및 빠르고 가벼운 제8 음악을 상기 복수의 발레음악 장르들로서 정의하는 단계를 포함하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법.
  4. 제2항에 있어서,
    상기 복수의 발레음악 특징들을 정의하는 단계는
    형식, 프레이즈, 박, 템포, 다이내믹, 벨로시티, 반주형, 악센트 및 페달링을 상기 복수의 발레음악 특징들로서 정의하는 단계를 포함하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법.
  5. 제1항에 있어서,
    상기 인공지능 모델을 구축하는 단계는
    상기 복수의 발레수업동작들에 매칭되는 발레수업 기본음악을 생성하는 제1 인공지능 모델을 구축하는 단계; 및
    상기 발레수업 기본음악을 기초로 발레수업 응용음악을 생성하는 제2 인공지능 모델을 구축하는 단계;를 포함하는 것을 특징으로 하는 인공지능 기반의 발레동작 평가 방법.
  6. 제1항에 있어서,
    상기 기초 발레반주를 재생하는 단계는
    상기 기초 발레반주를 피아노 단일 음색의 연주로 변환하여 재생하는 단계를 포함하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법.
  7. 제1항에 있어서,
    상기 사용자 발레반주를 생성하는 단계는
    상기 사용자 발레동작으로부터 박, 템포, 다이내믹 및 벨로시티에 관한 동작 특징 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법.
  8. 제7항에 있어서,
    상기 평가 결과를 생성하는 단계는
    상기 기초 발레반주의 특징 정보 중 상기 동작 특징 정보에 대응하는 특징 정보들만을 상기 동작 특징 정보와 상호 비교하여 상기 평가 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법.
  9. 제7항에 있어서,
    상기 평가 결과를 생성하는 단계는
    상기 기초 발레반주의 특징 정보 중 상기 동작 특징 정보에 대응하는 특징 정보들을 상기 동작 특징 정보와 상호 비교하여 상기 움직임에 관한 제1 평가 결과를 생성하는 단계; 및
    상기 기초 발레반주의 특징 정보 중 상기 동작 특징 정보에 대응하지 않는 특징 정보들을 상기 사용자 발레반주의 특징 정보와 상호 비교하여 상기 움직임에 관한 제2 평가 결과를 생성하는 단계;를 포함하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법.
  10. 발레수업동작에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축하는 모델 구축부;
    발레수업음악의 음악적 요소에 관한 특징 정보를 포함하는 기초 발레반주를 재생하는 발레반주 재생부;
    상기 기초 발레반주의 재생 동안 카메라를 통해 사용자의 움직임을 촬영하는 움직임 촬영부;
    상기 움직임에 대응하는 사용자 발레동작을 결정하고 인공지능 모델을 통해 상기 사용자 발레동작에 매칭되는 사용자 발레반주를 생성하는 움직임 분석부; 및
    상기 기초 발레반주 및 상기 사용자 발레반주 각각의 특징 정보들을 상호 비교하여 상기 움직임에 대한 평가 결과를 생성하는 평가 수행부;를 포함하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 장치.
  11. 제10항에 있어서, 상기 발레반주 재생부는
    기 생성 또는 저장된 발레반주들 중에서 사용자 단말로부터 수신된 사용자의 선택에 따라 특정되는 발레반주를 상기 기초 발레반주로서 재생하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 장치.
  12. 제10항에 있어서,
    상기 평가 결과를 사용자 단말에게 제공하는 평가 제공부; 및
    상기 사용자 단말로부터 상기 평가 결과에 대한 피드백을 수신하는 피드백 수신부;를 더 포함하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 장치.
  13. 제12항에 있어서, 상기 피드백 수신부는
    상기 피드백이 상기 기초 발레반주의 특징 정보에 관한 수치값을 포함하는 경우 상기 특징 정보를 해당 수치값으로 갱신하여 상기 발레반주 재생부에 전달함으로써 상기 인공지능 모델에 의한 상기 기초 발레반주의 생성 동작을 갱신하는 것을 특징으로 하는 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 장치.
KR1020210052548A 2021-04-22 2021-04-22 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치 KR102490769B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210052548A KR102490769B1 (ko) 2021-04-22 2021-04-22 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210052548A KR102490769B1 (ko) 2021-04-22 2021-04-22 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220145675A true KR20220145675A (ko) 2022-10-31
KR102490769B1 KR102490769B1 (ko) 2023-01-20

Family

ID=83802896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210052548A KR102490769B1 (ko) 2021-04-22 2021-04-22 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102490769B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040084061A (ko) * 2003-03-26 2004-10-06 삼성전자주식회사 음악 연주 및 편집을 위한 이동통신 단말기 및 방법
KR100658869B1 (ko) 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
JP2014501941A (ja) * 2011-04-28 2014-01-23 チジェンス カンパニー リミテッド クライアント端末機を用いた音楽コンテンツ製作システム
JP2016041142A (ja) * 2014-08-15 2016-03-31 国立研究開発法人産業技術総合研究所 ダンス動作データ作成システム及びダンス動作データ作成方法
WO2019124069A1 (ja) * 2017-12-19 2019-06-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR20190093770A (ko) * 2018-01-14 2019-08-12 (주)하이에듀케이 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040084061A (ko) * 2003-03-26 2004-10-06 삼성전자주식회사 음악 연주 및 편집을 위한 이동통신 단말기 및 방법
KR100658869B1 (ko) 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
JP2014501941A (ja) * 2011-04-28 2014-01-23 チジェンス カンパニー リミテッド クライアント端末機を用いた音楽コンテンツ製作システム
JP2016041142A (ja) * 2014-08-15 2016-03-31 国立研究開発法人産業技術総合研究所 ダンス動作データ作成システム及びダンス動作データ作成方法
WO2019124069A1 (ja) * 2017-12-19 2019-06-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR20190093770A (ko) * 2018-01-14 2019-08-12 (주)하이에듀케이 인공지능기반 맞춤형 음악추천에 따른 학습생성데이터의 다자간 모바일 컨텐츠 공유서비스 및 시스템

Also Published As

Publication number Publication date
KR102490769B1 (ko) 2023-01-20

Similar Documents

Publication Publication Date Title
US10657934B1 (en) Enhancements for musical composition applications
Lopez-Rincon et al. Algoritmic music composition based on artificial intelligence: A survey
Goto et al. Music interfaces based on automatic music signal analysis: new ways to create and listen to music
CN102760426B (zh) 使用表示乐音生成模式的演奏数据搜索
US11557269B2 (en) Information processing method
Lerch et al. An interdisciplinary review of music performance analysis
US10748515B2 (en) Enhanced real-time audio generation via cloud-based virtualized orchestra
Vogl et al. An intelligent drum machine for electronic dance music production and performance.
Canazza et al. Caro 2.0: an interactive system for expressive music rendering
Castro Performing structured improvisations with pre-trained deep learning models
JP2011164162A (ja) 演奏表情付け支援装置
Zhang et al. Ccom-huqin: an annotated multimodal chinese fiddle performance dataset
Jensen Evolutionary music composition: A quantitative approach
Zhang et al. Influence of musical elements on the perception of ‘Chinese style’in music
KR102490769B1 (ko) 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
Yamamoto et al. Livo: Sing a song with a vowel keyboard
JP2017058595A (ja) 自動アレンジ装置及びプログラム
KR102492981B1 (ko) 인공지능 기반 발레반주 생성 방법 및 장치
Milon-Flores et al. Generating audiovisual summaries from literary works using emotion analysis
Liu et al. Emotion Recognition of Violin Music based on Strings Music Theory for Mascot Robot System.
Wang et al. Deep Learning-based Visualization of Music Mood
JP6606844B2 (ja) ジャンル選択装置、ジャンル選択方法、プログラムおよび電子楽器
Dias Interfacing jazz: A study in computer-mediated jazz music creation and performance
US20240038205A1 (en) Systems, apparatuses, and/or methods for real-time adaptive music generation
WO2024075422A1 (ja) 楽曲生成方法、およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant