KR20220145671A

KR20220145671A - 인공지능 기반 발레반주 생성 방법 및 장치

Info

Publication number: KR20220145671A
Application number: KR1020210052537A
Authority: KR
Inventors: 김은수
Original assignee: 국민대학교산학협력단
Priority date: 2021-04-22
Filing date: 2021-04-22
Publication date: 2022-10-31
Also published as: KR102492981B1

Abstract

본 발명은 인공지능 기반 발레반주 생성 방법 및 장치에 관한 것으로, 상기 방법은 발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의하는 단계; 상기 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의하는 단계; 복수의 발레음악들로부터 상기 제1 및 제2 특징 정보들을 각각 추출하여 상기 발레수업음악에 관한 학습 데이터를 생성하는 단계; 및 상기 학습 데이터를 학습한 결과로서 상기 복수의 발레수업동작들에 매칭되는 상기 발레수업음악을 생성하는 인공지능 모델을 구축하는 단계;를 포함한다.

Description

인공지능 기반 발레반주 생성 방법 및 장치{AI-BASED BALLET ACCOMPANIMENT GENERATION METHOD AND DEVICE}

본 발명은 발레수업음악 생성 기술에 관한 것으로, 보다 상세하게는 발레반주의 특징들을 정의하여 학습 데이터를 생성하고 이를 학습하여 발레수업에 필요한 발레반주를 생성하는 인공지능을 구축할 수 있는 인공지능 기반 발레반주 생성 방법 및 장치에 관한 것이다.

최근 인공지능(artificial intelligence, AI) 기술이 첨단의 발전 양상을 보이면서 사회 전반의 관심을 모으고 있다. 인공지능은 “인간의 지능으로 할 수 있는 영역을 컴퓨터가 실행하는 컴퓨터 두뇌”, “지능적인 기계를 만드는 엔지니어링 및 과학”, “인간처럼 사고하고, 감지하고, 행동하도록 설계된 일련의 알고리즘 체계” 등 인간 고유의 지적 능력을 컴퓨터가 고도의 능력으로 수행하는 것을 의미한다.

바둑 프로그램 알파고(alphago)가 소프트웨어의 가능성을 보여준 이래 인공지능은 사회 전반에 큰 변화를 가져오고 있다. 인공지능은 증강현실, 사물인터넷, 에지 컴퓨팅, 디지털트윈 등과 함께 이용되어 고도로 통합된 스마트 공간을 제공할 것으로 소개되고 있으며 4차 산업혁명 시대를 주도할 핵심 신기술로 강조되고 있다. 또한, 인공지능은 정형화된 문제 해결을 넘어 산업 생태계를 진화시킬 수 있는 차세대 성장 동력으로 주목받고 있으며, IT, 의료, 농업, 에너지, 자동차, 로봇 뿐 아니라 유통, 금융, 법률, 교육, 부동산, 광고, 통신 등 지식 서비스 산업에도 활발히 적용되고 있다.

즉, 인공지능은 실생활의 편의나 수준 향상을 위한 산업 뿐 아니라 우리 사회의 문화 예술 전반에 이르기까지 모든 기존의 시스템들이 인공지능과 결합하여 새로운 시대를 준비하고 있는 것이다.

인공지능이 감당하기에는 무리가 있을 것으로 보였던 예술 창작에서조차 새로운 혁명적 결과물이 출범하면서 음악분야에서도 작곡, 연주, 모창 등 다양한 실험이 이루어지고 있다. 가장 구조가 명확한 클래식 음악에서 시작한 인공지능 음악은 현재 딥러닝 기술을 통해 복잡한 음악도 빠르게 즉시 생산해내고 있다. 그러나, 발레수업용 음악은 감상용 음악과는 차별화된 독자적인 특성을 가지고 있기 때문에 동작의 질감, 빠르기, 에너지 등 발레반주에 특화된 추가적인 정보 입력이 필요하다. 이는 발레연습의 효율에 절대적인 영향을 주며 음악적 예술성보다도 더 중요하게 다뤄지는 부분이다.

한국등록특허 제10-0658869호 (2006.12.11)

본 발명의 일 실시예는 발레반주의 특징들을 정의하여 학습 데이터를 생성하고 이를 학습하여 발레수업에 필요한 발레반주를 생성하는 인공지능을 구축할 수 있는 인공지능 기반 발레반주 생성 방법 및 장치를 제공하고자 한다.

본 발명의 일 실시예는 사용자의 움직임을 인식하고 인공지능 모델을 이용하여 사용자의 발레동작에 적합한 발레반주를 실시간으로 제공하여 발레수업의 효율적인 진행을 지원하고 발레수업의 참여도 및 효율성을 극대화 시킬 수 있는 인공지능 기반 발레반주 생성 방법 및 장치를 제공하고자 한다.

실시예들 중에서, 인공지능 기반 발레반주 생성 방법은 발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의하는 단계; 상기 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의하는 단계; 복수의 발레음악들로부터 상기 제1 및 제2 특징 정보들을 각각 추출하여 상기 발레수업음악에 관한 학습 데이터를 생성하는 단계; 및 상기 학습 데이터를 학습한 결과로서 상기 복수의 발레수업동작들에 매칭되는 상기 발레수업음악을 생성하는 인공지능 모델을 구축하는 단계;를 포함한다.

상기 복수의 발레음악 장르들을 정의하는 단계는 느리고 우아한 제1 음악, 보통 빠르기의 편안한 제2 음악, 보통 빠르기의 우아한 제3 음악, 조금 빠르고 가벼운 분위기의 제4 음악, 조금 빠르고 악센트가 있는 제5 음악, 조금 빠르고 악센트가 있는 제6 음악, 조금 빠르고 우아하면서 힘이 있는 제7 음악 및 빠르고 가벼운 제8 음악을 상기 복수의 발레음악 장르들로서 정의하는 단계를 포함할 수 있다.

상기 복수의 발레음악 특징들을 정의하는 단계는 형식, 프레이즈, 박, 템포, 다이내믹, 벨로시티, 반주형, 악센트 및 페달링을 상기 복수의 발레음악 특징들로서 정의하는 단계를 포함할 수 있다.

상기 인공지능 모델을 구축하는 단계는 상기 복수의 발레수업동작들에 매칭되는 발레수업 기본음악을 생성하는 제1 인공지능 모델을 구축하는 단계; 및 상기 발레수업 기본음악을 기초로 발레수업 응용음악을 생성하는 제2 인공지능 모델을 구축하는 단계;를 포함할 수 있다.

상기 인공지능 기반 발레반주 생성 방법은 카메라를 통해 사용자의 움직임을 촬영하는 단계; 상기 움직임에 대응하는 사용자 발레동작을 결정하는 단계; 상기 인공지능 모델을 기초로 상기 사용자 발레동작에 매칭되는 발레반주를 생성하는 단계; 및 스피커를 통해 상기 발레반주를 재생하는 단계;를 더 포함할 수 있다.

상기 사용자 발레동작을 결정하는 단계는 상기 사용자 발레동작에 관한 박, 템포, 다이내믹 및 벨로시티를 각각 결정하는 단계를 포함할 수 있다.

상기 사용자의 움직임을 촬영하는 단계는 상기 카메라의 촬영 영역 내에 복수의 사용자들이 검출된 경우 상기 복수의 사용자들 중 교사 및 학생들을 식별하는 단계를 포함할 수 있다.

상기 사용자 발레동작을 결정하는 단계는 상기 교사의 움직임에 대응하는 제1 사용자 발레동작을 결정하는 단계; 상기 학생들의 움직임에 대응하는 제2 사용자 발레동작을 결정하는 단계; 및 상기 제1 및 제2 사용자 발레동작들 간의 유사도에 따라 상기 제1 및 제2 사용자 발레동작들 중 어느 하나를 결정하는 단계;를 포함할 수 있다.

상기 발레반주를 재생하는 단계는 상기 발레반주를 피아노 단일 음색의 연주로 변환하여 재생하는 단계를 포함할 수 있다.

실시예들 중에서, 인공지능 기반 발레반주 생성 장치는 발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의하는 장르 분류부; 상기 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의하는 특징 추출부; 복수의 발레음악들로부터 상기 제1 및 제2 특징 정보들을 각각 추출하여 상기 발레수업음악에 관한 학습 데이터를 생성하는 학습 데이터 생성부; 및 상기 학습 데이터를 학습한 결과로서 상기 복수의 발레수업동작들에 매칭되는 상기 발레수업음악을 생성하는 인공지능 모델을 구축하는 모델 구축부;를 포함한다.

상기 모델 구축부는 상기 복수의 발레수업동작들에 매칭되는 발레수업 기본음악을 생성하는 제1 인공지능 모델 및 상기 발레수업 기본음악을 기초로 발레수업 응용음악을 생성하는 제2 인공지능 모델을 독립적으로 구축할 수 있다.

상기 인공지능 기반 발레반주 생성 장치는 카메라를 통해 사용자의 움직임을 촬영하는 움직임 촬영부; 상기 움직임에 대응하는 사용자 발레동작을 결정하는 움직임 분석부; 상기 인공지능 모델을 기초로 상기 사용자 발레동작에 매칭되는 발레반주를 생성하는 발레반주 생성부; 및 스피커를 통해 상기 발레반주를 재생하는 발레반주 재생부;를 더 포함할 수 있다.

상기 움직임 분석부는 상기 복수의 발레수업동작들에 대해 정의된 특성 테이블을 기초로 상기 사용자 발레동작에 관한 박, 템포, 다이내믹 및 벨로시티를 각각 결정할 수 있다.

상기 반레반주 재생부는 상기 카메라의 촬영 영역 내에 복수의 사용자들이 검출된 경우 식별된 사용자의 수에 따라 상기 스피커의 음량을 자동 조절할 수 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명의 일 실시예에 따른 인공지능 기반 발레반주 생성 방법 및 장치는 발레반주의 특징들을 정의하여 학습 데이터를 생성하고 이를 학습하여 발레수업에 필요한 발레반주를 생성하는 인공지능을 구축할 수 있다.

본 발명의 일 실시예에 따른 인공지능 기반 발레반주 생성 방법 및 장치는 사용자의 움직임을 인식하고 인공지능 모델을 이용하여 사용자의 발레동작에 적합한 발레반주를 실시간으로 제공하여 발레수업의 효율적인 진행을 지원하고 발레수업의 참여도 및 효율성을 극대화 시킬 수 있다.

도 1은 본 발명에 따른 발레반주 생성 시스템을 설명하는 도면이다.
도 2는 도 1의 발레반주 생성 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 발레반주 생성 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 인공지능 기반 발레반주 생성 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 음악 장르별 발레수업동작을 설명하는 도면이다.
도 6은 발레수업음악의 형식구조와 발레수업음악의 리듬분할에 의한 프레이즈 구성을 설명하는 도면이다.
도 7은 본 발명에 따른 발레수업동작의 특성들을 설명하는 도면이다.
도 8은 발레수업음악의 프레이즈 끝 음의 벨로시티와 서스테인을 설명하는 도면이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 본 발명에 따른 발레반주 생성 시스템을 설명하는 도면이다.

도 1을 참조하면, 발레반주 생성 시스템(100)은 사용자 단말(110), 발레반주 생성 장치(130) 및 데이터베이스(150)를 포함할 수 있다.

사용자 단말(110)은 발레반주 생성 또는 재생을 요청하고 그 결과를 확인할 수 있는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(110)은 발레반주 생성 장치(130)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 발레반주 생성 장치(130)와 유선 또는 무선 네트워크를 통해 연결될 수 있으며, 복수의 사용자 단말(110)들은 발레반주 생성 장치(130)와 동시에 연결될 수 있다.

발레반주 생성 장치(130)는 인공지능(AI) 기반의 발레반주를 생성하고 재생할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 발레반주 생성 장치(130)는 사용자 단말(110)과 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다. 발레반주 생성 장치(130)는 인공지능을 통해 사용자의 동작에 적합한 발레반주를 자동으로 생성할 수 있으며, 발레반주를 직접 재생하거나 또는 사용자 단말(110)에게 전달하여 사용자 단말(110)을 통해 재생되도록 할 수도 있다.

일 실시예에서, 발레반주 생성 장치(130)는 데이터의 전송 또는 처리를 위한 추가 기능을 제공하기 위하여 별도의 외부 시스템(도 1에 미도시함)과 연동하여 동작하도록 구현될 수도 있다. 예를 들어, 발레반주 생성 장치(130)는 다양한 음악을 제공하는 음악 제공 서버와 연동하여 동작할 수 있으며, 이를 통해 특정 음악에 대응하는 발레반주를 자동으로 생성하여 제공할 수도 있다.

데이터베이스(150)는 발레반주 생성 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 발레반주의 음악적 특성들에 관한 정보를 저장할 수 있고, 발레반주 생성을 위한 인공지능 구축과 연관된 학습 데이터, 학습 알고리즘 및 학습 모델에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 발레반주 생성 장치(130)가 AI 기반의 발레반주 생성 방법을 실행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.

한편, 도 1에서, 데이터베이스(150)는 발레반주 생성 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 발레반주 생성 장치(130)의 논리적인 저장장치로서 발레반주 생성 장치(130)에 포함되어 구현될 수 있음은 물론이다. 또한, 사용자 단말(110)도 발레반주 생성 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 필요에 따라 사용자 단말(110) 또는 발레반주 생성 장치(130)에 통합된 형태로 구현될 수 있으며, 이에 대한 구체적인 설명은 생략한다.

도 2는 도 1의 발레반주 생성 장치의 시스템 구성을 설명하는 도면이다.

도 2를 참조하면, 발레반주 생성 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.

프로세서(210)는 발레반주 생성 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 발레반주 생성 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 발레반주 생성 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.

메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 발레반주 생성 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.

사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 발레반주 생성 장치(130)는 독립적인 서버로서 수행될 수 있다.

네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.

도 3은 도 1의 발레반주 생성 장치의 기능적 구성을 설명하는 도면이고, 도 5는 본 발명에 따른 음악 장르별 발레수업동작을 설명하는 도면이며, 도 6은 발레수업음악의 형식구조와 발레수업음악의 리듬분할에 의한 프레이즈 구성을 설명하는 도면이고, 도 7은 본 발명에 따른 발레수업동작의 특성들을 설명하는 도면이며, 도 8은 발레수업음악의 프레이즈 끝 음의 벨로시티와 서스테인을 설명하는 도면이다.

이하, 도 3 및 도 5 내지 8를 참조하여 본 발명에 따른 구성 및 동작을 구체적으로 설명한다.

도 3을 참조하면, 발레반주 생성 장치(130)는 장르 분류부(310), 특징 추출부(320), 학습 데이터 생성부(330), 모델 구축부(340), 움직임 촬영부(350), 움직임 분석부(360), 발레반주 생성부(370), 발레반주 재생부(380) 및 제어부(도 3에 미도시함)를 포함할 수 있다.

장르 분류부(310)는 발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의할 수 있다. 발레수업은 느리고 유연한 동작부터 빠르고 힘찬 동작까지 다양한 동작들로 구성될 수 있다. 발레수업에서 모든 동작들은 좌우 동일하게 각 방향으로 반복 수행되기 때문에 프레이즈가 간결, 명료하며 동작 수행의 목표와 부합하는 고유의 감성을 가질 수 있다.

예를 들어, 파반느, 갈리아드, 미뉴에트, 알르망드, 사라방드, 왈츠, 타란텔라, 탱고 등 명료한 프레이즈와 독자적인 리듬형을 가지고 있는 춤곡은 발레음악 학습에 좋은 표본이 될 수 있다. 세레나데, 발라드, 녹턴 등 고유의 성격이 담긴 곡들 역시 발레의 감성을 표현하는데 효과적이며 오페라 아리아, 샹송, 칸초네, 리트 등 성악곡은 호흡 면에서 발레와 유사성을 지니고 있으므로 활용도가 높을 수 있다.

발레수업동작은 '유연하다', '우아하다', '절도 있다', '민첩하다', '가볍다', '힘차다’, '강하다', '크다' 등의 언어적 뉘앙스를 가질 수 있다. 이는 동작의 질감을 표현하는 데 매우 중요한 개념이며, 이러한 뉘앙스를 갖는 음악 장르와의 연결은 인공지능 모델 구축에 있어 매우 중요한 요소에 해당할 수 있다. 이에 따라, 장르 분류부(310)는 발레반주에 효과적인 음악 장르를 빠르기와 성격에 따라 총 8가지 범주로 분류할 수 있으며, 도 5와 같이 표현될 수 있다.

보다 구체적으로, 제1 음악은 느리고 우아한 음악 즉, 낭만시대 Chopin, F.이 주로 작곡했던 녹턴, 발라드, 환상곡, 느린 전주곡, 느린 간주곡, 그리고 고전시대에 성행했던 교향곡·협주곡·소나타의 느린 악장들, 성악곡 중 유연한 아리아들, 우아함을 담은 가곡들로서 이러한 음악들은 발레수업의 플리에, 바뜨망 데벨로페, 스트레치, 아다지오, 느린 왈츠의 분위기를 효과적으로 표현할 수 있다.

제2 음악은 보통 빠르기의 편안한 음악으로서 귀족들이 궁정에서 추었던 파반느, 알르망드, 미뉴에트, 가보트, 18세기 농민 무용 렌틀러, 그리고 하바네라와 편안한 분위기의 아프로큐반 재즈를 포함할 수 있다. 이러한 음악들은 발레동작 중 유연함과 절제미를 겸비한 바뜨망 탄듀, 바뜨망 퐁뒤, 롱드 쟘 앙 레르 등에 사용될 수 있다.

제3 음악은 넓은 음역대에서 진행되는 보통 빠르기의 우아한 음악으로서 싱커페이션이 가미된 19세기 비엔나 왈츠를 포함할 수 있다. 해당 음악은 발레수업에서 우아함 및 에너지의 흐름을 중요하게 다루는 롱드 쟘 아 떼르, 왈츠에 효과적으로 사용될 수 있다.

제4 음악은 조금 빠르고 가벼운 분위기의 음악 즉, 전고전시대의 갈랑양식 음악 중 빠른 패세지를 담은 음악들, 고전시대 가벼운 여흥을 묘사한 디베르티멘토, 세레나데, 카사치오네, 노투르노, 이탈리아 민속춤곡인 타란텔라, 20세기 초반의 폭스트롯, 보사노바 등으로서 이러한 음악들은 발레수업의 바뜨망 탄듀 줴떼, 쁘띠 바뜨망 등 가벼운 동작과 연결될 수 있다.

제5 음악은 조금 빠르면서 악센트를 포함하는 음악으로서 18세기 초반 만하임 악파의 곡들, 갤롭, 트레팍, 탱고, 차르다시 후반부 등 민속 춤곡들을 포함할 수 있다. 해당 음악들은 발레수업에서 민첩성과 악센트를 요구하는 바뜨망 후라뻬와 뚜르에 유용하게 사용될 수 있다.

제6 음악은 조금 빠르고 강한 에너지를 담고 있는 음악으로서 마주르카, 폴로네즈, 폴로, 행진곡, 힘찬 피날레 악장 등을 포함할 수 있다. 해당 음악들은 발레수업에서 크고 강한 에너지를 요구하는 그랑 바뜨망, 미디움 알레그로, 뚜르 앙 레르 등에 효과적으로 사용될 수 있다.

제7 음악은 조금 빠른 템포에 우아하고 힘찬 분위기를 담고 있는 빅 왈츠를 포함할 수 있다. 왈츠는 느린 왈츠부터 빠르고 화려한 왈츠까지 종류도 다양하며 발레에서 가장 활용도가 높은 춤곡이다. 힘찬 분위기의 빅 왈츠는 발레수업의 그랑 알레그로에 유용하게 사용될 수 있다.

끝으로 제8 음악은 빠르고 가벼운 에너지의 음악으로서 밝고 빠른 에튀드, 가벼운 폴카, 래그타임, 찰스턴, 딕시랜드 재즈 등을 포함할 수 있다. 해당 음악들은 민첩하고 가볍게 수행하는 쏘떼, 아쌈블레, 줴떼 등 쁘띠 알레그로에 효율적으로 사용될 수 있다.

특징 추출부(320)는 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의할 수 있다. 예를 들어, 복수의 발레음악 특징들은 형식, 프레이즈, 박, 템포, 다이내믹, 벨로시티, 반주형, 악센트 및 페달링을 포함할 수 있다. 여기에서는 특징 추출부(320)에 의해 정의되는 복수의 발레음악 특징들을 구체적으로 설명한다.

1) 카운트, 형식, 프레이즈

발레수업음악은 일반 음악과는 달리 '박자' 개념 보다는 '카운트'의 개념이 사용될 수 있다. 발레반주 악보에는 다양한 박자로 표기되어 있지만 복합박, 혼합박 등 혼돈을 줄 수 있기 때문에 베이스음이 나타날 때 마다 1카운트로 변환되어 계산될 수 있다. 발레음악동작과의 명확한 매치를 위하여 4박은 2박으로, 6박은 3박으로 최소화하여 2카운트 단위의 프레이즈로 진행할 수 있다. 즉, 4박 8마디는 2박 16카운트로 계산될 수 있다. 그러나, 빠른 6박은 일반 음악에서와 같이 3박씩 묶어 2박으로 계산될 수 있다.

또한, 발레수업은 2부 형식 또는 3부 형식으로 구성될 수 있으며, 반드시 전주를 포함하여 구성될 수 있다. 2부 형식은 앞쪽 방향부터 16카운트 수행한 직후 뒤쪽 방향부터 16카운트를 수행하는 32카운트 또는 두 배로 늘인 64카운트 길이로 구성될 수 있다. 3부 형식은 앞쪽 방향과 뒤쪽 방향을 수행한 후 옆쪽 방향의 동작을 덧붙이는 구조에 해당할 수 있다. 또한, 전주는 '3음', '2카운트', '4카운트'의 3가지 유형을 포함할 수 있으며, 그 외 신호의 역할로서 음을 추가하는 경우도 포함할 수 있다. 후주는 마무리 동작을 위해 필요한 경우 '1음’, '2음', '4카운트', '8카운트' 길이의 4가지 유형을 포함할 수 있다(도 6 그림 (a) 참조).

프레이즈는 카운트가 모여 형성될 수 있다. 1카운드, 2카운트, 4카운트, 8카운트 단위의 프레이즈는 다양한 조합으로 16카운트 즉, 1세트를 구성할 수 있다. 하나의 프레이즈는 중요 지점을 통과하거나 도착하는 순간 형성될 수 있다. 기본 골격을 이루는 4카운트는 1+1+1+1, 1+1+2, 1+2+1, 2+1+1, 2+2, 4의 6가지 조합으로 구성될 수 있다. 발레에서 프레이즈는 호흡과 연결되므로 최소단위의 프레이즈는 매우 중요한 개념에 해당할 수 있다. 감상용 음악은 4카운트를 어느 형태로 구성하든지 문제되지 않지만 발레수업음악에서는 같은 4카운트라도 2+2와 1+1+2는 완전히 다른 동작 구성을 의미할 수 있다.

최소단위의 프레이즈는 리듬분할과 연관될 수 있다. 동일한 카운트가 연속 진행할 때는 같은 리듬형을 반복 사용하는 것이 가장 효과적이다. 예를 들어, 1+1+2의 조합은 1카운트 리듬형을 2회 반복하고 2카운트 리듬형을 더해 표현될 수 있다(도 6 그림 (b) 참조).

2) 박, 템포, 다이내믹

감상용 음악과는 달리 모든 발레수업음악은 2박, 3박으로 최소화하여 입력될 수 있다. 1카운트 당 2박 혹은 3박으로 계산 단위를 통일시킨 후 각 동작의 빠르기에 맞는 BPM 수치를 입력할 수 있다. 음악의 템포는 정확한 발레동작 수행에 직접적인 영향을 주기 때문에 각 동작의 특성에 맞는 BPM 수치 입력은 매우 중요할 수 있다. 도 7은 발레수업동작 별로 박과 템포를 분석하여 정의한 것에 해당할 수 있다.

다이내믹은 동작의 규모, 에너지, 생동감을 표현해주는 요소에 해당할 수 있으며, 피아니시모에서 포르티시모까지 6개 정도의 단계로 구분될 수 있다. 예를 들어, 플리에, 바뜨망 탄듀, 바뜨망 탄듀 줴떼, 바뜨망 퐁뒤, 롱드 쟘 앙 레르, 쁘띠 알레그로는 메조피아노에서 메조포르테 사이의 다이내믹으로, 바뜨망 데벨로페, 아다지오, 왈츠는 메조피아노에서 포르테까지 폭넓게 연주될 수 있다. 롱드 쟘 아 떼르, 바뜨망 후라뻬, 쁘띠 바뜨망, 뚜르는 박진감을 표현하기 위해 메조 포르테에서 포르테까지의 다이내믹으로, 그랑 바뜨망, 미디움 알레그로, 그랑 알레그로는 화려함과 격렬한 에너지를 표현하기 위해 메조 포르테에서 포르티시모까지로 다이내믹의 폭을 확장하여 연주될 수 있다.

한편, 다이내믹은 컴퓨팅 장치에서 벨로시티 값으로 변환 입력될 수 있다. 이때, 벨로시티는 127단계로 세분화되어 있으므로 피아노는 55(±5), 메조피아노는 70(±5), 메조포르테는 85(±5), 포르테는 100(±5), 그리고 포르티시모는 115(±5)로 정의될 수 있으며, 각 동작의 특성에 따라 구체적인 수치가 조절될 수 있다. 예를 들어, 플리에, 바뜨망 탄듀, 바뜨망 탄듀 줴떼의 다이내믹 범위는 메조 피아노에서 메조 포르테까지로 동일하지만 벨로시티로 변환할 경우 플리에는 65~80, 바뜨망 탄듀는 70~85, 좀 더 경쾌한 분위기의 바뜨망 탄듀 줴떼는 75~90으로 조정될 수 있어 곡의 뉘앙스가 섬세하게 표현될 수 있다(도 7 참조).

3) 반주형, 악센트, 페달링

연주법은 발레수업의 효율성을 높이는데 매우 중요할 수 있다. 빠른 음계, 트릴, 장식음, 옥타브, 코드, 다양한 반주형, 페달링 등 동작의 뉘앙스를 표현할 수 있는 여러 가지 연주법들이 있지만, 이 중 발레수업에 가장 필요한 것은 동작의 특성과 관계된 '반주형', 신호 역할로서의 '악센트', 그리고 공간감, 흐름과 관계된 '페달링'에 해당할 수 있다.

발레수업에서 보편적으로 사용되는 반주형은 베이스와 코드로 구성된 '왈츠형’, '폴카형', 녹턴이나 발라드 등에서 부드러운 패세지를 표현할 때 사용되는 '아르페지오형', 절도 있는 동작 표현을 위한 '행진곡형', 내면의 에너지를 유도하는 '하바네라형', '탱고형'을 포함할 수 있다. '왈츠'와 '폴카' 반주형은 대부분의 동작에 사용될 수 있다. 예를 들어, 바뜨망 탄듀, 바뜨망 탄듀 줴떼, 롱드 쟘 아 떼르, 바뜨망 퐁뒤, 롱드 쟘 앙 레르, 그리고 알레그로 동작에 유용하게 사용될 수 있다. 즉, 베이스 음이 카운트의 시작을 알려주고 코드가 박을 안내해주기 때문에 연습의 효율을 높일 수 있다. 플리에, 바뜨망 데벨로페, 스트레치, 아다지오 등 부드럽고 유연한 동작은 '아르페지오' 반주형을 사용하여 음의 끊어짐을 방지할 수 있다. 해당 반주형은 하프의 글리산도처럼 코드를 분산하여 물 흐르듯 연주하는 기법으로서 근육을 신전하는데 긍정적인 효과를 줄 수 있다. '행진곡' 반주형은 매 박마다 코드로 진행하며 강한 느낌을 줄 수 있다. 이는 질서정연한 행진을 위해 타악기와 금관악기가 계속 박을 연주하는데서 기인한 것이다. 발레수업에서도 바뜨망 후라뻬, 그랑 바뜨망 등 힘차고 절도 있게 동작을 수행해야할 경우 '행진곡형'이 사용될 수 있다.

'하바네라', '탱고'는 내면의 에너지를 끌어 올릴 수 있는 싱커페이션 리듬이 특징적 요소에 해당할 수 있다. 해당 음악들은 동일한 리듬으로 구성되지만 곡의 흐름과 악센트에서 차이가 존재할 수 있다. 바뜨망 퐁뒤는 에너지가 계속 이어지도록 '하바네라' 반주형이 사용될 수 있으며, 바뜨망 탄듀, 바뜨망 후라뻬, 그랑 바뜨망은 강한 악센트가 가미된 '탱고' 반주형이 사용될 수 있다.

또한, 악센트는 발레리나에게 새로운 프레이즈가 시작됨을 알리는 준비 신호에 해당할 수 있다. 즉, '강조한다'는 의미를 지니며 음을 '길게' 또는 '강하게' 하여 특정 부분을 부각시킬 수 있다.

악센트는 '중요한 음을 강조할 때' 또는 '감정이 고조될 때' 나타나는데 일반적으로 악센트 표시가 없어도 선율의 방향이 바뀌는 곳이나 규칙적인 프레이즈의 첫 박은 강하게 연주하는 것이 통례이다. 그러나, 발레수업에서는 프레이즈가 시작되기 직전에 새로운 프레이즈를 준비하도록 유도하는 신호로서 악센트가 사용될 수 있다. 예를 들어, 짧은 전주에서는 마지막 음을 길게 늘여 강조하고 규칙적인 프레이즈에서는 마지막 박을 강하게 연주하여 준비 박으로서의 의미가 전달될 수 있다.

한편, 악센트를 수행할 때 페달을 함께 밟아 효과를 증대시킬 수 있다. 페달은 특정한 부분에 울림을 주는 장치로서 풍성한 공간감을 부여할 수 있다. 예를 들어, 악센트를 도와 강조할 때, 음을 자연스럽게 연결하여 곡에 부드러움을 줄 때 사용될 수 있다. 페달은 컴퓨팅 장치에서 서스테인(sustain)으로 변환되어 입력될 수 있다. 도 8에서, 4카운트 곡에 악센트와 페달을 적절하게 사용한 예시가 도시되어 있다. 구체적으로, 2카운트 단위의 프레이즈가 2회 반복되며 프레이즈의 끝 음에 벨로시티 값을 높이고 동시에 서스테인도 입력한 것을 확인할 수 있다.

발레수업에서는 반주 패턴이 반복되기 때문에 페달을 규칙적으로 사용하지만 선율선에서 특별한 진행이 있는 경우 선율의 흐름이 우선적으로 반영될 수 있다. 즉, 서스테인을 규칙적으로 입력하되 선율의 흐름에 따라 서스테인 시작 지점은 변경, 추가 또는 삭제될 수 있다.

학습 데이터 생성부(330)는 복수의 발레음악들로부터 제1 및 제2 특징 정보들을 각각 추출하여 발레수업음악에 관한 학습 데이터를 생성할 수 있다. 학습 데이터 생성부(330)는 다양한 발레음악들로 구성된 학습 모집단에 대해 각 발레음악에서 제1 및 제2 특징 정보들을 추출할 수 있다. 예를 들어, 하나의 발레음악에 대해 음악 장르가 부여될 수 있고 해당 음악 장르에 대응하는 발레수업동작이 부여될 수 있다.

또한, 해당 발레음악의 구성에 따라 형식, 프레이즈, 박, 템포, 다이내믹, 벨로시티, 반주형, 악센트 및 페달링에 대한 특징값이 부여될 수 있다. 학습 데이터 생성부(330)는 각 발레수업음악에 대해 부여된 복수의 특징 정보들을 기초로 인공지능 모델 구축을 위한 학습 데이터를 생성할 수 있다. 이때, 학습 데이터는 발레음악에 대한 제1 특징 정보 또는 제2 특징 정보로만 구성될 수 있고, 각 특징 정보들 중 일부만으로 구성될 수 있으며, 제1 및 제2 특징 정보들이 통합된 형태로 구성될 수도 있다.

모델 구축부(340)는 학습 데이터를 학습한 결과로서 복수의 발레수업동작들에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축할 수 있다. 즉, 인공지능 모델은 발레수업동작에 관한 정보를 입력 데이터로 수신하여 해당 발레수업동작에 대응하는 발레수업음악을 출력 데이터로 생성할 수 있다. 모델 구축부(340)는 학습 모집단으로부터 생성된 학습 데이터를 기초로 소정의 매칭 정확도에 도달할 때까지 인공지능 모델에 관한 학습을 반복적으로 수행할 수 있다. 모델 구축부(340)는 기본적으로 하나의 인공지능 모델을 구축하는 동작을 수행할 수 있으나, 반드시 이에 한정되지 않고, 필요에 따라 하나 이상의 인공지능 모델을 독립적으로 구축할 수도 있다.

일 실시예에서, 모델 구축부(340)는 복수의 발레수업동작들에 매칭되는 발레수업 기본음악을 생성하는 제1 인공지능 모델 및 발레수업 기본음악을 기초로 발레수업 응용음악을 생성하는 제2 인공지능 모델을 독립적으로 구축할 수 있다. 제1 및 제2 인공지능 모델 각각은 상호 연결되어 동작함으로써 결과적으로 발레수업동작에 매칭되는 발레수업음악을 결정하는데 활용될 수 있다. 즉, 제1 인공지능 모델에 의해 출력되는 발레수업 기본음악은 제2 인공지능 모델의 입력으로 제공될 수 있으며, 제2 인공지능 모델에 의해 출력되는 발레수업 응용음악은 발레수업동작에 대응하는 발레수업음악으로 사용될 수 있다. 이때, 발레수업 기본음악은 발레반주의 기본 반주형에 해당할 수 있으며, 발레수업 응용음악은 발레반주의 응용 반주형에 해당할 수 있다.

한편, 모델 구축부(340)는 제1 인공지능 모델을 구축하기 위하여 발레수업음악의 제1 특징 정보로서 발레음악 장르에 관한 데이터를 학습 데이터로 사용할 수 있으며, 제2 인공지능 모델을 구축하기 위하여 발레수업음악의 제2 특징 정보로서 발레음악 특징에 관한 데이터를 학습 데이터로 사용할 수 있다.

움직임 촬영부(350)는 카메라를 통해 사용자의 움직임을 촬영할 수 있다. 발레반주 생성 장치(130)는 사용자의 움직임에 대응하는 발레반주를 생성하기 위하여 사용자의 움직임을 촬영하는 카메라를 포함하여 구현되거나 또는 독립적인 카메라 장치와 연동하여 동작할 수 있다. 움직임 촬영부(350)는 유선 또는 무선으로 연결된 카메라를 통해 사용자의 움직임에 관한 영상을 촬영할 수 있다. 이를 위해, 카메라는 사용자의 움직임이 발생하는 소정의 공간을 촬영하도록 설치되어 동작할 수 있다.

일 실시예에서, 움직임 촬영부(350)는 복수의 카메라들을 통해 사용자의 움직임을 촬영할 수도 있다. 움직임 촬영부(350)는 카메라에 의해 촬영된 영상 또는 사진을 수신하여 데이터베이스(150)에 저장할 수 있다.

일 실시예에서, 움직임 촬영부(350)는 카메라의 촬영 영역 내에 복수의 사용자들이 검출된 경우 복수의 사용자들 중에서 교사 및 학생들을 각각 식별할 수 있다. 움직임 촬영부(350)는 발레수업 진행 중에 촬영된 영상으로부터 다수의 사용자들이 검출된 경우 사용자들의 움직임 패턴을 기초로 교사와 학생을 구분할 수 있다. 예를 들어, 움직임 촬영부(350)는 발레수업 중에 교사와 학생들이 서로 바라보는 경우가 많고 교사의 움직임에 따라 학생들이 움직이는 경우가 많다는 점을 고려하여 복수의 사용자들 중 바라보는 방향의 차이가 존재하거나 또는 움직임 발생 시점의 차이가 존재하는 경우를 검출하여 교사와 학생을 구분할 수 있다.

움직임 분석부(360)는 사용자의 움직임에 대응하는 사용자 발레동작을 결정할 수 있다. 즉, 사용자 발레동작은 사용자의 움직임에 대응하는 발레동작에 해당할 수 있으며, 움직임 분석부(360)의 분석 결과에 따라 결정될 수 있다. 움직임 분석부(360)는 영상 분석 또는 이미지 분석 알고리즘을 활용하여 사용자의 움직임에 관한 영상 또는 이미지로부터 사용자 발레동작을 결정할 수 있다. 이를 위해, 움직임 분석부(360)는 사전에 정의된 발레동작들에 관한 데이터를 활용할 수 있다. 즉, 데이터베이스(150)에 저장된 발레동작에 관한 정보를 기초로 사용자의 움직임에 가장 유사한 발레동작을 사용자 발레동작으로 결정할 수 있다.

일 실시예에서, 움직임 분석부(360)는 사용자 발레동작에 관한 박, 템포, 다이내믹 및 벨로시티를 각각 결정할 수 있다. 움직임 분석부(360)는 사용자 움직임에 대응하는 사용자 발레동작을 결정함과 동시에 사용자 발레동작에 대한 특징 정보로서 박, 템포, 다이내믹 및 벨로시티에 관한 데이터를 구체적인 수치값으로 표현할 수 있다.

일 실시예에서, 움직임 분석부(360)는 복수의 발레수업동작들에 대해 정의된 특성 테이블을 기초로 사용자 발레동작에 관한 박, 템포, 다이내믹 및 벨로시티를 각각 결정할 수 있다. 예를 들어, 움직임 분석부(360)는 도 7과 같이 사전에 정의된 특성 테이블을 기초로 사용자 발레동작에 대응되는 박, 템포, 다이내믹 및 벨로시티를 각각 결정할 수 있다. 즉, 특성 테이블은 발레수업동작들 별로 박, 템포, 다이내믹 범위 및 벨로시티에 관한 특성을 구체적으로 정의한 매칭 테이블에 해당할 수 있다. 특성 테이블은 발레반주 생성 장치(130)에 의해 사전에 생성되어 데이터베이스(150)에 저장될 수 있다.

일 실시예에서, 움직임 분석부(360)는 교사의 움직임에 대응하는 제1 사용자 발레동작을 결정하고, 학생들의 움직임에 대응하는 제2 사용자 발레동작을 결정하며, 제1 및 제2 사용자 발레동작들 간의 유사도에 따라 제1 및 제2 사용자 발레동작들 중 어느 하나를 결정할 수 있다. 발레반주 생성 장치(130)는 움직임 분석부(360)에 의해 결정된 사용자 발레동작에 대응하는 발레반주를 생성할 수 있으며, 움직임 분석부(360)는 수업의 난이도, 학생의 참여도 등을 고려하여 사용자 움직임을 선택적으로 결정함으로써 수업 내용에 따른 발레반주가 자동으로 제공되도록 할 수 있다.

예를 들어, 움직임 분석부(360)는 교사와 학생들 각각의 발레동작을 독립적으로 결정할 수 있으며, 상호 간의 유사도를 비교하여 수업의 난이도나 학생의 참여도 등을 결정할 수 있다. 즉, 교사와 학생들의 발레동작 간의 유사도가 낮을수록 수업의 난이도가 높거나 또는 학생의 참여도가 낮음을 나타낼 수 있으므로, 움직임 분석부(360)는 학생들의 움직임에 대응되는 발레동작을 사용자 발레동작으로 결정함으로써 이후 해당 발레동작에 어울리는 발레반주가 제공되도록 할 수 있다. 결과적으로, 학생들에게는 자신들의 발레동작에 어울리는 발레반주가 제공될 수 있고 학생들은 발레수업에 보다 더 집중할 수 있게 된다.

발레반주 생성부(370)는 인공지능 모델을 기초로 사용자 발레동작에 매칭되는 발레반주를 생성할 수 있다. 인공지능 모델은 사용자 발레동작에 대응되는 발레반주의 특징 정보를 도출하고 특징 정보에 따라 발레반주를 생성할 수 있다. 예를 들어, 인공지능 모델이 출력하는 발레반주는 시간의 흐름에 따라 진행하는 음들의 집합으로 표현될 수 있다. 특히, 인공지능 음악은 10개의 손가락으로 혼자 모든 음을 연주해야 하는 피아니스트의 한계를 넘어 고난이도의 기교가 필요한 음악도 손쉽게 표현할 수 있다. 즉, 넓은 음역의 음들을 동시에 연주할 수 있고, 빠른 음계와 아르페지오도 정확하게 구현할 수 있는 점에서, 인공지능 모델이 출력하는 발레반주는 매우 다양하고 자유로운 형태로 생성될 수 있다.

발레반주 재생부(380)는 스피커를 통해 발레반주를 재생할 수 있다. 발레반주 재생부(380)는 발레반주를 단일의 악기 또는 복수의 악기들로 연주하는 방식으로 실제 사운드를 재생할 수 있다. 발레반주 재생부(380)는 복수의 악기들 중 발레반주의 특징 정보에 대응하는 악기들을 선택할 수 있고, 해당 악기들의 사운드를 기초로 발레반주를 연주함으로써 발레반주를 재생할 수 있다.

일 실시예에서, 발레반주 재생부(380)는 발레반주를 피아노 단일 음색의 연주로 변환하여 재생할 수 있다. 발레수업음악의 경우 대부분 피아노 단일 음색으로 수행되는 점에서 발레반주 재생부(380)는 실제 발레수업음악과 동일한 형태로 발레반주를 실제감 있게 재생할 수 있다.

일 실시예에서, 발레반주 재생부(380)는 카메라의 촬영 영역 내에 복수의 사용자들이 검출된 경우 식별된 사용자의 수에 따라 스피커의 음량을 자동 조절할 수 있다. 움직임 촬영부(350)는 카메라를 통해 사용자의 움직임을 촬영하면서 카메라의 촬영 영역 내에 존재하는 사용자들을 식별하여 카운팅 동작을 수행할 수 있다. 발레반주 재생부(380)는 움직임 촬영부(350)에 의해 복수의 사용자들이 식별된 경우 사용자의 수에 따라 스피커의 음량을 자동으로 조절할 수 잇다.

예를 들어, 발레반주 재생부(380)는 사용자들이 많을 경우 스피커 음량을 증가시킬 수 있다. 한편, 발레반주 재생부(380)는 사전 입력된 촬영 영역의 크기 정보와 스피커 출력 정보를 기초로 사용자의 수에 따른 스피커의 음량의 변화량을 산출할 수 있으며, 해당 변화량을 기초로 스피커의 음량을 조절할 수 있다.

제어부(도 3에 미도시함)는 발레반주 생성 장치(130)의 전체적인 동작을 제어하고, 장르 분류부(310), 특징 추출부(320), 학습 데이터 생성부(330), 모델 구축부(340), 움직임 촬영부(350), 움직임 분석부(360), 발레반주 생성부(370) 및 발레반주 재생부(380) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.

도 4는 본 발명에 따른 인공지능 기반 발레반주 생성 방법을 설명하는 순서도이다.

도 4를 참조하면, 발레반주 생성 장치(130)는 장르 분류부(310)를 통해 발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의할 수 있다(단계 S410). 발레반주 생성 장치(130)는 특징 추출부(320)를 통해 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의할 수 있다(단계 S430).

또한, 발레반주 생성 장치(130)는 학습 데이터 생성부(330)를 통해 복수의 발레음악들로부터 제1 및 제2 특징 정보들을 각각 추출하여 발레수업음악에 관한 학습 데이터를 생성할 수 있다(단계 S450). 발레반주 생성 장치(130)는 모델 구축부(340)를 통해 학습 데이터를 학습한 결과로서 복수의 발레수업동작들에 매칭되는 발레수업음악을 생성하는 인공지능 모델을 구축할 수 있다(단계 S470).

본 발명에 따른 발레반주 생성 방법은 인공지능 발레반주 구현을 위한 데이터 셋의 기초자료로서 발레수업음악의 특성을 분석 및 정의하고, 학습 데이터 모집단의 발레음악들에서 도출된 특징 정보를 학습하여 발레반주를 생성하는 인공지능 모델을 구축할 수 있다. 또한, 본 발명에 따른 발레반주 생성 방법은 사용자의 움직임을 인식하고 사용자의 발레동작에 적합한 발레반주를 실시간으로 제공하여 발레수업의 효율적인 진행을 지원하고 발레수업의 참여도 및 효율성을 극대화 시킬 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 발레반주 생성 시스템
110: 사용자 단말 130: 발레반주 생성 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 장르 분류부 320: 특징 추출부
330: 학습 데이터 생성부 340: 모델 구축부
350: 움직임 촬영부 360: 움직임 분석부
370: 발레반주 생성부 380: 발레반주 재생부

Claims

발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의하는 단계;
상기 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의하는 단계;
복수의 발레음악들로부터 상기 제1 및 제2 특징 정보들을 각각 추출하여 상기 발레수업음악에 관한 학습 데이터를 생성하는 단계; 및
상기 학습 데이터를 학습한 결과로서 상기 복수의 발레수업동작들에 매칭되는 상기 발레수업음악을 생성하는 인공지능 모델을 구축하는 단계;를 포함하는 인공지능 기반 발레반주 생성 방법.
제1항에 있어서,
상기 복수의 발레음악 장르들을 정의하는 단계는
느리고 우아한 제1 음악, 보통 빠르기의 편안한 제2 음악, 보통 빠르기의 우아한 제3 음악, 조금 빠르고 가벼운 분위기의 제4 음악, 조금 빠르고 악센트가 있는 제5 음악, 조금 빠르고 악센트가 있는 제6 음악, 조금 빠르고 우아하면서 힘이 있는 제7 음악 및 빠르고 가벼운 제8 음악을 상기 복수의 발레음악 장르들로서 정의하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 방법.
제1항에 있어서,
상기 복수의 발레음악 특징들을 정의하는 단계는
형식, 프레이즈, 박, 템포, 다이내믹, 벨로시티, 반주형, 악센트 및 페달링을 상기 복수의 발레음악 특징들로서 정의하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 방법.
제1항에 있어서,
상기 인공지능 모델을 구축하는 단계는
상기 복수의 발레수업동작들에 매칭되는 발레수업 기본음악을 생성하는 제1 인공지능 모델을 구축하는 단계; 및
상기 발레수업 기본음악을 기초로 발레수업 응용음악을 생성하는 제2 인공지능 모델을 구축하는 단계;를 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 방법.
제1항에 있어서,
카메라를 통해 사용자의 움직임을 촬영하는 단계;
상기 움직임에 대응하는 사용자 발레동작을 결정하는 단계;
상기 인공지능 모델을 기초로 상기 사용자 발레동작에 매칭되는 발레반주를 생성하는 단계; 및
스피커를 통해 상기 발레반주를 재생하는 단계;를 더 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 방법.
제5항에 있어서,
상기 사용자 발레동작을 결정하는 단계는
상기 사용자 발레동작에 관한 박, 템포, 다이내믹 및 벨로시티를 각각 결정하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 방법.
제5항에 있어서,
상기 사용자의 움직임을 촬영하는 단계는
상기 카메라의 촬영 영역 내에 복수의 사용자들이 검출된 경우 상기 복수의 사용자들 중 교사 및 학생들을 식별하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 방법.
제7항에 있어서,
상기 사용자 발레동작을 결정하는 단계는
상기 교사의 움직임에 대응하는 제1 사용자 발레동작을 결정하는 단계;
상기 학생들의 움직임에 대응하는 제2 사용자 발레동작을 결정하는 단계; 및
상기 제1 및 제2 사용자 발레동작들 간의 유사도에 따라 상기 제1 및 제2 사용자 발레동작들 중 어느 하나를 결정하는 단계;를 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 방법.
제5항에 있어서,
상기 발레반주를 재생하는 단계는
상기 발레반주를 피아노 단일 음색의 연주로 변환하여 재생하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 방법.
발레수업음악의 제1 특징 정보로서 복수의 발레수업동작들에 대응하는 복수의 발레음악 장르들을 정의하는 장르 분류부;
상기 발레수업음악의 제2 특징 정보로서 복수의 발레음악 특징들을 정의하는 특징 추출부;
복수의 발레음악들로부터 상기 제1 및 제2 특징 정보들을 각각 추출하여 상기 발레수업음악에 관한 학습 데이터를 생성하는 학습 데이터 생성부; 및
상기 학습 데이터를 학습한 결과로서 상기 복수의 발레수업동작들에 매칭되는 상기 발레수업음악을 생성하는 인공지능 모델을 구축하는 모델 구축부;를 포함하는 인공지능 기반 발레반주 생성 장치.
제10항에 있어서, 상기 모델 구축부는
상기 복수의 발레수업동작들에 매칭되는 발레수업 기본음악을 생성하는 제1 인공지능 모델 및 상기 발레수업 기본음악을 기초로 발레수업 응용음악을 생성하는 제2 인공지능 모델을 독립적으로 구축하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 장치.
제10항에 있어서,
카메라를 통해 사용자의 움직임을 촬영하는 움직임 촬영부;
상기 움직임에 대응하는 사용자 발레동작을 결정하는 움직임 분석부;
상기 인공지능 모델을 기초로 상기 사용자 발레동작에 매칭되는 발레반주를 생성하는 발레반주 생성부; 및
스피커를 통해 상기 발레반주를 재생하는 발레반주 재생부;를 더 포함하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 장치.
제12항에 있어서, 상기 움직임 분석부는
상기 복수의 발레수업동작들에 대해 정의된 특성 테이블을 기초로 상기 사용자 발레동작에 관한 박, 템포, 다이내믹 및 벨로시티를 각각 결정하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 장치.
제12항에 있어서, 상기 반레반주 재생부는
상기 카메라의 촬영 영역 내에 복수의 사용자들이 검출된 경우 식별된 사용자의 수에 따라 상기 스피커의 음량을 자동 조절하는 것을 특징으로 하는 인공지능 기반 발레반주 생성 장치.