KR20230165001A - 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법 - Google Patents

학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법 Download PDF

Info

Publication number
KR20230165001A
KR20230165001A KR1020220064836A KR20220064836A KR20230165001A KR 20230165001 A KR20230165001 A KR 20230165001A KR 1020220064836 A KR1020220064836 A KR 1020220064836A KR 20220064836 A KR20220064836 A KR 20220064836A KR 20230165001 A KR20230165001 A KR 20230165001A
Authority
KR
South Korea
Prior art keywords
wind instrument
learner
mouth
hole
video
Prior art date
Application number
KR1020220064836A
Other languages
English (en)
Inventor
조영훈
Original Assignee
민민에듀 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 민민에듀 주식회사 filed Critical 민민에듀 주식회사
Priority to KR1020220064836A priority Critical patent/KR20230165001A/ko
Publication of KR20230165001A publication Critical patent/KR20230165001A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

전통악기인 단소 및 소금을 학생들이 보다 쉽게 부를 수 있도록 단소 및 소금 악기에 대한 학습과정에서 휴대폰 어플로 도움 주는 신체와 악기의 얼라인먼트 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법에 관한 것으로, 학습자의 관악기 연주 촬영 영상을 수신하는 영상 수신부, 상기 영상 수신부로 수신된 관악기 연주 영상에서 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 파악하는 인식부, 상기 인식부에서 인식된 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나이상의 지공 위치를 관악기별로 기 설정된 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 기준 위치와 비교 분석하는 분석부 및 상기 분석부에서의 분석 결과에 따라 학습자의 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 위치가 기준 위치와 일치하도록 자세 교정 코멘트를 학습자 단말의 어플리케이션을 통해 출력하는 코멘트 출력부를 포함하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치에 의해 단소 및 소금 악기를 배우고 연습함에 있어, 처음 소리를 내기 쉽도록 어플을 통해 자세를 교정하여 교육할 수 있는 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법을 제공할 수 있다는 효과가 도출된다.

Description

학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법{Apparatus and Method for providign wind instrument education contents}
본 발명은 신체와 악기의 얼라인먼트 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법에 관한 것으로, 보다 상세하게는 전통악기인 단소 및 소금을 학생들이 보다 쉽게 부를 수 있도록 단소 및 소금 악기에 대한 학습과정에서 휴대폰 어플리케이션으로 도움 주는 신체와 악기의 얼라인먼트 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법에 관한 것이다.
전국의 초등학교 학생들, 매년 45만명의 학생들이 필수로 수행하는 전통악기인 단소 및 소금을 학생들이 보다 쉽게 부를 수 있도록 단소 및 소금 악기에 대한 학습 방법을 제안하기 위한 노력이 필요하다.
기존에 단소 등 관악기를 학습하는 데에 제공되는 온라인 및 어플리케이션 교육은 전부 어느 구멍을 누르면 어느 소리가 난다는 데에 국한되어 있을뿐, 학생들이 단소 및 소금을 어떻게 잡고 어떤 입술 모양으로 불어야 하는지 그리고 본인의 부는 방법에 어떤 문제가 있는지에 대한 학습자의 자세 교정등에 목적을 둔 기술은 제안된 바가 없다.
JP 2017-146584 A JP 2000-293172 A KR 10-1729406 B1
본 발명은 이 같은 기술적 배경에서 도출된 것으로, 단소 및 소금 악기를 배우고 연습함에 있어, 처음 소리를 내기 쉽도록 어플을 통해 자세를 교정하여 교육할 수 있는 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법을 제공함에 그 목적이 있다.
또한 학습자 단말의 어플리케이션을 이용하여 연주 자세나 손가락 위치나 가압 상태까지 모니터링하여 혼자 연습할 경우에도 보다 정교하게 악기 연주 자세에 대한 교육이 가능하여 장소나 시간에 구애받지 않고 악기 연주 교육이 가능한 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공 장치 및 방법을 제공하고자 한다.
상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다.
즉 본 발명의 일 실시예에 따른 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치는, 학습자의 관악기 연주 촬영 영상을 수신하는 영상 수신부, 상기 영상 수신부로 수신된 관악기 연주 영상에서 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 파악하는 인식부, 상기 인식부에서 인식된 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나이상의 지공 위치를 관악기별로 기 설정된 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 기준 위치와 비교 분석하는 분석부 및 상기 분석부에서의 분석 결과에 따라 학습자의 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 위치가 기준 위치와 일치하도록 자세 교정 코멘트를 학습자 단말의 어플리케이션을 통해 출력하는 코멘트 출력부를 포함한다.
한편, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치에서 수행되는 관악기 교육 콘텐츠 제공방법은, 학습자의 관악기 연주 촬영 영상을 수신하는 영상 수신 단계, 상기 영상 수신 단계로 수신된 관악기 연주 영상에서 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 파악하는 인식 단계, 상기 인식 단계에서 인식된 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 관악기별로 기 설정된 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 기준 위치와 비교 분석하는 분석 단계 및 상기 분석 단계에서의 분석 결과에 따라 학습자의 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 위치가 기준 위치와 일치하도록 자세 교정 코멘트를 학습자 단말의 어플리케이션을 통해 출력하는 코멘트 출력 단계를 포함한다.
본 발명에 의하면 단소 및 소금 악기를 배우고 연습함에 있어, 처음 소리를 내기 쉽도록 어플을 통해 자세를 교정하여 교육할 수 있는 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법을 제공할 수 있다는 효과가 도출된다.
또한 학습자 단말의 어플리케이션을 이용하여 연주 자세나 손가락 위치나 가압 상태까지 모니터링하여 혼자 연습할 경우에도 보다 정교하게 악기 연주 자세에 대한 교육이 가능하여 장소나 시간에 구애받지 않고 악기 연주 교육이 가능한 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공 장치 및 방법을 제공할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치의 구성을 도시한 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 관악기 교육 콘텐츠 제공 장치가 제공하는 촬영 영상의 예시도이다.
도 3은 본 발명의 일 양상에 있어서 관악기 교육 콘텐츠 제공장치가 제공하는 기준위치 실루엣을 포함하는 자세 교정을 위한 얼라인먼트 영상 화면의 예시도이다.
도 4 는 본 발명의 일 실시예에 따른 관악기 교육 콘텐츠 제공장치가 소리의 파장 그래프 비교 분석 결과를 제공한 화면의 예시도이다.
도 5 는 본 발명의 일 실시예에 따른 관악기 교육 콘텐츠 제공장치가 지공들의 막힘 정도에 따른 위치 조정 정보를 제공하는 화면의 예시도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 1 은 본 발명의 일 실시예에 따른 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치의 구성을 도시한 블록도이다.
일 실시예에 따른 관악기 교육 콘텐츠 제공장치(10)는 단소와 소금등 관악기의 소리 발생의 원리를 이용하여 자세를 교정할 수 있도록 자세 교정 얼라인먼트 영상을 제공한다.
단소나 소금과 같은 관악기는 공기주가 목표지점인 분기점에 다다랐을 때, 방향에 따라 내측으로 공기의 진동이 발생하게 되고, 이러한 공기의 진동이 소리를 발생시키게 된다. 이에 “공기주”의 방향 설정에 따라 소리가 날 수도 있고 안날 수도 있기 때문이다.
일 실시예에 따른 관악기 교육 콘텐츠 제공 장치(10)는 본인의 연주 자세를 촬영한 영상을 보면서 지정된 각도를 따라 “공기주”의 방향 설정을 잘할 수 있도록 자세를 교정하여 소리가 잘나도록 하는 데에 그 목적이 있다.
이를 위해 일 실시예에 따른 관악기 교육 콘텐츠 제공 장치(10)는 학생들이 전통악기인 단소 및 소금을 보다 쉽게 불 수 있도록 단소 및 소금 악기에 대한 학습 방법을 휴대폰 어플리케이션을 이용하여 도움을 줄 수 있다. 즉 학생들이 단소 및 소금을 어떻게 잡고 어떤 입술 모양으로 불어야 하는지 그리고 본인의 부는 방법에 어떤 문제가 있는지 등 소리를 내기 쉽게 교육할 수 있다.
일 실시예에 따른 관악기 교육 콘텐츠 제공 장치(10)는 학습자의 특성을 분석해 입의 모양이 국악관악기를 연주하는데 부합하는지를 파악할 수 있다.
그리고 관악기 교육 콘텐츠 제공 장치(10)는 촬영 영상에서 인식된 사람의 입의 모양과 손의 위치 그리고 각도가 지정된 형상을 가진 객체(단소 및 소금 형상을 가진 객체)와 일치하는지 지정된 위치(사람의 손가락에 대응되는 위치)를 확인할 수 있도록 표시하여 스스로 교정 가능하도록 한다.
또한 소리의 발생 과정을 시각적으로 보여주게 하기 위해 입주변의 형상과 더불어 단소와 소금의 각각의 음의 기준파장과 본인의 파장을 같이 보여주어 본인의 음이 어느 정도의 차이가 있는지 확인 가능하도록 하고 기준파장으로 유사하게 이동을 할 수 있도록 도움을 준다.
촬영 영상에서 인식된 학습자의 단소/소금의 위치가 기준 형상의 위치/각도와 달라질 경우 그 달라진 각도를 색으로 표시해 주어 문제를 알려주도록 하는 기술적 구성을 포함한다.
일 실시예에 있어서 관악기 교육 콘텐츠 제공 장치(10)는 학습자가 소지하는 학습자 단말에 일체로 탑재될 수 있다. 또는 물리적으로 별개의 구성으로 구현될 수도 있다.
영상 수신부(110)는 학습자의 관악기 연주 촬영 영상을 수신한다. 일 실시예에 있어서 영상 수신부(110)는 학습자 단말에 탑재된 카메라로부터 촬영된 영상을 수신할 수 있다.
도 2 는 본 발명의 일 실시예에 따른 관악기 교육 콘텐츠 제공 장치가 제공하는 촬영 영상의 예시도이다.
영상 수신부(110)는 학습자의 얼굴과 악기 전체가 화면에 포함된 촬영 영상을 수신하도록 유도하는 지시 메시지를 학습자 단말로 출력한다.
인식부(120)는 영상 수신부(110)로 수신된 관악기 연주 영상에서 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 파악한다.
인식부(120)는 미리 학습자로부터 구체적인 악기 종류를 입력받아 악기 종류를 파악할 수 있다. 다른 실시예에 있어서 인식부(120)는 촬영 영상으로부터 러프하게 인식되는 악기의 사이즈나 형상에 기반하여 기 저장된 관악기 종류 정보에 따라 자동으로 학습자가 연주하는 악기 종류를 구체적으로 파악하는 기술적 구성을 포함하도록 구현된다.
일 실시예에 있어서 인식부(120)는 컨볼루션 신경망(convolutional neural network,CNN)에 의해 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나의 지공을 인식할 수 있다.
인식부(120)는 영상 수신부(110)로 수신된 관악기 연주 영상을 Convolutional layer 필터를 통해, 매우 최하위 이미지 구성항목(예를 들어, 경계선, 점, 선, 커브선등) 으로 구분한다. 그리고 나서 정보를 유지한 상태로, Pooling Layer를 통해 이미지 정보를 축약한다.
이후에 또 다른 2차 Convolutional Layer로 좀더 상위의 이미지 특징 서브 항목 얼굴 형태, 입술, 악기등 으로 정의한다.
추가적으로 일반 딥러닝 프로세스인 Multi Layer Perceptron으로 학습 시키켜서 이미지 인식의 정확도를 더욱 향상시킬 수 있다. 그러나 이에 한정되는 것은 아니고 촬영 영상으로부터 학습자의 얼굴과 입술 위치와 악기, 악기의 취구과 지공의 위치를 인식할 수 있는 다양한 기술적 구성들을 모두 포괄하도록 해석된다.
분석부(130)는 인식부(120)에서 인식된 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나이상의 지공 위치를 관악기별로 기 설정된 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 기준 위치와 비교 분석한다.
저장부(150)는 전반적인 동작을 제어하기 위한 사용자 기반 개인정보 대체 연계정보 서비스 어플리케이션을 포함하는 제어프로그램을 저장하는 프로그램영역, 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 제어프로그램 수행에 필요한 데이터 및 수행 중에 발생되는 데이터를 반영구적으로 저장하는 데이터 영역을 포함한다.
일 실시예에 있어서, 저장부(150)의 데이터 영역에는 악기 종류별로 연주자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치의 기준값을 저장한다. 이론적으로 관악기 종류별로 악기의 연주자 입술에서 만나게 되는 최적의 위치와 악기의 각도 등에 대한 기준값을 저장한다.
이때 기준값은 각 악기종류별로 둘 이상의 전문가 연주 영상을 취합하여 산출될 수 있다. 그러나 이에 한정되는 것은 아니고 지도자로부터 이론적인 이상값을 입력받아 설정되는 것도 가능하다.
또한 분석부(130)는 인식부에서 인식된 학습자의 입 모양과 손의 위치, 각도가 최적의 연주시 입모양과 손의 위, 각도에 대한 이상적인 기준 값과 일치하는지 여부에 대해 비교 분석한다.
코멘트 출력부(140)는 분석부(130)에서의 분석 결과에 따라 학습자의 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 위치가 기준 위치와 일치하도록 자세 교정 코멘트를 학습자 단말의 어플리케이션을 통해 출력한다.
코멘트 출력부(140)는 예를들어 분석 결과에 따라 "입술에서 악기를 좀더 멀리 떼세요", "악기를 좀더 위로 드세요"와 같이 저장부(150)에 저장된 코멘트들 중 분석 결과에 매칭된 자세 교정 코멘트를 출력한다. 그러나 이에 한정되는 것은 아니다.
또한 코멘트 출력부(140)는 인식부(120)에서 인식된 학습자의 입 모양과 손의 위치, 각도가 최적의 연주시 입모양과 손의 위치, 각도에 대한 기준 값과 일치하는지 비교 분석 결과에 따라 코멘트를 더 출력할 수 있다.
본 발명의 일 양상에 있어서, 코멘트 출력부(140)는 영상 수신부(110)로 수신된 학습자의 관악기 연주 촬영 영상과 기 설정된 얼굴 및 관악기 취구 및 적어도 하나 이상 지공의 기준위치 실루엣을 포함하는 자세 교정을 위한 얼라인먼트 영상 화면을 더 제공한다.
도 3은 본 발명의 일 양상에 있어서 관악기 교육 콘텐츠 제공장치가 제공하는 기준위치 실루엣을 포함하는 자세 교정을 위한 얼라인먼트 영상 화면의 예시도이다.
도 3과 같이 코멘트 출력부(140)는 학습자의 얼굴과 취구 및 지공 위치를 포함하는 기준 위치 실루엣을 포함하는 자세 교정을 위한 얼라인먼트 영상을 제공한다.
일 실시예에 있어서 학습자의 연주 촬영 영상을 생성하는 학습자 단말의 화상부에 위치한 카메라로 인식된 학습자의 단소나 소금이 위치한 형상이 도 3 에서와 같이 기준 형상(30)의 위치 및 각도가 상이한 경우 그 달라진 각도를 색으로 나타내어 자세나 악기 각도를 교정할 수 있도록 문제 해결을 위한 알람 메시지를 표시해줄 수 있다.
본 발명의 추가적인 양상에 있어서, 인식부(120)는 학습자에 의해 연주된 소리의 파장을 더 인식하고, 분석부(130)는 기 저장된 악기별 기준 파장과 인식부(120)에서 인식된 학습자에 의해 연주된 소리의 파장을 그래프 형태로 비교분석한다.
도 4 는 본 발명의 일 실시예에 따른 관악기 교육 콘텐츠 제공장치가 소리의 파장 그래프 비교 분석 결과를 제공한 화면의 예시도이다.
단소와 같은 관악기는 음을 내기 위하여 입김을 슬릿부에 불어 넣으면 에지에 부딪혀서 와류가 형성되고 이 와류에서 관내로 유입된 와류가 주기적인 진동으로 관내의 소리를 공전시킴으로써 소리가 발생한다. 이를 청각적으로 나타내기 위해 학습자의 입주변 형상(40)과 더불어 관악기 종류별로 각각의 음의 기준파장과 본인의 연주에 의한 소리 파장을 함께 그래프 형태로 출력한다.
즉 학습자는 본인이 연주한 음의 파장이 실제 도달해야하는 해당 악기 음의 기준 파장과 어느 정도의 차이가 있는지를 가시적으로 확인함으로써 학습자 연주에 대한 피드백을 제공하는 효과가 도출된다. 이에 따라 학습자는 자신이 연주한 음과 기준음을 비교하여 기준음의 파장에 가깝게 이동 할 수 있도록 스스로 학습하는 데 도움을 줄 수 있다. 즉, 혼자 연습하더라도 연습 방향과 방법에 대해 정확한 대안을 제시해 줄 수 있는 효과가 있다. 더불어 입모양에 교정이 필요한 경우에 코멘트 출력부(140)는 코멘트를 더 제공할 수 있다.
또한 본 발명의 추가적인 양상에 있어서, 일 실시예에 따른 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치는 인식부(120)가 영상 수신부(110)로 수신된 관악기 연주 영상에서 적어도 하나 이상의 지공별 막힘 정도를 더 파악하고, 코멘트 출력부(140)는 인식부(120)에서 파악된 적어도 하나 이상의 지공들의 막힘 정도에 기반하여 손가락별 위치 조정 정보를 더 제공한다.
도 5 는 본 발명의 일 실시예에 따른 관악기 교육 콘텐츠 제공장치가 지공들의 막힘 정도에 따른 위치 조정 정보를 제공하는 화면의 예시도이다.
도 5와 같이 지공별로 손가락 이동 조정이 필요한 경우에 손가락 이동 방향 및 구멍을 더 잘 막을 것을 당부하는 코멘트를 포함하는 위치 조정 정보(50)를 출력할 수 있다. 이때 예를들어 붉은색 원은 구멍을 더 막고, 푸른색 원은 구멍을 덜 막도록 표시하는 위치 조정 정보일 수 있다. 그러나 이에 한정되는 것은 아니다.
다른 양상에 있어서 인식부(120)는, 관악기에 부착된 압력 센서로부터 감지 신호를 수신하여 적어도 하나 이상의 지공별로 가해지는 손가락 압력을 더 파악하고, 분석부(130)는 인식부(120)에서 파악된 적어도 하나 이상의 지공별로 가해지는 손가락 압력 정보에 기반하여 손가락별 위치 조정 정보 및 가압 정보를 더 비교 분석한다.
일 실시예에 있어서 분석부(130)는 학습을 위해 미리 설정된 연습곡이나 멜로디가 있는 경우에 저장부(150)로부터 해당 연습곡이나 멜로디에 대해 몇개의 지공을 커버해야 하는지, 어떤 지공을 커버해야하는지에 대한 정보를 파악할 수 있다. 그리고 분석부(130)는 저장부(150)에 저장된 특정 연습곡이나 멜로디에 대한 기준 정보와 지공별 손가락 가압 정보를 비교 분석할 수 있다. 그리고 코멘트 출력부(140)는 분석 결과를 학습자 단말의 전용 어플리케이션을 통해 가시적인 형태로 제공할 수 있다.
예를들어 막아야 할 구멍에 손가락 압력이 감지되지 않는 경우에 해당 구멍을 별색으로 표시하여 학습자가 연습시 운지법의 교정이 필요함을 인지할 수 있도록 구현된다.
예를들어 학습을 위해 미리 설정된 연습곡이나 멜로디가 있는 경우에 분석부(130)는 가압정보에 기반하여 연습곡이나 멜로디가 적절한 운지법에따라 연주되는지 여부를 파악할 수 있다. 그리고 어느 손가락 교정이 필요한지를 학습자에게 명확히 알려줄수 있다. 이에 따라 혼자 연습하는 경우에도 보다 정확하게 운지법을 습득할 수 있다.
도 6 은 본 발명의 일 실시예에 따른 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공 방법의 흐름도이다.
일 실시예에 따른 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치에서 수행되는 관악기 교육 콘텐츠 제공방법은, 학습자의 관악기 연주 촬영 영상을 수신한다(S600).
영상 수신 단계는 학습자의 얼굴과 악기 전체가 화면에 포함된 촬영 영상을 수신하도록 유도하는 지시 메시지를 학습자 단말로 출력한다.
그리고 영상 수신 단계로 수신된 관악기 연주 영상에서 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 파악한다(S610).
이후에 인식 단계에서 인식된 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 관악기별로 기 설정된 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 기준 위치와 비교 분석한다(S620).
인식 단계는 미리학습자로부터 구체적인 악기 종류를 입력받아 악기 종류를 파악할 수 있다. 다른 실시예에 있어서 인식 단계는 촬영 영상으로부터 러프하게 인식되는 악기의 사이즈나 형상에 기반하여 기 저장된 관악기 종류 정보에 따라 자동으로 학습자가 연주하는 악기 종류를 구체적으로 파악하는 기술적 구성을 포함하도록 구현될 수 있다.
저장부(150)의 데이터 영역에는 악기 종류별로 연주자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치의 기준값을 저장한다. 이론적으로 관악기 종류별로 악기의 연주자 입술에서 만나게 되는 최적의 위치와 악기의 각도 등에 대한 기준값을 저장한다.
이때 기준값은 각 악기종류별로 둘 이상의 전문가 연주 영상을 취합하여 산출될 수 있다. 그러나 이에 한정되는 것은 아니고 지도자로부터 이론적인 이상값을 입력받아 설정되는 것도 가능하다.
그리고 분석 단계에서의 분석 결과에 따라 학습자의 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 위치가 기준 위치와 일치하도록 자세 교정 코멘트를 학습자 단말의 어플리케이션을 통해 출력한다(S630).
분석 단계는 인식단계에서 인식된 학습자의 입 모양과 손의 위치, 각도가 최적의 연주시 입모양과 손의 위, 각도에 대한 이상적인 기준 값과 일치하는지 여부에 대해 비교 분석한다.
본 발명의 일 양상에 있어서, 코멘트 출력 단계는, 영상 수신 단계로 수신된 학습자의 관악기 연주 촬영 영상과 기 설정된 얼굴 및 관악기 취구 및 적어도 하나 이상 지공의 기준위치 실루엣을 포함하는 자세 교정을 위한 얼라인먼트 영상 화면을 더 제공한다.
일 실시예에 있어서 학습자의 연주 촬영 영상을 생성하는 학습자 단말의 화상부에 위치한 카메라로 인식된 학습자의 단소나 소금이 위치한 형상이 기준 형상(30)의 위치 및 각도가 상이한 경우 그 달라진 각도를 별색으로 나타내어 자세나 악기 각도를 교정할 수 있도록 문제 해결을 위한 알람 메시지를 표시해줄 수 있다.
그리고 인식 단계는, 학습자에 의해 연주된 소리의 파장을 더 인식하고, 분석 단계는, 기 저장된 악기별 기준 파장과 인식 단계에서 인식된 학습자에 의해 연주된 소리의 파장을 그래프 형태로 비교하여 분석한다.
또한 인식 단계는, 영상 수신 단계로 수신된 관악기 연주 영상에서 지공별 막힘 정도를 더 파악하고, 코멘트 출력 단계는, 인식단계에서 파악된 지공들의 막핌 정도에 기반하여 손가락별 위치 조정 정보를 더 제공한다.
추가적으로 인식 단계는, 관악기에 부착된 압력 센서로부터 감지 신호를 수신하여 지공별로 가해지는 손가락 압력을 더 파악하고, 분석 단계는, 인식 단계에서 파악된 지공별 가해지는 손가락 압력 정보에 기반하여 손가락별 위치 조정 정보 및 가압 정보를 더 제공한다.
일 실시예에 있어서 분석 단계는 학습을 위해 미리 설정된 연습곡이나 멜로디가 있는 경우에 저장부로부터 해당 연습곡이나 멜로디에 대해 몇개의 지공을 커버해야 하는지, 어떤 지공을 커버해야하는지에 대한 정보를 파악할 수 있다. 그리고 분석 단계는 저장부에 저장된 특정 연습곡이나 멜로디에 대한 기준 정보와 지공별 손가락 가압 정보를 비교 분석할 수 있다. 그리고 코멘트 출력 단계는 분석 결과를 학습자 단말의 전용 어플리케이션을 통해 가시적인 형태로 제공할 수 있다.
어느 손가락 교정이 필요한지를 학습자에게 명확히 알려줄수 있다. 이에 따라 혼자 연습하는 경우에도 보다 정확하게 운지법을 습득할 수 있다.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 관악기 교육 콘텐츠 제공 장치 110 : 영상 수신부
120 : 인식부 130 : 분석부
140 : 코멘트 출력부 150 : 저장부

Claims (10)

  1. 학습자의 관악기 연주 촬영 영상을 수신하는 영상 수신부;
    상기 영상 수신부로 수신된 관악기 연주 영상에서 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 파악하는 인식부;
    상기 인식부에서 인식된 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나이상의 지공 위치를 관악기별로 기 설정된 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 기준 위치와 비교 분석하는 분석부; 및
    상기 분석부에서의 분석 결과에 따라 학습자의 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 위치가 기준 위치와 일치하도록 자세 교정 코멘트를 학습자 단말의 어플리케이션을 통해 출력하는 코멘트 출력부;를 포함하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치.
  2. 제 1 항에 있어서,
    상기 코멘트 출력부는,
    상기 영상 수신부로 수신된 학습자의 관악기 연주 촬영 영상과 기 설정된 얼굴 및 관악기 취구 및 적어도 하나 이상 지공의 기준위치 실루엣을 포함하는 자세 교정을 위한 얼라인먼트 영상 화면을 더 제공하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치.
  3. 제 1 항에 있어서,
    상기 인식부는,
    학습자에 의해 연주된 소리의 파장을 더 인식하고,
    상기 분석부는,
    기 저장된 악기별 기준 파장과 상기 인식부에서 인식된 학습자에 의해 연주된 소리의 파장을 그래프 형태로 비교분석하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치.
  4. 제 1 항에 있어서,
    상기 인식부는,
    상기 영상 수신부로 수신된 관악기 연주 영상에서 적어도 하나 이상의 지공별 막힘 정도를 더 파악하고,
    상기 코멘트 출력부는,
    상기 인식부에서 파악된 적어도 하나 이상의 지공들의 막힘 정도에 기반하여 손가락별 위치 조정 정보를 더 제공하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치.
  5. 제 4 항에 있어서,
    상기 인식부는,
    관악기에 부착된 압력 센서로부터 감지 신호를 수신하여 적어도 하나 이상의 지공별로 가해지는 손가락 압력을 더 파악하고,
    상기 분석부는,
    상기 인식부에서 파악된 적어도 하나 이상의 지공별로 가해지는 손가락 압력 정보에 기반하여 손가락별 위치 조정 정보 및 가압 정보를 더 비교 분석하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치.
  6. 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치에서 수행되는 관악기 교육 콘텐츠 제공방법에 있어서,
    학습자의 관악기 연주 촬영 영상을 수신하는 영상 수신 단계;
    상기 영상 수신 단계로 수신된 관악기 연주 영상에서 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 파악하는 인식 단계;
    상기 인식 단계에서 인식된 학습자의 얼굴과 입, 관악기의 취구 및 적어도 하나 이상의 지공 위치를 관악기별로 기 설정된 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 기준 위치와 비교 분석하는 분석 단계; 및
    상기 분석 단계에서의 분석 결과에 따라 학습자의 얼굴과 입, 관악기 취구 및 적어도 하나 이상의 지공 위치가 기준 위치와 일치하도록 자세 교정 코멘트를 학습자 단말의 어플리케이션을 통해 출력하는 코멘트 출력 단계;를 포함하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공 방법.
  7. 제 6 항에 있어서,
    상기 코멘트 출력 단계는,
    상기 영상 수신 단계로 수신된 학습자의 관악기 연주 촬영 영상과 기 설정된 얼굴 및 관악기 취구 및 적어도 하나 이상 지공의 기준위치 실루엣을 포함하는 자세 교정을 위한 얼라인먼트 영상 화면을 더 제공하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공 방법.
  8. 제 6 항에 있어서,
    상기 인식 단계는,
    학습자에 의해 연주된 소리의 파장을 더 인식하고,
    상기 분석 단계는,
    기 저장된 악기별 기준 파장과 상기 인식 단계에서 인식된 학습자에 의해 연주된 소리의 파장을 그래프 형태로 비교하여 분석하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공방법.
  9. 제 6 항에 있어서,
    상기 인식 단계는,
    상기 영상 수신 단계로 수신된 관악기 연주 영상에서 지공별 막힘 정도를 더 파악하고,
    상기 코멘트 출력 단계는,
    상기 인식 단계에서 파악된 지공들의 막핌 정도에 기반하여 손가락별 위치 조정 정보를 더 제공하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공방법.
  10. 제 9 항에 있어서,
    상기 인식 단계는,
    관악기에 부착된 압력 센서로부터 감지 신호를 수신하여 지공별로 가해지는 손가락 압력을 더 파악하고,
    상기 분석 단계는,
    상기 인식 단계에서 파악된 지공별 가해지는 손가락 압력 정보에 기반하여 손가락별 위치 조정 정보 및 가압 정보를 더 제공하는, 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공방법.
KR1020220064836A 2022-05-26 2022-05-26 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법 KR20230165001A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220064836A KR20230165001A (ko) 2022-05-26 2022-05-26 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220064836A KR20230165001A (ko) 2022-05-26 2022-05-26 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230165001A true KR20230165001A (ko) 2023-12-05

Family

ID=89157400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220064836A KR20230165001A (ko) 2022-05-26 2022-05-26 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230165001A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293172A (ja) 1999-04-05 2000-10-20 Casio Comput Co Ltd 管楽器演奏練習装置及び管楽器演奏練習処理プログラムを記録した記録媒体。
KR101729406B1 (ko) 2015-08-12 2017-05-11 인제대학교 산학협력단 전자 관악기
JP2017146584A (ja) 2016-02-16 2017-08-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 吹奏楽器の練習支援装置及び練習支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293172A (ja) 1999-04-05 2000-10-20 Casio Comput Co Ltd 管楽器演奏練習装置及び管楽器演奏練習処理プログラムを記録した記録媒体。
KR101729406B1 (ko) 2015-08-12 2017-05-11 인제대학교 산학협력단 전자 관악기
JP2017146584A (ja) 2016-02-16 2017-08-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 吹奏楽器の練習支援装置及び練習支援方法

Similar Documents

Publication Publication Date Title
US10825432B2 (en) Smart detecting and feedback system for smart piano
US7582825B2 (en) Method and apparatus for keyboard instrument learning
US20130108994A1 (en) Adaptive Multimodal Communication Assist System
KR101524279B1 (ko) Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법
GB2482729A (en) An augmented reality musical instrument simulation system
EP4341924A1 (en) Computationally customizing instructional content
Acquilino et al. Current state and future directions of technologies for music instrument pedagogy
KR20230165001A (ko) 학습자의 연주자세 교정 기능을 제공하는 관악기 교육 콘텐츠 제공장치 및 방법
Menzies et al. A digital bagpipe chanter system to assist in one-to-one piping tuition
JP2008145940A (ja) 音声評価装置及び音声評価方法
JP6836877B2 (ja) 吹奏楽器の練習支援装置及び練習支援方法
Larkin et al. Sonification of bowing features for string instrument training
Heller et al. An augmented flute for beginners
US20130106689A1 (en) Methods of operating systems having optical input devices
JP2009003606A (ja) 画像認識による機器制御方法それを用いたコンテンツ作成方法および装置
TWI536207B (zh) Pointing to the method of identifying the movement of the system
JP4743612B2 (ja) 演奏学習支援システム
CN111914821B (zh) 一种听写检测方法及电子设备
US20240071139A1 (en) Information processing method, information processing system, information terminal, and computer program
KR102430914B1 (ko) 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램
JP2009045245A (ja) 画像表示装置
KR102400962B1 (ko) 음표 인식 시스템
WO2024212940A1 (zh) 一种用于音乐教学的方法、设备和计算机可读存储介质
US20240212306A1 (en) Performance Recording System, Performance Recording Method, and Recording Medium
US9852651B2 (en) Practice support device and practice support method for wind instrument performer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal