KR101905750B1

KR101905750B1 - 스마트 실로폰 및 구동 제어 방법

Info

Publication number: KR101905750B1
Application number: KR1020170010357A
Authority: KR
Inventors: 김기훈; 최원범; 이태희; 신동훈
Original assignee: 국민대학교산학협력단
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2018-10-11
Also published as: KR20180086656A

Abstract

본 발명은 악보인식 알고리즘을 통해 서보모터를 제어하여 자동으로 음악이 연주되도록 하여, 학보 학습 여부와 관계없이 연주 교육을 가능하게 하는 스마트 실로폰 및 구동 제어 방법을 제공하기 위한 것으로서, 사진으로 촬영되거나 그림파일로 작성된 이미지 형태의 악보 데이터를 입력받는 악보 입력부와, 상기 악보 입력부에서 OpenCV(open Computer Vision)를 이용하여 라인 검출 후, 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 입력된 악보 데이터에서 악보의 음정과 박자를 분석하는 악보 분석부와, 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보모터의 위치를 검출하여 상기 악보 분석부에서 분석된 악보의 음정과 박자에 맞춰서 실로폰 채와 실로폰 건반 간의 각도, 길이, 강약, 시간 중 적어도 하나 이상을 제어하는 실로폰 제어부와, 상기 실로폰 제어부에서 제어되는 제어신호를 이용하여 서보모터를 구동하는 서보모터 구동부와, 상기 악보 분석부에서 분석된 악보의 음정과 박자를 기반으로 실로폰 건반 중 실로폰 채로 쳐야 하는 특정 건반을 시간 단위로 선별하는 학습 제어부와, 상기 학습 제어부에서 선별된 실로폰 건반 또는 건반 주변에 위치하는 발광수단을 발광시켜 사용자에게 연주될 건반을 알려주는 표시부를 포함하여 구성되는데 있다.

Description

스마트 실로폰 및 구동 제어 방법{Smart Xylophone and Driving Control Method}

본 발명은 스마트 실로폰에 관한 것으로, 특히 악보인식 알고리즘을 통해 서보모터를 제어하여 자동으로 음악이 연주되도록 하여, 악보 학습 여부와 관계없이 연주 교육을 가능하게 하는 스마트 실로폰 및 구동 제어 방법에 관한 것이다.

일반적으로 실로폰은 음계가 차례로 배열된 나무 또는 금속조각 및 관으로 이루어진 소리발생부재를 채로 두드려서 소리를 내는 타악기의 한 가지를 의미한다. 이와 같은 실로폰은 길이와 두께가 다른 나무 또는 금속조각 및 관의 그 길고 짧음, 두껍고 얇음에 따라 음계를 조율하여 배열하고 채로 두드려서 소리를 낸다.

상기와 같은 종래 실로폰은 판 형상의 베이스와, 베이스 상면에 일정한 간격을 두고 마련되어 소리발생부재를 받침하는 받침부재와, 받침부재의 일 측에 입설시킨 다수의 핀과, 핀공을 갖고 핀에 설치 고정된 상태에서 받침부재 상면에 마련되는 다수의 소리발생부재로 구성된다.

한편, 현재 이루어지고 있는 악기 연주 교육은 일반적으로 악보 학습과 더불어 진행된다. 이러한 교육 과정은 나름대로의 장점을 가지고 있지만, 아이마다 악보 학습 속도에 차이가 있으며, 이로 인해 연주에 뒤처지거나 교사의 교육시간 소모가 발생한다.

그러나 연주하는 행동 자체로도 정서적 신체적 교육효과가 있다는 연구결과(음악교수법 비교분석을 통한 조기음악교육이 유아의 음악적 창의성과 발달에 미치는 연구, 울산대학교 일반대학원, 2013.12)가 있음에 따라, 현재 악보 학습으로 진행되는 것을 연주 학습으로 진행할 수 있도록 하기 위한 연구가 필요로 하고 있다.

특히 올해부터 전국적으로 스마트 교실을 운영 및 확대한다는 소식(유치원 대상 스마트 교실 대폭 확대, 매일경제, 2015.12.14)이 있음에 따라, 구체적인 스마트 교실의 모습이나 교육 커리큘럼의 부족함을 효과적으로 운영할 수 있는 방안을 모색하여야만 할 것이다.

등록특허공보 제10-0140963호 (등록일자 1998.03.17) 등록특허공보 제10-1637152호 (등록일자 2016.07.01)

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 악보인식 알고리즘을 통해 서보모터를 제어하여 자동으로 음악이 연주되도록 하여, 학보 학습 여부와 관계없이 연주 교육을 가능하게 하는 스마트 실로폰 및 구동 제어 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 스마트 실로폰의 특징은 다수의 간격 유지구와 연결구를 구비한 실로폰 몸통부위로 양측에 횡설된 받침부재와 상기 받침부재의 위로 다수개의 실로폰 건반을 배열 가능케 다수개의 고정핀을 구비한 실로폰에 있어서, 상기 실로폰은 사진으로 촬영되거나 그림파일로 작성된 이미지 형태의 악보 데이터를 입력받는 악보 입력부와, 상기 악보 입력부에서 OpenCV(open Computer Vision)를 이용하여 라인 검출 후, 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 입력된 악보 데이터에서 악보의 음정과 박자를 분석하는 악보 분석부와, 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보모터의 위치를 검출하여 상기 악보 분석부에서 분석된 악보의 음정과 박자에 맞춰서 실로폰 채와 실로폰 건반 간의 각도, 길이, 강약, 시간 중 적어도 하나 이상을 제어하는 실로폰 제어부와, 상기 실로폰 제어부에서 제어되는 제어신호를 이용하여 서보모터를 구동하는 서보모터 구동부와, 상기 악보 분석부에서 분석된 악보의 음정과 박자를 기반으로 실로폰 건반 중 실로폰 채로 쳐야 하는 특정 건반을 시간 단위로 선별하는 학습 제어부와, 상기 학습 제어부에서 선별된 실로폰 건반 또는 건반 주변에 위치하는 발광수단을 발광시켜 사용자에게 연주될 건반을 알려주는 표시부를 포함하여 구성되는데 있다.

바람직하게 상기 악보 분석부는 이미지 형태의 악보 데이터에서 OpenCV(open Computer Vision)를 이용하여 라인 검출하는 라인 검출부와, 라인이 검출된 악보 데이터에서 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 매칭되는 악보를 검출하는 템플릿 매칭부와, 상기 검출된 악보를 이용하여 입력된 악보 데이터의 음정과 박자를 도출하여 악보 데이터화하는 악보 처리부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 실로폰 제어부는 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 음정과 박자에 맞춰서 실로폰 채의 각도를 조절하는 각도 설정부와, 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보 모터의 위치에 따라서 각각 실로폰 건반과의 거리를 계산하여 분석된 악보의 음정과 박자에 맞춰서 실로폰 채의 길이를 조절하는 길이 설정부와, 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 강약기호나 음계에 따라서 실로폰 채가 실로폰 건반을 칠 때의 힘을 조절하는 강약 설정부와, 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 박자와 기호에 따라서 연주되도록 실로폰 채의 움직이는 시간을 조절하는 시간 설정부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 각도 설정부는 현재 실로폰 채와 서보 모터의 위치를 실로폰 중앙에 설치한 실로폰 촬영부를 통해 파악하여 실로폰 채가 닿는 범위를 계산하는 위치 인식부와, 분석된 악보 데이터의 음계를 서보 모터가 건반에 닫기 위한 각도를 모터의 PWM(Pulse Width Modulation) 값으로 변환하는 각도 변환부와, 상기 계산된 닿는 범위 및 PWM 값을 기반으로 실로폰 촬영부에서 촬영된 실로폰 영상을 인식하여 실로폰 채의 끝부분의 위치가 올바른 음계의 실로폰 건반에 수직으로 위치했는지 확인하는 위치 확인부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 길이 설정부는 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 현재 실로폰 채의 길이를 측정하는 길이 인식부와, 분석된 악보 데이터를 통해 실로폰 채가 쳐야 하는 건반의 중심 부분과 서보 모터와의 거리를 계산하는 거리 산출부와, 상기 측정된 실로폰 채의 길이 및 건반의 중심 부분과 서보 모터와의 거리를 기반으로 서보 모터의 높낮이를 조절하여 실로폰 채의 끝부분이 건반의 중심을 타격할 수 있도록 조절하는 높이 조절부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 강약 설정부는 분석된 악보 데이터를 기반으로 악보 중간 중간에 있는 강약 기호를 인식하여 실로폰 채가 실로폰 건반을 칠 때의 힘을 모터의 PWM 값으로 설정하는 강약 기호 인식부와, 분석된 악보 데이터의 음계에 따라 미리 설정된 실로폰 채가 실로폰 건반을 칠 때의 힘을 결정하는 음계 인식부와, 상기 설정된 모터의 PWM 값 및 힘을 기반으로 실로폰 채가 실로폰 건반을 칠 때의 속도를 분할하여 강약을 조절하는 세기 조절부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 시간 설정부는 분석된 악보 데이터의 박자 및 악보에 따라 음계와 음계 사이에 어느 정도 시간 간격을 줄지를 계산하는 박자 인식부와, 분석된 악보 데이터를 기반으로 악보의 속도 기호를 인식하여 음계와 음계 사이에 어느 정도 시간 간격을 줄지를 계산하는 속도 기호 인식부와, 상기 박자 및 악보의 속도 기호를 통해 계산된 시간동안 PC의 타이머 기능을 이용하여 일정한 박자를 구현하는 시간 조절부를 포함하여 구성되는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 스마트 실로폰의 구동 제어 방법의 특징은 (A) 사진으로 촬영되거나 그림파일로 작성된 이미지 형태의 악보 데이터가 입력되면, OpenCV(open Computer Vision)를 이용하여 라인 검출 후, 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 입력된 악보 데이터에서 악보의 음정과 박자를 분석하는 단계와, (B) 사용자로부터 선택한 곡의 음을 미리듣기 위한 구동모드 또는 선택한 곡의 학습을 위한 학습모드 중 어느 하나가 선택되는 단계와, (C) 상기 선택결과 구동모드가 선택된 경우, 실로폰 제어부를 통해 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보모터의 위치를 검출하여 상기 분석된 악보의 음정과 박자에 맞춰서 실로폰 채와 실로폰 건반 간의 각도, 길이, 강약, 시간 중 적어도 하나 이상을 제어하기 위한 제어신호를 생성하는 단계와, (D) 상기 제어신호가 생성되면, 서보모터 구동부를 통해 상기 생성된 제어신호를 이용하여 실로폰이 자동으로 연주될 수 있도록 서보모터를 구동하는 단계와, (E) 상기 선택결과 학습모드가 선택된 경우, 학습 제어부를 통해 상기 악보 분석부에서 분석된 악보의 음정과 박자를 기반으로 실로폰 건반 중 실로폰 채로 쳐야 하는 특정 건반을 시간 단위로 선별하여, 실로폰 건반에 표시되는 LED 제어신호를 생성하는 단계와, (F) 표시부를 통해 상기 생성된 LED 제어신호를 기반으로 선별된 실로폰 건반 또는 건반 주변에 위치하는 발광수단을 발광시켜 사용자에게 연주될 건반을 알려주는 단계를 포함하여 이루어지는데 있다.

바람직하게 상기 (C) 단계는 위치 인식부를 통해 현재 실로폰 채와 서보 모터의 위치를 실로폰 중앙에 설치한 실로폰 촬영부를 통해 파악하여 실로폰 채가 닿는 범위를 계산하는 단계와, 각도 변환부를 통해 분석된 악보 데이터의 음계를 서보 모터가 건반에 닫기 위한 각도를 모터의 PWM(Pulse Width Modulation) 값으로 변환하는 단계와, 위치 확인부를 통해 상기 계산된 닿는 범위 및 PWM 값을 기반으로 실로폰 촬영부에서 촬영된 실로폰 영상을 인식하여 실로폰 채의 끝부분의 위치가 올바른 음계의 실로폰 건반에 수직으로 위치했는지 확인하는 단계로 이루어지는 것을 특징으로 한다.

바람직하게 상기 (C) 단계는 길이 인식부를 통해 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 현재 실로폰 채의 길이를 측정하는 단계와, 거리 산출부를 통해 분석된 악보 데이터를 통해 실로폰 채가 쳐야 하는 건반의 중심 부분과 서보 모터와의 거리를 계산하는 단계와, 높이 조절부를 통해 상기 측정된 실로폰 채의 길이 및 건반의 중심 부분과 서보 모터와의 거리를 기반으로 서보 모터의 높낮이를 조절하여 실로폰 채의 끝부분이 건반의 중심을 타격할 수 있도록 조절하는 단계로 이루어지는 것을 특징으로 한다.

바람직하게 상기 (C) 단계는 강약 기호 인식부를 통해 분석된 악보 데이터를 기반으로 악보 중간 중간에 있는 크레센도(creccendo) 등의 강약 기호를 인식하여 실로폰 채가 실로폰 건반을 칠 때의 힘을 모터의 PWM 값으로 설정하는 단계와, 음계 인식부를 통해 분석된 악보 데이터의 음계에 따라 미리 설정된 실로폰 채가 실로폰 건반을 칠 때의 힘을 결정하는 단계와, 세기 조절부를 통해 상기 설정된 모터의 PWM 값 및 힘을 기반으로 실로폰 채가 실로폰 건반을 칠 때의 속도를 분할하여 강약을 조절하는 단계로 이루어지는 것을 특징으로 한다.

바람직하게 상기 (C) 단계는 박자 인식부를 통해 분석된 악보 데이터의 박자 및 악보에 따라 음계와 음계 사이의 시간 간격을 설정하는 단계와, 속도 기호 인식부를 통해 분석된 악보 데이터를 기반으로 악보의 속도 기호를 인식하여 음계와 음계 사이의 시간 간격을 설정하는 단계와, 시간 조절부를 통해 상기 박자 및 악보의 속도 기호를 통해 설정된 시간 간격을 PC의 타이머 기능을 이용하여 일정한 박자로 구현하는 단계로 이루어지는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 스마트 실로폰 및 구동 제어 방법은 다음과 같은 효과가 있다.

첫째, 악보 학습 여부와 관계없이 연주 교육을 가능하게 하므로 악보 학습의 진행이 아닌 연주 학습의 진행이 가능하다.

둘째, 곡을 따라 치는 것으로 연주가 가능하므로 1대 다 지도 교육이 가능하여 일일이 음계를 지도하지 않아도 되며, 또한, 필요에 따라 선택한 곡의 음을 미리듣기 기능을 통하여 들을 수 있어 사용자가 효과적으로 연주 할 수 있도록 하여 학습능력을 높일 수 있는 효과가 있다.

셋째, 자체적인 악보인식 알고리즘과, 1대다 통신, 데이터-악기 연동 기술을 확보하여, 실로폰뿐만 아니라 다양한 악기로 확대하고 적용할 수 있다.

도 1 은 본 발명의 실시예에 따른 스마트 실로폰의 구성을 나타낸 블록도
도 2 는 도 1에서 악보 분석부의 구성을 상세히 나타낸 블록도
도 3 은 도 1에서 악보 분석부의 구성을 통해 변경되는 악보 데이터를 나타낸 도면
도 4 는 도 1에서 실로폰 제어부의 구성을 상세히 나타낸 블록도
도 5 는 본 발명의 실시예에 따른 스마트 실로폰의 구동 제어 방법을 설명하기 위한 흐름도
도 6 은 도 5에서 실로폰 채의 각도를 조절하는 과정을 상세히 설명하기 위한 흐름도
도 7 은 도 5에서 실로폰 채의 길이에 따른 실로폰 건반과의 거리를 조절하는 과정을 상세히 설명하기 위한 흐름도
도 8 은 도 5에서 실로폰 채의 강도를 조절하는 과정을 상세히 설명하기 위한 흐름도
도 9 는 도 5에서 실로폰 채의 시간을 조절하는 과정을 상세히 설명하기 위한 흐름도

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 스마트 실로폰 및 구동 제어 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1 은 본 발명의 실시예에 따른 스마트 실로폰의 구성을 나타낸 블록도이다.

이때, 실로폰의 구성은 이미 공지되어 있는 구성으로, 다수의 간격 유지구와 연결구를 구비한 실로폰 몸통부 위로 양측에 횡설된 받침부재와 상기 받침부재의 위로 다수개의 실로폰 건반을 배열 가능케 다수개의 고정핀을 구비하고 있으며, 본 발명은 이러한 실로폰을 자동으로 연주 할 수 있도록 제어하기 위한 발명으로, 이러한 실로폰의 구성은 설명하지 않도록 한다.

도 1에서 도시하고 있는 것과 같이, 본 발명의 스마트 실로폰은 사진으로 촬영되거나 그림파일로 작성된 이미지 형태의 악보 데이터를 입력받는 악보 입력부(100)와, 상기 악보 입력부(100)에서 OpenCV(open Computer Vision)를 이용하여 라인 검출 후, 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 입력된 악보 데이터에서 악보의 음정과 박자를 분석하는 악보 분석부(200)와, 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보모터의 위치를 검출하여 상기 악보 분석부(200)에서 분석된 악보의 음정과 박자에 맞춰서 실로폰 채와 실로폰 건반 간의 각도, 길이, 강약, 시간 중 적어도 하나 이상을 제어하는 실로폰 제어부(300)와, 상기 실로폰 제어부(300)에서 제어되는 제어신호를 이용하여 서보모터를 구동하는 서보모터 구동부(400)와, 상기 악보 분석부(200)에서 분석된 악보의 음정과 박자를 기반으로 실로폰 건반 중 실로폰 채로 쳐야 하는 특정 건반을 시간 단위로 선별하는 학습 제어부(500)와, 상기 학습 제어부(500)에서 선별된 실로폰 건반 또는 건반 주변에 위치하는 발광수단을 발광시켜 사용자에게 연주될 건반을 알려주는 표시부(600)로 구성된다. 이때, 표시부(600)는 실로폰 건반 내부 또는 외부에 발광수단을 위치시켜 구성되며, 바람직하게는 실로폰 건반 상단부에 위치하는 본체에 LED로 구성될 수 있다.

이에 따라, 사용자는 필요에 따라 선택한 곡의 음을 미리듣기 기능을 통하여 들거나, 또는 선택한 곡의 음정과 박자에 맞게 표시되는 해당 실로폰 건반을 자신이 직접 치면서 효과적으로 연주 할 수 있다.

그리고 상기 악보 분석부(200)는 도 2에서 도시하고 있는 것과 같이, 도 3(a)와 같은 이미지 형태의 악보 데이터에서 OpenCV(open Computer Vision)를 이용하여 라인 검출하는 라인 검출부(210)와, 도 3(b)에서 나타내고 있는 것과 같이 라인이 검출된 악보 데이터에서 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 매칭되는 악보를 검출하는 템플릿 매칭부(220)와, 도 3(c)에서 나타내고 있는 것과 같이 상기 검출된 악보를 이용하여 입력된 악보 데이터의 음정과 박자를 도출하여 악보 데이터화하는 악보 처리부(230)로 구성된다.

또한, 상기 실로폰 제어부(300)는 도 4에서 도시하고 있는 것과 같이, 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 음정과 박자에 맞춰서 실로폰 채의 각도를 조절하는 각도 설정부(310)와, 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보 모터의 위치에 따라서 각각 실로폰 건반과의 거리를 계산하여 분석된 악보의 음정과 박자에 맞춰서 실로폰 채의 길이를 조절하는 길이 설정부(320)와, 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 강약기호나 음계에 따라서 실로폰 채가 실로폰 건반을 칠 때의 힘을 조절하는 강약 설정부(330)와, 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 박자와 기호에 따라서 연주되도록 실로폰 채의 움직이는 시간을 조절하는 시간 설정부(340)로 구성된다.

이때, 상기 각도 설정부(310)는 현재 실로폰 채와 서보 모터의 위치를 실로폰 중앙에 설치한 실로폰 촬영부(500)를 통해 파악하여 실로폰 채가 닿는 범위를 계산하는 위치 인식부(311)와, 분석된 악보 데이터의 음계를 서보 모터가 건반에 닫기 위한 각도를 모터의 PWM(Pulse Width Modulation) 값으로 변환하는 각도 변환부(312)와, 상기 계산된 닿는 범위 및 PWM 값을 기반으로 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 인식하여 실로폰 채의 끝부분의 위치가 올바른 음계의 실로폰 건반에 수직으로 위치했는지 확인하는 위치 확인부(313)로 구성된다.

또한 상기 길이 설정부(320)는 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 현재 실로폰 채의 길이를 측정하는 길이 인식부(321)와, 분석된 악보 데이터를 통해 실로폰 채가 쳐야 하는 건반의 중심 부분과 서보 모터와의 거리를 계산하는 거리 산출부(322)와, 상기 측정된 실로폰 채의 길이 및 건반의 중심 부분과 서보 모터와의 거리를 기반으로 서보 모터의 높낮이를 조절하여 실로폰 채의 끝부분이 건반의 중심을 타격할 수 있도록 조절하는 높이 조절부(323)로 구성된다.

또한 상기 강약 설정부(330)는 분석된 악보 데이터를 기반으로 악보 중간 중간에 있는 크레센도(crescendo) 등의 강약 기호를 인식하여 실로폰 채가 실로폰 건반을 칠 때의 힘을 모터의 PWM 값으로 설정하는 강약 기호 인식부(331)와, 분석된 악보 데이터의 음계에 따라 미리 설정된 실로폰 채가 실로폰 건반을 칠 때의 힘을 결정하는 음계 인식부(332)와, 상기 설정된 모터의 PWM 값 및 힘을 기반으로 가장 높은 음계를 100%의 속도라고 했을 때, 가장 낮은 음계를 50%의 속도로 설정하여 실로폰 채가 실로폰 건반을 칠 때의 속도를 분할하여 강약을 조절하는 세기 조절부(333)로 구성된다.

또한 상기 시간 설정부(340)는 분석된 악보 데이터의 박자 및 악보에 따라 음계와 음계 사이에 어느 정도 시간 간격을 줄지를 계산하는 박자 인식부(341)와, 분석된 악보 데이터를 기반으로 악보의 속도 기호를 인식하여 음계와 음계 사이에 어느 정도 시간 간격을 줄지를 계산하는 속도 기호 인식부(342)와, 상기 박자 및 악보의 속도 기호를 통해 계산된 시간동안 PC의 타이머 기능을 이용하여 일정한 박자를 구현하는 시간 조절부(343)로 구성된다.

이와 같이 구성된 본 발명에 따른 스마트 실로폰의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 내지 도 4와 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.

도 5 는 본 발명의 실시예에 따른 스마트 실로폰의 구동 제어 방법을 설명하기 위한 흐름도이다.

도 5를 참조하여 설명하면, 먼저 도 3(a)에서 나타내고 있는 것과 같이 사진으로 촬영되거나 그림파일로 작성된 이미지 형태의 악보 데이터가 입력되면(S100), 악보 분석부(200)는 도 3(b)에서 나타내고 있는 것과 같이 OpenCV(open Computer Vision)를 이용하여 라인 검출 후, 도 3(c)에서 도시하고 있는 것과 같이 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 입력된 악보 데이터에서 악보의 음정과 박자를 분석한다(S200).

이어, 사용자가 선택한 곡의 음을 미리듣기 위한 구동모드 또는 선택한 곡의 학습을 위한 학습모드 중 어느 하나를 선택하게 된다(S300).

이때, 사용자가 구동모드를 선택한 경우(S300), 실로폰 제어부(300)를 통해 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보모터의 위치를 검출하여 상기 악보 분석부(200)에서 분석된 악보의 음정과 박자에 맞춰서 실로폰 채와 실로폰 건반 간의 각도, 길이, 강약, 시간 중 적어도 하나 이상을 제어하기 위한 제어신호를 생성한다(S300).

이때, 상기 실로폰 채의 각도는 각도 설정부(310)를 통해 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 음정과 박자에 맞춰서 실로폰 채의 각도를 조절하며, 도 6 은 이를 좀 더 상세히 설명하기 위한 흐름도이다.

도 6을 참조하여 설명하면, 위치 인식부(311)를 통해 현재 실로폰 채와 서보 모터의 위치를 실로폰 중앙에 설치한 실로폰 촬영부(500)를 통해 파악하여 실로폰 채가 닿는 범위를 계산한다(S310). 또한 각도 변환부(312)를 통해 분석된 악보 데이터의 음계를 서보 모터가 건반에 닫기 위한 각도를 모터의 PWM(Pulse Width Modulation) 값으로 변환한다(S311). 그리고 위치 확인부(313)를 통해 상기 계산된 닿는 범위 및 PWM 값을 기반으로 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 인식하여 실로폰 채의 끝부분의 위치가 올바른 음계의 실로폰 건반에 수직으로 위치했는지 확인한다(S312).

또한 상기 실로폰 채의 길이는 길이 설정부(320)를 통해 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보 모터의 위치에 따라서 각각 실로폰 건반과의 거리를 계산하여 분석된 악보의 음정과 박자에 맞춰서 실로폰 채의 길이를 조절하며, 도 7 은 이를 좀 더 상세히 설명하기 위한 흐름도이다.

도 7을 참조하여 설명하면, 길이 인식부(321)를 통해 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 현재 실로폰 채의 길이를 측정한다(S320). 또한 거리 산출부(322)를 통해 분석된 악보 데이터를 통해 실로폰 채가 쳐야 하는 건반의 중심 부분과 서보 모터와의 거리를 계산한다(S321). 그리고 높이 조절부(323)를 통해 상기 측정된 실로폰 채의 길이 및 건반의 중심 부분과 서보 모터와의 거리를 기반으로 서보 모터의 높낮이를 조절하여 실로폰 채의 끝부분이 건반의 중심을 타격할 수 있도록 조절한다(S322).

또한 상기 실로폰 채의 강약은 강약 설정부(330)를 통해 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 강약기호나 음계에 따라서 실로폰 채가 실로폰 건반을 칠 때의 힘을 조절하며, 도 8 은 이를 좀 더 상세히 설명하기 위한 흐름도이다.

도 8을 참조하여 설명하면, 강약 기호 인식부(331)를 통해 분석된 악보 데이터를 기반으로 악보 중간 중간에 있는 크레센도(creccendo) 등의 강약 기호를 인식하여 실로폰 채가 실로폰 건반을 칠 때의 힘을 모터의 PWM 값으로 설정한다(S330). 또한 음계 인식부(332)를 통해 분석된 악보 데이터의 음계에 따라 미리 설정된 실로폰 채가 실로폰 건반을 칠 때의 힘을 결정한다(S331). 그리고 세기 조절부(333)를 통해 상기 설정된 모터의 PWM 값 및 힘을 기반으로 가장 높은 음계를 100%의 속도라고 했을 때, 가장 낮은 음계를 50%의 속도로 설정하여 실로폰 채가 실로폰 건반을 칠 때의 속도를 분할하여 강약을 조절한다(S332).

마지막으로 상기 실로폰 채의 시간은 시간 설정부(340)를 통해 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 박자와 기호에 따라서 연주되도록 실로폰 채의 움직이는 시간을 조절하며, 도 9 는 이를 좀 더 상세히 설명하기 위한 흐름도이다.

도 9를 참조하여 설명하면, 박자 인식부(341)를 통해 분석된 악보 데이터의 박자 및 악보에 따라 음계와 음계 사이의 시간 간격을 설정한다(S340). 또한 속도 기호 인식부(342)를 통해 분석된 악보 데이터를 기반으로 악보의 속도 기호를 인식하여 음계와 음계 사이의 시간 간격을 설정한다(S341). 그리고 시간 조절부(343)를 통해 상기 박자 및 악보의 속도 기호를 통해 설정된 시간 간격을 PC의 타이머 기능을 이용하여 일정한 박자로 구현한다(S342).

이처럼, 실로폰 제어부(300)를 통해 실로폰 채의 각도, 길이, 강약, 시간 중 적어도 하나 이상을 제어하기 위한 제어신호가 생성되면, 서보모터 구동부(400)는 생성된 제어신호를 이용하여 실로폰이 자동으로 연주될 수 있도록 서보모터를 구동한다(S400).

한편, 사용자가 학습모드를 선택한 경우(S300), 학습 제어부(500)를 통해 상기 악보 분석부(200)에서 분석된 악보의 음정과 박자를 기반으로 실로폰 건반 중 실로폰 채로 쳐야 하는 특정 건반을 시간 단위로 선별하여, 실로폰 건반에 표시되는 LED 제어신호를 생성한다(S600).

그리고 표시부(600)를 통해 상기 생성된 LED 제어신호를 기반으로 선별된 실로폰 건반 또는 건반 주변에 위치하는 발광수단을 발광시켜 사용자에게 연주될 건반을 알려주게 된다(S700).

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

다수의 간격 유지구와 연결구를 구비한 실로폰 몸통부위로 양측에 횡설된 받침부재와 상기 받침부재의 위로 다수개의 실로폰 건반을 배열 가능케 다수개의 고정핀을 구비한 실로폰에 있어서, 상기 실로폰은
사진으로 촬영되거나 그림파일로 작성된 이미지 형태의 악보 데이터를 입력받는 악보 입력부와,
상기 악보 입력부에서 OpenCV(open Computer Vision)를 이용하여 라인 검출 후, 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 입력된 악보 데이터에서 악보의 음정과 박자를 분석하는 악보 분석부와,
실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보모터의 위치를 검출하여 상기 악보 분석부에서 분석된 악보의 음정과 박자에 맞춰서 실로폰 채와 실로폰 건반 간의 각도, 길이, 강약, 시간 중 적어도 하나 이상을 제어하는 실로폰 제어부와,
상기 실로폰 제어부에서 제어되는 제어신호를 이용하여 서보모터를 구동하는 서보모터 구동부와,
상기 악보 분석부에서 분석된 악보의 음정과 박자를 기반으로 실로폰 건반 중 실로폰 채로 쳐야 하는 특정 건반을 시간 단위로 선별하는 학습 제어부와,
상기 학습 제어부에서 선별된 실로폰 건반 또는 건반 주변에 위치하는 발광수단을 발광시켜 사용자에게 연주될 건반을 알려주는 표시부를 포함하여 구성되는 것을 특징으로 하는 스마트 실로폰.
제 1 항에 있어서, 상기 악보 분석부는
이미지 형태의 악보 데이터에서 OpenCV(open Computer Vision)를 이용하여 라인 검출하는 라인 검출부와,
라인이 검출된 악보 데이터에서 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 매칭되는 악보를 검출하는 템플릿 매칭부와,
상기 검출된 악보를 이용하여 입력된 악보 데이터의 음정과 박자를 도출하여 악보 데이터화하는 악보 처리부를 포함하여 구성되는 것을 특징으로 하는 스마트 실로폰.
제 1 항에 있어서, 상기 실로폰 제어부는
실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 음정과 박자에 맞춰서 실로폰 채의 각도를 조절하는 각도 설정부와,
실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보 모터의 위치에 따라서 각각 실로폰 건반과의 거리를 계산하여 분석된 악보의 음정과 박자에 맞춰서 실로폰 채의 길이를 조절하는 길이 설정부와,
실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 강약기호나 음계에 따라서 실로폰 채가 실로폰 건반을 칠 때의 힘을 조절하는 강약 설정부와,
실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보 모터의 현재 위치를 파악하여 분석된 악보의 박자와 기호에 따라서 연주되도록 실로폰 채의 움직이는 시간을 조절하는 시간 설정부를 포함하여 구성되는 것을 특징으로 하는 스마트 실로폰.
제 3 항에 있어서, 상기 각도 설정부는
현재 실로폰 채와 서보 모터의 위치를 실로폰 중앙에 설치한 실로폰 촬영부를 통해 파악하여 실로폰 채가 닿는 범위를 계산하는 위치 인식부와,
분석된 악보 데이터의 음계를 서보 모터가 건반에 닫기 위한 각도를 모터의 PWM(Pulse Width Modulation) 값으로 변환하는 각도 변환부와,
상기 계산된 닿는 범위 및 PWM 값을 기반으로 실로폰 촬영부에서 촬영된 실로폰 영상을 인식하여 실로폰 채의 끝부분의 위치가 올바른 음계의 실로폰 건반에 수직으로 위치했는지 확인하는 위치 확인부를 포함하여 구성되는 것을 특징으로 하는 스마트 실로폰.
제 3 항에 있어서, 상기 길이 설정부는
실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 현재 실로폰 채의 길이를 측정하는 길이 인식부와,
분석된 악보 데이터를 통해 실로폰 채가 쳐야 하는 건반의 중심 부분과 서보 모터와의 거리를 계산하는 거리 산출부와,
상기 측정된 실로폰 채의 길이 및 건반의 중심 부분과 서보 모터와의 거리를 기반으로 서보 모터의 높낮이를 조절하여 실로폰 채의 끝부분이 건반의 중심을 타격할 수 있도록 조절하는 높이 조절부를 포함하여 구성되는 것을 특징으로 하는 스마트 실로폰.
제 3 항에 있어서, 상기 강약 설정부는
분석된 악보 데이터를 기반으로 악보 중간 중간에 있는 강약 기호를 인식하여 실로폰 채가 실로폰 건반을 칠 때의 힘을 모터의 PWM 값으로 설정하는 강약 기호 인식부와,
분석된 악보 데이터의 음계에 따라 미리 설정된 실로폰 채가 실로폰 건반을 칠 때의 힘을 결정하는 음계 인식부와,
상기 설정된 모터의 PWM 값 및 힘을 기반으로 실로폰 채가 실로폰 건반을 칠 때의 속도를 분할하여 강약을 조절하는 세기 조절부를 포함하여 구성되는 것을 특징으로 하는 스마트 실로폰.
제 3 항에 있어서, 상기 시간 설정부는
분석된 악보 데이터의 박자 및 악보에 따라 음계와 음계 사이에 어느 정도 시간 간격을 줄지를 계산하는 박자 인식부와,
분석된 악보 데이터를 기반으로 악보의 속도 기호를 인식하여 음계와 음계 사이에 어느 정도 시간 간격을 줄지를 계산하는 속도 기호 인식부와,
상기 박자 및 악보의 속도 기호를 통해 계산된 시간동안 PC의 타이머 기능을 이용하여 일정한 박자를 구현하는 시간 조절부를 포함하여 구성되는 것을 특징으로 하는 스마트 실로폰.
(A) 사진으로 촬영되거나 그림파일로 작성된 이미지 형태의 악보 데이터가 입력되면, OpenCV(open Computer Vision)를 이용하여 라인 검출 후, 템플릿 매칭을 통해 미리 저장되어 있는 악보 정보를 기반으로 입력된 악보 데이터에서 악보의 음정과 박자를 분석하는 단계와,
(B) 사용자로부터 선택한 곡의 음을 미리듣기 위한 구동모드 또는 선택한 곡의 학습을 위한 학습모드 중 어느 하나가 선택되는 단계와,
(C) 상기 선택결과 구동모드가 선택된 경우, 실로폰 제어부를 통해 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 서보모터의 위치를 검출하여 상기 분석된 악보의 음정과 박자에 맞춰서 실로폰 채와 실로폰 건반 간의 각도, 길이, 강약, 시간 중 적어도 하나 이상을 제어하기 위한 제어신호를 생성하는 단계와,
(D) 상기 제어신호가 생성되면, 서보모터 구동부를 통해 상기 생성된 제어신호를 이용하여 실로폰이 자동으로 연주될 수 있도록 서보모터를 구동하는 단계와,
(E) 상기 선택결과 학습모드가 선택된 경우, 학습 제어부를 통해 악보 분석부에서 분석된 악보의 음정과 박자를 기반으로 실로폰 건반 중 실로폰 채로 쳐야 하는 특정 건반을 시간 단위로 선별하여, 실로폰 건반에 표시되는 LED 제어신호를 생성하는 단계와,
(F) 표시부를 통해 상기 생성된 LED 제어신호를 기반으로 선별된 실로폰 건반 또는 건반 주변에 위치하는 발광수단을 발광시켜 사용자에게 연주될 건반을 알려주는 단계를 포함하여 이루어지는 것을 특징으로 하는 스마트 실로폰 구동 제어 방법.
제 8 항에 있어서, 상기 (C) 단계는
위치 인식부를 통해 현재 실로폰 채와 서보 모터의 위치를 실로폰 중앙에 설치한 실로폰 촬영부를 통해 파악하여 실로폰 채가 닿는 범위를 계산하는 단계와,
각도 변환부를 통해 분석된 악보 데이터의 음계를 서보 모터가 건반에 닫기 위한 각도를 모터의 PWM(Pulse Width Modulation) 값으로 변환하는 단계와,
위치 확인부를 통해 상기 계산된 닿는 범위 및 PWM 값을 기반으로 실로폰 촬영부(500)에서 촬영된 실로폰 영상을 인식하여 실로폰 채의 끝부분의 위치가 올바른 음계의 실로폰 건반에 수직으로 위치했는지 확인하는 단계로 이루어지는 것을 특징으로 하는 스마트 실로폰 구동 제어 방법.
제 8 항에 있어서, 상기 (C) 단계는
길이 인식부를 통해 실로폰 촬영부에서 촬영된 실로폰 영상을 기반으로 현재 실로폰 채의 길이를 측정하는 단계와,
거리 산출부를 통해 분석된 악보 데이터를 통해 실로폰 채가 쳐야 하는 건반의 중심 부분과 서보 모터와의 거리를 계산하는 단계와,
높이 조절부를 통해 상기 측정된 실로폰 채의 길이 및 건반의 중심 부분과 서보 모터와의 거리를 기반으로 서보 모터의 높낮이를 조절하여 실로폰 채의 끝부분이 건반의 중심을 타격할 수 있도록 조절하는 단계로 이루어지는 것을 특징으로 하는 스마트 실로폰 구동 제어 방법.
제 8 항에 있어서, 상기 (C) 단계는
강약 기호 인식부를 통해 분석된 악보 데이터를 기반으로 악보 중간 중간에 있는 크레센도(creccendo) 등의 강약 기호를 인식하여 실로폰 채가 실로폰 건반을 칠 때의 힘을 모터의 PWM 값으로 설정하는 단계와,
음계 인식부를 통해 분석된 악보 데이터의 음계에 따라 미리 설정된 실로폰 채가 실로폰 건반을 칠 때의 힘을 결정하는 단계와,
세기 조절부를 통해 상기 설정된 모터의 PWM 값 및 힘을 기반으로 실로폰 채가 실로폰 건반을 칠 때의 속도를 분할하여 강약을 조절하는 단계로 이루어지는 것을 특징으로 하는 스마트 실로폰 구동 제어 방법.
제 8 항에 있어서, 상기 (C) 단계는
박자 인식부를 통해 분석된 악보 데이터의 박자 및 악보에 따라 음계와 음계 사이의 시간 간격을 설정하는 단계와,
속도 기호 인식부를 통해 분석된 악보 데이터를 기반으로 악보의 속도 기호를 인식하여 음계와 음계 사이의 시간 간격을 설정하는 단계와,
시간 조절부를 통해 상기 박자 및 악보의 속도 기호를 통해 설정된 시간 간격을 PC의 타이머 기능을 이용하여 일정한 박자로 구현하는 단계로 이루어지는 것을 특징으로 하는 스마트 실로폰 구동 제어 방법.