KR102403633B1 - Digital piano with learning capabilities through mugic sheet compatibility and mutual recognition - Google Patents

Digital piano with learning capabilities through mugic sheet compatibility and mutual recognition Download PDF

Info

Publication number
KR102403633B1
KR102403633B1 KR1020200099039A KR20200099039A KR102403633B1 KR 102403633 B1 KR102403633 B1 KR 102403633B1 KR 1020200099039 A KR1020200099039 A KR 1020200099039A KR 20200099039 A KR20200099039 A KR 20200099039A KR 102403633 B1 KR102403633 B1 KR 102403633B1
Authority
KR
South Korea
Prior art keywords
sheet music
image
data
digital
music
Prior art date
Application number
KR1020200099039A
Other languages
Korean (ko)
Other versions
KR20220019167A (en
Inventor
박장원
박유경
Original Assignee
주식회사 크라우져
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라우져 filed Critical 주식회사 크라우져
Priority to KR1020200099039A priority Critical patent/KR102403633B1/en
Publication of KR20220019167A publication Critical patent/KR20220019167A/en
Application granted granted Critical
Publication of KR102403633B1 publication Critical patent/KR102403633B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.

Abstract

구체적으로는 유저가 실제 악보를 이용 시에도 디지털 데이터를 이용하여 피아노 학습이 가능하도록 하는 동시에, 실제 악보가 없더라도 디지털 데이터를 통해 실제 악보를 보는 것과 같은 효과를 구현하는 동시에 피아노 학습이 가능하도록 하는 기술을 제공한다. 본 발명의 일 실시예에 따른 하나 이상의 프로세서 및 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치를 포함하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노로서, 복수의 건반, 건반의 타건 시 건반의 식별 정보에 따라서 건반에 대응되는 음을 구현하는 사운드 생성기, 및 사운드 생성기의 동작을 제어하는 제어부를 포함하는 피아노 본체; 피아노 본체의 건반의 전면 상에 배치되며, 악보를 거치하기 위한 플레이트형의 악보 거치대; 악보 거치대와 건반의 사이에 배치되며, 악보 거치대에 거치된 악보를 촬영하고, 촬영된 악보 이미지를 분석하여 디지털 악보 데이터를 생성하는 악보 인식부; 및 외부로부터 입력되어 제어부를 통해 수신한 디지털 악보 데이터를 악보 이미지로 구현하고, 구현된 악보 이미지에 대응되는 광 데이터를 생성한 후 악보 거치대에 조사하여, 악보 거치대에 악보 이미지가 디스플레이되도록 하는 악보 출력부; 를 포함하는 것을 특징으로 한다.Specifically, a technology that enables the user to learn the piano using digital data even when using the actual sheet music, and at the same time realizes the same effect as viewing the actual sheet music through digital data even if there is no actual sheet music, and at the same time enables piano learning provides As a digital piano including a learning function through music compatibility and mutual recognition comprising a computing device including one or more processors and one or more memories for storing instructions executable by the processor according to an embodiment of the present invention, a plurality of keys , a piano main body including a sound generator for realizing a sound corresponding to the keyboard according to identification information of the keyboard when the keyboard is pressed, and a controller for controlling the operation of the sound generator; a plate-type sheet music holder disposed on the front surface of the keyboard of the piano body to hold sheet music; a sheet music recognition unit disposed between the sheet music holder and the keyboard, photographing the sheet music mounted on the sheet music holder, and analyzing the photographed sheet music image to generate digital sheet music data; and digital music data inputted from the outside and received through the control unit as a sheet music image, generating optical data corresponding to the implemented sheet music image, and irradiating it to the sheet music holder, so that the sheet music image is displayed on the sheet music holder wealth; It is characterized in that it includes.

Description

악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노{DIGITAL PIANO WITH LEARNING CAPABILITIES THROUGH MUGIC SHEET COMPATIBILITY AND MUTUAL RECOGNITION}DIGITAL PIANO WITH LEARNING CAPABILITIES THROUGH MUGIC SHEET COMPATIBILITY AND MUTUAL RECOGNITION

본 발명은 영상 분석 및 이미지 조사 기술을 활용한 디지털 악보를 이용한 학습 기능을 포함하는 디지털 피아노에 관한 것으로, 구체적으로는 유저가 실제 악보를 이용 시에도 디지털 데이터를 이용하여 피아노 학습이 가능하도록 하는 동시에, 실제 악보가 없더라도 디지털 데이터를 통해 실제 악보를 보는 것과 같은 효과를 구현하는 동시에 피아노 학습이 가능하도록 함으로써, 유저의 편의성 및 학습 효과를 늘릴 수 있는 기술에 관한 것이다.The present invention relates to a digital piano including a learning function using digital sheet music using image analysis and image research technology. , It relates to a technology that can increase the user's convenience and learning effect by realizing the same effect as viewing the actual sheet music through digital data even if there is no actual sheet music, and enabling piano learning at the same time.

최근 층간 소음 및 공간 상의 효율성에 힘입어, 디지털 피아노를 이용하는 유저의 수가 늘어나고 있다. 디지털 피아노는, 건반을 타건 시, 건반과 회로의 접촉 및 접촉압을 감지하고, 감지된 신호를 기반으로 사운드 제너레이터 또는 음성 데이터 생성을 위한 프로그램을 통해서 피아노와 거의 동일한 사운드를 구현하는 장치를 의미한다. Recently, the number of users using digital pianos is increasing thanks to noise between floors and efficiency in space. A digital piano is a device that senses the contact and contact pressure between the keyboard and circuit when the keyboard is played, and implements a sound almost identical to that of the piano through a sound generator or a program for generating voice data based on the sensed signal. .

특히, 합성 에뮬레이션이나 실제 피아노 샘플을 사용하여 내부 스피커를 통해 증폭하여 사운드를 출력하기 때문에, 실제 피아노와 음질 차이가 적고, 외형은 일반 피아노와 거의 동일하며, 일반 피아노를 연주 시의 파장에 의한 층간 소음의 문제가 거의 발생하지 않아, 가정용으로 크게 부각되고 있다.In particular, since the sound is output by amplifying it through the internal speaker using synthetic emulation or real piano samples, there is little difference in sound quality from the real piano, the appearance is almost the same as that of a general piano, Since there is almost no noise problem, it has been greatly emphasized for home use.

이러한 디지털 피아노는 최근 그 기술의 발달에 힘입어, 스마트폰 등의 유저 단말과의 연동을 통해서, 학습 기능이 각광받고 있다. 즉, 예를 들어 "simplypiano"등의 어플리케이션은, 디지털 피아노와의 유무선 연결을 통해서 유저 단말에서 출력되는 악보 데이터에 따라서 유저가 연주를 수행하게 하고, 이를 바탕으로 연주의 품질을 평가할 수 있는 기술을 제공하고 있다.In recent years, such a digital piano has been in the spotlight as a learning function by interworking with a user terminal such as a smart phone thanks to the development of its technology. That is, for example, an application such as "simplypiano" allows a user to perform a performance according to the sheet music data output from the user terminal through a wired/wireless connection with the digital piano, and based on this, a technology that can evaluate the quality of the performance. are providing

이러한 기술로는 한국공개특허 제10-2003-0045996호 등이 있는데, 해당 기술을 포함한 기존의 기술들은, 디지털 피아노와 유저의 단말을 서로 유무선 연결하고, 사용자 컴퓨터(유저 단말)에 표시되는 악보를 확인한 후 이에 대한 연주를 통해 디지털 피아노에 생성되는 음악 데이터와 악보의 음악 데이터를 비교하여 연주를 평가하는 기술적 특징을 게시하고 있다.As such technology, there is Korean Patent Application Laid-Open No. 10-2003-0045996 No., and the existing technologies including this technology connect the digital piano and the user's terminal with each other wired and wirelessly, After confirmation, the technical characteristics of evaluating the performance are posted by comparing the music data generated in the digital piano and the music data of the sheet music through the performance.

그러나 이러한 기술들은, 사용자가 유저 단말을 반드시 보유하고 있어야 하며, 유저 단말을 통해 악보를 확인해야 하기 때문에, 실제 악보를 보는 것과 같은 효과는 전혀 기대하기 힘들고, 유저 단말이 없는 사용자들은 실질적으로 해당 기능을 이용하기 불가능한 문제점이 있다.However, in these technologies, the user must have a user terminal and check the sheet music through the user terminal, so it is difficult to expect the same effect as seeing the actual sheet music, and users without a user terminal can actually use the corresponding function There is a problem that it is impossible to use .

즉, 기존의 기술은 디지털 피아노와 유저 단말을 동시에 보유하는 경우에만 해당 기술에서 구현되는 서비스를 이용할 수 있기 때문에, 서비스 이용의 난이도가 높은 문제점과 함께, 피아노 특유의 악보 거치대의 활용이 불가능하여, 디지털 피아노와 일반 피아노의 감성의 차이를 좁힐 수 없는 문제점이 있다.That is, since the existing technology can use the service implemented in the technology only when the digital piano and the user terminal are simultaneously held, the difficulty of using the service is high, and it is impossible to utilize the music holder unique to the piano, There is a problem in that the difference between the sensitivity of the digital piano and the general piano cannot be narrowed.

이에 본 발명은, 디지털 피아노의 악보 거치대를 최대한 활용하되, 디지털 피아노의 특징인 음악 데이터의 생성을 통한 단말 등 컴퓨팅 장치와의 연동을 통해서, 악보, 음악 데이터 및 프로그램을 통한 유저의 연주 수준에 대한 평가를 가능하게 하여, 피아노 학습 효과를 최대화하는 기술을 제공하는데 그 목적이 있다.Accordingly, the present invention utilizes the score holder of the digital piano to the fullest, but by interworking with a computing device such as a terminal through generation of music data, which is a characteristic of the digital piano, the user's performance level through sheet music, music data and programs It aims to provide a technique for maximizing the effect of piano learning by enabling evaluation.

상기 목적을 달성하기 위해서, 본 발명의 일 실시예에 따른 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치를 포함하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노로서, 복수의 건반, 건반의 타건 시 건반의 식별 정보에 따라서 건반에 대응되는 음을 구현하는 사운드 생성기, 및 상기 사운드 생성기의 동작을 제어하는 제어부를 포함하는 피아노 본체; 상기 피아노 본체의 건반의 전면 상에 배치되며, 악보를 거치하기 위한 플레이트형의 악보 거치대; 상기 악보 거치대와 상기 건반의 사이에 배치되며, 악보 거치대에 거치된 악보를 촬영하고, 촬영된 악보 이미지를 분석하여 디지털 악보 데이터를 생성하는 악보 인식부; 및 외부로부터 입력되어 상기 제어부를 통해 수신한 디지털 악보 데이터를 악보 이미지로 구현하고, 구현된 악보 이미지에 대응되는 광 데이터를 생성한 후 상기 악보 거치대에 조사하여, 악보 거치대에 상기 악보 이미지가 디스플레이되도록 하는 악보 출력부; 를 포함하는 것을 특징으로 한다. In order to achieve the above object, a learning function through music compatibility and mutual recognition including a computing device including one or more processors and one or more memories for storing instructions executable in the processor according to an embodiment of the present invention A digital piano comprising: a piano body comprising a plurality of keys, a sound generator for realizing a sound corresponding to a key according to key identification information when the keys are pressed, and a controller for controlling an operation of the sound generator; a plate-type sheet music holder disposed on the front surface of the keyboard of the piano body to hold sheet music; a sheet music recognition unit disposed between the sheet music holder and the keyboard, photographing the sheet music mounted on the sheet music holder, and analyzing the photographed sheet music image to generate digital sheet music data; and implementing digital music data input from the outside and received through the control unit as a sheet music image, generating optical data corresponding to the implemented sheet music image, and irradiating it to the sheet music holder, so that the sheet music image is displayed on the sheet music holder a sheet music output unit; It is characterized in that it includes.

상기 악보 인식부는, 촬영된 악보 이미지의 색상을 이용하여, 오선, 음자리표 및 음표 이미지를 추출하고, 오선, 음자리표 및 음표 이미지의 상대적 위치 관계를 기준으로 각 음의 음정 데이터를 생성한 뒤, 음정 데이터들을 결합하여 상기 디지털 악보 데이터를 생성하는 것이 바람직하다.The sheet music recognition unit, using the color of the photographed sheet music image, extracts staff, clefs and note images, and generates the pitch data of each note based on the relative positional relationship between the staff, clef, and note images, and then the pitch data It is preferable to combine them to generate the digital sheet music data.

상기 악보 출력부는, 디지털 악보 데이터에 포함된 음정 데이터를 이용하여, 오선, 음자리표 및 음표 이미지를 생성한 뒤, 각 음자리표 및 음표 이미지를 오선 이미지에 적용하여 악보 이미지를 생성하되, 상기 악보 거치대에 대응되는 크기로 악보 이미지가 조사되도록 악보 이미지의 크기를 설정하는 것이 바람직하다.The sheet music output unit, using the pitch data included in the digital sheet music data, generates staff, clefs, and note images, and then applies each clef and note image to the staff image to generate a sheet music image, but corresponds to the sheet music holder It is desirable to set the size of the sheet music image so that the sheet music image is irradiated with a size that is suitable.

상기 악보 거치대는, 악보의 거치를 인식하는 거치 센서;를 더 포함하고, 상기 악보 인식부는, 상기 거치 센서로부터 악보가 거치됨을 감지하는 신호를 수신 시, 거치된 악보를 촬영하여 디지털 악보 데이터를 생성하고, 생성된 디지털 악보 데이터를 평가 단말에 전송하며, 상기 평가 단말은, 상기 사운드 생성기와 연동되어, 평가 단말의 입력 수단으로부터 평가 시작 요청 입력을 수신 시, 상기 디지털 악보 데이터에 대응되는 가상의 연주 데이터를 생성하여 재생하고, 상기 건반의 타건에 따라서 상기 사운드 생성기에 의하여 생성되는 연주 데이터와 상기 가상의 연주 데이터 사이의 일치도에 따라서 유저의 연주를 평가한 평가 정보를 생성하는 것이 바람직하다.The sheet music holder further includes a stationary sensor for recognizing the placement of the sheet music, and the sheet music recognition unit generates digital sheet music data by photographing the mounted sheet music when receiving a signal for detecting that the sheet music is placed from the placement sensor. and transmits the generated digital sheet music data to the evaluation terminal, and the evaluation terminal is interlocked with the sound generator, and upon receiving an evaluation start request input from the input means of the evaluation terminal, a virtual performance corresponding to the digital sheet music data It is preferable to generate and reproduce data, and generate evaluation information for evaluating a user's performance according to a degree of correspondence between the performance data generated by the sound generator and the virtual performance data according to the keystroke of the keyboard.

상기 악보 출력부는, 상기 평가 단말의 입력 수단으로부터 평가 시작 요청을 수신 시, 상기 가상의 연주 데이터에 포함된 연주 시점에 따라서 이동되는 가상의 타임 라인 이미지를 생성하여 출력함으로써, 상기 타임 라인 이미지가 조사되는 영역에 대응되는 음표가 상기 가상의 연주 데이터에 매칭되어 유저가 타건해야 하는 음표인 것을 가이드하도록 하는 것이 바람직하다.When the score output unit receives a request to start evaluation from the input means of the evaluation terminal, by generating and outputting a virtual timeline image that moves according to the performance time included in the virtual performance data, the timeline image is investigated It is preferable that a note corresponding to the region to be played is matched to the virtual performance data to guide the note to be keyed by the user.

상기 악보 출력부는, 상기 거치 센서로부터 악보가 미거치된 상태임을 감지하는 신호를 수신한 상태이며, 평가 단말로부터 평가 시작 요청 입력을 수신 시, 악보 거치대에 상기 악보 이미지가 디스플레이되도록 하되, 상기 악보 이미지에 대응되는 상기 가상의 연주 데이터를 생성하여 재생하는 동시에, 상기 가상의 연주 데이터에 포함된 연주 시점에 따라서 이동되는 가상의 타임 라인 이미지를 생성하여 출력함으로써, 상기 타임 라인 이미지가 조사되는 영역에 대응되는 음표가 상기 가상의 연주 데이터에 매칭되어 유저가 타건해야 하는 음표인 것을 가이드하도록 하는 것이 바람직하다.The sheet music output unit is in a state of receiving a signal for detecting that the sheet music is not placed from the sensor, and when receiving an evaluation start request input from the evaluation terminal, the sheet music image is displayed on the sheet music holder, the sheet music image By generating and reproducing the virtual performance data corresponding to , and simultaneously generating and outputting a virtual timeline image that moves according to the performance time included in the virtual performance data, the timeline image corresponds to the area where the timeline image is irradiated It is preferable to guide the note to be played by matching the virtual performance data to the note that the user should play.

상기 평가 단말은, 유저의 휴대 단말 또는 상기 피아노 본체에 고정 설치되는 단말인 것이 바람직하다.It is preferable that the said evaluation terminal is a user's portable terminal or the terminal fixedly installed in the said piano main body.

본 발명에 의하면, 피아노 본체에 악보를 거치하기 위해서 설치되는 악보 거치대에 악보를 거치 시, 이를 악보 인식부가 촬영하여 디지털 악보 데이터를 생성하고, 평가 단말이 디지털 피아노에 설치되거나 이와 연동되어 유저의 연주 데이터과 디지털 악보 데이터에 의하여 생성된 가상의 연주 데이터 사이의 일치도에 따라서 유저의 연주를 평가하게 된다. According to the present invention, when a sheet music is placed on a sheet music holder installed to mount the sheet music on the piano body, the sheet music recognition unit captures it to generate digital sheet music data, and the evaluation terminal is installed on the digital piano or linked thereto to allow the user to perform The user's performance is evaluated according to the degree of correspondence between the data and the virtual performance data generated by the digital sheet music data.

이에 의하면, 실제 악보를 통해서도 연주자의 연주를 평가할 수 있어, 유저가 어플리케이션을 실행하여 악보와 일치하는 악보를 일일이 찾을 필요가 없고, 평가 단말이 디지털 피아노에 설치되는 경우 유저 단말을 통하지 않아도 자신의 연주를 평가하고 디지털 악보 데이터를 활용할 수 있어, 피아노 특유의 악보 거치대의 활용이 가능하여, 디지털 피아노와 일반 피아노의 감성의 차이를 좁힐 수 있는 동시에 서비스 이용의 난이도를 최소화할 수 있는 효과가 있다.According to this, it is possible to evaluate the performance of the performer even through the actual sheet music, so that the user does not need to search for sheet music that matches the sheet music by executing the application, and when the evaluation terminal is installed in the digital piano, his/her performance without going through the user terminal It is possible to evaluate and utilize digital sheet music data, so it is possible to use a piano-specific sheet music holder, thereby narrowing the difference in sensitivity between a digital piano and a normal piano, and at the same time minimizing the difficulty of using the service.

또한 동시에, 악보 출력부를 통해서 디지털 악보 데이터를 악보 거치대에 전사하여, 마치 실제 악보를 보는 것과 같은 효과를 구현할 수 있어, 악보 인식부와 유사하게 피아노 특유의 악보 거치대의 활용이 가능하여, 디지털 피아노와 일반 피아노의 감성의 차이를 좁힐 수 있다.At the same time, digital sheet music data is transferred to the sheet music holder through the sheet music output unit, and it is possible to realize the effect as if viewing actual sheet music. It can narrow the difference in the sensibility of a normal piano.

도 1은 본 발명의 일 실시예에 따른 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노의 외형을 설명하기 위한 사시도.
도 2는 본 발명의 일 실시예에 따른 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노의 구성을 설명하기 위한 구성 블록도.
도 3은 본 발명의 일 실시예에 따른 악보 인식부의 기능을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 악보 출력부의 기능을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예의 구현에 따른 평가 단말의 화면의 예.
도 6은 본 발명의 일 실시예에 구현에 따른 타임 라인 이미지의 출력 예.
도 7은 본 발명의 일 실시예의 구현에 따라 평가 단말에 출력되는 평가 정보 화면의 예.
도 8은 본 발명의 일 실시예의 구현에 따라서 평가 단말이 디지털 피아노에 설치된 예를 설명하기 위한 도면.
도 9은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예.1 is a perspective view for explaining the appearance of a digital piano including a learning function through music score compatibility and mutual recognition according to an embodiment of the present invention;
2 is a block diagram illustrating the configuration of a digital piano including a learning function through music score compatibility and mutual recognition according to an embodiment of the present invention;
3 is a view for explaining the function of the sheet music recognition unit according to an embodiment of the present invention.
4 is a view for explaining the function of the sheet music output unit according to an embodiment of the present invention.
5 is an example of a screen of an evaluation terminal according to an implementation of an embodiment of the present invention.
6 is an example of outputting a timeline image according to an embodiment of the present invention;
7 is an example of the evaluation information screen output to the evaluation terminal according to the implementation of an embodiment of the present invention.
8 is a view for explaining an example in which the evaluation terminal is installed in the digital piano according to the implementation of an embodiment of the present invention.
9 is an example of an internal configuration of a computing device according to an embodiment of the present invention.

이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.Hereinafter, various embodiments and/or aspects are disclosed with reference to the drawings. In the following description, for purposes of explanation, numerous specific details are set forth to provide a thorough understanding of one or more aspects. However, it will also be recognized by one of ordinary skill in the art that such aspect(s) may be practiced without these specific details. The following description and accompanying drawings set forth in detail certain illustrative aspects of one or more aspects. These aspects are illustrative, however, and some of various methods may be employed in the principles of the various aspects, and the descriptions set forth are intended to include all such aspects and their equivalents.

본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.As used herein, “embodiment”, “example”, “aspect”, “exemplary”, etc. may not be construed as an advantage or advantage in any aspect or design described above over other aspects or designs. .

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.Also, the terms "comprises" and/or "comprising" mean that the feature and/or element is present, but excludes the presence or addition of one or more other features, elements, and/or groups thereof. should be understood as not

또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Also, terms including an ordinal number such as 1st, 2nd, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, in the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, are those commonly understood by those of ordinary skill in the art to which the present invention belongs. have the same meaning. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in an embodiment of the present invention, an ideal or excessively formal meaning is not interpreted as

한편 이하의 설명에 있어서, 도면에 기재된 사항은 본 발명의 각 구성의 기능을 설명하기 위하여 일부의 구성이 생략되거나, 과하게 확대 또는 축소되어 도시되어 있으나, 해당 도시 사항이 본 발명의 기술적 특징 및 권리범위를 한정하는 것은 아닌 것으로 이해됨이 당연할 것이다.On the other hand, in the following description, although some components are omitted, or excessively enlarged or reduced in order to explain the function of each component of the present invention, the matters described in the drawings are the technical features and rights of the present invention. It will be understood that the scope is not limited.

또한 이하의 설명에 있어서 하나의 기술적 특징 또는 발명을 구성하는 구성요소를 설명하기 위하여 다수의 도면이 동시에 참조되어 설명될 것이다.In addition, in the following description, a plurality of drawings will be simultaneously referenced and described in order to describe one technical feature or component constituting the invention.

도 1은 본 발명의 일 실시예에 따른 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노의 외형을 설명하기 위한 사시도, 도 2는 본 발명의 일 실시예에 따른 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노의 구성을 설명하기 위한 구성 블록도, 도 3은 본 발명의 일 실시예에 따른 악보 인식부의 기능을 설명하기 위한 도면, 도 4는 본 발명의 일 실시예에 따른 악보 출력부의 기능을 설명하기 위한 도면, 도 5는 본 발명의 일 실시예의 구현에 따른 평가 단말의 화면의 예, 도 6은 본 발명의 일 실시예에 구현에 따른 타임 라인 이미지의 출력 예, 도 7은 본 발명의 일 실시예의 구현에 따라 평가 단말에 출력되는 평가 정보 화면의 예, 도 8은 본 발명의 일 실시예의 구현에 따라서 평가 단말이 디지털 피아노에 설치된 예를 설명하기 위한 도면이다.Figure 1 is a perspective view for explaining the appearance of a digital piano including a learning function through music compatibility and mutual recognition according to an embodiment of the present invention, Figure 2 is a score compatibility and mutual recognition according to an embodiment of the present invention A configuration block diagram for explaining the configuration of a digital piano including a learning function through learning, FIG. 3 is a diagram for explaining the function of a music score recognition unit according to an embodiment of the present invention, and FIG. 4 is a diagram for explaining an embodiment of the present invention A view for explaining the function of the sheet music output unit, FIG. 5 is an example of a screen of an evaluation terminal according to an embodiment of the present invention, and FIG. 6 is an example of outputting a timeline image according to an embodiment of the present invention, FIG. 7 is an example of an evaluation information screen output to an evaluation terminal according to an embodiment of the present invention, and FIG. 8 is a view for explaining an example in which the evaluation terminal is installed in a digital piano according to an embodiment of the present invention.

상술한 도면들을 함께 참조하여 설명하면, 본 발명의 일 실시예에 따른 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노는, 피아노 본체(1), 악보 거치대(20), 악보 인식부(30) 및 악보 출력부(40)를 포함하는 것을 특징으로 한다. 추가적으로, 평가 단말(50) 또는 거치 센서(21)가 피아노 본체(1)에 선택적으로 설치될 수 있다. When described with reference to the above drawings, the digital piano including a learning function through music compatibility and mutual recognition according to an embodiment of the present invention includes a piano body 1, a sheet music holder 20, and a sheet music recognition unit ( 30) and a sheet music output unit 40 . Additionally, the evaluation terminal 50 or the mounting sensor 21 may be selectively installed in the piano body 1 .

피아노 본체(1)는 도 1에 도시된 바와 같은 피아노의 외형 및 디지털 피아노를 구성하는 필수적 구성을 포함하는 하드웨어적 구성을 의미한다. 즉 피아노 본체(1)는 도 1 및 2에 도시된 바와 같이 복수의 건반(11), 건반의 타건 시 건반의 해머 등에 의하여 접촉됨으로서 건반의 타건을 인지하는 접촉 회로(15), 접촉 회로(15)의 감지 신호 생성 시, 접촉 회로(15)의 식별 정보에 따라서 건반에 대응되는 음을 구현하는 사운드 생성기(16), 및 사운드 생성기(16)의 동작을 제어하며 외부 전원에 따라서 구동됨으로써, 사운드 생성기(16)로부터 음악 데이터를 생성하는 것을 제어하는 제어부(17)를 포함하는 구성이다.The piano body 1 refers to a hardware configuration including the external appearance of the piano and essential components constituting the digital piano as shown in FIG. 1 . That is, as shown in FIGS. 1 and 2, the piano body 1 is touched by a plurality of keys 11, a hammer, etc. ), a sound generator 16 that implements a sound corresponding to the keyboard according to the identification information of the contact circuit 15, and controls the operation of the sound generator 16 and is driven according to an external power source, It is a configuration including a control unit 17 that controls generation of music data from the generator 16 .

제어부(17)는 사운드 생성기(16)에 대한 외부 전원(미도시)의 공급을 제어하는 동시에, 사운드 생성기(16)에서 음악 데이터를 생성하는 것을 실질적으로 제어하고, 생성된 음악 데이터를 내부 스피커(미도시) 또는 별도의 연결된 이어폰, 헤드폰이나 스피커 등의 외부 기기와의 연결을 통해서 음악 데이터가 외부 기기에 의하여 출력되는 것을 제어하게 된다. 또한 음악 데이터의 음질이나 음량, 음색 등을 결정하도록 제어하는 일종의 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치를 의미한다. The control unit 17 controls the supply of an external power source (not shown) to the sound generator 16 , and at the same time substantially controls generation of music data in the sound generator 16 , and transmits the generated music data to an internal speaker ( output of the music data by the external device is controlled through connection with an external device such as a separately connected earphone, headphone, or speaker. In addition, it refers to a computing device including one or more types of processors that control to determine sound quality, volume, tone, etc. of music data, and one or more memories for storing instructions executable by the processor.

피아노 본체(1)는 건반(11)이 배치되는 메인 바디(13)와, 후술하는 악보 거치대(20)가 배치되는 서브 바디(12) 그리고 메인 바디(13)를 지지하는 지지 다리(14) 등으로 구성될 수 있다. 이때 상술한 접촉 회로(15), 내부 스피커, 사운드 생성기(16) 및 제어부(17)는 메인 바디(13) 또는 서브 바디(12) 중 어느 하나에 각각 설치될 수 있고, 외부 전원 공급 또는 외부 기기와의 연결 포트 역시 메인 바디(13) 또는 서브 바디(12) 중 어느 하나에 형성될 수 있다.The piano body 1 includes a main body 13 on which a keyboard 11 is disposed, a sub-body 12 on which a sheet music holder 20 to be described later is disposed, and a support leg 14 for supporting the main body 13, etc. can be composed of At this time, the contact circuit 15, the internal speaker, the sound generator 16, and the control unit 17 described above may be installed in either the main body 13 or the sub-body 12, respectively, and an external power supply or an external device A connection port to and may also be formed in either the main body 13 or the sub-body 12 .

악보 거치대(20)는 도 1 등에 도시된 바와 같이, 피아노 본체(1)의 건반(11)의 전면, 즉 유저가 피아노를 바라보며 의자 등에 착좌 시, 건반(11)을 통해 바라보는 방향의 어느 한 위치에 설치되도록 배치되며, 악보를 거치하기 위한 플레이트형의 부재를 의미한다. 악보 거치대(20)는 후술하는 광 조사 시의 스크린의 역할을 하기 위해서, 경사진 형태로 해당 스크린의 역할을 수행할 수 있는 사이즈로 구성됨이 바람직하다.As shown in FIG. 1, the sheet music holder 20 is the front of the keyboard 11 of the piano body 1, that is, when the user is seated on a chair while looking at the piano, any one of the direction viewed through the keyboard 11 It is arranged to be installed in a position, and means a plate-shaped member for holding a sheet music. In order to serve as a screen upon irradiation with light, which will be described later, the music score holder 20 is preferably configured in a size capable of performing the role of a corresponding screen in an inclined shape.

악보 인식부(30)는 도 1 및 2 등에 도시된 바와 같이 카메라(31) 및 악보 데이터 생성부(32)로 구성된다. 카메라(31)는 악보 거치대(20)와 건반(11) 사이에 배치되어, 악보 거치대(20)에 거치된 악보를 촬영하는 기능을 수행한다. 한편 악보 데이터 생성부(32)는 카메라(31)에 의하여 촬영된 이미지, 즉 악보를 촬영한 악보 이미지를 분석하여, 디지털 형태의 악보 데이터를 생성하는 기능을 수행한다. The sheet music recognition unit 30 includes a camera 31 and a sheet music data generation unit 32 as shown in FIGS. 1 and 2 . The camera 31 is disposed between the sheet music holder 20 and the keyboard 11 and performs a function of photographing the sheet music mounted on the sheet music holder 20 . Meanwhile, the sheet music data generation unit 32 analyzes the image photographed by the camera 31, that is, the sheet music image obtained by photographing the sheet music, and performs a function of generating sheet music data in digital form.

본 발명에서 디지털 악보 데이터는, 예를 들어 사운드 생성기(16)에서 해당 데이터를 로드 시, 음악 데이터가 생성되는 데이터 형식을 의미한다. 예를 들어, 타임 라인, 음색, 음높이, 음길이, 음자리 데이터 등을 포함하여, 해당 데이터에 따라서 음악을 재생할 수 있는 일종의 음악 데이터의 집합을 의미한다.In the present invention, digital sheet music data means, for example, a data format in which music data is generated when the corresponding data is loaded by the sound generator 16 . For example, it refers to a set of music data that can reproduce music according to the data, including, for example, a timeline, a tone, a pitch, a pitch, and a pitch data.

악보 인식부(30)는 구체적으로, 도 3에 도시된 바와 같이, 먼저 카메라(30)에 의하여 악보 거치대(20)에 거치된 악보(200)를 촬영된 악보 이미지(201)를 분석하되, 촬영된 이미지에서의 색상을 분석하여, 오선, 음자리표 및 음표 이미지를 추출하게 된다. 이를 위해서 카메라(30)는 경사진 각도로 전면 상부의 악보(200)를 촬영할 수 있는 조사 각 및 조사 범위를 갖도록 스펙이 설정될 수 있다.The music score recognition unit 30 specifically, as shown in Fig. 3, first analyzes the sheet music image 201 taken by the camera 30 and the sheet music 200 mounted on the sheet music holder 20, but shooting By analyzing the colors in the image, the staff, clef, and note images are extracted. To this end, the camera 30 may be specified to have an irradiation angle and an irradiation range capable of photographing the sheet music 200 of the upper front at an inclined angle.

각 이미지의 추출은, 예를 들어 악보는 보통 배경 이미지에 오선, 음자리표 및 음표 이미지가 흑색 등으로 구성되어 표현되고, 오선, 음자리표 및 음표의 경우 일정한 형식을 갖고 있기 때문에, 픽셀 경계 분석 및 패턴 분석 등의 알고리즘을 통해서 추출될 수 있다.Extraction of each image is, for example, because music is usually expressed with staff, clef, and note images in black on the background image, and has a certain format in the case of staff, clef and notes, pixel boundary analysis and pattern analysis It can be extracted through an algorithm such as

이후, 추출된 이미지들의 상대적 위치, 즉 오선, 음자리표 및 음표 이미지들의 상대적인 위치 및 선후관계를 기준으로 하여, 각 음표가 갖는 음의 음정 데이터(2021)를 생성한 뒤, 음정 데이터(2021)를 결합하여 디지털 악보 데이터(202)를 생성하게 된다. 각 음정 데이터(2021)는 도 3에 도시된 바와 같이 음 높이(H1, H2) 및 음 길이(L1, L2)와 함께 그 연결 순서에 따라서 음의 순서가 배열되도록 하여 디지털 악보 데이터를 구성한다.Then, based on the relative positions of the extracted images, that is, the relative positions and precedence relationships of the staff, clef, and note images, the pitch data 2021 of each note is generated, and then the pitch data 2021 is combined. Thus, the digital sheet music data 202 is generated. As shown in FIG. 3 , each pitch data 2021 constitutes digital sheet music data by arranging the notes according to their connection order along with the pitches H1 and H2 and the lengths L1 and L2 as shown in FIG. 3 .

한편 악보 출력부(40)는 도 1 및 2 등에 도시된 바와 같이 광 조사기(41) 및 광 데이터 생성부(42)를 포함하여 구성된다. 광 조사기(41)는, 카메라(30)와 유사하게 악보 거치대(20)와 건반(10) 사이에 배치되어, 광 조사기(41)로부터 조사된 광이 악보 거치대(20)에 반사되도록 조사되는 경우, 유저가 이를 시각적으로 인지할 수 있는 위치에 배치된다. Meanwhile, the sheet music output unit 40 includes a light irradiator 41 and a light data generation unit 42 as shown in FIGS. 1 and 2 . The light irradiator 41, similarly to the camera 30, is disposed between the music holder 20 and the keyboard 10, and when the light irradiated from the light irradiator 41 is irradiated to be reflected by the music holder 20 , it is placed in a position where the user can visually recognize it.

한편, 광 데이터 생성부(42)는, 외부로부터 입력되어 상기 제어부를 통해 수신한 디지털 악보 데이터를 악보 이미지로 구현하고, 구현된 악보 이미지에 대응되는 광 데이터를 생성하여 광 조사기(41)에 전달함으로써, 구현된 악보 이미지에 대응되는 광 데이터가 광 조사기(41)에 의하여 조사됨으로써, 상술한 바와 같이 악보 거치대(20)에 반사됨으로써 악보가 악보 거치대(20)에 표현되도록 하는 기능을 수행한다. On the other hand, the optical data generating unit 42 implements the digital sheet music data input from the outside and received through the control unit as a sheet music image, generates optical data corresponding to the implemented sheet music image, and transmits it to the light irradiator 41 . By doing so, the optical data corresponding to the implemented sheet music image is irradiated by the light irradiator 41, and as described above, by being reflected on the sheet music holder 20, the sheet music functions to be expressed on the sheet music holder 20.

본 발명에서 광 데이터는, 실제 악보 이미지에 대응되는 형상을 갖도록 하여 악보 거치대(20)에 데이터가 반사되도록 조사 시 악보 거치대(20)에 실제 악보 이미지, 즉 오선, 음자리표, 및 음표가 표현되도록 하는 데이터를 의미한다. In the present invention, the optical data has a shape corresponding to the actual sheet music image so that the actual sheet music image, that is, staff, clef, and notes are expressed on the sheet music holder 20 when irradiated so that the data is reflected on the sheet music holder 20 means data.

구체적으로, 악보 출력부(40)는 도 4에 도시된 바와 같이, 먼저 광 데이터 생성부(42)가 외부로부터 수신한 디지털 악보 데이터(202)를 상술한 악보 데이터 생성부(32)의 기능을 역 수행하여, 오선, 음자리표, 음표 등의 형상으로 구현된 광 데이터(203)를 생성하는 기능을 수행한다. Specifically, the music score output unit 40, as shown in Figure 4, first the optical data generation unit 42 receives the digital sheet music data 202 received from the outside the above-described function of the sheet music data generation unit 32 By performing the reverse operation, a function of generating the optical data 203 implemented in the shape of a staff line, a clef, and a musical note is performed.

즉 상술한 도 3의 실시예와 역순의 기능 수행을 통해, 디지털 악보 데이터(202)에 포함된 음정 데이터를 이용하여, 오선, 음자리표 및 음표 이미지를 생성한 뒤, 각 음자리표 및 음표 이미지를 오선 이미지에 적용하여 악보 이미지(203)를 생성하게 되는 것이다. 이와 같이 생성된 광 데이터(203)는 광 조사기(41)에 의하여 악보 거치대(20)에 조사됨으로써, 악보 이미지(300)가 디스플레이되도록 기능한다. That is, by performing the functions in the reverse order of the embodiment of FIG. 3 described above, using the pitch data included in the digital score data 202, staff, clefs, and note images are generated, and then, each clef and note image is converted to a staff image. is applied to generate the sheet music image 203 . The optical data 203 generated in this way is irradiated to the music music holder 20 by the light irradiator 41, so that the music score image 300 is displayed.

이와 같은 본 발명의 실시예에 의하면, 피아노 본체에 악보를 거치하기 위해서 설치되는 악보 거치대에 악보를 거치 시, 이를 악보 인식부가 촬영하여 디지털 악보 데이터를 생성하여, 기존의 유저 단말의 디지털 악보 데이터와 같이 이용할 수 있게 되며, 반대로, 디지털 악보 데이터를 활용하여 실제 악보와 같이 사용할 수 있게 된다. According to this embodiment of the present invention, when a sheet music is placed on a sheet music holder installed to mount the sheet music on the piano body, the sheet music recognition unit captures it to generate digital sheet music data, and the digital sheet music data of the existing user terminal and It can be used together, and on the contrary, it can be used like actual sheet music by utilizing digital sheet music data.

이에 의하면, 디지털 피아노와 일반 피아노의 감성의 차이를 좁힐 수 있는 동시에 서비스 이용의 난이도를 최소화할 수 있는 효과가 있다.According to this, it is possible to narrow the difference in sensitivity between the digital piano and the general piano, and at the same time, it is possible to minimize the difficulty of using the service.

또한 동시에, 악보 출력부를 통해서 디지털 악보 데이터를 악보 거치대에 전사하여, 마치 실제 악보를 보는 것과 같은 효과를 구현할 수 있어, 악보 인식부와 유사하게 피아노 특유의 악보 거치대의 활용이 가능하여, 디지털 피아노와 일반 피아노의 감성의 차이를 좁힐 수 있다.At the same time, digital sheet music data is transferred to the sheet music holder through the sheet music output unit, and it is possible to realize the effect as if viewing actual sheet music. It can narrow the difference in the sensibility of a normal piano.

한편 이와 같은 실제 악보를 디지털 악보 데이터로 생성하거나 그 반대로디지털 악보 데이터를 실제 악보로 악보 거치대(20)에 출력하도록 하는 기능을 이용하면, 유저의 연주를 매우 정확하고 편리하게 평가하고, 유저가 이와 같은 서비스를 유저 단말의 별도 조작이 없이도 수행할 수 있도록 할 수 있다.On the other hand, if such a function is used to generate the actual sheet music as digital sheet music data or, conversely, to output the digital sheet music data as actual sheet music to the sheet music holder 20, the user's performance can be evaluated very accurately and conveniently, and the user can The same service may be performed without a separate operation of the user terminal.

이를 위해서, 먼저 악보의 인식을 위해서, 악보 거치대(20)는 악보의 거치를 인식하는 거치 센서(미도시)를 더 포함할 수 있다. 예를 들어 거치 센서는 악보 거치대(20)의 하단에 배치되거나, 악보 거치대(20)의 외면에 배치된 초음파 센서, 하중 센서, 또는 악보가 거치될 시 하부로 이동되면서 접촉되는 매뉴얼 하드웨어 등의 구조로 형성되어, 악보가 악보 거치대(20)에 설치되는 경우 이를 감지하는 기능을 수행하게 된다.To this end, first for recognizing the sheet music, the sheet music holder 20 may further include a mounting sensor (not shown) for recognizing the placement of the sheet music. For example, the mounting sensor is disposed at the bottom of the sheet music holder 20, an ultrasonic sensor disposed on the outer surface of the sheet music holder 20, a load sensor, or a structure such as manual hardware that is brought into contact while moving downward when the sheet music is mounted. is formed, and when the sheet music is installed on the sheet music holder 20, it performs a function of detecting it.

이때, 악보 인식부(30)는 거치 센서로부터 악보가 거치됨을 감지하는 신호를 수신 시, 거치된 악보를 촬영하여 디지털 악보 데이터를 생성한다. 이때, 악보 인식부(30)는 제어부(17)의 제어에 따라서, 디지털 악보 데이터를 평가 단말(50)에 전송할 수 있다. At this time, the sheet music recognition unit 30 generates digital sheet music data by taking a picture of the mounted sheet music when receiving a signal for detecting that the sheet music is placed from the stationary sensor. In this case, the sheet music recognition unit 30 may transmit digital sheet music data to the evaluation terminal 50 under the control of the control unit 17 .

본 발명에서 평가 단말(50)은, 도 2의 실시예에서는 상술한 기존의 유저 단말을 의미할 수 있다. 본 발명에서 유저 단말은, 스마트폰, 태블릿 PC, 개인용 PC 등 입력수단, 출력수단, 프로세서, 메모리, 통신 기능을 갖는 모든 단말을 의미한다. 한편, 본 발명의 다양한 실시예에 있어서 평가 단말(50)은 상술한 별도의 유저 단말의 불필요성을 위해서, 도 8에 도시된 바와 같이, 피아노 본체(1)에 고정 설치되는 단말로서, 출력 수단(51)이 예를 들어 서브 바디(12)의 일 측, 바람직하게는 유저가 확인할 수 있는 측면에 설치될 수 있다. In the present invention, the evaluation terminal 50 may refer to the existing user terminal described above in the embodiment of FIG. 2 . In the present invention, the user terminal means all terminals having input means, output means, processor, memory, communication functions, such as a smartphone, a tablet PC, and a personal PC. On the other hand, in various embodiments of the present invention, the evaluation terminal 50 is a terminal that is fixedly installed in the piano body 1, as shown in FIG. 51), for example, may be installed on one side of the sub-body 12, preferably on the side that can be confirmed by the user.

상술한 악보 거치대(20) 및 악보 인식부(30)의 기술적 특징 하에서, 평가 단말(40)은, 사운드 생성기(16) 및 제어부(17)와 연동됨으로써, 평가 단말(40)의 입력 수단으로부터 평가 시작 요청 입력을 수신할 수 있다. 이 경우, 평가 단말(40)은 디지털 악보 데이터에 대응되는 가상의 연주 데이터를 생성하여 재생하고, 건반(11)의 타건에 따라서 사운드 생성기(16)에 의하여 생성되는 연주 데이터와 생성된 가상의 연주 데이터 사이의 일치도에 따라서 유저의 연주를 평가한 평가 정보를 생성할 수 있다.Under the above-described technical characteristics of the music holder 20 and the music score recognition unit 30 , the evaluation terminal 40 is evaluated from the input means of the evaluation terminal 40 by interworking with the sound generator 16 and the control unit 17 . A start request input may be received. In this case, the evaluation terminal 40 generates and reproduces virtual performance data corresponding to the digital score data, and the performance data generated by the sound generator 16 according to the keystroke of the keyboard 11 and the generated virtual performance It is possible to generate evaluation information that evaluates the user's performance according to the degree of correspondence between the data.

즉 평가 단말(40)에는 도 5의 예에 도시된 화면(400)고 같이, 디지털 악보 데이터를 수신하거나 입력 수단에 의하여 선택되면, 해당 악보에 대한 유저의 연주를 평가하는 시작 메뉴(401), 평가가 아닌 음악 데이터를 스피커를 통해 재생하게 하는 듣기 메뉴(403) 및 단순히 연습을 하기 위한 것으로 각각 구현 가능한 연습 메뉴(402) 중 어느 하나를 유저가 선택할 수 있도록 할 수 있다.That is, the evaluation terminal 40 has a start menu 401 that evaluates the user's performance on the corresponding sheet when digital sheet music data is received or selected by the input means, as in the screen 400 shown in the example of FIG. 5 , The user may select either one of the listening menu 403 for playing music data, not for evaluation, through the speaker, and the practice menu 402 , which can be implemented for simply practicing.

이때 시작 메뉴(401)를 선택 시, 도 6에 도시된 바와 같이, 먼저 디지털 악보 데이터(202)를 통해서, 가상의 연주 데이터(101)를 생성한다. 이러한 가상의 연주 데이터(101)는 도 6에 도시된 바와 같이 하나의 음(S1 ~ Sn)이 시간(t)에 따라서 재생되되, 스피커를 통해 출력되지 않고, 평가를 위해서 평가 단말(40)에서만 실행되는 데이터 스트림을 의미한다. At this time, when the start menu 401 is selected, as shown in FIG. 6 , first, the virtual performance data 101 is generated through the digital sheet music data 202 . In this virtual performance data 101, as shown in FIG. 6, one sound (S1 to Sn) is reproduced according to time t, but is not output through the speaker, and only in the evaluation terminal 40 for evaluation. It refers to the data stream being executed.

이와 같은 상의 연주 데이터(101)는 다시 한번 가공되어, 평가를 위한 악보 이미지(100)와 타임 라인 이미지(110)로 구현된다. 평가를 위한 악보 이미지(100)는 상술한 촬영된 악보 이미지(201)와 다른 개념으로서, 예를 들어 평가 단말(40)의 평가 시작 시 평가 단말(40)의 출력 수단에 출력되는 악보 이미지를 의미하거나 평가 시 악보 거치대(20)에 출력되는 이미지를 지칭할 수 있다. 이때 악보 이미지는 바람직하게는, 디지털 악보 이미지가 실질적으로 출력 수단에 출력되기 위해서 출력되는 이미지를 의미한다. The above performance data 101 is processed once again and implemented as a score image 100 and a timeline image 110 for evaluation. The score image 100 for evaluation is a different concept from the above-mentioned photographed sheet music image 201, and for example, it means a sheet music image output to the output means of the evaluation terminal 40 when the evaluation of the evaluation terminal 40 starts. Alternatively, it may refer to an image output to the sheet music holder 20 during evaluation. In this case, the sheet music image preferably refers to an image output in order to output the digital sheet music image to the output means.

타임 라인 이미지(110)는 악보 출력부(13)에 의하여 평가 단말의 출력 수단이나, 악보 거치대(20)에 조사되는 이미지를 의미한다. 악보 출력부(13)는 평가 단말의 입력 수단으로부터 평가 시작 요청을 수신 시, 가상의 연주 데이터에 포함된 연주 시점에 따라서 이동되는 가상의 타임 라인 이미지(110)를 생성하여 출력한다. 이에 의하여 타임 라인 이미지(110)는 해당 이미지가 조사되는 영역에 대응되는 음표가 가상의 연주 데이터에 매칭되어 유저가 타건해야 하는 음표인 것을 가이드하도록 한다. The timeline image 110 refers to an image irradiated to the output means of the evaluation terminal by the music score output unit 13 or the music score holder 20 . When receiving the evaluation start request from the input means of the evaluation terminal, the sheet music output unit 13 generates and outputs a virtual timeline image 110 that is moved according to the performance time included in the virtual performance data. Thereby, the timeline image 110 guides the note that the note corresponding to the area to which the image is irradiated is matched with the virtual performance data to be the note that the user must key.

도 6에 도시된 바와 같이 타임 라인 이미지(110)는 도 1에 도시된 바와 같은 평가 단말의 출력 수단에 출력되거나, 도 4의 실시예 등에 의하여 악보 거치대(20)에 출력될 수 있음은 상술한 바와 같다. 악보 거치대(20)에 출력되는 때에는, 유저에게 악보 거치대(20)에 거치하는 악보의 거치 위치를 가이드하고, 해당 악보 자체에 타임 라인 이미지(110)가 조사되도록 함을 의미한다.As shown in FIG. 6 , the timeline image 110 may be output to the output means of the evaluation terminal as shown in FIG. 1 , or may be output to the sheet music holder 20 according to the embodiment of FIG. It's like a bar. When output to the sheet music holder 20, it means that the user guides the mounting position of the sheet music mounted on the sheet music holder 20, and the timeline image 110 is irradiated to the sheet music itself.

이때, 타임 라인 이미지(110)는 평가 시작 시 일종의 타임 안내 후 시작되어 유저가 평가 시작 후 정해진 시간에 건반을 타건하도록 하거나, 유저가 건반을 타건 시 시작되어 이동될 수 있다. 이때 타임 라인 이미지(110)가 이동되는 속도는 박자 등에 따라서 서로 다르게 설정되어 구현될 수 있다.In this case, the timeline image 110 may be started after a kind of time guidance at the start of the evaluation to allow the user to play the keyboard at a predetermined time after the start of the evaluation, or may be started and moved when the user hits the keyboard. In this case, the moving speed of the timeline image 110 may be set differently depending on the beat and the like.

한편, 악보 출력부(13)는 거치 센서에 의하여 악보가 악보 거치대(20)에 미거치된 상태임을 감지하는 신호를 수신한 상태에서는, 평가 단말(40)로부터 평가 시작 요청 입력을 수신 시, 악보 거치대(20)에 상술한 악보 이미지(300)가 디스플레이되도록 하되, 악보 이미지(300)에 대응되는 가상의 연주 데이터를 생성하여 재생하는 동시에, 가상의 연주 데이터에 포함된 연주 시점에 따라서 이동되는 가상의 타임 라인 이미지(110)를 생성하여 출력함으로써, 타임 라인 이미지(110)가 조사되는 영역에 대응되는 음표가 가상의 연주 데이터에 매칭되어 유저가 타건해야 하는 음표인 것을 가이드하도록 하는 것이 바람직하다.On the other hand, in a state in which the sheet music output unit 13 receives a signal for detecting that the sheet music is not placed on the sheet music holder 20 by the mounting sensor, when receiving the evaluation start request input from the evaluation terminal 40, the sheet music The above-described sheet music image 300 is displayed on the cradle 20, and while generating and playing virtual performance data corresponding to the sheet music image 300, the virtual performance data is moved according to the performance time included in the virtual performance data. By generating and outputting the timeline image 110 of the timeline image 110, it is preferable to guide that the note corresponding to the area to which the timeline image 110 is irradiated is matched with the virtual performance data to be the note that the user must key.

즉 거치 센서에 의하여 악보 거치대(20)에 악보가 거치되지 않은 것으로 판단되는 경우, 상술한 도 4의 실시예와 같이 악보 거치대(20)에 조사되는 이미지인 악보 이미지(300) 상에 타임 라인 이미지(110)를 생성하여 출력함으로써, 유저들이 매우 편리하게 타건 음표 및 시점을 가이드받도록 한다. That is, when it is determined by the mounting sensor that the sheet music is not mounted on the sheet music holder 20, a timeline image on the sheet music image 300, which is an image irradiated to the sheet music holder 20, as in the embodiment of FIG. 4 described above. By generating and outputting (110), users are very conveniently guided by the keyed note and point of view.

한편 평가가 완료되면, 유저들은 자신의 연주에 대한 평가 정보를 확인할 수 있다. 이에 대한 예가 도 7에 도시되어 있다. 도 7의 평가 단말(40)의 화면(410)을 참조하면, 평가 랭크(411) 및 그 하단의 정보로서, 상술한 타임 라인 이미지(110)의 가이드에 얼마나 정확하게 타건을 하였는지 여부에 대한 상세 스코어를 확인할 수 있다.Meanwhile, when the evaluation is completed, users can check evaluation information about their performance. An example of this is shown in FIG. 7 . Referring to the screen 410 of the evaluation terminal 40 of FIG. 7 , as the evaluation rank 411 and information at the bottom thereof, the detailed score for how accurately the key was struck on the guide of the above-described timeline image 110 . can be checked.

한편 듣기 메뉴(412)를 통해서는 자신이 연주한 음악 데이터를 다시 스피커 등을 통해서 청취할 수 있도록 할 수 있다. 다시하기 메뉴(413)는 동일한 곡에 대한 재평가를 요청할 수 있다. 다른사람 연주듣기 메뉴(414)를 통해서는 해당 곡에 대해서 다른 사람이 연주하여 평가받은 음악 데이터를 청취하여 학습에 활용할 수 있다.Meanwhile, through the listening menu 412 , music data played by the user can be listened to again through a speaker or the like. The redo menu 413 may request a reevaluation of the same song. Through the listening to other person's performance menu 414, music data evaluated by another person's performance for the corresponding song can be listened to and used for learning.

도 9은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하였으며, 이하의 설명에 있어서, 상술한 도 1 내지 8에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.9 illustrates an example of an internal configuration of a computing device according to an embodiment of the present invention, and in the following description, descriptions of unnecessary embodiments that overlap with those of FIGS. 1 to 8 will be omitted. do it with

도 9에 도시한 바와 같이, 컴퓨팅 장치(10000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(10000)은 촉각 인터페이스 장치에 연결된 평가 단말이기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.9, the computing device 10000 includes at least one processor 11100, a memory 11200, a peripheral interface 11300, an input/output subsystem ( It may include at least an I/O subsystem) 11400 , a power circuit 11500 , and a communication circuit 11600 . In this case, the computing device 10000 may correspond to an evaluation terminal connected to the tactile interface device (A) or the aforementioned computing device (B).

메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(10000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.The memory 11200 may include, for example, a high-speed random access memory, a magnetic disk, an SRAM, a DRAM, a ROM, a flash memory, or a non-volatile memory. have. The memory 11200 may include a software module, an instruction set, or other various data required for the operation of the computing device 10000 .

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.In this case, access to the memory 11200 from other components such as the processor 11100 or the peripheral device interface 11300 may be controlled by the processor 11100 .

주변장치 인터페이스(11300)는 컴퓨팅 장치(10000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(10000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.Peripheral interface 11300 may couple input and/or output peripherals of computing device 10000 to processor 11100 and memory 11200 . The processor 11100 may execute a software module or an instruction set stored in the memory 11200 to perform various functions for the computing device 10000 and process data.

입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input/output subsystem 11400 may couple various input/output peripherals to the peripheral interface 11300 . For example, the input/output subsystem 11400 may include a controller for coupling a peripheral device such as a monitor, keyboard, mouse, printer, or a touch screen or sensor as needed to the peripheral interface 11300 . According to another aspect, input/output peripherals may be coupled to peripheral interface 11300 without going through input/output subsystem 11400 .

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.The power circuit 11500 may supply power to all or some of the components of the terminal. For example, the power circuit 11500 may include a power management system, one or more power sources such as batteries or alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, a power status indicator, or a power source. It may include any other components for creation, management, and distribution.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.The communication circuit 11600 may enable communication with another computing device using at least one external port.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.Alternatively, as described above, if necessary, the communication circuit 11600 may include an RF circuit to transmit and receive an RF signal, also known as an electromagnetic signal, to enable communication with other computing devices.

이러한 도 9의 실시 예는, 컴퓨팅 장치(10000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 9에 도시된 일부 컴포넌트가 생략되거나, 도 9에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 9에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(10000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.The embodiment of FIG. 9 is only an example of the computing device 10000, and the computing device 11000 omits some components shown in FIG. 9 or further includes additional components not shown in FIG. 9, or 2 It may have a configuration or arrangement that combines two or more components. For example, a computing device for a communication terminal in a mobile environment may further include a touch screen or a sensor in addition to the components shown in FIG. 9 , and various communication methods (WiFi, 3G, LTE) in the communication circuit 1160 , Bluetooth, NFC, Zigbee, etc.) may include a circuit for RF communication. Components that may be included in the computing device 10000 may be implemented in hardware including an integrated circuit specialized for one or more signal processing or applications, software, or a combination of both hardware and software.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시 예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded in a computer-readable medium. In particular, the program according to the present embodiment may be configured as a PC-based program or an application dedicated to a mobile terminal. The application to which the present invention is applied may be installed in the user terminal through a file provided by the file distribution system. For example, the file distribution system may include a file transmission unit (not shown) that transmits the file in response to a request from the user terminal.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, the devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be permanently or temporarily embody in The software may be distributed over networked computing devices, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible for those skilled in the art from the above description. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result. Therefore, other implementations, other embodiments, and equivalents to the claims also fall within the scope of the following claims.

Claims (7)

하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치를 포함하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노로서,
복수의 건반, 건반의 타건 시 건반의 식별 정보에 따라서 건반에 대응되는 음을 구현하는 사운드 생성기, 및 상기 사운드 생성기의 동작을 제어하는 제어부를 포함하는 피아노 본체;
상기 피아노 본체의 건반의 전면 상에 배치되며, 악보를 거치하기 위한 플레이트형의 악보 거치대;
상기 악보 거치대와 상기 건반의 사이에 배치되며, 악보 거치대에 거치된 악보를 촬영하고, 촬영된 악보 이미지를 분석하여 디지털 악보 데이터를 생성하는 악보 인식부; 및
외부로부터 입력되어 상기 제어부를 통해 수신한 디지털 악보 데이터를 악보 이미지로 구현하고, 구현된 악보 이미지에 대응되는 광 데이터를 생성한 후 상기 악보 거치대에 조사하여, 악보 거치대에 상기 악보 이미지가 디스플레이되도록 하는 악보 출력부; 를 포함하고,
상기 악보 거치대는,
악보의 거치를 인식하는 거치 센서;를 더 포함하고,
상기 악보 인식부는,
상기 거치 센서로부터 악보가 거치됨을 감지하는 신호를 수신 시, 거치된 악보를 촬영하여 디지털 악보 데이터를 생성하고, 생성된 디지털 악보 데이터를 평가 단말에 전송하며,
상기 평가 단말은,
상기 사운드 생성기와 연동되어, 평가 단말의 입력 수단으로부터 평가 시작 요청 입력을 수신 시, 상기 디지털 악보 데이터에 대응되는 가상의 연주 데이터를 생성하여 재생하고, 상기 건반의 타건에 따라서 상기 사운드 생성기에 의하여 생성되는 연주 데이터와 상기 가상의 연주 데이터 사이의 일치도에 따라서 유저의 연주를 평가한 평가 정보를 생성하는 것을 특징으로 하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노.
A digital piano including a learning function through music compatibility and mutual recognition comprising a computing device including one or more processors and one or more memories for storing instructions executable in the processor,
a piano body including a plurality of keys, a sound generator for realizing a sound corresponding to the keyboard according to identification information of the keyboard when the keys are pressed, and a controller for controlling the operation of the sound generator;
a plate-type sheet music holder disposed on the front surface of the keyboard of the piano body to hold sheet music;
a sheet music recognition unit disposed between the sheet music holder and the keyboard, photographing the sheet music mounted on the sheet music holder, and analyzing the photographed sheet music image to generate digital sheet music data; and
To implement the digital sheet music data input from the outside and received through the control unit as a sheet music image, generate optical data corresponding to the implemented sheet music image, and then irradiate it to the sheet music holder, so that the sheet music image is displayed on the sheet music holder sheet music output unit; including,
The sheet music holder,
A mounting sensor for recognizing the placement of the sheet music; further comprising,
The sheet music recognition unit,
When receiving a signal for detecting that the sheet music is placed from the placement sensor, the placed sheet music is photographed to generate digital sheet music data, and the generated digital sheet music data is transmitted to the evaluation terminal,
The evaluation terminal,
In conjunction with the sound generator, upon receiving an evaluation start request input from an input means of an evaluation terminal, virtual performance data corresponding to the digital sheet music data is generated and reproduced, and generated by the sound generator according to the keystroke of the keyboard A digital piano including a learning function through sheet music compatibility and mutual recognition, characterized in that the evaluation information for evaluating the user's performance is generated according to the degree of correspondence between the performance data and the virtual performance data.
 제1항에 있어서,
상기 악보 인식부는,
촬영된 악보 이미지의 색상을 이용하여, 오선, 음자리표 및 음표 이미지를 추출하고, 오선, 음자리표 및 음표 이미지의 상대적 위치 관계를 기준으로 각 음의 음정 데이터를 생성한 뒤, 음정 데이터들을 결합하여 상기 디지털 악보 데이터를 생성하는 것을 특징으로 하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노.
According to claim 1,
The sheet music recognition unit,
Using the color of the photographed score image, extracting staff, clef and note images, generating pitch data for each note based on the relative positional relationship of staff, clef and note images, and combining the pitch data to the digital A digital piano including a learning function through sheet music compatibility and mutual recognition, characterized in that it generates sheet music data.
 제1항에 있어서,
상기 악보 출력부는,
디지털 악보 데이터에 포함된 음정 데이터를 이용하여, 오선, 음자리표 및 음표 이미지를 생성한 뒤, 각 음자리표 및 음표 이미지를 오선 이미지에 적용하여 악보 이미지를 생성하되, 상기 악보 거치대에 대응되는 크기로 악보 이미지가 조사되도록 악보 이미지의 크기를 설정하는 것을 특징으로 하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노.
According to claim 1,
The sheet music output unit,
Using the pitch data included in the digital score data, create a staff, clef, and note image, and then apply each clef and note image to the staff image to generate a sheet music image, but a sheet music image with a size corresponding to the sheet music holder A digital piano including a learning function through sheet music compatibility and mutual recognition, characterized in that the size of the sheet music image is set to be investigated.
 삭제delete 제1항에 있어서,
상기 악보 출력부는,
상기 평가 단말의 입력 수단으로부터 평가 시작 요청을 수신 시, 상기 가상의 연주 데이터에 포함된 연주 시점에 따라서 이동되는 가상의 타임 라인 이미지를 생성하여 출력함으로써, 상기 타임 라인 이미지가 조사되는 영역에 대응되는 음표가 상기 가상의 연주 데이터에 매칭되어 유저가 타건해야 하는 음표인 것을 가이드하도록 하는 것을 특징으로 하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노.
According to claim 1,
The sheet music output unit,
When receiving a request to start evaluation from the input means of the evaluation terminal, by generating and outputting a virtual timeline image that moves according to the performance time included in the virtual performance data, the timeline image corresponding to the area to be irradiated A digital piano including a learning function through sheet music compatibility and mutual recognition, characterized in that the notes are matched with the virtual performance data to guide the notes that the user should play.
 제1항에 있어서,
상기 악보 출력부는,
상기 거치 센서로부터 악보가 미거치된 상태임을 감지하는 신호를 수신한 상태이며, 평가 단말로부터 평가 시작 요청 입력을 수신 시, 악보 거치대에 상기 악보 이미지가 디스플레이되도록 하되, 상기 악보 이미지에 대응되는 상기 가상의 연주 데이터를 생성하여 재생하는 동시에, 상기 가상의 연주 데이터에 포함된 연주 시점에 따라서 이동되는 가상의 타임 라인 이미지를 생성하여 출력함으로써, 상기 타임 라인 이미지가 조사되는 영역에 대응되는 음표가 상기 가상의 연주 데이터에 매칭되어 유저가 타건해야 하는 음표인 것을 가이드하도록 하는 것을 특징으로 하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노.
According to claim 1,
The sheet music output unit,
A state in which a signal for detecting that the sheet music is not placed is received from the placement sensor, and when an evaluation start request input is received from the evaluation terminal, the sheet music image is displayed on the sheet music holder, and the virtual sheet corresponding to the sheet music image By generating and reproducing the performance data of , and simultaneously generating and outputting a virtual timeline image that moves according to the performance time included in the virtual performance data, the note corresponding to the area to which the timeline image is irradiated is displayed in the virtual A digital piano including a learning function through sheet music compatibility and mutual recognition, characterized in that it matches the performance data of the user to guide the notes that the user must play.
 제5항 내지 제6항 중 어느 한 항에 있어서,
상기 평가 단말은,
유저의 휴대 단말 또는 상기 피아노 본체에 고정 설치되는 단말인 것을 특징으로 하는 악보 호환 및 상호 인식을 통한 학습 기능을 포함하는 디지털 피아노.7. The method according to any one of claims 5 to 6,
The evaluation terminal,
A digital piano including a learning function through music score compatibility and mutual recognition, characterized in that it is a user's mobile terminal or a terminal fixedly installed on the piano body.
KR1020200099039A 2020-08-07 2020-08-07 Digital piano with learning capabilities through mugic sheet compatibility and mutual recognition KR102403633B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200099039A KR102403633B1 (en) 2020-08-07 2020-08-07 Digital piano with learning capabilities through mugic sheet compatibility and mutual recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200099039A KR102403633B1 (en) 2020-08-07 2020-08-07 Digital piano with learning capabilities through mugic sheet compatibility and mutual recognition

Publications (2)

Publication Number Publication Date
KR20220019167A KR20220019167A (en) 2022-02-16
KR102403633B1 true KR102403633B1 (en) 2022-05-31

Family

ID=80474894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200099039A KR102403633B1 (en) 2020-08-07 2020-08-07 Digital piano with learning capabilities through mugic sheet compatibility and mutual recognition

Country Status (1)

Country Link
KR (1) KR102403633B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117487A (en) * 2002-09-24 2004-04-15 Yamaha Corp Electronic music system and program for electronic music system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6162186A (en) * 1984-09-01 1986-03-31 Sumitomo Electric Ind Ltd Musical score reader
JPH08202352A (en) * 1995-01-31 1996-08-09 Kawai Musical Instr Mfg Co Ltd Music score display device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117487A (en) * 2002-09-24 2004-04-15 Yamaha Corp Electronic music system and program for electronic music system

Also Published As

Publication number Publication date
KR20220019167A (en) 2022-02-16

Similar Documents

Publication Publication Date Title
WO2019101015A1 (en) Audio data processing method and apparatus, and storage medium
US9558727B2 (en) Performance method of electronic musical instrument and music
US9029678B2 (en) Digital piano
US20170109127A1 (en) Tactilated electronic music systems for sound generation
US20140132410A1 (en) Wearable device to control external device and method thereof
US9779710B2 (en) Electronic apparatus and control method thereof
KR20140109324A (en) Automatic fitting of haptic effects
JP2011516924A (en) Multi-mode learning system
JP6727081B2 (en) Information processing system, extended input device, and information processing method
US9633638B2 (en) Method and apparatus for simulating a musical instrument
CN110334352A (en) Guidance information display methods, device, terminal and storage medium
WO2018052272A1 (en) Playing guide information provision system, apparatus, method, and computer-readable recording medium based on instrument-played-note recognition
JP2012053532A (en) Information processing apparatus and method, and program
CN110209871A (en) Song comments on dissemination method and device
CN108922562A (en) Sing evaluation result display methods and device
KR101607804B1 (en) Electronic apparatus, method for implementing piano using an electronic apparatus, and piano system
KR102082239B1 (en) Providing method, apparatus and computer-readable medium of music contents using a user terminal linking with an electronic musical instrument
Johnson et al. Vrmin: using mixed reality to augment the theremin for musical tutoring.
KR102403633B1 (en) Digital piano with learning capabilities through mugic sheet compatibility and mutual recognition
CN105741821A (en) Piano automatic playing and teaching system
US9368095B2 (en) Method for outputting sound and apparatus for the same
JP2007256412A (en) Musical sound controller
JP6069680B2 (en) GAME DEVICE AND GAME PROGRAM
Ren et al. Designing virtual instruments with touch-enabled interface
US20230252963A1 (en) Computing Device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant