KR101307595B1 - Method for controlling piano robot and apparatus for thereof - Google Patents
Method for controlling piano robot and apparatus for thereof Download PDFInfo
- Publication number
- KR101307595B1 KR101307595B1 KR1020110144971A KR20110144971A KR101307595B1 KR 101307595 B1 KR101307595 B1 KR 101307595B1 KR 1020110144971 A KR1020110144971 A KR 1020110144971A KR 20110144971 A KR20110144971 A KR 20110144971A KR 101307595 B1 KR101307595 B1 KR 101307595B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- piano
- note
- robot control
- control signal
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/003—Manipulators for entertainment
- B25J11/004—Playing a music instrument
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10F—AUTOMATIC MUSICAL INSTRUMENTS
- G10F1/00—Automatic musical instruments
- G10F1/02—Pianofortes with keyboard
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Toys (AREA)
Abstract
본 발명은 피아노 로봇 제어 방법 및 장치에 관한 것이다. 본 발명에 따르면, 피아노 로봇 제어 장치를 이용한 피아노 로봇 제어 방법에 있어서, 촬영된 악보 영상을 입력받는 단계와, 상기 악보 영상으로부터 음표를 인식하는 단계와, 상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 단계, 및 상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 단계를 포함하는 피아노 로봇 제어 방법을 제공한다.
본 발명에 따른 피아노 로봇 제어 방법 및 장치에 따르면, 촬영된 악보 영상으로부터 악보 정보를 인식하여 피아노 로봇의 구동을 제어함으로써 실시간 연주 및 음악 감상이 손쉽게 가능한 이점이 있다.The present invention relates to a method and apparatus for controlling a piano robot. According to the present invention, a method for controlling a piano robot using a piano robot control apparatus, the method comprising: receiving a photographed score image, recognizing a note from the score image, and playing information corresponding to the recognized note Generating a robot control signal, and transferring the robot control signal to the MCU of the piano robot.
According to the method and apparatus for controlling a piano robot according to the present invention, by realizing the performance of music and listening to music by controlling the driving of the piano robot by recognizing the score information from the photographed score image.
Description
본 발명은 피아노 로봇 제어 방법 및 장치에 관한 것으로서, 보다 상세하게는 피아노 로봇의 연주를 제어할 수 있는 피아노 로봇 제어 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for controlling a piano robot, and more particularly, to a method and apparatus for controlling a piano robot capable of controlling the performance of a piano robot.
종래에는 연주 대상 곡을 피아노의 마이컴에 직접 다운받은 후 전기적 신호 처리를 통해 피아노를 자동 연주하는 방법이 있다. 이러한 종래의 피아노는 별도로 곡을 다운받아야 하며 제조 비용이 고가인 단점이 있다.Conventionally, there is a method of automatically playing a piano through an electrical signal processing after directly downloading a song to be played on the piano's microcomputer. Such a conventional piano has to download music separately and has a disadvantage of being expensive to manufacture.
이러한 문제점을 해결하기 위해 특허공개 제1995-0009525호에는 악보를 스캔하여 획득된 악보 데이터를 통해 해당 음악을 합성하여 스피커로 출력하는 구성이 개시되어 있다. 그런데, 이러한 종래의 방법은 악보지에 일일이 바코드가 기재되어 있어야 하므로, 악보지에 대한 바코드의 생성 과정이 별도로 필요한 단점이 있다. 또한, 사용자는 기존의 일반적인 악보를 전혀 사용할 수 없으므로 바코드가 생성된 악보를 별도로 구매해야 하는 문제점이 있다.In order to solve this problem, Korean Patent Laid-Open Publication No. 195-0009525 discloses a configuration of synthesizing the corresponding music through the score data obtained by scanning the score and outputting it to the speaker. However, this conventional method has a disadvantage in that the barcode generation process for the sheet music is separately required because the barcode must be described on the sheet music. In addition, since the user cannot use the existing general sheet music at all, there is a problem of separately purchasing the sheet music in which the barcode is generated.
본 발명은, 촬영된 악보 영상으로부터 악보를 인식하여 피아노 로봇의 구동을 제어할 수 있는 피아노 로봇 제어 방법 및 장치를 제공하는데 목적이 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a method and apparatus for controlling a piano robot capable of controlling the driving of a piano robot by recognizing the score from a photographed score image.
본 발명은, 피아노 로봇 제어 장치를 이용한 피아노 로봇 제어 방법에 있어서, 촬영된 악보 영상을 입력받는 단계와, 상기 악보 영상으로부터 음표를 인식하는 단계와, 상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 단계, 및 상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 단계를 포함하는 피아노 로봇 제어 방법을 제공한다.According to an aspect of the present invention, there is provided a piano robot control method using a piano robot control apparatus, the method comprising: receiving a photographed score image, recognizing a note from the score image, and playing information corresponding to the recognized note; Generating a robot control signal, and transmitting the robot control signal to the MCU of the piano robot.
여기서, 상기 음표를 인식하는 단계는, 상기 악보 영상으로부터 오선을 제거하고 음표를 추출하는 단계, 및 상기 추출된 음표를 바탕으로 상기 음표의 종류와 음 높이를 인식하는 단계를 포함할 수 있다.The step of recognizing the note may include removing a erroneous line from the score image and extracting a note, and recognizing a type and a pitch of the note based on the extracted note.
또한, 상기 음표를 인식하는 단계는, 상기 음표 간의 간격을 이용하여 상기 음표의 종류를 인식할 수 있다.In addition, in the recognizing the note, the type of the note may be recognized using the interval between the notes.
여기서, 상기 음표를 인식하는 단계는, 상기 악보 영상으로부터 음자리표, 박자, 마디를 더 추출하고, 상기 마디 내에서 인식된 음표들의 음 길이 합이 상기 추출된 박자와 일치하는지를 확인할 수 있다.In the recognizing the note, the clef, time signature, and measure may be further extracted from the score image, and the sum of the note lengths of the notes recognized in the measure may match the extracted beat.
또한, 상기 음표를 인식하는 단계는, 상기 악보 영상으로부터 악보 코드를 더 추출할 수 있다. 이때, 상기 로봇 제어 신호는, 상기 악보 코드에 대응되는 반주 정보를 더 포함할 수 있다.The recognizing of the note may further extract a score code from the score image. In this case, the robot control signal may further include accompaniment information corresponding to the music score code.
또한, 상기 피아노 로봇은, 전방의 피아노에 대해 길이 방향으로 설치된 레일과, 상기 레일 상에서 좌우 이동 가능한 로봇 손과, 상기 로봇 손에 장착되며 상기 전방의 피아노 건반을 타격하는 복수의 로봇 손가락과, 상기 로봇 제어 신호에 대응하여, 상기 레일 상에서 이동하는 상기 로봇 손의 이동 위치 및 속도를 제어하는 액추에이터, 및 상기 로봇 제어 신호에 대응하여, 상기 복수의 로봇 손가락의 타격 시점을 개별 제어하는 서보모터를 포함할 수 있다.The piano robot may further include a rail provided in a longitudinal direction with respect to the piano in front of the robot, a robot hand movable left and right on the rail, a plurality of robot fingers mounted on the robot hand and striking the piano keyboard in front of the piano, An actuator for controlling a movement position and a speed of the robot hand moving on the rail in response to a robot control signal, and a servomotor for individually controlling the time of impact of the plurality of robot fingers in response to the robot control signal. can do.
그리고, 본 발명은 피아노 로봇의 연주를 수행시키기 위한 피아노 로봇 제어 장치에 있어서, 촬영된 악보 영상을 수신하는 입력부와, 상기 악보 영상으로부터 음표를 인식하는 음표 인식부와, 상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 제어부, 및 상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 전송부를 포함하는 피아노 로봇 제어 장치를 제공한다.In addition, the present invention provides a piano robot control apparatus for performing the performance of the piano robot, an input unit for receiving a photographed score image, a note recognition unit for recognizing a note from the score image, and corresponds to the recognized note It provides a piano robot control device including a control unit for generating a robot control signal including the performance information, and a transmission unit for transmitting the robot control signal to the MCU of the piano robot.
본 발명에 따른 피아노 로봇 제어 방법 및 장치에 따르면, 촬영된 악보 영상으로부터 악보 정보를 인식하여 피아노 로봇의 구동을 제어함으로써 실시간 연주 및 음악 감상이 손쉽게 가능한 이점이 있다.According to the method and apparatus for controlling a piano robot according to the present invention, by realizing the performance of music and listening to music by controlling the driving of the piano robot by recognizing the score information from the photographed score image.
도 1은 본 발명의 실시예에 따른 피아노 로봇 제어 장치의 구성도이다.
도 2는 도 1을 이용한 피아노 로봇 제어 방법의 흐름도이다.
도 3은 도 2의 S210 단계를 위한 화면 구성도이다.
도 4는 도 3에 대한 영상 전처리를 위한 화면 구성도이다.
도 5 내지 도 7은 도 2의 S220 단계를 위한 화면 구성도이다.
도 8은 본 발명의 실시예를 위한 피아노 로봇의 개략 구성도이다.1 is a block diagram of a piano robot control apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a piano robot control method using FIG. 1.
3 is a screen configuration diagram for step S210 of FIG.
4 is a screen configuration diagram for image preprocessing of FIG. 3.
5 to 7 are screen configuration diagrams for the step S220 of FIG.
8 is a schematic structural diagram of a piano robot for an embodiment of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
도 1은 본 발명의 실시예에 따른 피아노 로봇 제어 장치의 구성도이다. 상기 피아노 로봇 제어 장치(100)는 입력부(110), 음표 인식부(120), 제어부(130), 전송부(140), 표시부(150)를 포함한다. 1 is a block diagram of a piano robot control apparatus according to an embodiment of the present invention. The piano
상기 피아노 로봇 장치(100)의 간략한 설명은 다음과 같다. 상기 입력부(110)는 촬영된 악보 영상을 입력받고, 음표 인식부(120)는 입력된 악보 영상으로부터 음표를 인식한다. 그리고, 제어부(130)는 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하며, 전송부(140)는 이러한 신호를 피아노 로봇(200)의 MCU(210)로 전달하는 역할을 한다. 이에 따라, 피아노 로봇(200)은 악보에 대응되는 연수를 수행할 수 있다. 표시부(150)는 상기 장치(100) 내의 각 구성요소들에 의한 처리 동작 들을 화면 상으로 제공한다. 이러한 피아노 로봇 제어 장치(100)는 일반 PC, 노트북, 휴대폰 등 다양한 수단에 해당될 수 있다.A brief description of the
도 2는 도 1을 이용한 피아노 로봇 제어 방법의 흐름도이다. 이하에서는 본 발명의 실시예에 따른 피아노 로봇 제어 방법에 관하여 상세히 알아본다.2 is a flowchart illustrating a piano robot control method using FIG. 1. Hereinafter will be described in detail with respect to the piano robot control method according to an embodiment of the present invention.
먼저, 상기 입력부(110)에서는 촬영모듈(10)로부터 촬영된 악보 영상을 입력받는다(S210). 여기서, 촬영모듈(10)이란 본 발명의 장치(100)와 유무선 연결된 카메라, 웹캠 등의 다양한 촬영 수단에 해당될 수 있다. 이러한 촬영모듈(10)은 악보(ex, 악보 문서)를 촬영한 다음, 촬영된 악보 영상을 입력부(110)에 전달한다.First, the
도 3은 도 2의 S210 단계를 위한 화면 구성도이다. 이러한 화면은 상기 표시부(150)의 구성에 대응된다.3 is a screen configuration diagram for step S210 of FIG. This screen corresponds to the configuration of the display unit 150.
도 3의 좌측 화면은 촬영모듈(10)이 촬상 중인 악보 부분의 영상 화면을 나타낸다. 그리고, 우측 화면은 사용자로부터 '화면캡쳐' 명령을 입력받는 경우, 촬영모듈(10)로부터 캡쳐되어 입력받은 악보 영상을 나타낸다. 여기서, 표시부(150)가 제공하는 화면 상의 모든 버튼들은 상기 입력부(110)의 기술범주에 포함될 수 있다.The left screen of FIG. 3 shows an image screen of the music score portion that the
도 4는 도 3에 대한 영상 전처리를 위한 화면 구성도이다. 이러한 도 4는 '영상 전처리' 명령 입력 시에 도 3으로부터 전환되는 화면이다. 이때, 좌측은 캡쳐된 악보 영상이고, 우측은 전처리된 악보 영상을 나타낸다.4 is a screen configuration diagram for image preprocessing of FIG. 3. 4 is a screen which is switched from FIG. 3 when the 'image preprocessing' command is input. At this time, the left side is a captured score image, and the right side is a preprocessed score image.
상기 장치(100)는 상기 캡쳐 과정을 통해 입력부(110)에 입력된 악보 영상에 이진화 등의 처리를 수행하여 영상을 전처리한다. 또한, 입력 영상의 수평 히스토그램을 분석하여 사진이 잘 찍혔는지 확인을 하고, 이를 팝업 메시지 등으로 알려준다. 이외에도, 영상 전처리에는 화면 밝기, 노이즈 제거 등의 공지된 다양한 과정이 포함될 수 있다. 또한, 영상의 전처리 과정은 사용자의 입력 명령과 무관하게, 상기 악보 영상이 캡쳐되는 즉시 자동으로 실행될 수도 있다.The
이후, 음표 인식부(120)에서는 상기 전처리된 악보 영상으로부터 오선을 제거하고 음표를 인식한다(S220). 도 5 내지 도 7은 도 2의 S220 단계를 위한 화면 구성도이다. 상기 음표 인식부(120)를 이용한 음표 인식의 구체적 과정을 알아보면 다음과 같다.Thereafter, the
우선, 상기 악보 영상으로부터 오선을 제거한다. 도 5는 '오선제거' 명령의 입력 시에 도 4로부터 전환되는 화면이다. 우측 화면을 보면, 오선이 제거된 것이 확인된다.First, the erroneous line is removed from the score image. FIG. 5 is a screen converted from FIG. 4 upon input of a 'remove erroneous' command. Looking at the screen on the right, you can see that the stair has been removed.
오선을 제거하기 위해서는 상기 악보 영상으로부터, 수평 히스토그램을 이용하여 오선 부위를 추출한다. 그리고, 추출된 오선 부위를 제거하되, 음자리표, 박자, 음표, 마디 부분에는 영향을 주지 않도록 제거한다. 이러한 오선 제거를 위한 영상 처리 방법은 공지된 다양한 방법이 적용될 수 있다.In order to remove the erroneous line, the erroneous region is extracted from the score image using a horizontal histogram. Then, the extracted stave portion is removed, but not to affect the clef, time signature, note, node. The image processing method for removing such a stave can be applied to a variety of known methods.
다음, 음표 부분을 추출한다. 도 6은 '음표분리' 명령의 입력 시에 도 5로부터 전환되는 화면이다. 우측 화면을 보면 음표가 추출된 것이 확인된다. 이때, 음표 이외에도, 음자리표, 박자, 마디 부분이 함께 추출될 수 있다. Next, extract the note part. FIG. 6 is a screen switched from FIG. 5 when a 'separation note' command is input. On the right, you can see that the note has been extracted. At this time, in addition to the notes, clef, beat, and node portions may be extracted together.
이후, '음표인식' 명령의 입력 시에 음표 인식을 수행한다. 상기 추출된 음표를 바탕으로 상기 음표의 종류(ex, 4분 음표, 8분 음표)와 음 높이를 인식한다. 음표의 종류란 상기 음표의 음 길이에 대응된다. Thereafter, note recognition is performed at the time of inputting the 'note recognition' command. Based on the extracted note, the type of the note (ex, quarter note, eighth note) and the height of the note are recognized. The type of note corresponds to the note length of the note.
여기서, 음표의 종류 확인은 추출된 음표의 형상으로부터 확인할 수도 있다. 이외에도, 상기 음표의 종류는 상기 마디 내에서 인식된 음표들 간의 간격을 이용하여 인식할 수 있다. 이는 각 음표의 종류마다 악보 상에 기재되는 간격이 상이한 점을 이용한 것이다. 예를 들어, 8분 음표와 그 다음의 음표(또는 마디) 사이의 이격 간격은 4분 음표의 경우의 절반에 해당된다.Here, the type confirmation of the note can also be confirmed from the shape of the extracted note. In addition, the type of the note may be recognized using intervals between the notes recognized in the node. This utilizes a point where the intervals described on the scores are different for each type of note. For example, the separation between an eighth note and the next note (or measure) is half that of a quarter note.
다음, 상기 음표 인식부(120)는 상기 마디 내에서 인식된 음표들의 음 길이 합이 상기 추출된 박자와 일치하는지를 확인한다. 그리고, 그 일치 여부를 팝업 메시지 등으로 알릴 수 있다.Next, the
도 6의 악보에서 첫 마디 부분은, 8분 음표(1박) 1개와 4분 음표 2개(각각 1박)으로 구성되어 있으며, 총 3박이 된다. 음표 추출의 과정에서는 각 마디 부분마다 음 길이의 합(3박)과, 추출된 박자(¾)가 서로 일치하는지를 확인하고 그 결과를 알려준다.In the score of Fig. 6, the first section consists of one eighth note (one night) and two quarter notes (one night each), and the total number is three nights. In the process of note extraction, it checks whether the sum of the lengths (3 nights) and the extracted beats (¾) coincide with each node part and informs the result.
이러한 본 발명은 악보 코드의 인식 또한 가능하다. 도 7은 '기타코드' 명령의 입력 시에 악보 영상으로부터 악보 코드를 추출 및 인식하는 구성이다. 이렇게 악보 내에 기재된 악보 코드를 추출함으로써, 악보 코드에 대응되는 반주 정보의 생성이 가능하게 된다.The present invention is also capable of recognizing sheet music codes. 7 is a configuration for extracting and recognizing a sheet music code from a sheet music image upon input of a 'other code' command. By extracting the sheet music codes described in the sheet music, the accompaniment information corresponding to the sheet music codes can be generated.
이상과 같은 도 5 내지 도 7의 과정은 사용자의 명령을 입력받아 수행하는 것을 실시예로 하고 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다. 즉, 입력받은 악보 영상에 대해 도 5 내지 도 7의 과정을 자동으로 수행하는 것도 가능하다. 또한 악보 코드의 추출 과정은 음표 추출 과정과 동시에 수행되어도 무관하다.5 to 7 as described above is an embodiment of performing a user's command by input, but the present invention is not necessarily limited thereto. That is, the process of FIGS. 5 to 7 may be automatically performed on the received sheet music image. Also, the extraction process of the sheet music chord may be performed simultaneously with the extraction process of the note.
이상과 같이 음표가 인식된 이후, 상기 제어부(130)에서는 상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성한다(S230). 여기서, 상기 로봇 제어 신호에는 상기 연주 정보뿐만 아니라 악보 코드에 대응되는 반주 정보를 포함하고 있다.After the note is recognized as described above, the
다음, 상기 전송부(140)는 상기 로봇 제어 신호를 상기 피아노 로봇(200)의 MCU(210)로 전달한다(S240). 이러한 로봇 제어 신호의 전송은 도 7에서 '전송' 명령의 입력 시에 수행할 수 있다. 이외에도, 로봇 제어 신호의 전송은 S230 단계 이후에 자동으로 수행될 수 있다.Next, the
이하에서는 상기 로봇 제어 신호를 전송받은 피아노 로봇의 동작에 관하여 알아본다. 도 8은 본 발명의 실시예를 위한 피아노 로봇의 개략 구성도이다. Hereinafter, the operation of the piano robot receiving the robot control signal will be described. 8 is a schematic structural diagram of a piano robot for an embodiment of the present invention.
상기 피아노 로봇(200)은 레일(220), 로봇 손(230), 로봇 손가락(240), 액추에이터(250), 서보모터(260)를 포함한다. The
상기 레일(220)은 전방의 피아노(20)에 대해 길이 방향으로 설치되어 있다. 그리고, 로봇 손(230)은 상기 레일 상에서 좌우 이동 가능하다. 복수의 로봇 손가락(240)은 상기 로봇 손(230)에 장착되며 상기 전방의 피아노(20)의 건반을 타격한다.The
그리고, 액추에이터(250)는 로봇 손(230)과 연결되며, 상기 로봇 제어 신호에 대응하여, 상기 레일(220) 상에서 좌우 이동하는 상기 로봇 손(230)의 이동 위치 및 속도를 제어한다. 예를 들어, 액추에이터(250)는 로봇 손(230)이 어느 건반을 향해 이동할 것인지 혹은 어떤 박자에 맞도록 어떤 속도로 이동할 것인지 등을 결정한다.In addition, the
또한, 서보모터(260)는 손가락(240)과 연결되며, 상기 로봇 제어 신호에 대응하여, 상기 복수의 로봇 손가락(240)의 타격 시점을 개별 제어한다. 따라서, 서보모터(260)는 각 로봇 손가락(240)의 건반 누름과 누름 해제, 그리고 각각의 시점을 개별 제어하는 역할을 한다. 본 실시예의 경우, 상기 로봇 손(230)은 연주를 수행하는 오른쪽 로봇 손과, 반주를 수행하는 왼쪽 로봇 손, 그리고 각 손에 대한 손가락들을 포함한다. 이에 따라, 피아노 로봇(200)은 상기 연주 정보 및 반주 정보에 대응되는 피아노 연주를 수행할 수 있다.In addition, the
이상과 같은 본 발명에 따르면, 촬영된 악보를 인식하고 이로부터 악보 정보를 추출하여 실제 피아노 로봇(200)을 구동시킴에 따라 실시간 연주 및 음악 감상이 가능한 이점이 있다. 또한, 기존의 일반적인 악보만으로도 손쉽게 피아노 연주를 수행할 수 있으며, 스피커가 아닌 실제 피아노 로봇(200)을 통해 연주를 수행함에 따라 로봇에 대한 호기심과 친숙도, 관심 및 흥미를 유발시킬 수 있다.According to the present invention as described above, by recognizing the photographed score and extracting the score information from it to drive the
이러한 본 발명에 따른 피아노 로봇 제어 장치 및 방법은 대량 생산된 피아노 제품의 테스트 공정에도 응용이 가능하고, 악보를 읽지 못하는 사람들에게 원하는 음악을 용이하게 제공할 수 있다.The apparatus and method for controlling a piano robot according to the present invention can be applied to a test process of mass-produced piano products, and can easily provide desired music to those who cannot read music.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
10: 촬영 모듈 20: 피아노
100: 피아노 로봇 제어 장치 110: 입력부
120: 음표 인식부 130: 제어부
140: 전송부 150: 표시부
200: 피아노 로봇 210: MCU
220: 레일 230: 로봇 손
240: 로봇 손가락 250: 액추에이터
260: 서보모터10: shooting module 20: piano
100: piano robot control device 110: input unit
120: note recognition unit 130: control unit
140: transmission unit 150: display unit
200: piano robot 210: MCU
220: rail 230: robot hand
240: robot finger 250: actuator
260: servo motor
Claims (12)
촬영된 악보 영상을 입력받는 단계;
상기 악보 영상으로부터 음표를 인식하는 단계;
상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 단계; 및
상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 단계를 포함하며,
상기 음표를 인식하는 단계는,
상기 악보 영상으로부터 오선을 제거하고 음표를 추출한 다음, 상기 추출된 음표를 바탕으로 상기 음표의 종류와 음 높이를 인식하는 피아노 로봇 제어 방법.In the piano robot control method using a piano robot control device,
Receiving a photographed score image;
Recognizing a note from the score image;
Generating a robot control signal including performance information corresponding to the recognized note; And
Transmitting the robot control signal to the MCU of the piano robot,
Recognizing the note,
The method of claim 8, wherein the musical notes are removed from the score image, the musical notes are extracted, and the type and pitch of the musical notes are recognized based on the extracted musical notes.
상기 음표를 인식하는 단계는,
상기 음표 간의 간격을 이용하여 상기 음표의 종류를 인식하는 피아노 로봇 제어 방법.The method according to claim 1,
Recognizing the note,
Piano robot control method for recognizing the type of the note using the interval between the notes.
상기 음표를 인식하는 단계는,
상기 악보 영상으로부터 음자리표, 박자, 마디를 더 추출하고, 상기 마디 내에서 인식된 음표들의 음 길이 합이 상기 추출된 박자와 일치하는지를 확인하는 피아노 로봇 제어 방법.The method according to claim 3,
Recognizing the note,
And extracting a clef, time signature, and measure from the score image, and checking whether a sum of note lengths of the notes recognized in the measure matches the extracted beat.
상기 음표를 인식하는 단계는,
상기 악보 영상으로부터 악보 코드를 더 추출하고,
상기 로봇 제어 신호는,
상기 악보 코드에 대응되는 반주 정보를 더 포함하는 피아노 로봇 제어 방법.The method according to claim 1,
Recognizing the note,
Further extracting sheet music codes from the sheet music image,
The robot control signal is,
And accompaniment information corresponding to the sheet music code.
상기 피아노 로봇은,
전방의 피아노에 대해 길이 방향으로 설치된 레일;
상기 레일 상에서 좌우 이동 가능한 로봇 손;
상기 로봇 손에 장착되며 상기 전방의 피아노 건반을 타격하는 복수의 로봇 손가락;
상기 로봇 제어 신호에 대응하여, 상기 레일 상에서 이동하는 상기 로봇 손의 이동 위치 및 속도를 제어하는 액추에이터; 및
상기 로봇 제어 신호에 대응하여, 상기 복수의 로봇 손가락의 타격 시점을 개별 제어하는 서보모터를 포함하는 피아노 로봇 제어 방법.The method according to claim 1,
The piano robot,
A rail installed in the longitudinal direction with respect to the piano in front of it;
A robot hand movable left and right on the rail;
A plurality of robot fingers mounted to the robot hand and striking the front piano keyboard;
An actuator for controlling a movement position and a speed of the robot hand moving on the rail in response to the robot control signal; And
And a servo motor which individually controls the time of hitting of the plurality of robot fingers in response to the robot control signal.
촬영된 악보 영상을 수신하는 입력부;
상기 악보 영상으로부터 음표를 인식하는 음표 인식부;
상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 제어부; 및
상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 전송부를 포함하며,
상기 인식부는,
상기 악보 영상으로부터 오선을 제거하고 음표를 추출한 다음, 상기 추출된 음표를 바탕으로 상기 음표의 종류와 음 높이를 인식하는 피아노 로봇 제어 장치.In the piano robot control device for performing the performance of the piano robot,
An input unit to receive a photographed score image;
A note recognition unit recognizing a note from the score image;
A controller configured to generate a robot control signal including performance information corresponding to the recognized note; And
It includes a transmission unit for transmitting the robot control signal to the MCU of the piano robot,
Wherein,
Pitch robot control device for removing the stigma from the score image and extracting the note, and then recognizes the type and pitch of the note based on the extracted note.
상기 인식부는,
상기 음표 간의 간격을 이용하여 상기 음표의 종류를 인식하는 피아노 로봇 제어 장치.The method of claim 7,
Wherein,
Piano robot control device for recognizing the type of the note using the interval between the notes.
상기 인식부는,
상기 악보 영상으로부터 음자리표, 박자, 마디를 더 추출하고, 상기 마디 내에서 인식된 음표들의 음 길이 합이 상기 추출된 박자와 일치하는지를 확인하는 피아노 로봇 제어 장치.The method according to claim 9,
Wherein,
And further extracting clef, time signature, and measure from the score image, and checking whether the sum of the note lengths of the notes recognized in the measure matches the extracted beat.
상기 인식부는,
상기 악보 영상으로부터 악보 코드를 더 추출하고,
상기 로봇 제어 신호는,
상기 악보 코드에 대응되는 반주 정보를 더 포함하는 피아노 로봇 제어 장치.The method of claim 7,
Wherein,
Further extracting sheet music codes from the sheet music image,
The robot control signal is,
Piano robot control device further comprising accompaniment information corresponding to the music score code.
상기 피아노 로봇은,
전방의 피아노에 대해 길이 방향으로 설치된 레일;
상기 레일 상에서 좌우 이동 가능한 로봇 손;
상기 로봇 손에 장착되며 상기 전방의 피아노 건반을 타격하는 복수의 로봇 손가락;
상기 로봇 제어 신호에 대응하여, 상기 레일 상에서 이동하는 상기 로봇 손의 이동 위치 및 속도를 제어하는 액추에이터; 및
상기 로봇 제어 신호에 대응하여, 상기 복수의 로봇 손가락의 타격 시점을 개별 제어하는 서보모터를 포함하는 피아노 로봇 제어 장치.The method of claim 7,
The piano robot,
A rail installed in the longitudinal direction with respect to the piano in front of it;
A robot hand movable left and right on the rail;
A plurality of robot fingers mounted to the robot hand and striking the front piano keyboard;
An actuator for controlling a movement position and a speed of the robot hand moving on the rail in response to the robot control signal; And
And a servo motor for individually controlling the time of hitting of the plurality of robot fingers in response to the robot control signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110144971A KR101307595B1 (en) | 2011-12-28 | 2011-12-28 | Method for controlling piano robot and apparatus for thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110144971A KR101307595B1 (en) | 2011-12-28 | 2011-12-28 | Method for controlling piano robot and apparatus for thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130076394A KR20130076394A (en) | 2013-07-08 |
KR101307595B1 true KR101307595B1 (en) | 2013-09-12 |
Family
ID=48990002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110144971A KR101307595B1 (en) | 2011-12-28 | 2011-12-28 | Method for controlling piano robot and apparatus for thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101307595B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108010504A (en) * | 2017-12-26 | 2018-05-08 | 昆山塔米机器人有限公司 | A kind of piano performance system and method controlled by robot |
CN109202935A (en) * | 2018-10-30 | 2019-01-15 | 希格斯动力科技(珠海)有限公司 | Play the hand method for controlling stepping motor and device of robot |
CN116394277B (en) * | 2023-06-08 | 2023-08-25 | 之江实验室 | Robot is played to imitative people piano |
CN116728419B (en) * | 2023-08-09 | 2023-12-22 | 之江实验室 | Continuous playing action planning method, system, equipment and medium for playing robot |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH081562A (en) * | 1994-06-16 | 1996-01-09 | Hiroshi Ota | Robot finger-hit playing device for electronic piano having small number of keys |
KR101064676B1 (en) * | 2009-09-24 | 2011-09-14 | 강릉원주대학교산학협력단 | Automatic musical playing device |
-
2011
- 2011-12-28 KR KR1020110144971A patent/KR101307595B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH081562A (en) * | 1994-06-16 | 1996-01-09 | Hiroshi Ota | Robot finger-hit playing device for electronic piano having small number of keys |
KR101064676B1 (en) * | 2009-09-24 | 2011-09-14 | 강릉원주대학교산학협력단 | Automatic musical playing device |
Also Published As
Publication number | Publication date |
---|---|
KR20130076394A (en) | 2013-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10825432B2 (en) | Smart detecting and feedback system for smart piano | |
KR101307595B1 (en) | Method for controlling piano robot and apparatus for thereof | |
EP3155500B1 (en) | Portable electronic equipment and method of operating a user interface | |
US7501568B2 (en) | Musical performance system, musical instrument incorporated therein and multi-purpose portable information terminal device for the system | |
TWI423144B (en) | Combined with the audio and video behavior identification system, identification methods and computer program products | |
US9576564B2 (en) | Performance recording apparatus | |
US20080167739A1 (en) | Autonomous robot for music playing and related method | |
US20200365126A1 (en) | Information processing method | |
EP2747077A1 (en) | Voice recognition system, recognition dictionary logging system, and audio model identifier series generation device | |
EP3527268A1 (en) | Scoring support program, scoring support apparatus, and scoring support method | |
US10810979B2 (en) | Key assisted user input system and method for a piano system | |
CN109074804A (en) | Voice recognition processing method, electronic equipment and storage medium based on accent | |
CN104754466A (en) | User interface apparatus using speaker and method thereof | |
JP4215104B2 (en) | Music control device | |
JP4720563B2 (en) | Music control device | |
Gillet et al. | Automatic transcription of drum sequences using audiovisual features | |
CN110890095A (en) | Voice detection method, recommendation method, device, storage medium and electronic equipment | |
CN113255470B (en) | Multi-mode piano accompany training system and method based on hand gesture estimation | |
JP4765705B2 (en) | Music control device | |
WO2021103913A1 (en) | Voice anti-counterfeiting method and apparatus, terminal device, and storage medium | |
KR20060044008A (en) | A voice recognition apparatus for a number of speaker division | |
CN111627417B (en) | Voice playing method and device and electronic equipment | |
Itohara et al. | Improvement of audio-visual score following in robot ensemble with human guitarist | |
JP6186255B2 (en) | Karaoke equipment characterized by scoring sign language | |
JP3938178B2 (en) | Music control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |