KR20130076394A - Method for controlling piano robot and apparatus for thereof - Google Patents

Method for controlling piano robot and apparatus for thereof Download PDF

Info

Publication number
KR20130076394A
KR20130076394A KR1020110144971A KR20110144971A KR20130076394A KR 20130076394 A KR20130076394 A KR 20130076394A KR 1020110144971 A KR1020110144971 A KR 1020110144971A KR 20110144971 A KR20110144971 A KR 20110144971A KR 20130076394 A KR20130076394 A KR 20130076394A
Authority
KR
South Korea
Prior art keywords
robot
piano
note
robot control
recognizing
Prior art date
Application number
KR1020110144971A
Other languages
Korean (ko)
Other versions
KR101307595B1 (en
Inventor
강성진
윤지상
강한솔
장인석
한성민
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020110144971A priority Critical patent/KR101307595B1/en
Publication of KR20130076394A publication Critical patent/KR20130076394A/en
Application granted granted Critical
Publication of KR101307595B1 publication Critical patent/KR101307595B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/003—Manipulators for entertainment
    • B25J11/004—Playing a music instrument
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G10F1/02—Pianofortes with keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

PURPOSE: A method and an apparatus for controlling a piano robot are provided to control the operation of the piano robot by recognizing musical notes from photographed musical note images. CONSTITUTION: A method for controlling a piano robot is as follows: a step of receiving photographed musical note images; a step of recognizing notes from the musical note images; a step of generating robot control signals with performance information corresponding to the recognized notes; and a step of transmitting the robot control signals to an MCU of the piano robot. The step of recognizing the notes is as follows: a step of removing a manuscript paper and extracting the notes from the musical note images; and a step of recognizing the type of the notes and sound pitches based on the extracted notes. [Reference numerals] (10) Photographing module; (100) Apparatus for controlling a piano robot; (110) Input unit; (120) Unit for detecting notes; (130) Control unit; (200) Piano robot; (AA) Display unit; (BB) Transfer unit

Description

피아노 로봇 제어 방법 및 장치{Method for controlling piano robot and apparatus for thereof}Method and device for controlling piano robot

본 발명은 피아노 로봇 제어 방법 및 장치에 관한 것으로서, 보다 상세하게는 피아노 로봇의 연주를 제어할 수 있는 피아노 로봇 제어 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for controlling a piano robot, and more particularly, to a method and apparatus for controlling a piano robot capable of controlling the performance of a piano robot.

종래에는 연주 대상 곡을 피아노의 마이컴에 직접 다운받은 후 전기적 신호 처리를 통해 피아노를 자동 연주하는 방법이 있다. 이러한 종래의 피아노는 별도로 곡을 다운받아야 하며 제조 비용이 고가인 단점이 있다.Conventionally, there is a method of automatically playing a piano through an electrical signal processing after directly downloading a song to be played on the piano's microcomputer. Such a conventional piano has to download music separately and has a disadvantage of being expensive to manufacture.

이러한 문제점을 해결하기 위해 특허공개 제1995-0009525호에는 악보를 스캔하여 획득된 악보 데이터를 통해 해당 음악을 합성하여 스피커로 출력하는 구성이 개시되어 있다. 그런데, 이러한 종래의 방법은 악보지에 일일이 바코드가 기재되어 있어야 하므로, 악보지에 대한 바코드의 생성 과정이 별도로 필요한 단점이 있다. 또한, 사용자는 기존의 일반적인 악보를 전혀 사용할 수 없으므로 바코드가 생성된 악보를 별도로 구매해야 하는 문제점이 있다.In order to solve this problem, Korean Patent Laid-Open Publication No. 195-0009525 discloses a configuration of synthesizing the corresponding music through the score data obtained by scanning the score and outputting it to the speaker. However, this conventional method has a disadvantage in that the barcode generation process for the sheet music is separately required because the barcode must be described on the sheet music. In addition, since the user cannot use the existing general sheet music at all, there is a problem of separately purchasing the sheet music in which the barcode is generated.

본 발명은, 촬영된 악보 영상으로부터 악보를 인식하여 피아노 로봇의 구동을 제어할 수 있는 피아노 로봇 제어 방법 및 장치를 제공하는데 목적이 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a method and apparatus for controlling a piano robot capable of controlling the driving of a piano robot by recognizing the score from a photographed score image.

본 발명은, 피아노 로봇 제어 장치를 이용한 피아노 로봇 제어 방법에 있어서, 촬영된 악보 영상을 입력받는 단계와, 상기 악보 영상으로부터 음표를 인식하는 단계와, 상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 단계, 및 상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 단계를 포함하는 피아노 로봇 제어 방법을 제공한다.According to an aspect of the present invention, there is provided a piano robot control method using a piano robot control apparatus, the method comprising: receiving a photographed score image, recognizing a note from the score image, and playing information corresponding to the recognized note; Generating a robot control signal, and transmitting the robot control signal to the MCU of the piano robot.

여기서, 상기 음표를 인식하는 단계는, 상기 악보 영상으로부터 오선을 제거하고 음표를 추출하는 단계, 및 상기 추출된 음표를 바탕으로 상기 음표의 종류와 음 높이를 인식하는 단계를 포함할 수 있다.The step of recognizing the note may include removing a erroneous line from the score image and extracting a note, and recognizing a type and a pitch of the note based on the extracted note.

또한, 상기 음표를 인식하는 단계는, 상기 음표 간의 간격을 이용하여 상기 음표의 종류를 인식할 수 있다.In addition, in the recognizing the note, the type of the note may be recognized using the interval between the notes.

여기서, 상기 음표를 인식하는 단계는, 상기 악보 영상으로부터 음자리표, 박자, 마디를 더 추출하고, 상기 마디 내에서 인식된 음표들의 음 길이 합이 상기 추출된 박자와 일치하는지를 확인할 수 있다.In the recognizing the note, the clef, time signature, and measure may be further extracted from the score image, and the sum of the note lengths of the notes recognized in the measure may match the extracted beat.

또한, 상기 음표를 인식하는 단계는, 상기 악보 영상으로부터 악보 코드를 더 추출할 수 있다. 이때, 상기 로봇 제어 신호는, 상기 악보 코드에 대응되는 반주 정보를 더 포함할 수 있다.The recognizing of the note may further extract a score code from the score image. In this case, the robot control signal may further include accompaniment information corresponding to the music score code.

또한, 상기 피아노 로봇은, 전방의 피아노에 대해 길이 방향으로 설치된 레일과, 상기 레일 상에서 좌우 이동 가능한 로봇 손과, 상기 로봇 손에 장착되며 상기 전방의 피아노 건반을 타격하는 복수의 로봇 손가락과, 상기 로봇 제어 신호에 대응하여, 상기 레일 상에서 이동하는 상기 로봇 손의 이동 위치 및 속도를 제어하는 액추에이터, 및 상기 로봇 제어 신호에 대응하여, 상기 복수의 로봇 손가락의 타격 시점을 개별 제어하는 서보모터를 포함할 수 있다.The piano robot may further include a rail provided in a longitudinal direction with respect to the piano in front of the robot, a robot hand movable left and right on the rail, a plurality of robot fingers mounted on the robot hand and striking the piano keyboard in front of the piano, An actuator for controlling a movement position and a speed of the robot hand moving on the rail in response to a robot control signal, and a servomotor for individually controlling the time of impact of the plurality of robot fingers in response to the robot control signal. can do.

그리고, 본 발명은 피아노 로봇의 연주를 수행시키기 위한 피아노 로봇 제어 장치에 있어서, 촬영된 악보 영상을 수신하는 입력부와, 상기 악보 영상으로부터 음표를 인식하는 음표 인식부와, 상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 제어부, 및 상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 전송부를 포함하는 피아노 로봇 제어 장치를 제공한다.In addition, the present invention provides a piano robot control apparatus for performing the performance of the piano robot, an input unit for receiving a photographed score image, a note recognition unit for recognizing a note from the score image, and corresponds to the recognized note It provides a piano robot control device including a control unit for generating a robot control signal including the performance information, and a transmission unit for transmitting the robot control signal to the MCU of the piano robot.

본 발명에 따른 피아노 로봇 제어 방법 및 장치에 따르면, 촬영된 악보 영상으로부터 악보 정보를 인식하여 피아노 로봇의 구동을 제어함으로써 실시간 연주 및 음악 감상이 손쉽게 가능한 이점이 있다.According to the method and apparatus for controlling a piano robot according to the present invention, by realizing the performance of music and listening to music by controlling the driving of the piano robot by recognizing the score information from the photographed score image.

도 1은 본 발명의 실시예에 따른 피아노 로봇 제어 장치의 구성도이다.
도 2는 도 1을 이용한 피아노 로봇 제어 방법의 흐름도이다.
도 3은 도 2의 S210 단계를 위한 화면 구성도이다.
도 4는 도 3에 대한 영상 전처리를 위한 화면 구성도이다.
도 5 내지 도 7은 도 2의 S220 단계를 위한 화면 구성도이다.
도 8은 본 발명의 실시예를 위한 피아노 로봇의 개략 구성도이다.1 is a block diagram of a piano robot control apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a piano robot control method using FIG. 1.
3 is a screen configuration diagram for step S210 of FIG.
4 is a screen configuration diagram for image preprocessing of FIG. 3.
5 to 7 are screen configuration diagrams for the step S220 of FIG.
8 is a schematic structural diagram of a piano robot for an embodiment of the present invention.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

도 1은 본 발명의 실시예에 따른 피아노 로봇 제어 장치의 구성도이다. 상기 피아노 로봇 제어 장치(100)는 입력부(110), 음표 인식부(120), 제어부(130), 전송부(140), 표시부(150)를 포함한다. 1 is a block diagram of a piano robot control apparatus according to an embodiment of the present invention. The piano robot control apparatus 100 includes an input unit 110, a note recognition unit 120, a control unit 130, a transmission unit 140, and a display unit 150.

상기 피아노 로봇 장치(100)의 간략한 설명은 다음과 같다. 상기 입력부(110)는 촬영된 악보 영상을 입력받고, 음표 인식부(120)는 입력된 악보 영상으로부터 음표를 인식한다. 그리고, 제어부(130)는 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하며, 전송부(140)는 이러한 신호를 피아노 로봇(200)의 MCU(210)로 전달하는 역할을 한다. 이에 따라, 피아노 로봇(200)은 악보에 대응되는 연수를 수행할 수 있다. 표시부(150)는 상기 장치(100) 내의 각 구성요소들에 의한 처리 동작 들을 화면 상으로 제공한다. 이러한 피아노 로봇 제어 장치(100)는 일반 PC, 노트북, 휴대폰 등 다양한 수단에 해당될 수 있다.A brief description of the piano robot device 100 is as follows. The input unit 110 receives a photographed score image, and the note recognition unit 120 recognizes a note from the input score image. The controller 130 generates a robot control signal including performance information corresponding to the recognized note, and the transmitter 140 transmits the signal to the MCU 210 of the piano robot 200. . Accordingly, the piano robot 200 may perform training corresponding to the score. The display unit 150 provides processing operations by the components in the apparatus 100 on the screen. The piano robot control apparatus 100 may correspond to various means such as a general PC, a notebook, a mobile phone, and the like.

도 2는 도 1을 이용한 피아노 로봇 제어 방법의 흐름도이다. 이하에서는 본 발명의 실시예에 따른 피아노 로봇 제어 방법에 관하여 상세히 알아본다.2 is a flowchart illustrating a piano robot control method using FIG. 1. Hereinafter will be described in detail with respect to the piano robot control method according to an embodiment of the present invention.

먼저, 상기 입력부(110)에서는 촬영모듈(10)로부터 촬영된 악보 영상을 입력받는다(S210). 여기서, 촬영모듈(10)이란 본 발명의 장치(100)와 유무선 연결된 카메라, 웹캠 등의 다양한 촬영 수단에 해당될 수 있다. 이러한 촬영모듈(10)은 악보(ex, 악보 문서)를 촬영한 다음, 촬영된 악보 영상을 입력부(110)에 전달한다.First, the input unit 110 receives a music image captured by the photographing module 10 (S210). Here, the photographing module 10 may correspond to various photographing means such as a camera, a webcam, and the like connected to the apparatus 100 of the present invention. The photographing module 10 photographs sheet music (ex, sheet music document), and then transfers the photographed score image to the input unit 110.

도 3은 도 2의 S210 단계를 위한 화면 구성도이다. 이러한 화면은 상기 표시부(150)의 구성에 대응된다.3 is a screen configuration diagram for step S210 of FIG. This screen corresponds to the configuration of the display unit 150.

도 3의 좌측 화면은 촬영모듈(10)이 촬상 중인 악보 부분의 영상 화면을 나타낸다. 그리고, 우측 화면은 사용자로부터 '화면캡쳐' 명령을 입력받는 경우, 촬영모듈(10)로부터 캡쳐되어 입력받은 악보 영상을 나타낸다. 여기서, 표시부(150)가 제공하는 화면 상의 모든 버튼들은 상기 입력부(110)의 기술범주에 포함될 수 있다.The left screen of FIG. 3 shows an image screen of the music score portion that the photographing module 10 is capturing. In addition, the right screen shows the score image captured and input from the photographing module 10 when the user receives a 'screen capture' command from the user. Here, all the buttons on the screen provided by the display unit 150 may be included in the technical category of the input unit 110.

도 4는 도 3에 대한 영상 전처리를 위한 화면 구성도이다. 이러한 도 4는 '영상 전처리' 명령 입력 시에 도 3으로부터 전환되는 화면이다. 이때, 좌측은 캡쳐된 악보 영상이고, 우측은 전처리된 악보 영상을 나타낸다.4 is a screen configuration diagram for image preprocessing of FIG. 3. 4 is a screen which is switched from FIG. 3 when the 'image preprocessing' command is input. At this time, the left side is a captured score image, and the right side is a preprocessed score image.

상기 장치(100)는 상기 캡쳐 과정을 통해 입력부(110)에 입력된 악보 영상에 이진화 등의 처리를 수행하여 영상을 전처리한다. 또한, 입력 영상의 수평 히스토그램을 분석하여 사진이 잘 찍혔는지 확인을 하고, 이를 팝업 메시지 등으로 알려준다. 이외에도, 영상 전처리에는 화면 밝기, 노이즈 제거 등의 공지된 다양한 과정이 포함될 수 있다. 또한, 영상의 전처리 과정은 사용자의 입력 명령과 무관하게, 상기 악보 영상이 캡쳐되는 즉시 자동으로 실행될 수도 있다.The apparatus 100 preprocesses the image by performing a process such as binarization on the score image input to the input unit 110 through the capture process. In addition, the horizontal histogram of the input image is analyzed to confirm that the picture is well taken and notified by a pop-up message. In addition, the image preprocessing may include various known processes such as screen brightness and noise removal. In addition, the preprocessing process of the image may be automatically executed as soon as the sheet music image is captured, regardless of a user's input command.

이후, 음표 인식부(120)에서는 상기 전처리된 악보 영상으로부터 오선을 제거하고 음표를 인식한다(S220). 도 5 내지 도 7은 도 2의 S220 단계를 위한 화면 구성도이다. 상기 음표 인식부(120)를 이용한 음표 인식의 구체적 과정을 알아보면 다음과 같다.Thereafter, the note recognition unit 120 removes a stagnation from the preprocessed score image and recognizes a note (S220). 5 to 7 are screen configuration diagrams for the step S220 of FIG. A detailed process of note recognition using the note recognizer 120 is as follows.

우선, 상기 악보 영상으로부터 오선을 제거한다. 도 5는 '오선제거' 명령의 입력 시에 도 4로부터 전환되는 화면이다. 우측 화면을 보면, 오선이 제거된 것이 확인된다.First, the erroneous line is removed from the score image. FIG. 5 is a screen converted from FIG. 4 upon input of a 'remove erroneous' command. Looking at the screen on the right, you can see that the stair has been removed.

오선을 제거하기 위해서는 상기 악보 영상으로부터, 수평 히스토그램을 이용하여 오선 부위를 추출한다. 그리고, 추출된 오선 부위를 제거하되, 음자리표, 박자, 음표, 마디 부분에는 영향을 주지 않도록 제거한다. 이러한 오선 제거를 위한 영상 처리 방법은 공지된 다양한 방법이 적용될 수 있다.In order to remove the erroneous line, the erroneous region is extracted from the score image using a horizontal histogram. Then, the extracted stave portion is removed, but not to affect the clef, time signature, note, node. The image processing method for removing such a stave can be applied to a variety of known methods.

다음, 음표 부분을 추출한다. 도 6은 '음표분리' 명령의 입력 시에 도 5로부터 전환되는 화면이다. 우측 화면을 보면 음표가 추출된 것이 확인된다. 이때, 음표 이외에도, 음자리표, 박자, 마디 부분이 함께 추출될 수 있다. Next, extract the note part. FIG. 6 is a screen switched from FIG. 5 when a 'separation note' command is input. On the right, you can see that the note has been extracted. At this time, in addition to the notes, clef, beat, and node portions may be extracted together.

이후, '음표인식' 명령의 입력 시에 음표 인식을 수행한다. 상기 추출된 음표를 바탕으로 상기 음표의 종류(ex, 4분 음표, 8분 음표)와 음 높이를 인식한다. 음표의 종류란 상기 음표의 음 길이에 대응된다. Thereafter, note recognition is performed at the time of inputting the 'note recognition' command. Based on the extracted note, the type of the note (ex, quarter note, eighth note) and the height of the note are recognized. The type of note corresponds to the note length of the note.

여기서, 음표의 종류 확인은 추출된 음표의 형상으로부터 확인할 수도 있다. 이외에도, 상기 음표의 종류는 상기 마디 내에서 인식된 음표들 간의 간격을 이용하여 인식할 수 있다. 이는 각 음표의 종류마다 악보 상에 기재되는 간격이 상이한 점을 이용한 것이다. 예를 들어, 8분 음표와 그 다음의 음표(또는 마디) 사이의 이격 간격은 4분 음표의 경우의 절반에 해당된다.Here, the type confirmation of the note can also be confirmed from the shape of the extracted note. In addition, the type of the note may be recognized using intervals between the notes recognized in the node. This utilizes a point where the intervals described on the scores are different for each type of note. For example, the separation between an eighth note and the next note (or measure) is half that of a quarter note.

다음, 상기 음표 인식부(120)는 상기 마디 내에서 인식된 음표들의 음 길이 합이 상기 추출된 박자와 일치하는지를 확인한다. 그리고, 그 일치 여부를 팝업 메시지 등으로 알릴 수 있다.Next, the note recognition unit 120 checks whether the sum of the note lengths of the notes recognized in the node coincides with the extracted beat. The match can be informed by a popup message or the like.

도 6의 악보에서 첫 마디 부분은, 8분 음표(1박) 1개와 4분 음표 2개(각각 1박)으로 구성되어 있으며, 총 3박이 된다. 음표 추출의 과정에서는 각 마디 부분마다 음 길이의 합(3박)과, 추출된 박자(¾)가 서로 일치하는지를 확인하고 그 결과를 알려준다.In the score of Fig. 6, the first section consists of one eighth note (one night) and two quarter notes (one night each), and the total number is three nights. In the process of note extraction, it checks whether the sum of the lengths (3 nights) and the extracted beats (¾) coincide with each node part and informs the result.

이러한 본 발명은 악보 코드의 인식 또한 가능하다. 도 7은 '기타코드' 명령의 입력 시에 악보 영상으로부터 악보 코드를 추출 및 인식하는 구성이다. 이렇게 악보 내에 기재된 악보 코드를 추출함으로써, 악보 코드에 대응되는 반주 정보의 생성이 가능하게 된다.The present invention is also capable of recognizing sheet music codes. 7 is a configuration for extracting and recognizing a sheet music code from a sheet music image upon input of a 'other code' command. By extracting the sheet music codes described in the sheet music, the accompaniment information corresponding to the sheet music codes can be generated.

이상과 같은 도 5 내지 도 7의 과정은 사용자의 명령을 입력받아 수행하는 것을 실시예로 하고 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다. 즉, 입력받은 악보 영상에 대해 도 5 내지 도 7의 과정을 자동으로 수행하는 것도 가능하다. 또한 악보 코드의 추출 과정은 음표 추출 과정과 동시에 수행되어도 무관하다.5 to 7 as described above is an embodiment of performing a user's command by input, but the present invention is not necessarily limited thereto. That is, the process of FIGS. 5 to 7 may be automatically performed on the received sheet music image. Also, the extraction process of the sheet music chord may be performed simultaneously with the extraction process of the note.

이상과 같이 음표가 인식된 이후, 상기 제어부(130)에서는 상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성한다(S230). 여기서, 상기 로봇 제어 신호에는 상기 연주 정보뿐만 아니라 악보 코드에 대응되는 반주 정보를 포함하고 있다.After the note is recognized as described above, the controller 130 generates a robot control signal including the performance information corresponding to the recognized note (S230). Here, the robot control signal includes accompaniment information corresponding to the notation code as well as the performance information.

다음, 상기 전송부(140)는 상기 로봇 제어 신호를 상기 피아노 로봇(200)의 MCU(210)로 전달한다(S240). 이러한 로봇 제어 신호의 전송은 도 7에서 '전송' 명령의 입력 시에 수행할 수 있다. 이외에도, 로봇 제어 신호의 전송은 S230 단계 이후에 자동으로 수행될 수 있다.Next, the transmitter 140 transmits the robot control signal to the MCU 210 of the piano robot 200 (S240). The transmission of the robot control signal may be performed when the 'transmit' command is input in FIG. 7. In addition, the transmission of the robot control signal may be automatically performed after the step S230.

이하에서는 상기 로봇 제어 신호를 전송받은 피아노 로봇의 동작에 관하여 알아본다. 도 8은 본 발명의 실시예를 위한 피아노 로봇의 개략 구성도이다. Hereinafter, the operation of the piano robot receiving the robot control signal will be described. 8 is a schematic structural diagram of a piano robot for an embodiment of the present invention.

상기 피아노 로봇(200)은 레일(220), 로봇 손(230), 로봇 손가락(240), 액추에이터(250), 서보모터(260)를 포함한다. The piano robot 200 includes a rail 220, a robot hand 230, a robot finger 240, an actuator 250, and a servomotor 260.

상기 레일(220)은 전방의 피아노(20)에 대해 길이 방향으로 설치되어 있다. 그리고, 로봇 손(230)은 상기 레일 상에서 좌우 이동 가능하다. 복수의 로봇 손가락(240)은 상기 로봇 손(230)에 장착되며 상기 전방의 피아노(20)의 건반을 타격한다.The rail 220 is provided in the longitudinal direction with respect to the piano 20 in front. The robot hand 230 is movable left and right on the rail. The plurality of robot fingers 240 are mounted on the robot hand 230 and strike the keyboard of the piano 20 in front of the robot fingers 240.

그리고, 액추에이터(250)는 로봇 손(230)과 연결되며, 상기 로봇 제어 신호에 대응하여, 상기 레일(220) 상에서 좌우 이동하는 상기 로봇 손(230)의 이동 위치 및 속도를 제어한다. 예를 들어, 액추에이터(250)는 로봇 손(230)이 어느 건반을 향해 이동할 것인지 혹은 어떤 박자에 맞도록 어떤 속도로 이동할 것인지 등을 결정한다.In addition, the actuator 250 is connected to the robot hand 230 and controls the movement position and the speed of the robot hand 230 moving left and right on the rail 220 in response to the robot control signal. For example, the actuator 250 determines which key the robot hand 230 will move toward or at what speed to match the beat.

또한, 서보모터(260)는 손가락(240)과 연결되며, 상기 로봇 제어 신호에 대응하여, 상기 복수의 로봇 손가락(240)의 타격 시점을 개별 제어한다. 따라서, 서보모터(260)는 각 로봇 손가락(240)의 건반 누름과 누름 해제, 그리고 각각의 시점을 개별 제어하는 역할을 한다. 본 실시예의 경우, 상기 로봇 손(230)은 연주를 수행하는 오른쪽 로봇 손과, 반주를 수행하는 왼쪽 로봇 손, 그리고 각 손에 대한 손가락들을 포함한다. 이에 따라, 피아노 로봇(200)은 상기 연주 정보 및 반주 정보에 대응되는 피아노 연주를 수행할 수 있다.In addition, the servo motor 260 is connected to the finger 240, and in response to the robot control signal, individually controlling the hitting time of the plurality of robot fingers 240. Accordingly, the servomotor 260 plays a role of individually pressing and releasing keys and pressing each key of each robot finger 240. In the present embodiment, the robot hand 230 includes a right robot hand performing a performance, a left robot hand performing an accompaniment, and fingers for each hand. Accordingly, the piano robot 200 may perform piano performance corresponding to the performance information and the accompaniment information.

이상과 같은 본 발명에 따르면, 촬영된 악보를 인식하고 이로부터 악보 정보를 추출하여 실제 피아노 로봇(200)을 구동시킴에 따라 실시간 연주 및 음악 감상이 가능한 이점이 있다. 또한, 기존의 일반적인 악보만으로도 손쉽게 피아노 연주를 수행할 수 있으며, 스피커가 아닌 실제 피아노 로봇(200)을 통해 연주를 수행함에 따라 로봇에 대한 호기심과 친숙도, 관심 및 흥미를 유발시킬 수 있다.According to the present invention as described above, by recognizing the photographed score and extracting the score information from it to drive the actual piano robot 200 there is an advantage that can be played in real time and listening to music. In addition, it is possible to easily perform piano performance only with the existing general sheet music, and as the performance is performed through the actual piano robot 200 instead of the speaker, it may cause curiosity, familiarity, interest, and interest in the robot.

이러한 본 발명에 따른 피아노 로봇 제어 장치 및 방법은 대량 생산된 피아노 제품의 테스트 공정에도 응용이 가능하고, 악보를 읽지 못하는 사람들에게 원하는 음악을 용이하게 제공할 수 있다.The apparatus and method for controlling a piano robot according to the present invention can be applied to a test process of mass-produced piano products, and can easily provide desired music to those who cannot read music.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10: 촬영 모듈 20: 피아노
100: 피아노 로봇 제어 장치 110: 입력부
120: 음표 인식부 130: 제어부
140: 전송부 150: 표시부
200: 피아노 로봇 210: MCU
220: 레일 230: 로봇 손
240: 로봇 손가락 250: 액추에이터
260: 서보모터10: shooting module 20: piano
100: piano robot control device 110: input unit
120: note recognition unit 130: control unit
140: transmission unit 150: display unit
200: piano robot 210: MCU
220: rail 230: robot hand
240: robot finger 250: actuator
260: servo motor

Claims (12)

피아노 로봇 제어 장치를 이용한 피아노 로봇 제어 방법에 있어서,
촬영된 악보 영상을 입력받는 단계;
상기 악보 영상으로부터 음표를 인식하는 단계;
상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 단계; 및
상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 단계를 포함하는 피아노 로봇 제어 방법.In the piano robot control method using a piano robot control device,
Receiving a photographed score image;
Recognizing a note from the score image;
Generating a robot control signal including performance information corresponding to the recognized note; And
And transmitting the robot control signal to the MCU of the piano robot. 청구항 1에 있어서,
상기 음표를 인식하는 단계는,
상기 악보 영상으로부터 오선을 제거하고 음표를 추출하는 단계; 및
상기 추출된 음표를 바탕으로 상기 음표의 종류와 음 높이를 인식하는 단계를 포함하는 피아노 로봇 제어 방법.The method according to claim 1,
Recognizing the note,
Removing a stave and extracting a note from the score image; And
And recognizing a type and a pitch of the note based on the extracted note. 청구항 2에 있어서,
상기 음표를 인식하는 단계는,
상기 음표 간의 간격을 이용하여 상기 음표의 종류를 인식하는 피아노 로봇 제어 방법.The method according to claim 2,
Recognizing the note,
Piano robot control method for recognizing the type of the note using the interval between the notes. 청구항 3에 있어서,
상기 음표를 인식하는 단계는,
상기 악보 영상으로부터 음자리표, 박자, 마디를 더 추출하고, 상기 마디 내에서 인식된 음표들의 음 길이 합이 상기 추출된 박자와 일치하는지를 확인하는 피아노 로봇 제어 방법.The method according to claim 3,
Recognizing the note,
And extracting a clef, time signature, and measure from the score image, and checking whether a sum of note lengths of the notes recognized in the measure matches the extracted beat. 청구항 1에 있어서,
상기 음표를 인식하는 단계는,
상기 악보 영상으로부터 악보 코드를 더 추출하고,
상기 로봇 제어 신호는,
상기 악보 코드에 대응되는 반주 정보를 더 포함하는 피아노 로봇 제어 방법.The method according to claim 1,
Recognizing the note,
Further extracting sheet music codes from the sheet music image,
The robot control signal is,
And accompaniment information corresponding to the sheet music code. 청구항 1에 있어서,
상기 피아노 로봇은,
전방의 피아노에 대해 길이 방향으로 설치된 레일;
상기 레일 상에서 좌우 이동 가능한 로봇 손;
상기 로봇 손에 장착되며 상기 전방의 피아노 건반을 타격하는 복수의 로봇 손가락;
상기 로봇 제어 신호에 대응하여, 상기 레일 상에서 이동하는 상기 로봇 손의 이동 위치 및 속도를 제어하는 액추에이터; 및
상기 로봇 제어 신호에 대응하여, 상기 복수의 로봇 손가락의 타격 시점을 개별 제어하는 서보모터를 포함하는 피아노 로봇 제어 방법.The method according to claim 1,
The piano robot,
A rail installed in the longitudinal direction with respect to the piano in front of it;
A robot hand movable left and right on the rail;
A plurality of robot fingers mounted to the robot hand and striking the front piano keyboard;
An actuator for controlling a movement position and a speed of the robot hand moving on the rail in response to the robot control signal; And
And a servo motor which individually controls the time of hitting of the plurality of robot fingers in response to the robot control signal. 피아노 로봇의 연주를 수행시키기 위한 피아노 로봇 제어 장치에 있어서,
촬영된 악보 영상을 수신하는 입력부;
상기 악보 영상으로부터 음표를 인식하는 음표 인식부;
상기 인식된 음표에 대응되는 연주 정보를 포함하는 로봇 제어 신호를 생성하는 제어부; 및
상기 로봇 제어 신호를 상기 피아노 로봇의 MCU로 전달하는 전송부를 포함하는 피아노 로봇 제어 장치.In the piano robot control device for performing the performance of the piano robot,
An input unit to receive a photographed score image;
A note recognition unit recognizing a note from the score image;
A controller configured to generate a robot control signal including performance information corresponding to the recognized note; And
Piano robot control device including a transmission unit for transmitting the robot control signal to the MCU of the piano robot. 청구항 7에 있어서,
상기 인식부는,
상기 악보 영상으로부터 오선을 제거하고 음표를 추출한 다음, 상기 추출된 음표를 바탕으로 상기 음표의 종류와 음 높이를 인식하는 피아노 로봇 제어 장치.The method of claim 7,
Wherein,
Pitch robot control device for removing the stigma from the score image and extracting the note, and then recognizes the type and pitch of the note based on the extracted note. 청구항 8에 있어서,
상기 인식부는,
상기 음표 간의 간격을 이용하여 상기 음표의 종류를 인식하는 피아노 로봇 제어 장치.The method according to claim 8,
Wherein,
Piano robot control device for recognizing the type of the note using the interval between the notes. 청구항 9에 있어서,
상기 인식부는,
상기 악보 영상으로부터 음자리표, 박자, 마디를 더 추출하고, 상기 마디 내에서 인식된 음표들의 음 길이 합이 상기 추출된 박자와 일치하는지를 확인하는 피아노 로봇 제어 장치.The method according to claim 9,
Wherein,
And further extracting clef, time signature, and measure from the score image, and checking whether the sum of the note lengths of the notes recognized in the measure matches the extracted beat. 청구항 7에 있어서,
상기 인식부는,
상기 악보 영상으로부터 악보 코드를 더 추출하고,
상기 로봇 제어 신호는,
상기 악보 코드에 대응되는 반주 정보를 더 포함하는 피아노 로봇 제어 장치.The method of claim 7,
Wherein,
Further extracting sheet music codes from the sheet music image,
The robot control signal is,
Piano robot control device further comprising accompaniment information corresponding to the music score code. 청구항 7에 있어서,
상기 피아노 로봇은,
전방의 피아노에 대해 길이 방향으로 설치된 레일;
상기 레일 상에서 좌우 이동 가능한 로봇 손;
상기 로봇 손에 장착되며 상기 전방의 피아노 건반을 타격하는 복수의 로봇 손가락;
상기 로봇 제어 신호에 대응하여, 상기 레일 상에서 이동하는 상기 로봇 손의 이동 위치 및 속도를 제어하는 액추에이터; 및
상기 로봇 제어 신호에 대응하여, 상기 복수의 로봇 손가락의 타격 시점을 개별 제어하는 서보모터를 포함하는 피아노 로봇 제어 장치.The method of claim 7,
The piano robot,
A rail installed in the longitudinal direction with respect to the piano in front of it;
A robot hand movable left and right on the rail;
A plurality of robot fingers mounted to the robot hand and striking the front piano keyboard;
An actuator for controlling a movement position and a speed of the robot hand moving on the rail in response to the robot control signal; And
And a servo motor for individually controlling the time of hitting of the plurality of robot fingers in response to the robot control signal.
KR1020110144971A 2011-12-28 2011-12-28 Method for controlling piano robot and apparatus for thereof KR101307595B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110144971A KR101307595B1 (en) 2011-12-28 2011-12-28 Method for controlling piano robot and apparatus for thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110144971A KR101307595B1 (en) 2011-12-28 2011-12-28 Method for controlling piano robot and apparatus for thereof

Publications (2)

Publication Number Publication Date
KR20130076394A true KR20130076394A (en) 2013-07-08
KR101307595B1 KR101307595B1 (en) 2013-09-12

Family

ID=48990002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110144971A KR101307595B1 (en) 2011-12-28 2011-12-28 Method for controlling piano robot and apparatus for thereof

Country Status (1)

Country Link
KR (1) KR101307595B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010504A (en) * 2017-12-26 2018-05-08 昆山塔米机器人有限公司 A kind of piano performance system and method controlled by robot
CN109202935A (en) * 2018-10-30 2019-01-15 希格斯动力科技（珠海）有限公司 Play the hand method for controlling stepping motor and device of robot
CN116728419A (en) * 2023-08-09 2023-09-12 之江实验室 Continuous playing action planning method, system, equipment and medium for playing robot
WO2024008217A1 (en) * 2023-06-08 2024-01-11 之江实验室 Humanoid piano playing robot

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2720305B2 (en) * 1994-06-16 1998-03-04 博 太田 Robot fingering performance device with few keys electronic piano
KR101064676B1 (en) * 2009-09-24 2011-09-14 강릉원주대학교산학협력단 Automatic musical playing device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010504A (en) * 2017-12-26 2018-05-08 昆山塔米机器人有限公司 A kind of piano performance system and method controlled by robot
CN109202935A (en) * 2018-10-30 2019-01-15 希格斯动力科技（珠海）有限公司 Play the hand method for controlling stepping motor and device of robot
WO2024008217A1 (en) * 2023-06-08 2024-01-11 之江实验室 Humanoid piano playing robot
CN116728419A (en) * 2023-08-09 2023-09-12 之江实验室 Continuous playing action planning method, system, equipment and medium for playing robot
CN116728419B (en) * 2023-08-09 2023-12-22 之江实验室 Continuous playing action planning method, system, equipment and medium for playing robot

Also Published As

Publication number Publication date
KR101307595B1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
US10825432B2 (en) Smart detecting and feedback system for smart piano
US7501568B2 (en) Musical performance system, musical instrument incorporated therein and multi-purpose portable information terminal device for the system
KR101307595B1 (en) Method for controlling piano robot and apparatus for thereof
US9576564B2 (en) Performance recording apparatus
US20080167739A1 (en) Autonomous robot for music playing and related method
CN108028040B (en) Musical performance assisting apparatus and method
US20200365126A1 (en) Information processing method
US10810979B2 (en) Key assisted user input system and method for a piano system
CN104754466A (en) User interface apparatus using speaker and method thereof
JP4720563B2 (en) Music control device
CN111968675A (en) Stringed instrument note comparison system based on hand recognition and use method thereof
Gillet et al. Automatic transcription of drum sequences using audiovisual features
WO2020168709A1 (en) Musical instrument assisted intelligent teaching system and teaching method thereof
CN110890095A (en) Voice detection method, recommendation method, device, storage medium and electronic equipment
CN113255470B (en) Multi-mode piano accompany training system and method based on hand gesture estimation
JP2002182553A (en) Playing training apparatus and playing training method
JP4765705B2 (en) Music control device
KR20060044008A (en) A voice recognition apparatus for a number of speaker division
CN111627417B (en) Voice playing method and device and electronic equipment
Itohara et al. Improvement of audio-visual score following in robot ensemble with human guitarist
JPH06332443A (en) Score recognizing device
JP4720564B2 (en) Music control device
CN110136677A (en) Musical sound control method and Related product
JP6186255B2 (en) Karaoke equipment characterized by scoring sign language
JP6728572B2 (en) Plucked instrument performance evaluation device, music performance device, and plucked instrument performance evaluation program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee