WO2018052272A1 - 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체 - Google Patents

악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
WO2018052272A1
WO2018052272A1 PCT/KR2017/010262 KR2017010262W WO2018052272A1 WO 2018052272 A1 WO2018052272 A1 WO 2018052272A1 KR 2017010262 W KR2017010262 W KR 2017010262W WO 2018052272 A1 WO2018052272 A1 WO 2018052272A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
playing
sound
instrument
guide information
Prior art date
Application number
PCT/KR2017/010262
Other languages
English (en)
French (fr)
Inventor
전대영
김연수
김영민
오경석
Original Assignee
주식회사 잼이지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 잼이지 filed Critical 주식회사 잼이지
Priority to CN201780071322.7A priority Critical patent/CN109983534A/zh
Publication of WO2018052272A1 publication Critical patent/WO2018052272A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0016—Means for indicating which keys, frets or strings are to be actuated, e.g. using lights or leds
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/041—Remote key fingering indicator, i.e. fingering shown on a display separate from the instrument itself or substantially disjoint from the keys
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/056—Hand or finger indicator, e.g. for indicating which hand or which specific finger should be used
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith

Definitions

  • the present invention relates to a system, apparatus, method, and computer readable recording medium for providing performance guide information based on musical instrument performance.
  • a tuning application For example, a tuning application.
  • Existing tuning applications receive the sound of the instrument through the microphone of the smartphone, and provides a function to guide the tuning of the instrument compared to the reference sound of the string to be tuned.
  • the keyboard is placed at the bottom of the screen, and when a certain object comes down from the top to the bottom, when a key is touched when a certain object meets the key, the corresponding sound is generated so that the user can play easily. It provides a function to guide you.
  • Tuning applications offer only the ability to tune an instrument.
  • the principle of recognizing the performance sound of the musical instrument of the tuning application is based on sound recognition, when the surrounding environment is very loud or noisy, there is a problem that the recognition accuracy is lowered.
  • the piano application it is an application provided to be easily used by users who do not know how to play the piano at all by playing the virtual piano displayed on the application. It is difficult to meet the needs.
  • the present invention provides a method, apparatus, and system for providing performance guide information to a user by matching and comparing the actual score of a specific song with a performance based on recognition of the performance of the musical instrument and providing feedback to the user in real time. It aims to provide.
  • the present invention provides a tuning auxiliary device that is fixed to one end of the instrument can recognize the performance sound, it is possible to improve the speed and accuracy of the performance sound recognition.
  • a method for providing performance guide information based on musical instrument performance sound recognition includes: (a) executing a performance interface after a performance application is executed; (b) recognizing a performance sound generated from outside of the user terminal; (c) comparing the playing sound with a target sound to be played by the user; And (d) displaying, according to the comparison result, the degree of agreement between the performance sound and the target sound on the performance interface, wherein the performance interface comprises: music scores selected by a user terminal, on the stave of the scores; It includes a performance bar for indicating the information of the target sound and an identifier for indicating the movement direction or breathing timing of the performance means for playing the instrument.
  • an apparatus for reproducing performance guide information based on musical instrument performance sound includes: a memory in which a program is stored to perform a method for providing performance guide information based on musical instrument performance sound recognition; And a processor that executes the program. Includes, The processor, according to the execution of the program, after the performance application is executed, executes the performance interface, recognizes the performance sound generated from the outside of the user terminal, the performance sound and the user to play A target sound is compared, and according to the comparison result, the match degree between the performance sound and the target sound is displayed on the performance interface, wherein the performance interface includes the score of the music selected by the user terminal and the target sound on the stave of the score. It includes a performance bar for indicating the information and the identifier indicating the direction of movement or breathing timing of the playing means for playing the instrument.
  • the performance guide information providing system based on the instrument playing sound recognition is fixed to one end of the instrument, detects the vibration according to the playing of the instrument, the playing sound corresponding to the frequency value
  • a tuning assist device for extracting information of the transmission and transmitting information of the playing sound to a user terminal through wireless communication;
  • the score of the music, the performance bar which informs the information of the said target sound on the melody of the said score, and the identifier which informs the direction of movement or the respiration timing of the playing means which play a musical instrument.
  • the performance guide information providing system based on the instrument performance sound recognition recognizes the performance sound based on the vibration value of the instrument through the tuning auxiliary device, it is possible to accurately recognize.
  • the tuning assistant grasps all the information about the performance sound based on the vibration value and transmits the information to the application of the user terminal, the computational load of the application is less, which is required to display the performance accuracy of the user in real time. Latency can be minimized.
  • the versatility can be improved by being applicable to various musical instruments.
  • FIG. 1 is a structural diagram of a performance guide information providing system based on musical instrument performance sound recognition according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a structure of a tuning assistant and a user terminal according to an exemplary embodiment of the present invention.
  • 3A and 3B are examples of a tuning interface of a performance application installed in a user terminal according to an embodiment of the present invention.
  • 4A and 4B are examples of a playing interface of a playing application according to an embodiment of the present invention.
  • 5A to 5C are examples of an interface for providing a guide when playing a wind instrument of a playing application according to an embodiment of the present invention.
  • 6A-6D are examples of interfaces that provide feedback for wind instrument performance in a performance application in accordance with one embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of providing performance guide information based on musical instrument performance sound recognition according to an embodiment of the present invention.
  • 'unit' includes a unit realized by hardware, a unit realized by software, and a unit realized by both.
  • one unit may be realized using two or more pieces of hardware, and two or more units may be realized by one piece of hardware.
  • ' ⁇ ' is not limited to software or hardware, and ' ⁇ ' may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.
  • ' ⁇ ' means components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and the like. Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • the functionality provided within the components and the 'parts' may be combined into a smaller number of components and the 'parts' or further separated into additional components and the 'parts'.
  • the components and ' ⁇ ' may be implemented to play one or more CPUs in the device or secure multimedia card.
  • the "user terminal” mentioned below may be implemented as a computer or a portable terminal that can access a server or another terminal through a network.
  • the computer includes, for example, a laptop, desktop, laptop, etc., which is equipped with a web browser
  • the portable terminal is, for example, a wireless communication device that ensures portability and mobility.
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA W-Code Division Multiple Access
  • LTE Long Term Evolution
  • a "network” may be a wired or mobile radio communication network or satellite, such as a local area network (LAN), wide area network (WAN), or value added network (VAN). It can be implemented in all kinds of wireless networks such as communication networks.
  • a system includes a tuning assistant 100, a user terminal 200, and a server 300.
  • the tuning assistant 100 is fixed to one end of the instrument, and senses the vibration generated in the instrument, and is a device for identifying the component of the performance sound corresponding to the sensed vibration.
  • the component of the performance sound may include at least one of the scale information, the note name information, and the length information of the played sound.
  • the tuning assistant 100 may transmit a component of the identified playing sound to the user terminal 200 (ie, the mobile device).
  • the vibration recognized by the tuning assistant 100 may be sensed from vibration of the user of the instrument or vibration caused by ambient noise. In this case, since the instrument is not played in the instrument and should be judged as an error, the tuning assist apparatus 100 compares the sensed vibration with a threshold and performs an operation for identifying a component of the performance sound for vibration outside the range of the performance sound. May be omitted. Through this, the tuning assistant 100 may minimize power consumed by the tuning assistant 100.
  • the user terminal 200 may have a performance application installed.
  • the playing application includes a tuning function and a playing game function.
  • the playing application receives a component of the playing sound received from the tuning assistant 100 to determine the accuracy of the tuning or the accuracy of the playing, and guide the user to perform the correct playing. Information can be provided.
  • the server 300 communicates with an application installed in the user terminal 200, and provides update information such as musical score information to the application, analyzes a user's usage pattern using the application, or performs a payment process for a specific paid service. Provide payment information so that it can be processed only after coarse.
  • the user terminal 200 in which the tuning assistant 100 and the performance application are installed may include a memory for storing a program (or application) for providing performance guide information based on a musical instrument sound recognition and a processor for executing the above program. .
  • the processor may perform various functions according to the execution of the program stored in the memory, and according to each function, detailed components included in the processor in the case of the tuning assistant 100, the vibration detector 110, the sound detection unit ( 120 and the communicator 130, and the user terminal 200 may be represented by the communicator 130, the tuning unit 220, or the playing game providing unit 230.
  • the tuning assistance device 100 will be described in detail.
  • the vibration detecting unit 110 is configured as a sensor unit (not shown) for sensing the vibration generated from the musical instrument.
  • the sensor unit may be implemented as a piezoelectric sensor (or piezoelectric element) of a piezo effect type.
  • the performance sound detector 120 may include an onset detector for detecting the start of a specific sound and a pitch detector for detecting a pitch of the sound by measuring a frequency.
  • the sensor unit may output a preset sound by using the piezoelectric sensor under the control of the playing sound detector 120.
  • the sensor unit may output a preset sound when at least one of the turn-on operation, the turn-off operation, and the communication connection operation with the user terminal 200 is executed.
  • the preset sound may be different for each operation.
  • the performance sound detection unit 120 identifies a component of a corresponding performance sound based on the magnitude (or pitch of sound) of the vibration provided from the vibration detection unit 110. In this case, in order to minimize the power consumed by the tuning assistant 100, the performance sound detector 120 may identify a component of the performance sound only for a value greater than or equal to (or exceeding) a threshold value.
  • the performance sound detector 120 may compare the magnitude of the vibration provided from the sensor unit with a threshold to a vibration that is greater than or equal to (or greater than or equal to) the threshold based on a comparison result of the comparator.
  • the controller may further include a controller (not shown) for identifying a component of a corresponding playing sound.
  • the threshold value may be an average value of the vibration magnitudes of previously identified playing sounds.
  • the threshold value may be determined by at least one of the lowest vibration magnitude and the highest vibration magnitude that can be generated by the musical instrument.
  • the threshold may be set in the manufacturing process of the tuning assistant 100 or may be set by the user.
  • the comparator may cause the controller to operate by providing a predetermined start signal to the controller if the magnitude of the vibration is greater than or equal to (or exceeds) the threshold. On the other hand, if the magnitude of the vibration is less than (or less than or equal to) the threshold, the comparator may prevent the controller from operating by not providing a predetermined start signal to the controller.
  • the controller controls the overall operation of the tuning aid 100 and includes at least one processor (not shown) and / or a micro-processor (not shown) for identifying components of the playing sound corresponding to vibrations. ) May be included.
  • the component of the performance sound may include at least one of scale information, sound name information, and length information of the performance sound.
  • the controller may determine a component of a playing sound that matches the frequency of vibration based on previously stored scale information, name information, and the like.
  • the performance sound detector 120 may further include an analog-digital converter (ADC) in addition to the comparator and the controller described above.
  • ADC analog-digital converter
  • the ADC is activated by the activation signal from the comparator and can generate a digital signal corresponding to the vibration.
  • the ADC can also be connected to a controller to provide the generated digital signal to the controller.
  • the comparator may provide an activation signal to the ADC if the magnitude of the vibration is greater than or equal to (or exceeds) the threshold.
  • the ADC operates in an inactive state even when the tuning assistant 100 is turned on, and may be switched to an active state when an activation signal is provided from a comparator.
  • the inactive state may be a state in which only the lowest power is supplied from the power source, and may also be referred to as a sleep mode, a low power mode, or a standby mode according to an embodiment.
  • the ADC can provide a digital signal corresponding to vibration to the controller and then go back to an inactive state.
  • the comparator may provide an activation signal to the ADC and the controller according to a result of comparing the magnitude of the vibration with the threshold.
  • the controller may operate in an inactive state after the tuning assistant 100 is turned on, and may be switched to an active state by an activation signal.
  • the activation signal may be the same as the operation start signal described above, or may be a separate signal.
  • the communicator 130 may include at least one module for allowing the tuning assistant 100 to communicate with the user terminal 200 and other devices.
  • a Bluetooth module for allowing the tuning assistant 100 to communicate with the user terminal 200 and other devices.
  • a Bluetooth module for example, a Bluetooth low energy (BLE) module, a near field communication (NFC) module, a Wi-Fi (WLAN) module, a Zigbee module, an infrared data association (IrDA) module, and a Wi-Fi (WFD) module Direct module, UWB (ultra wideband) module, Ant + module and the like, but is not limited thereto.
  • a performance application may be executed according to a user's input.
  • the playing application has two main functions: tuning and playing games.
  • the user terminal 200 When the user terminal 200 receives an input for tuning execution from the user, the user terminal 200 executes a tuning interface. On the other hand, when the user terminal 200 receives an input for performing the performance from the user, it is possible to execute the performance interface.
  • the communication unit 210 may receive a performance sound played in the musical instrument from the tuning assistant 100.
  • the received playing sound may be utilized for different purposes depending on the function executed on the playing application.
  • the tuning unit 220 provides a tuning interface and guides tuning of the musical instrument based on the performance sound received from the communication unit 210.
  • the tuning interface may be implemented in the form as shown in FIGS. 3A and 3B.
  • the tuning interface is configured to include a tuning guide area 410 that provides a tuning guide to the user by displaying comparison data between the currently played sound and the target sound.
  • a tuning guide area 410 that provides a tuning guide to the user by displaying comparison data between the currently played sound and the target sound.
  • a user may select a target sound by designating a string corresponding to G on the left side displayed in the head region 420 of the instrument as shown in FIG. 3A, and then bounce the string of the instrument with a finger.
  • the tuning interface receives a performance sound for the string bounced from the tuning aid 100 fixed at one end of the instrument and compares it with the target sound G.
  • the difference between the red display and the target sound (“-10" display) is displayed in the tuning guide area 410 as shown in FIG. 3A. If the user recognizes the difference and adjusts the string in such a manner as to tighten the string tightening area a little longer and then bounces again, the identification guide indicating that the tuning guide region 410 matches the target sound in green is displayed as shown in FIG. 3B. Can be.
  • the playing game providing unit 230 provides a playing interface and provides the user with guide information on playing a specific music based on the playing sound received from the communication unit 210.
  • the playing interface provided by the playing game providing unit 230 may be implemented in the form as shown in FIG. 4A.
  • the playing interface includes a score display area, an identifier 510, a playing bar 520, and a navigation bar 550.
  • the music score display area displays music scores in the form of a melody (that is, five lines) for a particular music or song, and displays all identification information necessary for performance such as clef, musical note, note, and time signature.
  • the identifier 510 is a means for notifying the movement direction or the respiration timing of the playing means for playing the musical instrument.
  • the identifier 510 may move within the performance bar, but may also be implemented to move to an area outside the performance bar.
  • the performance bar 520 is a means for informing the user of the target sound to be played on the stave of the score.
  • the position on the screen of the performance bar 520 is fixed and the performance bar 520 in the form that the erroneous score of the score passes through the performance bar 520 may inform the playing timing.
  • the performance bar 520 may inform the playing timing in the form of moving the melody on the sheet music.
  • the performance bar 520 is generated in a direction perpendicular to the stave of the score, as shown in FIG. 4A.
  • the performance bar 520 is formed to a height that can cover the width and the meridian area corresponding to the head of each note.
  • the present invention is not limited thereto, and the width or size of the performance bar 520 may be implemented in other forms.
  • the performance bar 520 may be displayed in a transparent color so that a note corresponding to the target sound on the score is clearly displayed.
  • the identifier 510 indicates a direction in which the playing means of the stringed instrument should move based on the position of the string, and is implemented to move in the up and down direction of the stave of the sheet music in accordance with the beat of the music. do. That is, in the case of a violin or cello, the bow is played while stroking in the up, down, left, and right directions on the string, and in the case of a guitar, it is played while stroking a finger or choke in the up and down directions. In the case of a wind instrument such as a trumpet, the player's mouth is played while adjusting the length of the breath or the strength of the wind.
  • the identifier 510 may provide guidelines on the direction of the stroking or the timing (or length) of the breath. Can be.
  • FIG. 4B is a score showing a music playing state after a predetermined time has elapsed in the state of FIG. 4A.
  • the identifier 510 only moves up and down, and the performance bar 520 moves in accordance with the reproduction of music in the right direction.
  • the identifier 510 moves on the sheet music with the same trajectory as the sine curve 530. That is, the direction in which the curve rises in the sine curve 530 indicates that the stroking should be upward, and the direction in which the downward direction indicates that the stroking should be downward.
  • the musical instrument is a string instrument
  • an operation of stroking the string with the finger in the region near the head of the instrument while simultaneously stroking the playing means in the center of the instrument should be performed at the same time.
  • the identifier 510 and the play bar 520 guide the playing operation for the center of the instrument.
  • the toggle button "finger number" displayed on the upper right side of the playing interface is clicked, guide information of a fingering operation on an area of the musical instrument to be fingered may be provided on the head of the note.
  • the number 540 of the string to be fingered by the user may be displayed on the head of the note. This allows the user to check all the guide information for playing the stringed instrument and use it for playing.
  • the navigation bar 550 displays at least one of a playing section, a predefined section, and a node position currently playing among all the scores in one region. That is, the navigation bar 550 may display the playing section of the entire sheet music, and at the same time, display the node position currently playing through a separate position identifier 510 (not shown).
  • the location identifier 510 is configured to move on the navigation bar 550 according to the reproduction of music.
  • a specific section may be designated, and the navigation bar 550 may display the range of the specific section.
  • the user terminal 200 plays the corresponding music regardless of whether the instrument is played, and the performance bar 520 and the identifier 510 move on the score.
  • the tuning assistant 100 fixed to one end of the instrument detects a performance sound from the vibration of the instrument, and the user terminal 200 receives information of the performance sound from the tuning assistant 100. .
  • the degree of agreement is displayed on the performance interface. For example, in FIG. 4B, perfect!
  • a separate identification mark may be displayed together with a phrase such as Bad.
  • the identification mark may be such that the color of the head of the note of the target sound is changed.
  • the identification mark may be set to appear and disappear for a predetermined time near the head of the note of the target sound. In this way, the user can easily check the visible identification mark instantly while watching the sheet music moving in one direction, so that they can see at a glance whether they are playing correctly.
  • guide information may be provided in a manner different from that of a string instrument.
  • a breath guide mode and a beat guide mode may be provided.
  • the breathing guide mode the indenter and the exhalation point of the player may be notified through the identifier 510.
  • a separate identification mark may indicate the time information on the staff.
  • the identifier 510 included in the playing interface may move to indicate the unit and length of breath of the user playing the wind instrument.
  • the identifier 510 starts moving from a specific time point located at one end in the performance bar 520, moves to another position as the performance bar 520 moves, and then moves back to the initial position. It can be indicated by one breath.
  • the movement 710 of the identifier 510 from the time point near the 4/4 time signature to the time point at which the node is switched may be defined as one breath.
  • the downward movement of the sensation while drawing a parabolic curve means exhalation
  • the upward movement of the sensation means exhalation.
  • FIG. 5A and 5B since the respiration timing may be defined differently for each music, the movement of the identifier 510 may be set differently.
  • FIG. 5A shows that every node must be breathed through the identifier 510
  • FIG. 5B shows that it is necessary to exhale after continuously playing without breathing for 2 words.
  • the range of the region in which the identifier 510 moves up and down may vary according to the length of the breath. Looking at the type of breathing of the wind instrument, "Tinging” is attached to the palate to the breathing out of the breath, and then open the tongue to the bottom of the sound, such as “tu ⁇ " until the sound is finished, and the tongue is palate again It's a breathing technique that stops breathing and stops the sound by saying " ⁇ ! Slur is a breathing technique that continuously produces sounds for two or more notes with a long breath.
  • the movement of the identifier 510 may be different in the breath guide mode and the beat guide mode.
  • the parabolic operation of the identifier 510 means respiration, but in the beat guide mode, the parabolic operation of the identifier 510 means tonging.
  • 5A and 5B show the operation in the breath guide mode
  • FIG. 5C shows the operation in the beat guide mode.
  • a separate error indication may be provided in an area near the note of the score.
  • it can be provided with a T-shaped error display 610 as shown in Figure 6a.
  • the existing slur mark 620 that connects several notes to each other may be converted into a different color and highlighted.
  • V can be expressed to mean one beat. That is, each quarter note in FIG. 6C indicates that one quarter beat should be played. If it is a half note, it should be marked as VV. For a quarter note with a brush mark, it can be marked as V ⁇ , and the whole note of 3/4 time can be marked as VVV. However, this is merely an example and may be displayed in various forms.
  • the performance game providing unit 230 when the performance of the music of one song is completed in the user terminal 200, the performance accuracy, the practice time, the number of songs played so far, the highest score, the performance time of the friends, the An analysis interface indicating at least one of a time connected to a performance application and a performance time for each date may be provided.
  • the performance accuracy it can be calculated by combining the results of analyzing the match between the performance sound and the target sound, it can be calculated based on the 100% peak.
  • the performance accuracy it can be calculated by combining the results of analyzing the match between the performance sound and the target sound, it can be calculated based on the 100% peak.
  • each performance is given a score based on the performance accuracy, etc.
  • the data sharing function with other friends of the user is included, the user can check the performance time, score acquisition status, etc. of other friends.
  • the purchase of a song, the purchase of a ticket for the number of times to play a game can be performed through the payment module, it can be carried out through the interworking of the server 300 and the application.
  • the performance sound may be recognized based on a microphone.
  • the sound recognition-> information detection process of the sound corresponding to the sound must be performed in the application.
  • the tuning assistant 100 since the information of the performance sound is received directly from the tuning assistant 100, it is not necessary to perform the same procedures as in the case of the microphone. In other words, the load of the application is reduced, which increases the computation speed, so that it is possible to recognize a performance sound in real time and provide a match between the performance sound and the target sound.
  • the tuning assistant 100 is wirelessly connected to the user terminal 200 (S110).
  • the wireless communication may be Bluetooth.
  • the user terminal 200 may play a sound of the corresponding song and display the score at the same time when an input of the user terminal 200 is generated for a specific song (S120). ).
  • the tuning assistant 100 detects vibration of the musical instrument (S130) and detects a playing sound corresponding to the vibration value of the vibration (S140).
  • the tuning assistant 100 transmits the performance sound information to the user terminal 200 (S150).
  • the user terminal 200 determines whether the beat and the sound component between the target sound and the received playing sound are the same (S160).
  • One embodiment of the present invention can also be implemented in the form of a recording medium containing instructions executable by a computer, such as a program module executed by the computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 발명에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법은, (a) 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하는 단계; (b) 사용자 단말의 외부로부터 발생된 연주음을 인식하는 단계; (c) 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하는 단계; 및 (d) 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하는 단계;를 포함하며, 상기 연주 인터페이스는, 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함한다.

Description

악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체
본 발명은 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체에 관한 기술이다.
스마트폰이 등장하고, 어플리케이션의 개발이 활성화되면서, 악기 연주 분야와 관련된 기술 영역에서도 많은 어플리케이션이 등장하였다.
예를 들어, 튜닝 어플리케이션이 있다. 기존의 튜닝 어플리케이션은 스마트 폰의 마이크를 통하여 악기의 소리를 수신하고, 튜닝 대상 현의 기준음과 비교하여 악기의 튜닝을 가이드해주는 기능을 제공해준다.
그리고, 피아노 어플리케이션이 있다. 피아노 어플리케이션은 화면의 하단에 건반이 배치되어 있고, 상단에서 하단으로 특정 객체가 내려 올 때 특정 객체와 건반이 마주치는 순간 건반을 터치할 경우, 해당 음이 발생되도록 하여, 사용자로 하여금 아주 쉽게 연주를 가이드해주는 기능을 제공한다.
다만, 튜닝 어플리케이션은 악기를 튜닝하는 정도까지의 기능밖에 제공하지 못한다. 또한, 튜닝 어플리케이션의 악기의 연주음 인식 원리는 사운드 인식에 기초하므로, 주변환경이 매우 시끄럽거나 노이즈가 많은 경우 인식 정확도가 떨어진다는 문제가 있다. 또한, 피아노 어플리케이션의 경우, 어플리케이션 상에 표시된 가상의 피아노를 연주하는 것으로서, 피아노를 전혀 연주할 줄 모르는 사용자들이 쉽게 이용할 수 있도록 제공되는 어플리케이션이므로, 실제 악기를 연주하고자 하는 고차원적인 니즈가 있는 사용자들의 욕구를 충족시켜주기는 어렵다.
즉, 실제 악기를 특정 곡에 맞추어 연주함에 따라, 그 곡을 정확하게 연주하고 있는지 또는 어떠한 방식으로 해야 정확한 연주가 가능한지에 대한 가이드 정보를 제공해주는 어플리케이션은 종래에 공개되어 있지 않은 실정이다.
본 발명은 악기의 연주음 인식을 기반으로 특정 곡의 실제 악보와 연주음을 매칭비교한 후 이에 대한 피드백을 실시간으로 사용자에게 제공함으로써, 사용자에게 연주 가이드 정보를 제공하기 위한 방법 및 장치, 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 악기의 일 단에 고정되어 연주음을 인식할 수 있는 튜닝 보조 장치를 제공하여, 연주음 인식의 속도 및 정확도를 개선할 수 있도록 한다.
본 발명의 제 1 실시예에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법은, (a) 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하는 단계; (b) 사용자 단말의 외부로부터 발생된 연주음을 인식하는 단계; (c) 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하는 단계; 및 (d) 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하는 단계;를 포함하며, 상기 연주 인터페이스는, 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함한다.
본 발명의 제 2 실시예에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공장치는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법을 수행하기 위한 프로그램이 저장된 메모리; 및 상기 프로그램을 수행하는 프로세서; 를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 따라, 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하고, 사용자 단말의 외부로부터 발생된 연주음을 인식하며, 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하고, 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하며, 상기 연주 인터페이스는, 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함한다.
또한, 본 발명의 제 3 실시예에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공시스템은, 악기의 일 단에 고정되어, 악기의 연주에 따른 진동을 감지하고, 진동수값에 대응하는 연주음의 정보를 추출하며, 상기 연주음의 정보를 사용자 단말로 무선통신을 통해 전송하는 튜닝 보조 장치; 및 상기 사용자 단말에 설치가능한 연주 어플리케이션과 연동되어 연주 정보 및 결제 정보에 대한 인터렉션을 수행하는 서버;를 포함하며, 상기 연주 어플리케이션은, 연주 인터페이스를 실행한 후, 상기 튜닝 보조장치로부터 연주음을 수신하고, 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하며, 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하고, 상기 연주 인터페이스는, 상기 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함한다.
본 발명에 따르는 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템은 튜닝 보조 장치를 통해 악기의 진동값을 기반으로 연주음을 인식하므로, 정확한 인식이 가능하다. 또한, 튜닝 보조 장치에서 진동값을 기반으로 연주음에 대한 정보를 모두 파악한 후, 사용자 단말의 어플리케이션으로 전송하므로, 어플리케이션의 연산 부하가 적게 걸리게 되어, 사용자의 연주 정확도를 실시간으로 표시하는 데에 걸리는 지연시간(latency)을 최소화할 수 있다. 또한, 현악기에 대해서는 활 동작이나 스트로킹 동작을 가이드하기 위한 식별자 및 관악기에 대해서는 호흡의 길이 및 박자를 가이드하기 위한 식별자를 제공함으로써, 다양한 악기에 적용가능하도록 하여 범용성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템의 구조도이다.
도 2는 본 발명의 일 실시예에 따르는 튜닝 보조 장치와 사용자 단말의 구조에 대한 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따르는 사용자 단말에 설치된 연주 어플리케이션의 튜닝 인터페이스의 일 예이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따르는 연주 어플리케이션의 연주 인터페이스의 일 예이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따르는 연주 어플리케이션의 관악기 연주시 가이드를 제공하기 위한 인터페이스의 일 예이다.
도 6a 내지 도 6d는 본 발명의 일 실시예에 따르는 연주 어플리케이션의 관악기 연주에 대한 피드백을 제공하는 인터페이스의 일 예이다.
도 7은 본 발명의 일 실시예에 따르는 악기 연주음 인식 기반의 연주 가이드 정보 제공 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속 할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution) 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
이하, 도면을 참조하여, 본 발명의 일 실시예를 구체적으로 설명하도록 한다.
도 1을 참조하면, 본 발명의 일 실시예에 따르는 시스템은 튜닝 보조 장치(100), 사용자 단말(200) 및 서버(300)를 포함한다.
튜닝 보조 장치(100)는 악기의 일 단에 고정되어, 악기에서 발생되는 진동을 센싱하고, 센싱된 진동에 대응하는 연주음의 성분을 식별하는 장치이다. 이때, 연주음의 성분이란 연주된 음의 음계 정보, 음이름 정보 및 음의 길이 정보 중 적어도 하나를 포함할 수 있다. 튜닝 보조 장치(100)는 식별된 연주음의 성분을 사용자 단말(200)(즉, 모바일 장치)로 전송할 수 있다.
튜닝 보조 장치(100)가 인식하는 진동은 악기 사용자의 움직임이나 주변의 소음에 의한 진동으로부터 센싱될 수도 있다. 이러한 경우는 악기에서 연주되는 것이 아니므로 오류로 판단하여야 하므로, 튜닝 보조 장치(100)는 센싱된 진동을 임계값과 비교하여 연주음의 범위 외의 진동에 대해서는 연주음의 성분을 식별하기 위한 동작을 생략할 수도 있다. 이를 통해 튜닝 보조 장치(100)는 튜닝 보조 장치(100)에서 소비되는 전력을 최소화할 수 있다.
사용자 단말(200)에는 연주 어플리케이션이 설치되어 있을 수 있다. 연주 어플리케이션은 튜닝 기능과 연주 게임 기능을 포함한다. 튜닝 기능과 연주 게임 기능이 실행됨에 있어서, 연주 어플리케이션은 튜닝 보조 장치(100)로부터 수신된 연주음의 성분을 수신하여, 튜닝의 정확도 또는 연주의 정확도를 판단하고 사용자가 정확한 연주를 할 수 있도록 가이드 정보를 제공할 수 있다.
서버(300)는 사용자 단말(200)에 설치된 어플리케이션과 통신을 수행하면서, 어플리케이션으로 악보 정보 등과 같은 업데이트 정보를 제공하거나, 어플리케이션을 이용하는 사용자의 이용 패턴을 분석하거나, 특정 유료 서비스의 경우 결제 과정을 거친 후에야 진행될 수 있도록 결제에 관한 정보를 제공한다.
이하, 도 2를 참조하여, 본 발명의 일 실시예에 따르는 연주 가이드 정보를 제공하기 위한 튜닝 보조 장치(100)와 사용자 단말(200)의 동작을 구체적으로 설명한다.
튜닝 보조 장치(100)와 연주 어플리케이션이 설치된 사용자 단말(200)은 악기 연주음 인식 기반 연주 가이드 정보 제공을 위한 프로그램(또는 어플리케이션)이 저장된 메모리와 위 프로그램을 실행하는 프로세서를 포함하여 구성될 수 있다.
여기서 프로세서는 메모리에 저장된 프로그램의 실행에 따라 다양한 기능을 수행할 수 있는데, 각 기능에 따라 프로세서에 포함되는 세부 구성요소들을 튜닝 보조 장치(100)의 경우 진동 감지부(110), 연주음 검출부(120) 및 통신부(130)로 나타낼 수 있으며, 사용자 단말(200)의 경우 통신부(130), 튜닝부(220), 연주 게임 제공부(230)로 나타낼 수 있다.
먼저, 튜닝 보조 장치(100)에 대하여 구체적으로 설명한다.
진동 감지부(110)는 악기로부터 발생된 진동을 센싱하는 센서부(미도시)로 구성된다. 센서부는 피에조(piezo) 효과 방식의 압전 센서(또는 압전 소자)로 구현될 수 있다.
연주음 검출부(120)는 특정음의 시작을 감지하는 온셋 디텍터 및 진동수를 측정하여 소리의 피치(pitch)를 감지하는 피치 검출부를 포함할 수 있다.
한편, 일 실시예에 따라 센서부는 연주음 검출부(120)의 제어에 의해, 압전 센서를 이용하여 기 설정된 음을 출력할 수도 있다. 예를 들어, 센서부는 턴-온 동작, 턴-오프 동작, 사용자 단말(200)과의 통신 연결 동작 중 적어도 하나가 실행되면 기 설정된 음을 출력할 수 있다. 이때 기 설정된 음은 동작 별로 상이할 수 있다.
연주음 검출부(120)는 진동 감지부(110)로부터 제공받은 진동의 크기(또는 소리의 피치) 에 기초하여, 대응하는 연주음의 성분을 식별한다. 이때 연주음 검출부(120)는 튜닝 보조 장치(100)에서 소비되는 전력을 최소화하기 위하여, 임계값 보다 크거나 같은(또는 초과하는) 것에 대해서만 연주음의 성분을 식별할 수 있다.
구체적으로 연주음 검출부(120)는 센서부로부터 제공받은 진동의 크기를 임계값과 비교하는 비교기(미도시), 및 비교기의 비교 결과에 기초하여 임계값보다 크거나 같은(또는 초과하는) 진동에 대응하는 연주음의 성분을 식별하는 컨트롤러(controller)(미도시)를 더 포함할 수 있다. 여기서 임계값은, 이전에 식별된 연주음들의 진동크기의 평균값일 수 있다. 또는 임계값은, 악기의 의해 발생 가능한 최저 진동크기 및 최고 진동크기 중 적어도 하나에 의해 결정될 수 있다. 또는 임계값은 튜닝 보조 장치(100)의 제조 과정에서 설정되거나 사용자에 의해 설정될 수도 있다.
예를 들어, 비교기는 진동의 크기가 임계값보다 크거나 같으면(또는 초과하면), 컨트롤러로 기 약속된 동작 개시 신호를 제공함으로써, 컨트롤러가 동작하도록 할 수 있다. 반면에 비교기는 진동의 크기가 임계값보다 작으면(또는 작거나 같으면), 컨트롤러로 기 약속된 동작 개시 신호를 제공하지 않음으로써 컨트롤러가 동작하지 않도록 할 수 있다.
컨트롤러는 튜닝 보조 장치(100)의 전반적인 동작을 제어하며, 진동에 대응하는 연주음의 성분을 식별하기 위한 적어도 하나의 프로세서(processor)(미도시) 및/또는 마이크로 프로세서(micro-processor, 미도시)를 포함할 수 있다. 여기서 연주음의 성분은, 연주음의 음계 정보, 음이름 정보 및 음의 길이 정보 중 적어도 하나를 포함할 수 있다.
컨트롤러는 기 저장된 음계 정보, 음이름 정보 등에 기초하여, 진동의 진동수에 매칭하는 연주음의 성분을 결정할 수 있다.
또한, 연주음 검출부(120)는 전술한 비교기 및 컨트롤러 이외에, ADC(analog-digital converter)를 더 포함할 수 있다.
ADC는 비교기로부터의 활성화 신호에 의해 활성화되며, 진동에 대응하는 디지털 신호를 생성할 수 있다. 또한 ADC는 컨트롤러와 연결되어, 생성된 디지털 신호를 컨트롤러로 제공할 수 있다.
구체적으로 비교기는 진동의 크기가 임계값보다 크거나 같으면(또는 초과하면), ADC로 활성화 신호를 제공할 수 있다. ADC는 튜닝 보조 장치(100)가 턴-온(turn-on)되는 경우라도 비활성 상태로 동작하며, 비교기로부터 활성화 신호가 제공되면 활성 상태로 전환될 수 있다. 여기서 비활성 상태는 전원으로부터 최저 전력만을 공급받는 상태일 수 있으며, 실시예에 따라 슬립 모드(sleep mode), 저전력 모드 또는 대기 모드(standby mode)로 지칭될 수도 있다.
ADC는 진동에 대응하는 디지털 신호를 컨트롤러로 제공한 후 다시 비활성 상태로 전환될 수 있다.
한편, 비교기에 의해 ADC가 활성 상태로 전환되는 것으로 설명하였으나, 이에 제한되지 않는다. 일 실시예에 따라 비교기는 진동의 크기와 임계값을 비교한 결과에 따라, ADC 및 컨트롤러로 활성화 신호를 제공할 수도 있다. 이 경우, 컨트롤러는 튜닝 보조 장치(100)가 턴-온 된 후 비활성 상태로 동작할 수 있으며, 활성화 신호에 의해 활성 상태로 전환될 수 있다. 여기서, 활성화 신호는 전술한 동작 개시 신호와 동일할 수 있으며, 별개의 신호일 수도 있다.
통신부(130)는 튜닝 보조 장치(100)가 사용자 단말(200) 및 기타 장치와 통신하게 하는 적어도 하나의 모듈을 포함할 수 있다. 예를 들어, 블루투스 모듈, BLE(Bluetooth Low Energy) 모듈, NFC(near field communication) 모듈, WLAN(와이파이) 모듈, 지그비(Zigbee) 모듈, 적외선(IrDA, infrared data association) 모듈, WFD(Wi-Fi Direct) 모듈, UWB(ultra wideband) 모듈, Ant+ 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이하, 사용자 단말(200)의 동작에 대해 구체적으로 설명하도록 한다.
먼저, 사용자 단말(200)에서는 사용자의 입력에 따라 연주 어플리케이션이 실행될 수 있다. 연주 어플리케이션은 크게 두 가지 기능, 즉, 튜닝과 연주 게임
기능을 포함할 수 있다.
사용자 단말(200)이 사용자로부터 튜닝 실행에 대한 입력을 받은 경우, 튜닝 인터페이스를 실행한다. 한편, 사용자 단말(200)이 사용자로부터 연주 실행에 대한 입력을 받은 경우, 연주 인터페이스를 실행할 수 있다.
통신부(210)는 튜닝 보조 장치(100)로부터 악기에서 연주된 연주음을 수신할 수 있다. 수신된 연주음은 연주 어플리케이션 상에 실행된 기능에 따라 상이한 용도로 활용될 수 있다.
튜닝부(220)는 튜닝 인터페이스를 제공하고, 통신부(210)로부터 전달받은 연주음을 기초로 악기의 튜닝을 가이드한다.
튜닝 인터페이스는 도 3a 및 도 3b와 같은 형태로 구현될 수 있다. 구체적으로, 튜닝 인터페이스는 현재 연주된 음과 대상 음과의 비교 데이터를 표시함으로써 사용자에게 튜닝 가이드를 제공해주는 튜닝가이드 영역(410)을 포함하도록 구성된다. 예를 들어, 현악기의 경우, 사용자는 도 3a와 같이 악기의 헤드 영역(420)에 표시된 왼쪽의 G 에 대응하는 현을 지정함으로써 대상 음을 선택한 후, 손가락으로 악기의 해당 현을 튕길 수 있다. 튜닝 인터페이스는 악기의 일 단에 고정된 튜닝 보조 장치(100)로부터 튕겨진 현에 대한 연주음을 수신하고 대상 음 G와 비교한다.
만약 연주음이 대상 음에 조금 못 미치는 경우, 도 3a와 같이 빨간색 표시와 대상 음과의 차이("-10" 표시)가 튜닝 가이드 영역(410)에 표시된다. 사용자는 이러한 차이를 인식하고 현을 조이는 영역을 조금 더 조인 후 다시 튕기는 것과 같은 방식으로 현을 조절하면, 도 3b와 같이 튜닝 가이드 영역(410)에 녹색으로 타겟음과 일치한다는 식별표시가 나타나게 될 수 있다.
연주 게임 제공부(230)는 연주 인터페이스를 제공하고, 통신부(210)로부터 전달받은 연주음을 기초로 특정 음악의 연주에 대한 가이드 정보를 사용자에게 제공한다.
연주 게임 제공부(230)가 제공하는 연주 인터페이스는 도 4a와 같은 형태로 구현될 수 있다. 구체적으로, 연주 인터페이스는, 악보 표시 영역, 식별자(510), 연주바(520), 네비게이션바(550)를 포함한다.
악보 표시 영역은 특정 음악이나 곡에 대한 오선(즉, 5선) 형태의 악보를 표시하며, 음자리표와 음계표, 음표, 박자표 등 연주에 필요한 모든 식별정보를 표시한다.
식별자(510)는 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 수단이다. 식별자(510)는 연주바 내에서 이동할 수도 있으나, 연주바를 벗어나는 영역까지 이동하도록 구현될 수도 있다.
연주바(520)는 악보의 오선 상에서 사용자가 연주해야할 타겟음의 정보를 알려주는 수단이다. 사용자 단말의 화면이 작을 경우, 연주바(520)의 화면 상의 위치가 고정되고 악보의 오선이 연주바(520)를 지나가는 형태로 연주바(520)가 연주 타이밍을 알려줄 수 있다. 또는, 사용자 단말의 화면이 큰 경우, 악보의 오선이 고정되어 있고, 연주바(520)가 악보의 오선 상을 이동하는 형태로 연주 타이밍을 알려줄 수도 있다. 연주바(520)는 도 4a와 같이 악보의 오선과 수직한 방향으로 생성된다. 그리고 연주바(520)는 각각의 음표의 머리와 대응하는 폭 및 오선 영역을 커버할 수 있는 높이로 형성된다. 다만, 반드시 이에 제한되는 것은 아니며 연주바(520)의 폭이나 크기 등은 다른 형태로도 구현될 수도 있다. 또한, 연주바(520)는 악보 위의 타겟음에 대응하는 음표가 명백히 표시되도록 투명한 색상으로 표시될 수 있다.
또한, 식별자(510)는, 악기가 현악기일 경우, 현악기의 연주 수단이 현의 위치를 기준으로 움직여야 할 방향을 알려주는 것으로서, 음악의 박자에 맞게 악보의 오선의 상, 하 방향으로 움직이도록 구현된다. 즉, 바이올린이나 첼로의 경우 활이라는 연주 수단을 현 위에서 상, 하 방향이나 좌, 우 방향으로 스트로킹하면서 연주되며, 기타(guitar)의 경우 손가락이나 초크를 상, 하 방향으로 스트로킹하면서 연주되며, 트럼펫과 같은 관악기의 경우 연주자의 입으로 호흡의 길이나 입바람의 강약을 조절하면서 연주되는 데, 이때 식별자(510)는 스트로킹 방향이나 호흡의 타이밍(또는 길이)에 대한 가이드라인을 제시해줄 수 있다.
도 4b를 참조하면, 도 4b는 도 4a의 상태에서 소정의 시간이 지난 후의 음악 연주상태를 나타내는 악보이다. 이때, 오선 악보의 이동에 의해 연주바(520)와 식별자(510)의 위치가 달라진 것을 확인할 수 있다. 식별자(510)는 상, 하로 움직이기만 하고 연주바(520)가 우측 방향으로 음악의 재생에 따라 이동하게 되는데, 식별자(510)의 상, 하 움직임과 연주바(520)의 우측 움직임을 종합하면, 식별자(510)는 사인(sine) 곡선(530)과 같은 궤적으로 악보 위를 이동하게 된다. 즉, 사인 곡선(530)에서 곡선이 상승하는 방향은 스트로킹을 위로 해야함을 알려주는 것이며, 하강하는 방향은 스트로킹을 아래로 해야함을 알려주는 것이라 할 수 있다.
한편, 악기가 현악기인 경우, 악기의 중심부에서 연주 수단으로 스트로킹함과 동시에 악기의 헤드 부근 영역에서 손가락으로 현을 운지하는 동작이 동시에 수행되어야만 한다. 식별자(510)와 연주바(520)는 악기의 중심부에 대한 연주동작을 가이드해준다. 이때, 연주 인터페이스의 상단 우측에 표시된 "손가락 번호"라는 토글 버튼이 클릭될 경우, 손가락으로 운지해야하는 악기의 영역에 대한 운지동작의 가이드 정보가 음표의 머리 상에 제공될 수 있다.
구체적으로, 토클 버튼이 클릭될 경우, 음표의 머리에 사용자가 운지해야할 현의 번호(540)가 표시될 수 있다. 이를 통해 사용자는 현악기 연주를 위한 모든 가이드 정보를 확인하고 이를 연주에 활용할 수 있다.
네비게이션바(550)는 일 영역에 전체 악보 중 연주 구간, 미리 정의된 구간 및 현재 연주되고 있는 마디 위치 중 적어도 하나를 표시한다. 즉, 네비게이션바(550)는 전체 악보의 연주 구간을 표시함과 동시에 현재 연주되고 있는 마디 위치를 별도의 위치식별자(510)(미도시)를 통해 표시할 수 있다. 위치식별자(510)는 음악의 재생에 따라 네비게이션바(550) 위에서 이동하도록 구성된다. 또한, 사용자가 전체 악보 중 일부 구간만 지정하여 연주를 하고자 할 경우, 특정 구간을 지정할 수도 있는데, 네비게이션바(550)는 이러한 특정 구간의 범위를 표시할 수도 있다.
상술한 바와 같은 연주 인터페이스가 실행될 경우, 사용자 단말(200)에서는 악기의 연주여부와 무관하게 해당하는 음악이 재생되고, 연주바(520)와 식별자(510)가 악보 위를 이동한다.
사용자는 이를 보고 악기를 연주하게 된다. 연주될 때마다 악기의 일 단에 고정된 튜닝 보조 장치(100)는 악기의 진동으로부터 연주음을 검출하게 되며, 사용자 단말(200)은 튜닝 보조 장치(100)로부터 연주음의 정보를 수신하게 된다. 그리고, 연주음과 타겟음을 비교한 후 일치도를 연주 인터페이스 상에 표시한다. 예를 들어, 도 4b의 경우, perfect! 또는 Bad와 같은 문구와 함께 별도의 식별표시를 나타낼 수 있다. 식별표시는 타겟음의 음표의 머리의 색상이 변화되도록 하는 것일 수 있다. 또는, 식별표시는 타겟음의 음표의 머리 부근에 소정 시간 동안 나타났다가 사라지도록 설정되는 것일 수도 있다. 이와 같이 사용자가 한 방향으로 이동하는 악보를 보면서 순간적으로 눈에 띄는 식별표시를 쉽게 확인할 수 있게 되어, 자신이 연주를 정확하게 하고 있는지를 한눈에 알아볼 수 있게 한다.
한편, 관악기의 경우, 현악기와는 다른 방식으로 가이드정보가 제공될 수도 있다.
구체적으로, 호흡 가이드 모드와 박자 가이드 모드가 제공될 수 있다. 호흡 가이드 모드에서는 식별자(510)를 통하여 연주자의 들숨과 날숨 포인트를 알려줄 수 있다. 박자 가이드 모드에서는 별도의 식별표시를 통해 오선 상에 박자 정보를 알려줄 수 있다.
연주 인터페이스에 포함된 식별자(510)는 관악기를 연주하는 사용자의 호흡의 단위 및 길이를 나타내도록 움직일 수 있다. 식별자(510)는 연주바(520) 내의 일 단에 위치하는 특정 시점부터 움직이기 시작하여, 연주바(520)가 이동함에 따라 다른 위치로 이동한 후 최초의 위치로 돌아왔을 때까지의 움직임을 1회의 호흡으로 표시할 수 있다. 예를 들면, 도 5a의 경우, 4/4박자표 부근의 시점부터 마디가 전환되는 시점까지의 식별자(510)의 움직임(710)이 1회의 호흡으로 규정될 수 있다.
이때, 포물선 곡선을 그리며 오선의 아랫 방향으로 내려가는 움직임은 들숨을 의미하는 것이며, 뾰족하게 오선의 윗방향으로 올라가는 움직임은 날숨을 의미하는 것이다. 도 5a 및 도 5b를 참조하면, 음악마다 호흡 타이밍은 다르게 규정될 수 있으므로, 이러한 식별자(510)의 움직임은 다르게 설정될 수 있다. 도 5a는 식별자(510)를 통해 마디마다 호흡해야 함을 나타내고 있으며, 도 5b는 2마디동안 숨을 들이쉬지 않고 연속적으로 연주한 후 숨을 내쉬어야함을 나타내고 있다.
또한, 식별자(510)는 호흡의 길이에 따라, 식별자(510)가 상, 하로 이동하는 영역의 범위가 달라질 수 있다. 관악기의 호흡의 종류를 살펴보면, "텅잉"은 혀를 입천장에 붙여서 내쉬는 숨을 막고 있다가 열면서 혀를 아래쪽으로 붙이면서 "투~"와 같은 소리로 음이 끝날 때까지 발생시키고, 다시 혀를 입천장에 붙여 호흡을 막아 "~웃!"과 같은 소리로 명료하게 종료함으로써 소리를 내는 호흡기법이다. 슬러는 긴 호흡으로 둘 이상의 음표에 대해 지속적으로 소리를 내는 호흡기법이다.
식별자(510)의 움직임은 호흡 가이드 모드와 박자 가이드 모드에서 달라질 수 있다. 호흡 가이드 모드에서는 식별자(510)의 포물선 동작이 호흡을 의미하지만, 박자 가이드 모드에서는 식별자(510)의 포물선 동작이 텅잉을 의미한다. 도 5a 및 도 5b는 호흡 가이드 모드에서의 동작을 나타내고 있으며, 도 5c는 박자 가이드 모드에서의 동작을 나타내고 있다..
한편, 관악기의 경우, 박자 가이드 모드에서, 튜닝 보조 장치(100)로부터 수신한 연주음의 길이와 박자가 타겟음의 정보와 상이한 경우, 악보의 음표 부근의 영역에 별도의 오류 표시를 제공할 수 있다. 예를 들어, 텅잉을 해야 했으나, 슬러로 연주하였을 경우, 도 6a와 같은 T 형태의 오류표시(610)를 제공할 수 있다. 반대로, 슬러로 연주해야했으나, 텅잉으로 연주하였을 경우, 여러 개의 음표를 서로 연결하는 기존의 슬러 표시(620)가 다른 색상으로 변환되어 하이라이트 될 수 있다.
또한, 악보 상에서 V는 1박자를 의미하도록 표현될 수 있다. 즉, 도 6c에서 각 4분음표는 1박자로 연주해야함을 나타내고 있다. 만약 2분음표라면 VV로 표시되어야 하며, 붓점이 붙어 있는 4분음표의 경우 V＼로 표시될 수 있으며, 3/4박자의 온음표는 VVV로 표시될 수 있다. 다만, 이는 일 예일 뿐이며 다양한 형태로 표시될 수 있다.
만약 1박자를 기준으로 연주를 해야 했으나, 박자가 빨랐을 경우, 도 6d와 같이 ◀ 형상의 오류표시를 제공하고, 박자가 느렸을 경우, ▶ 형상의 오류표시(640)를 제공할 수 있다.
그리고, 연주 게임 제공부(230)는 사용자 단말(200)에서 한 곡의 음악의 연주가 완료된 경우, 연주 정확도, 연습시간, 현재까지의 연주한 곡의 개수, 연주 최고점수, 친구들의 연주시간, 상기 연주 어플리케이션에 접속한 시간, 날짜 별 연주 시간 중 적어도 하나를 나타내는 분석 인터페이스를 제공할 수도 있다.
연주 정확도의 경우, 연주음과 타겟음 간의 일치도를 분석한 결과를 종합하 여 산출될 수 있으며, 100%가 최고점인 것을 기준으로 산출될 수 있다. 또한, 같은 곡에 대해서 누적된 이전의 연주 정확도 데이터가 있는 경우, 현재 연주 정확도와 이전의 연주 정확도를 비교하는 데이터를 제공함으로써, 사용자에게 얼마나 연습 실력이 성장하였는지를 한눈에 쉽게 보여줄 수도 있다.
또한, 각 연주마다 연주 정확도 등을 기준으로 점수가 부여되는데, 사용자의 다른 친구들과의 데이터 공유기능이 포함되어 있어, 사용자는 다른 친구들의 연주시간, 점수 획득 현황 등을 확인할 수도 있다.
한편, 곡의 구매, 연주 게임을 실행할 수 있는 횟수에 관한 티켓 구매 등은 결제 모듈을 통해서 수행될 수 있으며, 서버(300)와 어플리케이션의 연동을 통해 진행될 수 있다.
한편, 추가 실시예로서, 튜닝 보조 장치(100) 기반으로 연주음을 인식하지 않고, 마이크 기반으로 연주음을 인식할 수도 있다. 이러한 경우, 어플리케이션 내에서 사운드 인식-> 사운드에 대응하는 연주음의 정보 검출 과정을 수행해야만 한다. 그러나, 튜닝 보조 장치(100)를 사용할 경우, 튜닝 보조 장치(100)로부터 바로 연주음의 정보를 수신하므로, 마이크의 경우와 같은 과정들을 수행할 필요가 없다. 즉, 어플리케이션의 부하가 줄어들게 되고, 이는 연산속도 증가를 가져오게 되므로, 실시간으로 연주음을 인식하고, 연주음과 타겟음과의 일치도를 제공해줄 수 있다.
이하, 도 7을 참조하여, 본 발명의 일 실시예에 따르는 악기 연주음 인식 기반의 연주 가이드 정보 제공방법에 대하여 구체적으로 설명한다.
먼저, 튜닝 보조 장치(100)는 사용자 단말(200)과 무선 통신 연결된다(S110). 무선 통신은 블루투스일 수 있다.
사용자 단말(200)에서는 연주 어플리케이션의 연주 인터페이스가 실행된 상태에서, 특정 곡에 대한 사용자 단말(200)의 입력이 발생될 경우, 해당 곡의 사운드를 재생함과 동시에 악보를 디스플레이 할 수 있다(S120).
사용자는 연주 인터페이스에서 표시되는 정보에 맞추어 악기를 연주할 수 있다.
튜닝 보조 장치(100)는 악기의 진동을 감지하고(S130), 진동의 진동값에 대응하는 연주음을 검출한다(S140).
그리고 튜닝 보조 장치(100)는 연주음 정보를 사용자 단말(200)로 전송한다(S150).
사용자 단말(200)은 타겟음과 수신한 연주음 간의 박자 및 음 성분이 동일한지 판단한다(S160).
그리고 동일한 정도를 악보 상에 표시함으로써, 사용자가 정확히 올바르게 연주하고 있는지를 보여줄 수 있다(S170).
한 곡의 연주가 종료되면, 연주 정확도를 계산하여 사용자에게 제공할 수도 있다(S180).
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다.
컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 사용자 단말에 의해 수행되는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법에 있어서,
    (a) 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하는 단계;
    (b) 사용자 단말의 외부로부터 발생된 연주음을 인식하는 단계;
    (c) 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하는 단계; 및
    (d) 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페
    이스 상에 표시하는 단계;를 포함하며,
    상기 연주 인터페이스는,
    사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는,
    상기 연주 어플리케이션이 실행된 후,
    사용자 단말로부터 연주 실행에 대한 입력을 받은 경우, 상기 연주 인터페이스를 실행하고,
    상기 사용자 단말로부터 악기 튜닝 실행에 대한 입력을 받은 경우, 튜닝 인터페이스를 실행하는 단계를 포함하되,
    상기 튜닝 인터페이스는 상기 사용자 단말로부터 튜닝 대상 음을 선택받은 후, 상기 연주음과 튜닝 대상 음을 비교하여 튜닝완료 여부를 알려주도록 구성되는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  3. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 사용자 단말의 마이크를 통하여 사운드를 수신하고, 상기 사운드를 분석하여 악기의 연주음을 인식하는 단계를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  4. 제 1 항에 있어서,
    상기 (b) 단계는,
    악기의 일 부분에 고정된 튜닝 보조 장치로부터 상기 악기의 연주음의 정보를 수신하는 단계를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  5. 제 4 항에 있어서,
    상기 튜닝 보조 장치는,
    악기의 연주에 따른 진동을 감지하고, 진동의 크기에 대응하는 연주음의 정보를 추출하며, 상기 연주음의 정보를 상기 사용자 단말로 무선통신을 통해 전송하는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  6. 제 1 항에 있어서,
    상기 연주바는,
    상기 악보의 오선과 수직한 방향으로 형성되되, 상기 악보 위의 음표가 나타나도록 투명한 색상으로 표시되는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  7. 제 1 항에 있어서,
    상기 식별자는,
    현악기의 연주 수단이 현의 위치를 기준으로 움직여야 할 방향을 알려주는 것으로서, 상기 음악의 박자에 맞게 상기 악보의 오선의 상, 하 방향으로 움직이는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  8. 제 1 항에 있어서,
    상기 악기가 현악기인 경우, 상기 연주 수단은 활 또는 연주자의 손 중 어느 하나이고,
    상기 악기가 관악기인 경우, 상기 연주 수단은 연주자의 입인 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  9. 제 1 항에 있어서,
    상기 연주 인터페이스는,
    토글 버튼에 대한 상기 사용자 단말의 입력이 발생될 경우, 상기 악보 상의 음표의 머리에 사용자가 운지해야 할 현의 번호를 표시하는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  10. 제 1 항에 있어서,
    상기 연주 인터페이스는,
    일 영역에 전체 악보 중 연주 구간, 미리 정의된 구간 및 현재 연주되고 있는 마디 위치 중 적어도 하나를 표시하는 네비게이션바를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  11. 제 1 항에 있어서,
    상기 (d) 단계는,
    상기 타겟음의 음표의 머리의 색상 변화 및 상기 타겟음의 음표의 머리 부근에 소정 시간 동안 나타났다가 사라지도록 설정되는 식별표시를 이용하여 상기 일치도를 표시하는 단계를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  12. 제 1 항에 있어서,
    상기 악기가 관악기인 경우,
    상기 연주 인터페이스의 식별자는,
    관악기를 연주하는 사용자의 호흡의 단위 및 길이를 나타내도록 움직이는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  13. 제 12 항에 있어서,
    상기 식별자는,
    상기 연주바 내의 일 단에 위치하는 특정 시점부터, 상기 연주바가 이동함에 따라 다른 위치로 이동한 후 최초의 위치로 돌아왔을 때까지의 움직임을 1회의 호흡으로 표시하는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  14. 제 13 항에 있어서,
    상기 식별자는,
    상기 호흡의 길이에 따라, 상기 식별자가 상, 하로 이동하는 영역의 범위가 달라지는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  15. 제 14 항에 있어서,
    상기 식별자는,
    상기 1회의 호흡이 슬러인 경우와 텅잉인 경우 상이한 범위로 움직이는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  16. 제 12 항에 있어서,
    상기 (d) 단계는,
    상기 관악기의 연주음의 길이와 박자가 상기 타겟음의 정보와 상이한 경우,
    상기 악보의 음표 부근의 영역에 별도의 오류 표시를 제공하는 단계를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  17. 제 1 항에 있어서,
    (e) 상기 사용자 단말에서 한 곡의 음악의 연주를 완료한 후, 연주 정확도, 연습시간, 현재까지의 연주한 곡의 개수, 연주 최고점수, 친구들의 연주시간, 상기 연주 어플리케이션에 접속한 시간, 날짜 별 연주 시간 중 적어도 하나를 나타내는 분석 인터페이스를 제공하는 단계를 더 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
  18. 악기 연주음 인식 기반의 연주 가이드 정보 제공장치에 있어서,
    악기 연주음 인식 기반의 연주 가이드 정보 제공방법을 수행하기 위한 프로그램이 저장된 메모리; 및
    상기 프로그램을 수행하는 프로세서; 를 포함하며,
    상기 프로세서는, 상기 프로그램의 실행에 따라, 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하고,
    사용자 단말의 외부로부터 발생된 연주음을 인식하며,
    상기 연주음과 사용자가 연주해야 할 타겟음을 비교하고,
    비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하며,
    상기 연주 인터페이스는,
    사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공장치.
  19. 악기 연주음 인식 기반의 연주 가이드 정보 제공시스템에 있어서,
    악기의 일 단에 고정되어, 악기의 연주에 따른 진동을 감지하고, 진동수값에 대응하는 연주음의 정보를 추출하며, 상기 연주음의 정보를 사용자 단말로 무선통신을 통해 전송하는 튜닝 보조 장치; 및
    상기 사용자 단말에 설치가능한 연주 어플리케이션과 연동되어 연주 정보 및
    결제 정보에 대한 인터렉션을 수행하는 서버;를 포함하며,
    상기 연주 어플리케이션은,
    연주 인터페이스를 실행한 후, 상기 튜닝 보조장치로부터 연주음을 수신하고, 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하며, 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하고,
    상기 연주 인터페이스는,
    상기 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공시스템.
  20. 제 1 항 내지 제 17 항 중 어느 한 항에 따르는 악기 연주음 인식 기반의 연주 가이드 정보 제공방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체.
PCT/KR2017/010262 2016-09-19 2017-09-19 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체 WO2018052272A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201780071322.7A CN109983534A (zh) 2016-09-19 2017-09-19 基于识别乐器演奏音的演奏导引信息提供系统、装置、方法及电脑可解读记录媒介

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160119551A KR101841033B1 (ko) 2016-09-19 2016-09-19 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체
KR10-2016-0119551 2016-09-19

Publications (1)

Publication Number Publication Date
WO2018052272A1 true WO2018052272A1 (ko) 2018-03-22

Family

ID=61619185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/010262 WO2018052272A1 (ko) 2016-09-19 2017-09-19 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체

Country Status (3)

Country Link
KR (1) KR101841033B1 (ko)
CN (1) CN109983534A (ko)
WO (1) WO2018052272A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168119A (zh) * 2018-08-29 2019-01-08 郑州工程技术学院 一种声音检测电路系统
CN112802439A (zh) * 2021-02-05 2021-05-14 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN114822593A (zh) * 2022-06-29 2022-07-29 新缪斯(深圳)音乐科技产业发展有限公司 演奏数据识别方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109065008B (zh) * 2018-05-28 2020-10-27 森兰信息科技（上海）有限公司 一种音乐演奏曲谱匹配方法、存储介质及智能乐器
KR102140029B1 (ko) * 2018-10-19 2020-07-31 송경준 증강현실을 활용한 글래스 하프의 음색 시뮬레이션 및 학습 시스템
KR102269819B1 (ko) * 2019-04-25 2021-06-28 주식회사 엔터미디어 악기 연주 연습 장치
CN111028615B (zh) * 2019-11-29 2022-01-07 尤剑 智能化乐器演奏教学方法、系统及存储介质
KR102571326B1 (ko) * 2022-12-15 2023-08-30 안유림 타격 기반의 진동 인식을 통한 전자 악보 자동 넘김 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050123388A (ko) * 2004-06-25 2005-12-29 주식회사 팬택 이동 통신 단말기에서 악기 튜닝 방법
KR20140065971A (ko) * 2012-11-22 2014-05-30 주식회사 지에스엘앤씨 기타 연주화면 제공방법
KR20140116616A (ko) * 2013-03-25 2014-10-06 임현정 음악교육을 위한 기록매체
KR20150048472A (ko) * 2013-10-28 2015-05-07 에스케이플래닛 주식회사 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체
KR20160098881A (ko) * 2015-02-11 2016-08-19 주식회사 파라투스 악기 보조 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4111004B2 (ja) * 2003-02-28 2008-07-02 ヤマハ株式会社 演奏練習装置および演奏練習プログラム
CN102568261B (zh) * 2011-12-28 2015-02-11 张智 乐器辅助学习机
CN104183171B (zh) * 2013-05-23 2016-10-19 杭州灵机科技有限公司 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050123388A (ko) * 2004-06-25 2005-12-29 주식회사 팬택 이동 통신 단말기에서 악기 튜닝 방법
KR20140065971A (ko) * 2012-11-22 2014-05-30 주식회사 지에스엘앤씨 기타 연주화면 제공방법
KR20140116616A (ko) * 2013-03-25 2014-10-06 임현정 음악교육을 위한 기록매체
KR20150048472A (ko) * 2013-10-28 2015-05-07 에스케이플래닛 주식회사 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체
KR20160098881A (ko) * 2015-02-11 2016-08-19 주식회사 파라투스 악기 보조 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168119A (zh) * 2018-08-29 2019-01-08 郑州工程技术学院 一种声音检测电路系统
CN112802439A (zh) * 2021-02-05 2021-05-14 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN112802439B (zh) * 2021-02-05 2024-04-12 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN114822593A (zh) * 2022-06-29 2022-07-29 新缪斯(深圳)音乐科技产业发展有限公司 演奏数据识别方法及系统

Also Published As

Publication number Publication date
CN109983534A (zh) 2019-07-05
KR101841033B1 (ko) 2018-05-08

Similar Documents

Publication Publication Date Title
WO2018052272A1 (ko) 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체
CN105391764B (zh) 用于监测乐器学习的方法及装置
JP4934180B2 (ja) 撥弦楽器演奏評価装置
WO2014010982A1 (en) Method for correcting voice recognition error and broadcast receiving apparatus applying the same
US20140129235A1 (en) Audio tracker apparatus
KR101667004B1 (ko) 전자 악보 서비스 제공 방법
WO2019050083A1 (ko) 사용자 허밍 멜로디 기반 멜로디 녹음을 제공하기 위한 방법 및 이를 위한 장치
EP1640845A2 (en) User identification method, user identification device and corresponding electronic system
US20170278496A1 (en) Interactive stringed musical instrument and system comprising the same
US20040231500A1 (en) System to enable the use of white keys of musical keyboards for scales
JP2000268118A (ja) 痴呆リハビリシステム
JP2780637B2 (ja) 演奏教習装置
CN110136677B (zh) 乐音控制方法及相关产品
WO2011136454A1 (ko) 이미지를 이용한 음원 생성 시스템 및 방법
CN101996624B (zh) 电子吉它单弦演奏和弦节奏音型的方法
CN107767851B (zh) 一种歌曲播放方法、移动终端
WO2016133253A1 (ko) 음파를 기반으로 하는 정보 입력 시스템, 장치 및 방법
JP2000267679A (ja) カラオケ曲検索方法及びカラオケ曲検索機能を具備するカラオケシステム
US10650696B2 (en) Systems and methods for recognizing musical instruments and providing blind assistive tuning and orienting of musical instruments
KR20160075280A (ko) 터치스크린과 음성인식기능이 장착된 현악기
CN218957386U (zh) 振动感应弹奏器
JP6728572B2 (ja) 撥弦楽器演奏評価装置、楽曲演奏装置及び撥弦楽器演奏評価プログラム
WO2023234614A1 (ko) 악기 연주 추적 시스템 및 방법
CN205680413U (zh) 一种智能钢琴
KR20210009535A (ko) 연습용 기타 시스템 및 악기 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17851146

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/07/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17851146

Country of ref document: EP

Kind code of ref document: A1