WO2019103297A1 - 이동 단말기 및 이동 단말기를 포함하는 음악 재생 시스템 - Google Patents

이동 단말기 및 이동 단말기를 포함하는 음악 재생 시스템 Download PDF

Info

Publication number
WO2019103297A1
WO2019103297A1 PCT/KR2018/011019 KR2018011019W WO2019103297A1 WO 2019103297 A1 WO2019103297 A1 WO 2019103297A1 KR 2018011019 W KR2018011019 W KR 2018011019W WO 2019103297 A1 WO2019103297 A1 WO 2019103297A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
sound source
bots
information
mobile terminal
Prior art date
Application number
PCT/KR2018/011019
Other languages
English (en)
French (fr)
Inventor
손진호
김상훈
이상민
이원희
구세완
박경업
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/633,853 priority Critical patent/US20200164522A1/en
Publication of WO2019103297A1 publication Critical patent/WO2019103297A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/003—Manipulators for entertainment
    • B25J11/004—Playing a music instrument
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0083—Recording/reproducing or transmission of music for electrophonic musical instruments using wireless transmission, e.g. radio, light, infrared
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/041—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal based on mfcc [mel -frequency spectral coefficients]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135—Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/045—Special instrument [spint], i.e. mimicking the ergonomy, shape, sound or other characteristic of a specific acoustic musical instrument category
    • G10H2230/055—Spint toy, i.e. specifically designed for children, e.g. adapted for smaller fingers or simplified in some way; Musical instrument-shaped game input interfaces with simplified control features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/285—USB, i.e. either using a USB plug as power supply or using the USB protocol to exchange data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Definitions

  • the present invention relates to a music reproduction system including a mobile terminal and a mobile terminal.
  • a method of constructing a robot by modularizing a joint or a wheel is used.
  • a plurality of actuator modules constituting a robot may be electrically and mechanically connected and assembled to make various types of robots such as dogs, dinosaurs, humans, and spiders.
  • a robot that can be manufactured by assembling such a plurality of actuator modules is generally called a modular robot.
  • Each of the actuator modules constituting the modular robot has a motor therein, and motion of the robot is executed according to the rotation of the motor.
  • the motion of such a robot is a concept that collectively refers to the motion of a robot such as motion, dance, and the like.
  • a robot receives music from a robot and analyzes parameters for the dance operation, generates dance movement information stored in advance based on the analyzed parameters, and dances the music in accordance with the music. There is a difficulty in analyzing the music inputted from the robot.
  • An object of the present invention is to provide a mobile terminal capable of mapping a plurality of music bots to each of a plurality of sound source tracks constituting one music to perform an operation corresponding to a sound source track and a music reproduction system including the same .
  • the mobile terminal extracts sound source characteristic information from each of a display, a communication unit that communicates with a plurality of music bots, and a plurality of separated sound source tracks constituting music, And a controller for generating a plurality of control commands for controlling the operation of the plurality of music bots and for transmitting each of the generated plurality of control commands to each of the plurality of music bots via the communication unit .
  • the sound source characteristic information includes at least one of an onset position information for starting a sound source track, a bit position information for a beat of the sound source track, a segment time information for a time when the atmosphere of the sound source track is switched, And may include tempo information about the tempo.
  • the onset position information includes information on timing for controlling the hand operation of the music bots
  • the bit position information includes information on timing for controlling the head operation of the music bots
  • the tempo information may include information on repetition periods of the hand motion, the head motion, and the rotation motion of the music bots.
  • the controller may generate segment information including an angle for rotating the music bots and a rotation holding time based on the segment time information, and may transmit the segment information by including the generated segment information in the control command.
  • the mobile terminal may further include a memory for storing a plurality of sound source characteristic information, and each sound source characteristic information may be mapped and stored in each of the plurality of music bots.
  • the controller may transmit each of the plurality of sound source tracks together with each of the plurality of control commands to each of the plurality of music bots.
  • the display may display a plurality of buttons mapped to each of the plurality of music bots, and the controller may transmit the control command to the music bots corresponding to the selected one or more buttons among the plurality of buttons.
  • the communication unit can transmit the control command using the USB standard.
  • the music reproduction system extracts sound source characteristic information from each of a plurality of music bots outputting a sound source track and a plurality of sound source tracks separated from each other constituting music, May include a mobile terminal that generates a plurality of control commands for controlling the operation of the plurality of music bots and transmits each of the generated plurality of control commands to each of the plurality of music bots through the communication unit .
  • the user can feel that each of the music bots is actually playing the part he / she plays.
  • a spatial feeling similar to a live performance can be formed according to the arrangement of the music bots.
  • 1 to 3 are diagrams for explaining a configuration of a music reproduction system according to an embodiment of the present invention.
  • FIG. 4 is a block diagram of a mobile terminal constituting a music reproduction system according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an operation method of a mobile terminal according to an embodiment of the present invention.
  • FIGS. 6 and 7 are diagrams illustrating a process of extracting sound source characteristic information from each sound source track according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining sound source analysis information according to an embodiment of the present invention.
  • FIG. 9 is a view for explaining a control screen for controlling the operation of a plurality of music bots according to an embodiment of the present invention.
  • 1 to 3 are diagrams for explaining a configuration of a music reproduction system according to an embodiment of the present invention.
  • a music reproduction system 1 may include a mobile terminal 10 and a plurality of music bots 30-1 to 30-n.
  • the mobile terminal 10 can communicate with each of the plurality of music bots 30-1 to 30-n.
  • the mobile terminal 10 can transmit a control command to each of the plurality of music bots 30-1 to 30-n by wire or wirelessly.
  • the mobile terminal 10 may transmit control commands to the respective music bots 30 using a universal serial bus (USB) standard.
  • USB universal serial bus
  • the mobile terminal 10 can transmit a control command to each music bots 30 using the short-range wireless communication standard.
  • the short-range wireless communication standard may be any one of Bluetooth, ZigBee, and Wi-Fi standards, but this is merely an example.
  • Each of the plurality of music bots 30-1 to 30-n can reproduce each of a plurality of sound sources constituting one music according to a control command received from the mobile terminal 10.
  • each of the plurality of music bots 30-1 to 30-n can perform a specific motion while reproducing the corresponding sound source.
  • the music reproduction system 1 may further include a wired interface 20, in addition to the mobile terminal 10 and the music bots 30.
  • FIG. 2 is a view for explaining an example in which the mobile terminal 10 controls the operation of the music bots 30 via wired communication in particular.
  • the wired interface 20 may be an interface for transmitting a control command transmitted from the mobile terminal 10 and a corresponding sound source to the corresponding music bots 30.
  • the wired interface 20 may include a plurality of USB ports 21-1 to 21-n and a power supply 23.
  • Each of the plurality of USB ports 21-1 to 21-n is connected to each of the plurality of music bots and can transmit a control command received from the mobile terminal 10 to each music bots.
  • the power supply unit 23 can supply power to each music bots.
  • the music bob 30 may include a processor 31, an amplifier 33, a speaker 35, a driving unit 36, and a figure 37.
  • the processor 31 can control the operation of the music bots 30 as a whole.
  • the processor 31 may receive a specific sound source track from among a plurality of sound source tracks constituting one music from the mobile terminal 10.
  • the processor 31 may forward the received specific sound track to the amplifier 33.
  • the amplifier 33 can amplify the specific sound source track transmitted.
  • the speaker 35 can output the amplified specific sound source track. 2, the speaker 35 is described as being included in the configuration of the music bots 30, but this is merely an example, and may be configured separately from the music bots 30. [
  • the driving unit 36 may operate the figure 37 according to the driving command received from the processor 31.
  • the driving unit 36 can control the operation of the figure 37 to take a specific motion in accordance with the driving command received from the processor 31.
  • the figure 37 can perform a specific motion according to the driving command received from the driving unit 36.
  • the figure 37 may be disposed at the top of the speaker 35, but this is only an example.
  • 3 is a view showing an actual example of the music bob 30.
  • the number of music bots 30 is assumed to be four, but this is only an example.
  • One music can be composed of a plurality of sound source tracks.
  • one music may include a vocal sound track, a guitar sound track, a drum sound track, and a keyboard sound track.
  • one music includes a vocal sound track, other sound source tracks, a drum sound source track, and a keyboard sound source track.
  • the mobile terminal 10 may transmit each of the plurality of sound source tracks separated to each of the plurality of music bots 30-1 to 30-4.
  • the first music bobble 30-1 includes a first speaker 35-1 and a first figure 37-1.
  • the mobile terminal 10 can transmit a vocal sound track to the first music bout 30-1 and the first speaker 35-1 can output a vocal sound track received from the mobile terminal 10.
  • the first figure 37-1 may have a shape corresponding to the vocal sound track.
  • a first rotary plate 39-1 capable of rotating the first figure 37-1 may be further provided at the lower end of the first figure 37-1.
  • the first figure 37-1 may be driven in accordance with a vocal sound track output from the first speaker 35-1.
  • the first figure 37-1 can take a motion of singing by holding a microphone in accordance with a vocal music track.
  • the second music bobble 30-2 includes a second speaker 35-2 and a second figure 37-2.
  • the mobile terminal 10 can transmit the other sound source track to the second music bout 30-2 and the second speaker 35-2 can output the other sound source track that is received.
  • the second figure 37-2 may have a shape corresponding to other sound source tracks.
  • the second figure 37-2 may further include a second rotary plate 39-2 capable of rotating the second figure 37-2.
  • the second figure 37-2 can be driven in accordance with the other sound source track outputted from the second speaker 35-2.
  • the second figure 37-2 can take a motion to hit the guitar in line with the other sound source track.
  • the third music bobble 30-3 includes a third speaker 35-3 and a third figure 37-3.
  • the mobile terminal 10 can transmit the drum sound source track to the third music bout 30-3 and the third speaker 35-3 can output the received drum sound source track.
  • the third figure 37-3 may have a shape corresponding to the drum sound source track.
  • the third figure 37-3 may further include a third rotary plate 39-3 capable of rotating the third figure 37-3.
  • the third figure 37-3 can be driven to match the drum sound source track output by the third speaker 35-3.
  • the third figure 37-3 can take the motion of hitting the drum, in line with the drum sound source track.
  • the fourth music bobble 30-4 includes a fourth speaker 35-4 and a fourth figure 37-4.
  • the mobile terminal 10 can transmit the keyboard sound source track to the fourth music boss 30-4 and the fourth speaker 35-4 can output the received keyboard sound source track.
  • the fourth figure 37-4 may have a shape corresponding to the keyboard sound source track.
  • the fourth figure 37-4 may further include a fourth rotary plate 39-4 capable of rotating the fourth figure 37-4.
  • the fourth figure 37-4 can be driven in accordance with the key sound source track output by the fourth spurter 35-4.
  • the fourth figure 37-4 can take the motion of hitting the keyboard in accordance with the keyboard sound source track.
  • FIG. 4 is a block diagram of a mobile terminal constituting a music reproduction system according to an embodiment of the present invention.
  • the mobile terminal 10 may include a communication unit 11, a memory 13, a display 15 and a controller 19. [
  • the communication unit 11 can perform wired or wireless communication with the music bots 30. [
  • the wired communication standard may be a USB standard.
  • a wireless communication standard such as Bluetooth, ZigBee, or WiFi may be used.
  • the communication unit 11 can transmit each of the plurality of control commands generated by the controller 19 to each of the plurality of music bots.
  • the memory 13 stores a plurality of sound source characteristic information extracted from each of the plurality of sound source tracks.
  • Each sound source characteristic information may include onset position information, bit position information, tempo information, and segment time information.
  • the memory 13 may store each of the plurality of sound source tracks in association with each of the plurality of sound source characteristic information.
  • the display 15 may display a control screen for controlling the plurality of music bots 30-1 to 30-n.
  • the display 15 may be configured in the form of a touch screen capable of touch input by a user.
  • the controller 19 can control the overall operation of the mobile terminal 10.
  • the controller 19 can acquire a plurality of sound source tracks constituting one music.
  • the controller 19 can extract the sound source characteristic information from each of the acquired sound source tracks.
  • the controller 19 can generate a plurality of control commands for controlling the operation of the plurality of music bots 30-1 to 30-n using the extracted sound source characteristic information.
  • the controller 19 can transmit each of the generated plurality of control commands to each of the plurality of music bots 30-1 to 30-n.
  • FIG. 5 is a flowchart illustrating an operation method of a mobile terminal according to an embodiment of the present invention.
  • FIG. 1 a method of operating the mobile terminal 10 according to an embodiment of the present invention will be described with reference to FIGS. 1 to 4.
  • FIG. 1 a method of operating the mobile terminal 10 according to an embodiment of the present invention will be described with reference to FIGS. 1 to 4.
  • the controller 19 of the mobile terminal 10 acquires a plurality of sound source tracks constituting one music (S501).
  • One music can be composed of a plurality of sound source tracks.
  • a piece of music can be composed of a vocal sound track, a guitar sound track, a drum sound track, and a keyboard sound track.
  • One music can be stored in the memory 13 in a state separated into a vocal sound track, a guitar sound track, a drum sound track, and a keyboard sound track.
  • the controller 19 can obtain a plurality of sound source tracks separated from the memory 13.
  • the controller 19 generates a plurality of sound source tracks From each The sound source characteristic information is extracted (S503).
  • the sound source characteristic information extracted from each of the plurality of sound source tracks may be mapped to each of the plurality of music bots. Each sound source characteristic information can be used to control the operation of each music bob 30.
  • the tone characteristic information may include onset position information, beat position information, segment time information, and tempo information.
  • the onset position information may be information on the start time of a specific sound source track.
  • the onset position information may include a plurality of time points at which a specific sound source track starts.
  • the bit position information may be information on the beat of a specific sound source track.
  • the segment time information may be information on the time when the atmosphere of a specific sound source track is switched.
  • the tempo information may be information on the playback speed of a specific sound source track.
  • the controller 19 can extract the onset position information, the bit position information, the segment time information, and the tempo information from each separated sound source track.
  • FIGS. 6 and 7 are diagrams illustrating a process of extracting sound source characteristic information from each sound source track according to an embodiment of the present invention.
  • one music 600 may be divided into a plurality of sound source tracks 611 to 617 and stored in the memory 13.
  • Each of the plurality of sound source tracks 611 to 617 may be represented by a sound source signal that varies during a reproduction interval of the music 600.
  • the controller 19 can extract the vocal sound source characteristic information 631 from the vocal sound source track 611. [
  • the controller 19 can extract other sound source characteristic information 633 from the other sound source track 613.
  • the controller 19 can extract other sound source characteristic information 635 from the drum sound source track 615.
  • the controller 19 can extract the keyboard sound source characteristic information 637 from the keyboard sound source track 617.
  • the controller 19 can extract sound source characteristic information from each of the plurality of sound source tracks 611 to 617 according to the flowchart shown in Fig.
  • the controller 19 performs rectifying and smoothing operations on the sound source track (S701).
  • controller 19 performs differentiation (S703).
  • the controller 19 performs peak picking for extracting a peak value from the sound source track that has undergone the undifferentiation process (S705).
  • the controller 19 acquires the on position information of the corresponding sound source track according to the performance of peak picking (S707).
  • the onset position information may include starting points of the sound of the corresponding sound source.
  • the onset position information of the other sound source track may include information on the timing at which the other sound sources start, such as [2.34, 2.73, 3.11, 3.52].
  • 2.34 means 2 minutes 34 seconds when the total playback interval of the music is 5 minutes. Specifically, 2.34 seconds may be the operation timing of moving the figure's hand.
  • the controller 19 performs a sub-band autocorrelation process after the undifferentiation process (S709).
  • the sub-band autocorrelation process may be a process of extracting the periodicity of the sound source track signal.
  • the subband autocorrelation process may be a process of separating a detection function into a plurality of subbands, applying a filter bank for each separated subband, and performing peak picking for all tempo ranges.
  • the controller 19 performs peak picking for extracting a peak value after performing a subband auto-correlation process (S711), and acquires the tempo information of the sound source track (S713).
  • the tempo of the guitar source track may be 120 BPM.
  • the controller 19 performs a dynamic programming operation using the undifferentiated result of the specific sound source track and the obtained tempo information (S715).
  • the controller 19 acquires the bit position information according to the dynamic programming operation (S717).
  • the controller 19 extracts Mel-Frequency Cepstrum Coefficients from the specific sound source track (S719).
  • the controller 19 performs a self-similarity process (S721), performs a segmentation process on the result of self-similarity (S723), and obtains segment time information (S725 ).
  • the segment time information may include information on the times when the atmosphere of a specific sound source track is switched.
  • the segment time information of the other source track includes information about the times when the atmosphere of the other source is changed, such as [0.00, 2.29, 3.04, 26.42] .
  • the controller 19 obtains sound source characteristic information including onset position information, bit position information, tempo information and segment time information for each sound source track (S727).
  • the controller 19 using the extracted sound source characteristic information, music The bots 30-1 to 30-n And generates a plurality of control commands for controlling the operation (S505).
  • Each of the plurality of control commands can be mapped to each of the plurality of music bots.
  • the onset position information included in the sound source characteristic information can be used to control the hand motion of the figure 37 constituting the music bob 30.
  • the onset position information may include information on timing of controlling the hand motion of the music bots.
  • the controller 19 may use the on-position information to generate a hand control command for controlling the hand motion of the figure.
  • the onset position information of the other sound source track is [2.34, 2.73, 3.11, 3.52]
  • the second figure 37-2 of the second music bobble 30-2 is moved Hand control commands can be generated.
  • the bit position information can be used to control the head movement of the figure 37 constituting the music bob 30.
  • the bit position information may include information on timing for controlling the head operation of the music bots.
  • the controller 19 may use the bit position information to generate a head control command that controls the head operation of the figure. Specifically, when the bit position information of the other sound source tracks is [3.11, 3.48, 3.90, 4.27], the controller 19 determines that the second figure 37-2 of the second music bob 30-2 You can create a head control command that causes the head to move.
  • the tempo information can be used to control the rotational speed of the rotating plate constituting the music bob 30.
  • the controller 19 may use the tempo information to generate a spindle speed control command for controlling the spindle speed of the spindle supporting the figure.
  • the controller 19 can generate a spindle speed control command for controlling the speed of the spindle at a speed corresponding to the tempo.
  • the tempo information may include information on the repetition period of the hand, head, and rotation motions of the figure.
  • the segment time information may be used to change the action taken by the figure comprising the music bots 30.
  • the segment time information may include information on the timing of rotating the music bots.
  • the controller 19 may use the segment time information to generate a repeat action command that changes a first action that the figure repeatedly takes to a second action that is repeated.
  • the controller 190 can generate a repetitive action control command for changing the action taken by the figure at that point in time.
  • the control command may include a plurality of motion control commands.
  • the plurality of motion control commands may include a hand control command, a head control command, a repeat action control command, and a spindle speed control command, as described above.
  • controller 19 may store the sound source analysis information in which the vocal sound source characteristic information, the other sound source characteristic information, the drum sound source characteristic information, and the keyboard sound source characteristic information are integrated in the memory 13.
  • the sound source analysis information will be described with reference to FIG.
  • FIG. 8 is a view for explaining sound source analysis information according to an embodiment of the present invention.
  • the sound source analysis information may include vocal sound source characteristic information 810, other sound source characteristic information 830, drum sound source characteristic information 850, and keyboard sound source characteristic information 870.
  • Tempo information 890 of each sound source characteristic information can be commonly applied to 120 BPM.
  • the vocal sound source characteristic information 810, the other sound source characteristic information 830, and the key sound source characteristic information 870 may include onset position information and segment information.
  • the segment information may be information generated based on the segment time information.
  • the segment time information may include a plurality of time points at which the atmosphere of the sound source track is switched.
  • the segment information may include a segment item that includes any one of a plurality of viewpoints, a rotation angle of the rotating plate that supports the figure, and a time to maintain rotation.
  • the segment information may include a plurality of segment items.
  • the segment item 811a of the segment information 811 included in the vocal sound source characteristic information 810 is configured as [27.283446712, -10, 1.0].
  • 27.283446712 is a time at which the rotating plate rotates during a total reproduction section of the music
  • -10 is a rotating angle of the rotating plate
  • 1.0 is a time to maintain the rotation by -10 degrees.
  • the controller 19 can include the respective sound source characteristic information in the control command and transmit it to the corresponding music bots.
  • the drum sound source characteristic information 850 may include onset position information, bit position information, and segment information.
  • the controller 19 generates a plurality of generated control commands Each Plural music Bots (30-1 to 30-n) (S507).
  • the controller 19 can transmit control commands to the respective music bots through the communication unit 11.
  • the controller 19 transmits a first control command to the first music bobble 30-1, transmits a second control command to the second music bobble 30-2, To the third music bots 30-3, and to transmit the fourth motion commands to the fourth music bots 30-4.
  • the first control command may be a command for controlling the motion of the first music bobble 30-1 based on the vocal sound source characteristic information 810.
  • the first music bots 30-1 can take a motion corresponding to a specific time point according to the vocal sound source characteristic information 810 corresponding to the first control command received from the mobile terminal 10.
  • the second control command may be a command for controlling the motion of the second music bobble 30-2 based on the other sound source characteristic information 830.
  • the second music bobble 30-2 may take a motion corresponding to a specific point in time according to the other sound source characteristic information 830 corresponding to the second control command received from the mobile terminal 10.
  • the third control command may be a command for controlling the motion of the third music bobble 30-3, based on the drum sound source characteristic information 850.
  • the third music boss 30-3 may take a motion corresponding to the specific point in time according to the drum sound source characteristic information 850 corresponding to the third control command received from the mobile terminal 10.
  • the fourth control command may be a command for controlling the motion of the fourth music bobble 30-4 based on the keyboard sound source characteristic information 870.
  • the fourth music bots 30-4 can take a motion corresponding to a specific time point according to the key sound source characteristic information 870 corresponding to the fourth control command received from the mobile terminal 10.
  • the first to fourth music bots 30-1 to 30-4 can operate in synchronization in accordance with the received control command.
  • the music boss responsible for one sound source track can take a motion reflecting characteristics of the corresponding sound source track in real time, so that an emotional interaction with the user can be performed.
  • the user can feel that each of the music bots is actually playing the part he / she plays.
  • a spatial feeling similar to a live performance can be formed according to the arrangement of the music bots.
  • controller 19 can transmit the music track matched to each music bot while transmitting a control command to each music bot.
  • FIG. 9 is a view for explaining a control screen for controlling the operation of a plurality of music bots according to an embodiment of the present invention.
  • the display 15 of the mobile terminal 10 may display a control screen 900 for controlling the operation of the plurality of music bots 30-1 to 30-4 according to the execution of the application .
  • the control screen 900 includes a first button 901 for controlling the operation of the first music boss 30-1, a second button 903 for controlling the operation of the second music boss 30-2, A third button 905 for controlling the operation of the third music boss 30-3 and a fourth button 907 for controlling the operation of the fourth music boss 30-4.
  • the mobile terminal 10 transmits a control command for controlling the output of the vocal sound track and the motion of the figure 37-1 of the first music boss 30-1 To the first music bots 30-1.
  • the control screen 900 may further include a fifth button 909 for allowing the first to fourth music bots 30-1 to 30-4 to perform song concatenation according to the reproduction of the music.
  • the controller 19 controls the first through fourth music bots 30-1 through 30-4 so that each of the first through fourth music bots 30-1 through 30-4 takes a specific motion according to the sound source characteristic information while outputting the corresponding sound source track To the first to fourth music bots 30-1 to 30-4, respectively.
  • the control screen 900 may further include a playback bar 911 indicating the playback state of the music.
  • the selection of the reproduction button included in the reproduction bar 911 can be handled in the same manner as the selection of the fifth button 909. [
  • the user can selectively press one or more of the first to fourth buttons 901 to 907.
  • the mobile terminal 10 may transmit control commands to one or more music bots corresponding to the selected one or more buttons. For example, when the user wishes to view only the vocal sound track and the other sound track, only the first button 901 and the second button 903 can be selected.
  • the above-described method can be implemented as a code readable by a processor on a medium on which a program is recorded.
  • Examples of the medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and may be implemented in the form of a carrier wave (e.g., transmission over the Internet) .
  • the above-described display device is not limited to the configuration and method of the above-described embodiments, but the embodiments may be configured such that all or some of the embodiments are selectively combined so that various modifications can be made. It is possible.

Abstract

본 발명의 실시 예에 따른 이동 단말기는 디스플레이, 복수의 뮤직 봇들과 통신을 수행하는 통신부 및 음악을 구성하는 기 분리된 복수의 음원 트랙들 각각으로부터 음원 특성 정보를 추출하고, 추출된 각 음원 특성 정보를 이용하여, 복수의 뮤직 봇들의 동작을 제어하기 위한 복수의 제어 명령들을 생성하고, 생성된 복수의 제어 명령들 각각을 상기 통신부를 통해 상기 복수의 뮤직 봇들 각각에 전송하는 컨트롤러를 포함할 수 있다.

Description

이동 단말기 및 이동 단말기를 포함하는 음악 재생 시스템
본 발명은 이동 단말기 및 이동 단말기를 포함하는 음악 재생 시스템에 관한 것이다.
로봇 기술이 발달함에 따라 관절이나 바퀴 등을 모듈화하여 로봇을 구축하는 방법이 사용되고 있다. 예컨대, 로 봇을 구성하는 다수의 액츄에이터 모듈(actuator module)을 전기적, 기계적으로 연결 및 조립하여 강아지, 공룡, 인간, 거미 등 다양한 형태의 로봇을 만들 수 있도록 하고 있다.
이러한 다수의 액츄에이터 모듈을 조립함으로써 제작될 수 있는 로봇을 통상적으로 모듈러 로봇(modular robot)이라 한다. 모듈러 로봇을 구성하는 각 액츄에이터 모듈은 내부에 모터가 구비되어 모터의 회전에 따라 로봇의 모션(motion)이 실행된다. 이러한 로봇의 모션은 동작, 춤 등과 같은 로봇의 움직임을 통칭하는 개념이다.
최근에는 엔터테인먼트용 로봇이 두각을 나타내면서 오락이나 사람의 흥미를 돋우기 위한 로봇에 대한 관심이 높아지고 있다. 예컨대 음원에 맞춰 로봇이 춤을 추도록 하는 기술들이 개발되고 있다.
이는 음원에 맞는 다수의 모션들을 미리 설정해 두고 외부장치에서 음원이 재생되면 그에 맞게 미리 설정된 모션을 실행시킴으로써 춤을 추도록 하는 것이다.
그러나, 종래기술에서는 재생되는 음악에 맞춰 춤을 시작하는 시점을 동기화하기 어려워 음악과 로봇의 춤이 조화가 잘 이루어지기 어렵다는 문제가 있다.
또한, 종래에는 로봇에서 음악을 입력받아 춤동작을 위한 파라미터를 분석하고 그 분석된 파라미터에 의거하여 미리 저장해 둔 춤동작 정보를 생성하여 음악에 맞춰 춤을 추도록 하는 로봇이 제시되고 있다. 이는 로봇에서 입력된 음악을 분석해야 하는 어려움이 존재한다.
본 발명은 하나의 음악을 구성하는 복수의 음원 트랙들 각각에 복수의 뮤직 봇들을 맵핑시켜, 음원 트랙에 맞는 동작을 취하도록 할 수 있는 이동 단말기 및 그를 포함하는 음악 재생 시스템의 제공을 목적으로 한다.
본 발명의 실시 예에 따른 이동 단말기는 디스플레이, 복수의 뮤직 봇들과 통신을 수행하는 통신부 및 음악을 구성하는 기 분리된 복수의 음원 트랙들 각각으로부터 음원 특성 정보를 추출하고, 추출된 각 음원 특성 정보를 이용하여, 복수의 뮤직 봇들의 동작을 제어하기 위한 복수의 제어 명령들을 생성하고, 생성된 복수의 제어 명령들 각각을 상기 통신부를 통해 상기 복수의 뮤직 봇들 각각에 전송하는 컨트롤러를 포함할 수 있다.
상기 각 음원 특성 정보는 음원 트랙이 시작되는 시점에 대한 온셋 포지션 정보, 상기 음원 트랙의 박자에 대한 비트 포지션 정보, 상기 음원 트랙의 분위기가 전환되는 시점에 대한 세그먼트 시간 정보, 상기 음원 트랙의 빠르기에 대한 템포 정보를 포함할 수 있다.
상기 온셋 포지션 정보는 뮤직 봇의 손 동작을 제어하는 타이밍에 대한 정보를 포함하고, 상기 비트 포지션 정보는 상기 뮤직 봇의 머리 동작을 제어하는 타이밍에 대한 정보를 포함하고, 상기 세그먼트 시간 정보는 상기 뮤직 봇을 회전시키는 타이밍에 대한 정보를 포함하고, 상기 템포 정보는 상기 뮤직 봇의 손 동작, 머리 동작, 회전 동작의 반복 주기에 대한 정보를 포함할 수 있다.
상기 컨트롤러는 상기 세그먼트 시간 정보에 기초하여, 상기 뮤직 봇을 회전시키는 각도 및 회전의 유지 시간을 포함하는 세그먼트 정보를 생성하고, 생성된 세그먼트 정보를 상기 제어 명령에 포함시켜 전송할 수 있다.
상기 이동 단말기는 복수의 음원 특성 정보들을 저장하는 메모리를 더 포함하고, 각 음원 특성 정보는 복수의 뮤직 봇들 각각에 매핑되어 저장될 수 있다.
상기 컨트롤러는 상기 복수의 제어 명령들 각각과 함께 상기 복수의 음원 트랙들 각각을 상기 복수의 뮤직 봇들 각각에 전송할 수 있다.
상기 디스플레이는 복수의 뮤직 봇들 각각과 맵핑된 복수의 버튼들을 표시하고, 상기 컨트롤러는 상기 복수의 버튼들 중 선택된 하나 이상의 버튼에 대응하는 뮤직 봇에 상기 제어 명령을 전송할 수 있다.
상기 통신부는 USB 규격을 이용하여, 상기 제어 명령을 전송할 수 있다.
본 발명의 일 실시 예에 따른 음악 재생 시스템은 음원 트랙을 출력하는 복수의 뮤직 봇들 및 음악을 구성하는 기 분리된 복수의 음원 트랙들 각각으로부터 음원 특성 정보를 추출하고, 추출된 각 음원 특성 정보를 이용하여, 복수의 뮤직 봇들의 동작을 제어하기 위한 복수의 제어 명령들을 생성하고, 생성된 복수의 제어 명령들 각각을 상기 통신부를 통해 상기 복수의 뮤직 봇들 각각에 전송하는 이동 단말기를 포함할 수 있다.
사용자는 분리된 음원 트랙들을 각 뮤직 봇에 포함된 스피커를 통해 동시에 재생하게 되면, 각각의 뮤직 봇이 각자 맡고 있는 파트를 실제로 연주하고 있는 느낌을 받을 수 있다.
또한, 뮤직 봇들의 배치에 따라 라이브 공연과 유사한 공간감이 형성될 수 있다.
도 1 내지 도 3은 본 발명의 실시 예에 따른 음악 재생 시스템의 구성을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 음악 재생 시스템을 구성하는 이동 단말기의 블록도를 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 이동 단말기의 동작 방법을 설명하기 위한 흐름도이다.
도 6 및 도 7은 본 발명의 실시 예에 따라 각 음원 트랙으로부터 음원 특성 정보를 추출하는 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 음원 분석 정보를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따라 복수의 뮤직 봇들의 동작을 제어하는 제어 화면을 설명하는 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1 내지 도 3은 본 발명의 실시 예에 따른 음악 재생 시스템의 구성을 설명하는 도면이다.
먼저, 도 1을 참조하면, 본 발명의 일 실시 예에 따른 음악 재생 시스템(1)은 이동 단말기(10) 및 복수의 뮤직 봇들(30-1 내지 30-n)을 포함할 수 있다.
이동 단말기(10)는 복수의 뮤직 봇들(30-1 내지 30-n) 각각과 통신을 수행할 수 있다.
이동 단말기(10)는 복수의 뮤직 봇들(30-1 내지 30-n) 각각에 유선 또는 무선으로, 제어 명령을 전송할 수 있다.
일 실시 예에서, 이동 단말기(10)는 유선 통신을 이용하는 경우, USB(Universal, Serial Bus) 규격을 이용하여, 각 뮤직 봇(30)에 제어 명령을 전송할 수 있다.
또 다른 실시 예에서, 무선 통신을 이용하는 경우, 이동 단말기(10)는 근거리 무선 통신 규격을 이용하여, 각 뮤직 봇(30)에 제어 명령을 전송할 수 있다.
근거리 무선 통신 규격은 블루투스, 지그비, 와이파이 규격 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
복수의 뮤직 봇들(30-1 내지 30-n) 각각은 이동 단말기(10)로부터 수신된 제어 명령에 따라 하나의 음악을 구성하는 복수의 음원들 각각을 재생할 수 있다.
또한, 복수의 뮤직 봇들(30-1 내지 30-n) 각각은 해당 음원을 재생하면서, 특정 모션을 수행할 수 있다.
도 2를 참조하면, 음악 재생 시스템(1)은 이동 단말기(10) 및 뮤직 봇(30) 이외에, 유선 인터페이스(20)를 더 포함할 수 있다.
도 2는 특히, 유선 통신을 통해, 이동 단말기(10)가 뮤직 봇(30)의 동작을 제어하는 예를 설명하는 도면이다.
유선 인터페이스(20)는 이동 단말기(10)로부터 전달된 제어 명령 및 해당 음원을 해당 뮤직 봇(30)에 전달하기 위한 인터페이스일 수 있다.
유선 인터페이스(20)는 복수의 USB 포트들(21-1 내지 21-n) 및 전원 공급부(23)를 포함할 수 있다.
복수의 USB 포트들(21-1 내지 21-n) 각각은 복수의 뮤직 봇들 각각과 연결되어, 이동 단말기(10)로부터 수신된 제어 명령을 각 뮤직 봇에 전달할 수 있다.
전원 공급부(23)는 각 뮤직 봇에 전원을 공급할 수 있다.
뮤직 봇(30)는 프로세서(31), 증폭기(33), 스피커(35), 구동부(36) 및 피규어(37)를 포함할 수 있다.
프로세서(31)는 뮤직 봇(30)의 동작을 전반적으로 제어할 수 있다.
프로세서(31)는 이동 단말기(10)로부터 하나의 음악을 구성하는 복수의 음원트랙들 중 특정 음원 트랙을 수신할 수 있다.
프로세서(31)는 수신된 특정 음원 트랙을 증폭기(33)에 전달할 수 있다.
증폭기(33)는 전달받은 특정 음원 트랙을 증폭시킬 수 있다.
스피커(35)는 증폭된 특정 음원 트랙을 출력할 수 있다. 도 2에서, 스피커(35)는 뮤직 봇(30)의 구성에 포함된 것으로 설명되었으나, 이는 예시에 불과하고, 뮤직 봇(30)과 별도로 구성될 수도 있다.
구동부(36)는 프로세서(31)로부터 수신된 구동 명령에 따라 피규어(37)를 동작시킬 수 있다.
구동부(36)는 프로세서(31)로부터 수신된 구동 명령에 따라 특정 모션을 취하도록 피규어(37)의 동작을 제어할 수 있다.
피규어(37)는 구동부(36)로부터 수신된 구동 명령에 따라 특정 모션을 수행할 수 있다.
피규어(37)는 스피커(35)의 상단에 배치될 수 있으나, 이는 예시에 불과하다.
도 3은 뮤직 봇(30)의 실제 예를 보여주는 도면이다.
도 3에서 뮤직 봇(30)의 개수는 4개임을 가정하여 설명하나, 이는 예시에 불과한 수치이다.
하나의 음악은 복수의 음원 트랙들로 구성될 수 있다. 예를 들어, 하나의 음악은 보컬 음원 트랙, 기타 음원 트랙, 드럼 음원 트랙, 건반 음원 트랙을 포함할 수 있다.
이하의 실시 예에서, 하나의 음악은 보컬 음원 트랙, 기타 음원 트랙, 드럼 음원 트랙, 건반 음원 트랙을 포함하는 것을 가정하여 설명한다.
이동 단말기(10)는 기 분리된 복수의 음원 트랙들 각각을 복수의 뮤직 봇들(30-1 내지 30-4) 각각에 전송할 수 있다.
제1 뮤직 봇(30-1)은 제1 스피커(35-1) 및 제1 피규어(37-1)를 포함한다.
이동 단말기(10)는 제1 뮤직 봇(30-1)에 보컬 음원 트랙을 전송할 수 있고, 제1 스피커(35-1)는 이동 단말기(10)로부터 수신된 보컬 음원 트랙을 출력할 수 있다.
제1 피규어(37-1)는 보컬 음원 트랙에 대응하는 형상을 가질 수 있다.
제1 피규어(37-1)의 하단에는 제1 피규어(37-1)를 회전시킬 수 있는 제1 회전판(39-1)이 더 구비될 수 있다.
제1 피규어(37-1)는 제1 스피커(35-1)가 출력하는 보컬 음원 트랙에 맞추어 구동될 수 있다.
예를 들어, 제1 피규어(37-1)는 보컬 음원 트랙에 맞추어, 마이크를 잡고 노래를 부르는 모션을 취할 수 있다.
제2 뮤직 봇(30-2)은 제2 스피커(35-2) 및 제2 피규어(37-2)를 포함한다.
이동 단말기(10)는 제2 뮤직 봇(30-2)에 기타 음원 트랙을 전송할 수 있고, 제2 스피커(35-2)는 수신된 기타 음원 트랙을 출력할 수 있다.
제2 피규어(37-2)는 기타 음원 트랙에 대응하는 형상을 가질 수 있다.
제2 피규어(37-2)의 하단에는 제2 피규어(37-2)를 회전시킬 수 있는 제2 회전판(39-2)이 더 구비될 수 있다.
제2 피규어(37-2)는 제2 스피커(35-2)가 출력하는 기타 음원 트랙에 맞추어 구동될 수 있다. 예를 들어, 제2 피규어(37-2)는 기타 음원 트랙에 맞추어, 기타를 치는 모션을 취할 수 있다.
제3 뮤직 봇(30-3)은 제3 스피커(35-3) 및 제3 피규어(37-3)를 포함한다.
이동 단말기(10)는 제3 뮤직 봇(30-3)에 드럼 음원 트랙을 전송할 수 있고, 제3 스피커(35-3)는 수신된 드럼 음원 트랙을 출력할 수 있다.
제3 피규어(37-3)는 드럼 음원 트랙에 대응하는 형상을 가질 수 있다.
제3 피규어(37-3)의 하단에는 제3 피규어(37-3)를 회전시킬 수 있는 제3 회전판(39-3)이 더 구비될 수 있다.
제3 피규어(37-3)는 제3 스피커(35-3)가 출력하는 드럼 음원 트랙에 맞추어 구동될 수 있다. 예를 들어, 제3 피규어(37-3)는 드럼 음원 트랙에 맞추어, 드럼을 치는 모션을 취할 수 있다.
제4 뮤직 봇(30-4)은 제4 스피커(35-4) 및 제4 피규어(37-4)를 포함한다.
이동 단말기(10)는 제4 뮤직 봇(30-4)에 건반 음원 트랙을 전송할 수 있고, 제4 스피커(35-4)는 수신된 건반 음원 트랙을 출력할 수 있다.
제4 피규어(37-4)는 건반 음원 트랙에 대응하는 형상을 가질 수 있다.
제4 피규어(37-4)의 하단에는 제4 피규어(37-4)를 회전시킬 수 있는 제4 회전판(39-4)이 더 구비될 수 있다.
제4 피규어(37-4)는 제4 스퍼커(35-4)가 출력하는 건반 음원 트랙에 맞추어 구동될 수 있다. 예를 들어, 제4 피규어(37-4)는 건반 음원 트랙에 맞추어, 건반을 치는 모션을 취할 수 있다.
다음으로, 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따른 음악 재생 시스템을 구성하는 이동 단말기의 블록도를 설명하는 도면이다.
도 4를 참조하면, 이동 단말기(10)는 통신부(11), 메모리(13), 디스플레이(15) 및 컨트롤러(19)를 포함할 수 있다.
통신부(11)는 뮤직 봇(30)과 유선 또는 무선 통신을 수행할 수 있다.
통신부(11)가 뮤직 봇(30)과 유선 통신을 수행하는 경우, 유선 통신 규격은 USB 규격이 사용될 수 있다.
통신부(11)가 뮤직 봇(30)과 무선 통신을 수행하는 경우, 무선 통신 규격은 블루투스, 지그비, 와이파이와 같은 근거리 무선 통신 규격이 사용될 수 있다.
통신부(11)는 컨트롤러(19)가 생성한 복수의 제어 명령들 각각을 복수의 뮤직 봇들 각각에 전송할 수 있다.
메모리(13)는 복수의 음원 트랙들 각각으로부터 추출된 복수의 음원 특성 정보들을 저장한다.
각 음원 특성 정보는 온셋 포지션 정보, 비트 포지션 정보, 템포 정보 및 세그멘트 시간 정보를 포함할 수 있다.
메모리(13)는 복수의 음원 트랙들 각각을 복수의 음원 특성 정보들 각각에 대응시켜 저장할 수 있다.
디스플레이(15)는 복수의 뮤직 봇(30-1 내지 30-n)을 제어하기 위한 제어 화면을 표시할 수 있다.
디스플레이(15)는 사용자의 터치 입력이 가능한 터치 스크린의 형태로 구성될 수 있다.
컨트롤러(19)는 이동 단말기(10)의 전반적인 동작을 제어할 수 있다.
컨트롤러(19)는 하나의 음악을 구성하는 복수의 음원 트랙들을 획득할 수 있다.
컨트롤러(19)는 획득된 복수의 음원 트랙들 각각으로부터 음원 특성 정보를 추출할 수 있다.
컨트롤러(19)는 추출된 각 음원 특성 정보를 이용하여, 복수의 뮤직 봇들(30-1 내지 30-n)의 동작을 제어하기 위한 복수의 제어 명령들을 생성할 수 있다.
컨트롤러(19)는 생성된 복수의 제어 명령들 각각을 복수의 뮤직 봇들(30-1 내지 30-n) 각각에 전송할 수 있다.
다음으로, 도 5를 참조하여, 본 발명의 일 실시 예에 따른 이동 단말기의 동작 방법을 설명한다.
도 5는 본 발명의 일 실시 예에 따른 이동 단말기의 동작 방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 일 실시 예에 따른 이동 단말기(10)의 동작 방법을 도 1 내지 도 4의 내용에 결부시켜 설명한다.
도 5를 참조하면, 이동 단말기(10)의 컨트롤러(19)는 하나의 음악을 구성하는 복수의 음원 트랙들을 획득한다(S501).
하나의 음악은 복수의 음원 트랙들로 구성될 수 있다. 예를 들어, 하나의 음악은 보컬 음원 트랙, 기타 음원 트랙, 드럼 음원 트랙 및 건반 음원 트랙으로 구성될 수 있다.
하나의 음악은 보컬 음원 트랙, 기타 음원 트랙, 드럼 음원 트랙 및 건반 음원 트랙으로 분리된 상태로 메모리(13)에 저장될 수 있다.
컨트롤러(19)는 메모리(13)로부터 분리된 복수의 음원 트랙들을 얻을 수 있다.
컨트롤러(19)는 획득된 복수의 음원 트랙들 각각으로부터 음원 특성 정보를 추출한다(S503).
복수의 음원 트랙들 각각으로부터 추출된 각 음원 특성 정보는 복수의 뮤직 봇들 각각에 매핑될 수 있다. 각 음원 특성 정보는 각 뮤직 봇(30)의 동작을 제어하는데 사용될 수 있다.
일 실시 예에서, 음원 특성 정보는 온셋 포지션(Onset Position) 정보, 비트 포지션(beat position) 정보, 세그먼트 시간(segment time) 정보, 템포(tempo) 정보를 포함할 수 있다.
온셋 포지션 정보는 특정 음원 트랙이 시작되는 시점에 대한 정보일 수 있다.
온셋 포지션 정보는 특정 음원 트랙이 시작되는 복수의 시점들을 포함할 수 있다.
비트 포지션 정보는 특정 음원 트랙의 박자에 대한 정보일 수 있다.
세그먼트 시간 정보는 특정 음원 트랙의 분위기가 전환되는 시점에 대한 정보일 수 있다.
템포 정보는 특정 음원 트랙의 재생 빠르기에 대한 정보일 수 있다.
컨트롤러(19)는 분리된 각 음원 트랙으로부터 온셋 포지션 정보, 비트 포지션 정보, 세그먼트 시간 정보, 템포 정보를 추출할 수 있다.
이에 대해서는 도 6 및 도 7을 참조하여 설명한다.
도 6 및 도 7은 본 발명의 실시 예에 따라 각 음원 트랙으로부터 음원 특성 정보를 추출하는 과정을 설명하는 도면이다.
먼저, 도 6을 참조하면, 하나의 음악(600)은 복수의 음원 트랙들(611 내지 617)로 분리되어 메모리(13)에 저장될 수 있다.
복수의 음원 트랙들(611 내지 617) 각각은 음악(600)의 재생 구간 동안 변동되는 음원 신호로 나타내어질 수 있다.
컨트롤러(19)는 보컬 음원 트랙(611)으로부터 보컬 음원 특성 정보(631)를 추출할 수 있다.
컨트롤러(19)는 기타 음원 트랙(613)으로부터 기타 음원 특성 정보(633)를 추출할 수 있다.
컨트롤러(19)는 드럼 음원 트랙(615)으로부터 기타 음원 특성 정보(635)를 추출할 수 있다.
컨트롤러(19)는 건반 음원 트랙(617)으로부터 건반 음원 특성 정보(637)를 추출할 수 있다.
각 음원 트랙으로부터 음원 특성 정보를 추출하는 과정을 도 7을 참조하여 더 자세히 설명한다.
컨트롤러(19)는 복수의 음원 트랙들(611 내지 617) 각각으로부터 도 7에 도시된 플로우 차트에 따라 음원 특성 정보를 추출할 수 있다.
먼저, 컨트롤러(19)는 음원 트랙에 대해 정류(rectifying) 및 평탄화(smoothing) 작업을 수행한다(S701).
그 후, 컨트롤러(19)는 미분화 과정(differentiation)을 수행한다(S703).
컨트롤러(19)는 미분화 과정을 거친 음원 트랙으로부터 피크 값을 추출하는 피크 피킹(peak picking)을 수행한다(S705).
컨트롤러(19)는 피크 피킹의 수행에 따라 해당 음원 트랙의 온셋 포지션 정보를 획득한다(S707).
온셋 포지션 정보는 해당 음원의 소리가 시작되는 시점들을 포함할 수 있다.
예를 들어, 분석된 음원 트랙이 기타 음원 트랙인 경우, 기타 음원 트랙의 온셋 포지션 정보는 [2.34, 2.73, 3.11, 3.52]와 같이, 기타 음원이 시작되는 시점에 대한 정보를 포함할 수 있다.
2.34는 음악의 총 재생 구간이 5분인 경우, 2분 34초의 지점을 의미할 수 있다. 구체적으로, 2.34초는 피규어의 손을 움직이는 동작 타이밍일 수 있다.
한편, 컨트롤러(19)는 미분화 과정 후, 서브 밴드 자기 상관(sub-band autocorrelation) 과정을 수행한다(S709).
서브 밴드 자기 상관 과정은 음원 트랙 신호의 주기성을 추출하는 과정일 수 있다.
서브 밴드 자기 상관 과정은 검출 함수(detection function)를 복수의 서브 밴드들로 분리하고, 분리된 각 서브 밴드에 대해 필터 뱅크를 적용하여, 모든 템포 범위에 대해 피크 피킹을 수행하는 과정일 수 있다.
컨트롤러(19)는 서브 밴드 자기 상관 과정을 거친 후, 피크 값을 추출하는 피크 피킹을 수행하여(S711), 해당 음원 트랙의 템포 정보를 획득한다(S713).
예를 들어, 분석된 음원 트랙이 기타 음원 트랙인 경우, 기타 음원 트랙의 템포는 120BPM일 수 있다.
한편, 컨트롤러(19)는 특정 음원 트랙의 미분화 결과와 획득된 템포 정보를 이용하여, 다이내믹 프로그래밍(dynamic programming) 작업을 수행한다(S715).
컨트롤러(19)는 다이내믹 프로그래밍 작업에 따라 비트 포지션 정보를 획득한다(S717).
한편, 컨트롤러(19)는 특정 음원 트랙으로부터 멜 주파수 셉 스트 럴 계수(Mel-Frequency Cepstrum Coefficients)를 추출한다(S719).
그 후, 컨트롤러(19)는 자기 유사성(self-similarity) 과정을 수행하고(S721), 자기 유사성의 수행 결과에 대해 세분화(segmentation) 과정을 수행하여(S723), 세그먼트 시간 정보를 획득한다(S725).
세그먼트 시간 정보는 특정 음원 트랙의 분위기가 전환되는 시점들에 대한 정보를 포함할 수 있다.
예를 들어, 분석된 음원 트랙이 기타 음원 트랙인 경우, 기타 음원 트랙의 세그먼트 시간 정보는 [0.00, 2.29, 3.04, 26.42]와 같이, 기타 음원의 분위기가 변경되는 시점들에 대한 정보를 포함할 수 있다.
컨트롤러(19)는 각 음원 트랙에 대한 온셋 포지션 정보, 비트 포지션 정보, 템포 정보 및 세그먼트 시간 정보를 포함하는 음원 특성 정보를 획득한다(S727).
다시 도 5를 설명한다.
컨트롤러(19)는 추출된 각 음원 특성 정보를 이용하여, 복수의 뮤직 봇들(30-1 내지 30-n)의 동작을 제어하기 위한 복수의 제어 명령들을 생성한다(S505).
복수의 제어 명령들 각각은 복수의 뮤직 봇들 각각에 매핑될 수 있다.
일 실시 예에서, 음원 특성 정보에 포함된 온셋 포지션 정보는 뮤직 봇(30)을 구성하는 피규어(37)의 손 동작을 제어하는데 이용될 수 있다.
온셋 포지션 정보는 뮤직 봇의 손 동작을 제어하는 타이밍에 대한 정보를 포함할 수 있다.
예를 들어, 컨트롤러(19)는 온셋 포지션 정보를 이용하여, 피규어의 손 동작을 제어하는 손 제어 명령을 생성할 수 있다. 구체적으로, 기타 음원 트랙의 온셋 포지션 정보가 [2.34, 2.73, 3.11, 3.52]인 경우, 해당 시점에 제2 뮤직 봇(30-2)의 제2 피규어(37-2)의 손을 움직이도록 하는 손 제어 명령을 생성할 수 있다.
일 실시 예에서, 비트 포지션 정보는 뮤직 봇(30)을 구성하는 피규어(37)의 머리 동작을 제어하는데 사용될 수 있다.
비트 포지션 정보는 상기 뮤직 봇의 머리 동작을 제어하는 타이밍에 대한 정보를 포함할 수 있다.
예를 들어, 컨트롤러(19)는 비트 포지션 정보를 이용하여, 피규어의 머리 동작을 제어하는 머리 제어 명령을 생성할 수 있다. 구체적으로, 기타 음원 트랙의 비트 포지션 정보가 [3.11, 3.48, 3.90, 4.27]인 경우, 컨트롤러(19)는 해당 시점에 제2 뮤직 봇(30-2)의 제2 피규어(37-2)의 머리가 움직이도록 하는 머리 제어 명령을 생성할 수 있다.
일 실시 예에서, 템포 정보는 뮤직 봇(30)을 구성하는 회전판의 회전 속도를 제어하는데 사용될 수 있다.
예를 들어, 컨트롤러(19)는 템포 정보를 이용하여, 피규어를 받치는 회전판의 회전 속도를 제어하는 회전판 속도 제어 명령을 생성할 수 있다. 구체적으로, 기타 음원 트랙의 템포 정보가 120 BPM인 경우, 컨트롤러(19)는 해당 템포에 대응하는 속도로 회전판의 속도를 제어하는 회전판 속도 제어 명령을 생성할 수 있다.
또 다른 실시 예에서, 템포 정보는 피규어의 손 동작, 머리 동작, 회전 동작의 반복 주기에 대한 정보를 포함할 수 있다.
일 실시 예에서 세그먼트 시간 정보는 뮤직 봇(30)을 구성하는 피규어가 취하는 액션을 변경하는데 사용될 수 있다.
세그먼트 시간 정보는 상기 뮤직 봇을 회전시키는 타이밍에 대한 정보를 포함할 수 있다.
예를 들어, 컨트롤러(19)는 세그먼트 시간 정보를 이용하여, 피규어가 반복적으로 취하는 제1 액션을 반복적인 제2 액션으로 변경하는 반복 액션 명령을 생성할 수 있다.
구체적으로, 기타 음원 트랙의 세그먼트 시간 정보가 [0.00, 2.29, 3.04, 26.42]인 경우, 컨트롤러(190)는 해당 시점에서 피규어가 취하는 액션을 변경하도록 하는 반복 액션 제어 명령을 생성할 수 있다.
제어 명령은 복수의 모션 제어 명령들을 포함할 수 있다. 복수의 모션 제어 명령들은 위에서 설명된 바와 같이, 손 제어 명령, 머리 제어 명령, 반복 액션 제어 명령, 회전판 속도 제어 명령을 포함할 수 있다.
또한, 컨트롤러(19)는 보컬 음원 특성 정보, 기타 음원 특성 정보, 드럼 음원 특성 정보 및 건반 음원 특성 정보를 통합한 음원 분석 정보를 메모리(13)에 저장할 수 있다.
음원 분석 정보에 대해서는 도 8을 참조하여 설명한다.
도 8은 본 발명의 일 실시 예에 따른 음원 분석 정보를 설명하기 위한 도면이다.
도 8을 참조하면, 음원 분석 정보는 보컬 음원 특성 정보(810), 기타 음원 특성 정보(830), 드럼 음원 특성 정보(850) 및 건반 음원 특성 정보(870)를 포함할 수 있다.
각 음원 특성 정보의 템포 정보(890)는 120BPM으로 공통적으로 적용될 수 있다.
보컬 음원 특성 정보(810), 기타 음원 특성 정보(830) 및 건반 음원 특성 정보(870) 각각은 온셋 포지션 정보 및 세그먼트 정보를 포함할 수 있다.
일 실시 예에서, 세그먼트 정보는 세그먼트 시간 정보에 기초하여 생성된 정보일 수 있다. 세그먼트 시간 정보는 해당 음원 트랙의 분위기가 전환되는 복수의 시점들을 포함할 수 있다.
세그먼트 정보는 복수의 시점들 중 어느 하나의 시점, 피규어를 받치는 회전판의 회전 각도, 회전을 유지하는 시간을 포함하는 세그먼트 항목을 포함할 수 있다.
즉, 세그먼트 정보는 복수의 세그먼트 항목들을 포함할 수 있다.
도 8을 참조하면, 보컬 음원 특성 정보(810)에 포함된 세그먼트 정보(811)의 세그먼트 항목(811a)은 [27.283446712, -10, 1.0]와 같이 구성된다.
여기서, 27.283446712는 음악의 총 재생 구간 중 회전판이 회전하는 시점이며, -10은 회전판의 회전 각도이고, 1.0은 -10도 만큼 회전을 유지하는 시간을 나타낼 수 있다.
컨트롤러(19)는 각 음원 특성 정보를 제어 명령에 포함시켜, 해당 뮤직 봇에 전송할 수 있다.
드럼 음원 특성 정보(850)는 온셋 포지션 정보, 비트 포지션 정보 및 세그먼트 정보를 포함할 수 있다.
다시 도 5를 설명한다.
컨트롤러(19)는 생성된 복수의 제어 명령들 각각을 복수의 뮤직 봇들 (30-1 내지 30-n) 각각에 전송한다(S507).
컨트롤러(19)는 통신부(11)를 통해 각 뮤직 봇에 제어 명령을 전송할 수 있다.
예를 들어, 컨트롤러(19)는 제1 제어 명령을 제1 뮤직 봇(30-1)에 전송하고, 제2 제어 명령을 제2 뮤직 봇(30-2)에 전송하고, 제3 제어 명령을 제3 뮤직 봇(30-3)에 전송하고, 제4 모션 명령을 제4 뮤직 봇(30-4)에 전송할 수 있다.
제1 제어 명령은 보컬 음원 특성 정보(810)에 기반하여, 제1 뮤직 봇(30-1)의 모션을 제어하기 위한 명령일 수 있다. 제1 뮤직 봇(30-1)은 이동 단말기(10)로부터 수신된 제1 제어 명령에 대응되는 보컬 음원 특성 정보(810)에 따라 특정 시점에 대응하는 모션을 취할 수 있다.
제2 제어 명령은 기타 음원 특성 정보(830)에 기반하여, 제2 뮤직 봇(30-2)의 모션을 제어하기 위한 명령일 수 있다. 제2 뮤직 봇(30-2)은 이동 단말기(10)로부터 수신된 제2 제어 명령에 대응되는 기타 음원 특성 정보(830)에 따라 특정 시점에 대응하는 모션을 취할 수 있다.
제3 제어 명령은 드럼 음원 특성 정보(850)에 기반하여, 제3 뮤직 봇(30-3)의 모션을 제어하기 위한 명령일 수 있다. 제3 뮤직 봇(30-3)은 이동 단말기(10)로부터 수신된 제3 제어 명령에 대응되는 드럼 음원 특성 정보(850)에 따라 특정 시점에 대응하는 모션을 취할 수 있다.
제4 제어 명령은 건반 음원 특성 정보(870)에 기반하여, 제4 뮤직 봇(30-4)의 모션을 제어하기 위한 명령일 수 있다. 제4 뮤직 봇(30-4)은 이동 단말기(10)로부터 수신된 제4 제어 명령에 대응되는 건반 음원 특성 정보(870)에 따라 특정 시점에 대응하는 모션을 취할 수 있다.
제1 내지 제4 뮤직 봇(30-1 내지 30-4)들은 수신된 제어 명령에 따라 동기화 되어 동작할 수 있다.
즉, 하나의 음악이 재생되면서, 하나의 음원 트랙을 담당하는 뮤직 봇이 실시간으로, 해당 음원 트랙의 특성을 반영한 모션을 취하도록하여, 사용자와 감성적인 인터렉션이 이루어질 수 있다.
사용자는 분리된 음원 트랙들을 각 뮤직 봇에 포함된 스피커를 통해 동시에 재생하게 되면, 각각의 뮤직 봇이 각자 맡고 있는 파트를 실제로 연주하고 있는 느낌을 받을 수 있다.
또한, 뮤직 봇들의 배치에 따라 라이브 공연과 유사한 공간감이 형성될 수 있다.
또한, 컨트롤러(19)는 각 뮤직 봇에 제어 명령을 전송하면서, 각 뮤직 봇에 매칭된 음원 트랙도 함께 전송할 수 있다.
도 9는 본 발명의 일 실시 예에 따라 복수의 뮤직 봇들의 동작을 제어하는 제어 화면을 설명하는 도면이다.
도 9를 참조하면, 이동 단말기(10)의 디스플레이(15)는 어플리케이션의 실행에 따라 복수의 뮤직 봇들(30-1 내지 30-4)의 동작을 제어하는 제어 화면(900)을 표시할 수 있다.
제어 화면(900)은 제1 뮤직 봇(30-1)의 동작을 제어하기 위한 제1 버튼(901), 제2 뮤직 봇(30-2)의 동작을 제어하기 위한 제2 버튼(903), 제3 뮤직 봇(30-3)의 동작을 제어하기 위한 제3 버튼(905), 제4 뮤직 봇(30-4)의 동작을 제어하기 위한 제4 버튼(907)을 포함할 수 있다.
예를 들어, 제1 버튼(901)이 선택된 경우, 이동 단말기(10)는 보컬 음원 트랙의 출력 및 제1 뮤직 봇(30-1)의 피규어(37-1)의 모션을 제어하기 위한 제어 명령을 제1 뮤직 봇(30-1)에 전송할 수 있다.
제어 화면(900)은 제1 내지 제4 뮤직 봇들(30-1 내지 30-4)이 음악의 재생에 따라 합주를 수행하도록 하기 위한 제5 버튼(909)을 더 포함할 수 있다.
제5 버튼(909)이 선택된 경우, 컨트롤러(19)는 제1 내지 제4 뮤직 봇들(30-1 내지 30-4) 각각이 해당 음원 트랙을 출력하면서, 음원 특성 정보에 따라 특정 모션을 취하도록 하는 제어 명령을 제1 내지 제4 뮤직 봇들(30-1 내지 30-4) 각각에 전송할 수 있다.
제어 화면(900)은 음악의 재생 상태를 나타내는 재생 바(911)를 더 포함할 수 있다.
재생 바(911)에 포함된 재생 버튼의 선택은 제5 버튼(909)의 선택과 동일하게 취급될 수 있다.
한편, 사용자는 제1 내지 제4 버튼들(901 내지 907) 중 하나 이상은 선택적으로 누를 수 있다.
이에 따라, 이동 단말기(10)는 선택된 하나 이상의 버튼에 대응하는 하나 이상의 뮤직 봇에게 제어 명령을 전송할 수 있다. 예를 들어, 사용자가 보컬 음원 트랙과 기타 음원 트랙만을 감상하고자 하는 경우, 제1 버튼(901) 및 제2 버튼(903)만을 선택할 수 있다.
본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. 이동 단말기에 있어서,
    디스플레이;
    복수의 뮤직 봇들과 통신을 수행하는 통신부; 및
    음악을 구성하는 기 분리된 복수의 음원 트랙들 각각으로부터 음원 특성 정보를 추출하고, 추출된 각 음원 특성 정보를 이용하여, 복수의 뮤직 봇들의 동작을 제어하기 위한 복수의 제어 명령들을 생성하고, 생성된 복수의 제어 명령들 각각을 상기 통신부를 통해 상기 복수의 뮤직 봇들 각각에 전송하는 컨트롤러를 포함하는
    이동 단말기.
  2. 제1항에 있어서,
    상기 각 음원 특성 정보는
    음원 트랙이 시작되는 시점에 대한 온셋 포지션 정보, 상기 음원 트랙의 박자에 대한 비트 포지션 정보, 상기 음원 트랙의 분위기가 전환되는 시점에 대한 세그먼트 시간 정보, 상기 음원 트랙의 빠르기에 대한 템포 정보를 포함하는
    이동 단말기.
  3. 제2항에 있어서,
    상기 온셋 포지션 정보는 뮤직 봇의 손 동작을 제어하는 타이밍에 대한 정보를 포함하고,
    상기 비트 포지션 정보는 상기 뮤직 봇의 머리 동작을 제어하는 타이밍에 대한 정보를 포함하고,
    상기 세그먼트 시간 정보는 상기 뮤직 봇을 회전시키는 타이밍에 대한 정보를 포함하고,
    상기 템포 정보는 상기 뮤직 봇의 손 동작, 머리 동작, 회전 동작의 반복 주기에 대한 정보를 포함하는
    이동 단말기.
  4. 제3항에 있어서,
    상기 컨트롤러는
    상기 세그먼트 시간 정보에 기초하여, 상기 뮤직 봇을 회전시키는 각도 및 회전의 유지 시간을 포함하는 세그먼트 정보를 생성하고, 생성된 세그먼트 정보를 상기 제어 명령에 포함시켜 전송하는
    이동 단말기.
  5. 제3항에 있어서,
    복수의 음원 특성 정보들을 저장하는 메모리를 더 포함하고,
    각 음원 특성 정보는 복수의 뮤직 봇들 각각에 매핑되어 저장된
    이동 단말기.
  6. 제1항에 있어서,
    상기 컨트롤러는
    상기 복수의 제어 명령들 각각과 함께 상기 복수의 음원 트랙들 각각을 상기 복수의 뮤직 봇들 각각에 전송하는
    이동 단말기.
  7. 제1항에 있어서,
    상기 디스플레이는
    복수의 뮤직 봇들 각각과 맵핑된 복수의 버튼들을 표시하고,
    상기 컨트롤러는
    상기 복수의 버튼들 중 선택된 하나 이상의 버튼에 대응하는 뮤직 봇에 상기 제어 명령을 전송하는
    이동 단말기.
  8. 제1항에 있어서,
    상기 통신부는
    USB 규격을 이용하여, 상기 제어 명령을 전송하는
    이동 단말기.
  9. 음악 재생 시스템에 있어서,
    음원 트랙을 출력하는 복수의 뮤직 봇들; 및
    음악을 구성하는 기 분리된 복수의 음원 트랙들 각각으로부터 음원 특성 정보를 추출하고, 추출된 각 음원 특성 정보를 이용하여, 복수의 뮤직 봇들의 동작을 제어하기 위한 복수의 제어 명령들을 생성하고, 생성된 복수의 제어 명령들 각각을 상기 통신부를 통해 상기 복수의 뮤직 봇들 각각에 전송하는 이동 단말기를 포함하는
    음악 재생 시스템.
  10. 제9항에 있어서,
    상기 각 음원 특성 정보는
    음원 트랙이 시작되는 시점에 대한 온셋 포지션 정보, 상기 음원 트랙의 박자에 대한 비트 포지션 정보, 상기 음원 트랙의 분위기가 전환되는 시점에 대한 세그먼트 시간 정보, 상기 음원 트랙의 빠르기에 대한 템포 정보를 포함하는
    음악 재생 시스템.
  11. 제10항에 있어서,
    상기 온셋 포지션 정보는 뮤직 봇의 손 동작을 제어하는 타이밍에 대한 정보를 포함하고,
    상기 비트 포지션 정보는 상기 뮤직 봇의 머리 동작을 제어하는 타이밍에 대한 정보를 포함하고,
    상기 세그먼트 시간 정보는 상기 뮤직 봇을 회전시키는 타이밍에 대한 정보를 포함하고,
    상기 템포 정보는 상기 뮤직 봇의 손 동작, 머리 동작, 회전 동작의 반복 주기에 대한 정보를 포함하는
    음악 재생 시스템.
  12. 제11항에 있어서,
    상기 이동 단말기는
    상기 세그먼트 시간 정보에 기초하여, 상기 뮤직 봇을 회전시키는 각도 및 회전의 유지 시간을 포함하는 세그먼트 정보를 생성하고, 생성된 세그먼트 정보를 상기 제어 명령에 포함시켜 전송하는
    음악 재생 시스템.
  13. 제9항에 있어서,
    상기 이동 단말기는
    복수의 음원 특성 정보들을 저장하는 메모리를 포함하고,
    각 음원 특성 정보는 복수의 뮤직 봇들 각각에 매핑되어 저장된
    음악 재생 시스템.
  14. 제9항에 있어서,
    상기 이동 단말기는
    상기 복수의 제어 명령들 각각과 함께 상기 복수의 음원 트랙들 각각을 상기 복수의 뮤직 봇들 각각에 전송하는
    음악 재생 시스템.
  15. 제9항에 있어서,
    상기 이동 단말기는 복수의 뮤직 봇들 각각과 맵핑된 복수의 버튼들을 표시하는 디스플레이를 포함하고,
    상기 이동 단말기는
    상기 복수의 버튼들 중 선택된 하나 이상의 버튼에 대응하는 뮤직 봇에 상기 제어 명령을 전송하는
    음악 재생 시스템.
PCT/KR2018/011019 2017-11-27 2018-09-19 이동 단말기 및 이동 단말기를 포함하는 음악 재생 시스템 WO2019103297A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/633,853 US20200164522A1 (en) 2017-11-27 2018-09-19 Mobile terminal and music play-back system comprising mobile terminal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762590669P 2017-11-27 2017-11-27
US62/590,669 2017-11-27
KR20180046102 2018-04-20
KR10-2018-0046102 2018-04-20

Publications (1)

Publication Number Publication Date
WO2019103297A1 true WO2019103297A1 (ko) 2019-05-31

Family

ID=66632016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011019 WO2019103297A1 (ko) 2017-11-27 2018-09-19 이동 단말기 및 이동 단말기를 포함하는 음악 재생 시스템

Country Status (2)

Country Link
US (1) US20200164522A1 (ko)
WO (1) WO2019103297A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168634B (zh) * 2017-03-24 2024-03-19 雅马哈株式会社 发声装置、发声系统及游戏装置
JP7124624B2 (ja) * 2018-10-12 2022-08-24 トヨタ自動車株式会社 エンターテイメントシステムおよびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100069296A (ko) * 2008-12-16 2010-06-24 나지선 음악에 반응하여 동작하는 로봇완구
KR20160078678A (ko) * 2014-12-24 2016-07-05 장준영 하나의 단말기를 이용해 동작과 음원을 매칭하여 복수의 로봇을 춤추게 하는 방법 및 시스템
KR20160112202A (ko) * 2015-03-18 2016-09-28 코이안(주) 악기 연주 로봇 통합 제어 장치
KR101695749B1 (ko) * 2015-09-11 2017-01-13 주식회사 포스코 이동유닛 조종장치
JP2017196675A (ja) * 2016-04-25 2017-11-02 株式会社Ｓｏｋｅｎ 動作制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100069296A (ko) * 2008-12-16 2010-06-24 나지선 음악에 반응하여 동작하는 로봇완구
KR20160078678A (ko) * 2014-12-24 2016-07-05 장준영 하나의 단말기를 이용해 동작과 음원을 매칭하여 복수의 로봇을 춤추게 하는 방법 및 시스템
KR20160112202A (ko) * 2015-03-18 2016-09-28 코이안(주) 악기 연주 로봇 통합 제어 장치
KR101695749B1 (ko) * 2015-09-11 2017-01-13 주식회사 포스코 이동유닛 조종장치
JP2017196675A (ja) * 2016-04-25 2017-11-02 株式会社Ｓｏｋｅｎ 動作制御装置

Also Published As

Publication number Publication date
US20200164522A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
WO2010027190A2 (ko) 진동 정보를 전달하는 이동통신 단말기 및 방법
WO2019103297A1 (ko) 이동 단말기 및 이동 단말기를 포함하는 음악 재생 시스템
WO2018080162A1 (ko) 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치
WO2012148112A2 (ko) 클라이언트단말기를 이용한 음악 컨텐츠 제작시스템
WO2021003955A1 (zh) 耳机播放状态的控制方法、装置、移动终端及存储介质
CN101803401A (zh) 数字扬声器驱动装置
WO2020050509A1 (en) Voice synthesis device
WO2010087630A2 (en) A method and an apparatus for decoding an audio signal
WO2015169124A1 (zh) 终端混音系统和播放方法
EP3759707A1 (en) A method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2014163231A1 (ko) 복수의 음원이 출력되는 환경하에서 음성 인식에 이용될 음성 신호의 추출 방법 및 음성 신호의 추출 장치
WO2016190676A1 (ko) 로봇, 스마트 블록 완구 및 이를 이용한 로봇 제어 시스템
WO2020096406A1 (ko) 사운드 생성 방법 및 이를 수행하는 장치들
WO2012011755A2 (ko) 데이터 전송 장치 및 방법
WO2022004982A1 (ko) 진동으로 멜로디를 출력하는 전동 칫솔 및 그의 동작 방법
WO2022149620A1 (ko) 디스플레이 장치
WO2020122274A1 (ko) 디스플레이 장치
WO2020153515A1 (ko) 음장감을 개선한 바이노럴 비트의 음향 출력 장치 및 그 방법
WO2018062814A1 (ko) 기타 이펙터 루프 및 이를 이용한 멀티형 기타 이펙터
WO2022216099A1 (ko) 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법
WO2020122271A1 (ko) 디스플레이 장치
WO2021010522A1 (ko) 시청 상황을 고려하여, 하나 이상의 가전 기기를 제어하는 디스플레이 장치
WO2022059869A1 (ko) 영상의 음질을 향상시키는 디바이스 및 방법
WO2022039578A1 (ko) 화자들의 음성을 처리하기 위한 음성 처리 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18880947

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18880947

Country of ref document: EP

Kind code of ref document: A1