WO2021066266A1 - 인공지능을 이용하여 소리를 생성하는 방법 - Google Patents

인공지능을 이용하여 소리를 생성하는 방법 Download PDF

Info

Publication number
WO2021066266A1
WO2021066266A1 PCT/KR2020/003571 KR2020003571W WO2021066266A1 WO 2021066266 A1 WO2021066266 A1 WO 2021066266A1 KR 2020003571 W KR2020003571 W KR 2020003571W WO 2021066266 A1 WO2021066266 A1 WO 2021066266A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sound
keyboard
musical instrument
measuring device
Prior art date
Application number
PCT/KR2020/003571
Other languages
English (en)
French (fr)
Inventor
에르네스토 예브계니 산체스샤이다
Original Assignee
에르네스토 예브계니 산체스샤이다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에르네스토 예브계니 산체스샤이다 filed Critical 에르네스토 예브계니 산체스샤이다
Publication of WO2021066266A1 publication Critical patent/WO2021066266A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G10H2220/421—Laser beams

Definitions

  • the present disclosure relates to a method of generating sound using artificial intelligence, and more specifically, to a method of generating sound of a musical instrument using artificial intelligence.
  • Korean Patent Publication (Registration No.: KR10-2013-0067856) discloses an apparatus and method for playing a virtual musical instrument based on finger motion.
  • the present disclosure has been devised in response to the above-described background technology, and is for generating sound using artificial intelligence.
  • a computer program stored in a computer-readable storage medium is disclosed.
  • the following operation for generating sound is performed using artificial intelligence, and the operation includes: acquiring time series data from a measuring device for acquiring sensor data; Generating a training data set based on the acquired time series data; Inputting the training data set to the sound generation model to train the sound generation model; And generating sound by inputting time series data obtained from the measuring device into the learned sound generation model.
  • the measuring device may include at least one of a first measuring device installed in an electronic musical instrument to obtain sensor data or a second measuring device installed in a classical musical instrument to obtain sensor data.
  • the measuring device is a first measuring device installed on an electronic keyboard instrument to obtain data on the movement of the keyboard, or a second measurement device installed on a classical keyboard instrument to obtain data on the movement of the keyboard and sound data. It may include at least one of the devices.
  • the first measuring device may include at least one of a laser sensor, a magnetic sensor, an optical sensor, or a pressure sensor for acquiring data on movement of a keyboard included in an electronic keyboard musical instrument.
  • the second measuring device includes at least one of a laser sensor for obtaining data on the movement of a keyboard of a classical keyboard instrument or a sound sensor for obtaining a sound of a classical musical instrument corresponding to the movement of a keyboard of the classical keyboard instrument. It may include.
  • the training data set may include a training data set using data acquired from a contact model as training input data and time series data acquired from a second measurement device as a label.
  • the contact model is a model for predicting the contact speed of the keyboard, and may include a model for predicting the contact speed of the keyboard by inputting distance data between the laser sensor and the keyboard acquired through the laser sensor. .
  • the learned sound generation model may include a model trained by a machine learning method to generate a classical musical instrument sound corresponding to data input to an electronic musical instrument.
  • the classical musical instrument sound corresponding to data input to the electronic musical instrument is one of classical musical instrument sounds discretely corresponding to data input to the electronic musical instrument or classical musical instrument sounds continuously corresponding to data input to the electronic musical instrument. It may include at least one.
  • the operation of training the sound generation model by inputting the training data set into the sound generation model is performed on a keyboard included in a classical keyboard instrument and a second measurement device using a laser sensor included in the second measurement device.
  • Acquiring distance data between included laser sensors Inputting distance data into a contact model to predict a contact speed of a keyboard included in a classical musical instrument keyboard; And inputting a learning data set using the predicted keyboard contact speed as learning input data and labeling the sound data of the classical instrument acquired through the sound sensor included in the second measuring device into the sound generation model to learn.
  • the operation of generating sound by inputting time series data obtained from the measuring device into the learned sound generation model is an operation of inputting the contact speed of the keyboard obtained from the first measuring device into the learned sound generation model. ; And generating a sound of a classical musical instrument corresponding to a contact speed of the keyboard by using the learned sound generation model.
  • a method of generating sound using artificial intelligence includes obtaining time series data from a measuring device for obtaining sensor data; Generating a training data set based on the acquired time series data; Inputting the training data set to the sound generation model to train the sound generation model; And generating sound by inputting the time series data obtained from the measuring device into the learned sound generation model.
  • a computing device may include one or more processors; And a memory storing instructions executable in the processor. Including, wherein the processor acquires time series data from a measurement device for obtaining sensor data, generates a training data set based on the acquired time series data, and inputs the training data set into a sound generation model to generate a sound model. Is trained, and the time series data acquired from the measuring device is input to the learned sound generation model to generate sound.
  • the present disclosure may provide a method of generating sound using artificial intelligence.
  • FIG. 1 is a block diagram of a computing device for generating sound using artificial intelligence according to an embodiment of the present disclosure.
  • FIG. 2 is an exemplary diagram illustrating a neural network included in a sound generation model according to an embodiment of the present disclosure.
  • FIG 3 is an exemplary diagram for describing a contact model according to an exemplary embodiment of the present disclosure.
  • FIG. 4 is an exemplary diagram for describing a sound generation model according to an embodiment of the present disclosure.
  • FIG. 5 is an exemplary diagram for explaining a process of generating sound using a learned sound generation model according to an embodiment of the present disclosure.
  • FIG. 6 is a block diagram showing a module for generating sound using artificial intelligence.
  • FIG. 7 is a simplified and general schematic diagram of an exemplary computing environment in which embodiments of the present disclosure may be implemented.
  • a component may be, but is not limited to, a process executed on a processor, a processor, an object, a thread of execution, a program, and/or a computer.
  • an application running on a computing device and a computing device may be components.
  • One or more components may reside within a processor and/or thread of execution.
  • a component can be localized within a single computer.
  • a component can be distributed between two or more computers.
  • these components can execute from a variety of computer readable media having various data structures stored therein.
  • Components can be, for example, through a signal with one or more data packets (e.g., data from one component interacting with another component in a local system, a distributed system, and/or a signal through another system and a network such as the Internet. Depending on the data being transmitted), it may communicate via local and/or remote processes.
  • data packets e.g., data from one component interacting with another component in a local system, a distributed system, and/or a signal through another system and a network such as the Internet.
  • it may communicate via local and/or remote processes.
  • FIG. 1 is a block diagram of a computing device for generating sound using artificial intelligence according to an embodiment of the present disclosure.
  • the configuration of the computing device 100 illustrated in FIG. 1 is only an example simplified.
  • the computing device 100 may include other components for performing a computing environment of the computing device 100, and only some of the disclosed components may configure the computing device 100.
  • the computing device 100 may include a processor 110, a memory 130, and a network unit 150.
  • the processor 110 may be composed of one or more cores, a central processing unit (CPU), a general purpose graphics processing unit (GPGPU), and a tensor processing unit (TPU) of a computing device. unit) may include a processor for data analysis and deep learning.
  • the processor 110 may read a computer program stored in the memory 130 to process data for machine learning according to an embodiment of the present disclosure.
  • the processor 110 may perform an operation for learning a neural network.
  • the processor 110 processes input data for learning in deep learning (DL), extracts features from the input data, calculates errors, and uses backpropagation to update the weights of the neural network. You can perform calculations.
  • At least one of the CPU, GPGPU, and TPU of the processor 110 may process learning of the network function.
  • the CPU and GPGPU can work together to learn network functions and classify data using network functions.
  • learning of a network function and data classification using a network function may be processed by using processors of a plurality of computing devices together.
  • the computer program executed in the computing device according to an embodiment of the present disclosure may be a CPU, a GPGPU, or a TPU executable program.
  • the memory 130 may store information in any form generated or determined by the processor 110 and information in any form received by the network unit 150.
  • the memory 130 is a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD memory), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read) -Only Memory), magnetic memory, magnetic disk, and optical disk.
  • the server may operate in connection with a web storage that performs a storage function of the memory 130 on the Internet.
  • the description of the above-described memory is only an example, and the present disclosure is not limited thereto.
  • the network unit 150 includes a public switched telephone network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and VDSL ( Various wired communication systems such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and local area network (LAN) can be used.
  • PSTN public switched telephone network
  • xDSL Digital Subscriber Line
  • RADSL Rate Adaptive DSL
  • MDSL Multi Rate DSL
  • VDSL Various wired communication systems such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and local area network (LAN) can be used.
  • LAN local area network
  • the network unit 150 presented in the present specification includes Code Division Multi Access (CDMA), Time Division Multi Access (TDMA), Frequency Division Multi Access (FDMA), Orthogonal Frequency Division Multi Access (OFDMA), and SC-FDMA ( Single Carrier-FDMA) and various wireless communication systems can be used.
  • CDMA Code Division Multi Access
  • TDMA Time Division Multi Access
  • FDMA Frequency Division Multi Access
  • OFDMA Orthogonal Frequency Division Multi Access
  • SC-FDMA Single Carrier-FDMA
  • the network unit 150 may be configured regardless of its communication mode such as wired and wireless, and may be configured with various communication networks such as a short-range communication network (PAN) and a local area network (WAN). I can.
  • the network may be a known World Wide Web (WWW), and a wireless transmission technology used for short-range communication such as infrared (IrDA) or Bluetooth may be used.
  • the processor 110 may generate sound using artificial intelligence.
  • the processor 110 may store data for generating sound in the memory 130.
  • the processor 110 may transmit and receive data for generating sound through the network unit 150.
  • the processor 110 may generate a training data set used for artificial intelligence learning to generate sound.
  • the processor 110 may also store the training data set in the memory 130 and transmit and receive the training data set through the network unit 150.
  • the processor 110 may acquire time series data from a measuring device for acquiring sensor data.
  • the measuring device may include a device that quantifies a quantity with a certain criterion.
  • the above-described measuring device is only an example, and the present disclosure is not limited thereto.
  • the measuring device may include at least one of a first measuring device installed in an electronic musical instrument to obtain sensor data or a second measuring device installed in a classical musical instrument to obtain sensor data.
  • the electronic musical instrument may include a musical instrument that generates sound through an electrical circuit.
  • Classical musical instruments may include musical instruments that generate sound without using an electrical circuit.
  • the classical musical instrument may include a string instrument that generates sound through a string, a wind instrument that produces sound by blowing it with a mouth, and/or a percussion instrument that produces a sound by tapping.
  • the time series data may include a sequence of data arranged at an acknowledged time interval. Time series data may also include data obtained from sensors.
  • the measuring device is installed in an electronic keyboard instrument to obtain data on the movement of the keyboard or a first measuring device installed in a classical keyboard instrument to obtain data and sound data on the movement of the keyboard. It may include at least one of the second measurement devices.
  • the electronic keyboard musical instrument may include a musical instrument that generates a sound generated by hitting a keyboard using an electric circuit.
  • Classical keyboard musical instruments may include musical instruments that produce sound by striking a keyboard.
  • Classical keyboard instruments may include a piano that produces sound by striking a string, a harpsichord that produces sound by striking a string, and a pipe organ that blows air into a tube to produce sound.
  • the above-described measuring device is only an example, and the present disclosure is not limited thereto.
  • the first measuring device may include a measuring device installed in an electronic musical instrument.
  • the first measurement device may include at least one of a laser sensor, a magnetic sensor, an optical sensor, and a pressure sensor for acquiring data on movement of a keyboard included in an electronic keyboard musical instrument.
  • the electronic keyboard musical instrument may include a musical instrument that generates a sound generated by hitting a keyboard using an electric circuit.
  • the processor 110 may acquire data on the movement of the keyboard using the first measurement device.
  • the processor 110 uses a first measuring device to perform the contact speed of the keyboard (the contact speed may include a speed at which the keyboard approaches or moves away from a sensor attached to the keyboard), the distance the keyboard is away from the sensor, and the key distance. You can get the direction of movement.
  • the processor 110 may obtain a distance between the sensor and the keyboard using, for example, a laser sensor.
  • the processor 110 may obtain, for example, a contact speed of a keyboard, a distance away from the keyboard, and/or a direction in which the keyboard moves by using at least one of a magnetic sensor, an optical sensor, and a pressure sensor. Accordingly, the processor 110 may acquire data on the movement of the keyboard included in the electronic keyboard instrument by using the first measuring device.
  • the processor 110 may acquire data on the movement of a string included in an electronic musical instrument (eg, an electronic violin or an electronic cello) by using the first measuring device.
  • the above-described first measurement device is only an example, and the present disclosure is not limited thereto.
  • the second measuring device may include a measuring device installed in a classical musical instrument. It may include at least one of a laser sensor for acquiring data on a key movement of a classical keyboard instrument or a sound sensor for acquiring a sound of a classical instrument corresponding to the key movement of the classical keyboard instrument.
  • Classical keyboard musical instruments may include musical instruments that produce sound by striking a keyboard.
  • the processor 110 may acquire data on the movement of a keyboard of a classical keyboard instrument using a laser sensor.
  • the processor 110 may obtain a distance between the sensor and a keyboard included in the classical keyboard instrument using a laser sensor.
  • the processor 110 may acquire a sound of a classical musical instrument corresponding to the movement of a keyboard of the classical keyboard by using a sound sensor.
  • the processor 110 may acquire sound data generated according to the movement of a vibrating string based on the movement of a keyboard of a classical keyboard instrument using a sound sensor. Accordingly, the processor 110 may acquire a sound of a classical musical instrument corresponding to the movement of a keyboard of the classical keyboard.
  • the above-described second measurement device is only an example, and the present disclosure is not limited thereto.
  • the processor 110 may generate a training data set based on time series data acquired from a measurement device.
  • the training data set may include a set of training data used for training a machine learning model.
  • the training data set may include a training data set using data acquired from the contact model as training input data, and using time series data acquired from the second measurement device as a label.
  • the contact model may include a machine learning model that receives distance data acquired through a laser sensor and outputs a predicted key contact speed.
  • the contact model may include a machine learning model trained in a supervised learning method.
  • the contact model may include a model trained using a training data set in which distance data acquired through a laser sensor is used as training input data of the contact model and a contact velocity is used as a label (correct answer data) of the contact model.
  • the speed of contact may include the speed at which the keyboard approaches or moves away from a sensor attached to the keyboard.
  • the contact model is a model for predicting the contact speed of a keyboard, and includes a model for predicting the contact speed of the keyboard by inputting distance data between the laser sensor and the keyboard acquired through a laser sensor. can do.
  • the processor 110 uses the learning input data of the sound generation model as the predicted contact speed that is the output of the contact model, and by labeling the sound of the classical keyboard instrument, the sound of the classical keyboard instrument corresponding to the contact speed of the electronic keyboard instrument is obtained. Can be printed.
  • the learned sound generation model may include a model trained by a machine learning method to generate a classical musical instrument sound corresponding to data input to an electronic musical instrument.
  • Machine learning is a branch of artificial intelligence that can include algorithms that allow computers to learn.
  • the processor 110 may use Wavenet, seq to seq, and/or GANSynth to train the sound generation model.
  • the above-described sound generation model is only an example, and the present disclosure is not limited thereto.
  • a classical musical instrument sound corresponding to data input to an electronic musical instrument is a classical musical instrument sound discretely corresponding to data input to an electronic musical instrument, or a classical musical instrument continuously corresponding to data input to the electronic musical instrument. It may include at least one of musical instrument sounds.
  • the processor 110 may generate a classical musical instrument sound discretely corresponding to data input to the electronic musical instrument using the sound generation model.
  • the data input to the electronic musical instrument may include, for example, data on the movement of the keyboard included in the electronic keyboard musical instrument (eg, contact speed). When the contact speed of the keys included in the electronic keyboard musical instrument is 1-5, the processor 110 generates 1 classical musical instrument sound, 2 when the contact speed of the keyboard is 6-10, and 2, the contact speed of the keyboard.
  • the processor 110 may also generate a classical musical instrument sound continuously corresponding to data input to the electronic musical instrument.
  • the data input to the electronic musical instrument may include, for example, data on the movement of the keyboard included in the electronic keyboard musical instrument (eg, contact speed).
  • the processor 110 may generate a classical musical instrument sound continuously corresponding to a contact speed of a keyboard included in the electronic keyboard musical instrument.
  • the processor 110 may generate a classical musical instrument sound by inputting the electronic musical instrument performance into the sound generation model. That is, when a classical musical instrument sound continuously corresponding to data input to the electronic musical instrument is generated, the same sound as the classical musical instrument sound may be output through the electronic musical instrument.
  • consumers can achieve the same effect as playing a classical instrument using an electronic musical instrument which is relatively inexpensive compared to classical musical instruments.
  • the processor 110 may train the sound generation model by inputting the training data set into the sound generation model.
  • the processor 110 may acquire distance data between a keyboard included in a classical keyboard musical instrument and a laser sensor included in the second measuring device by using a laser sensor included in the second measuring device. Through this, the processor 110 may obtain data on movement of a keyboard included in a classical keyboard instrument.
  • the processor 110 may input distance data into the contact model to predict a contact speed of a keyboard included in a classical musical instrument keyboard.
  • the contact model may include a machine learning model that receives distance data acquired through a laser sensor and outputs a predicted key contact speed.
  • the contact model may include a machine learning model trained in a supervised learning method.
  • the contact model may include a model trained using a training data set using distance data acquired through a laser sensor as training input data and a contact speed as a label.
  • the processor 110 uses the predicted keyboard contact speed as learning input data, and inputs, into the sound generation model, a learning data set using sound data of a classical instrument acquired through a sound sensor included in the second measuring device as a label. You can learn by doing it.
  • the processor 110 may perform learning to reduce the error by adjusting the weight.
  • the processor 110 may generate a classical musical instrument sound corresponding to a movement of a keyboard included in the electronic keyboard musical instrument by using the sound generation model.
  • the processor 110 may generate a classical musical instrument sound continuously corresponding to data input to an electronic musical instrument by using a sound generation model that is a machine learning model.
  • the processor 110 may generate sound by inputting time series data acquired from a measurement device into a learned sound generation model.
  • the processor 110 may input the key contact speed obtained from the first measuring device into the learned sound generation model. That is, the processor 110 may input the contact speed of the keyboard included in the electronic keyboard musical instrument into the learned sound generation model.
  • the processor 110 may generate a sound of a classical musical instrument corresponding to the speed of contact of the keyboard by using the learned sound generation model.
  • the processor 110 may generate a sound of a classical keyboard musical instrument corresponding to a contact speed of a keyboard included in the electronic keyboard musical instrument by using the learned sound generation model.
  • a classical musical instrument sound may be generated using an electronic musical instrument.
  • the sound generation model may generate a sound of a classical keyboard musical instrument continuously corresponding to the movement of a keyboard included in the electronic keyboard musical instrument by using a model learned using a machine learning method. Through this, it is possible to generate more sophisticated and realistic sound of a classical keyboard instrument through an electronic keyboard instrument.
  • FIG. 2 is an exemplary diagram illustrating a neural network included in a sound generation model according to an embodiment of the present disclosure.
  • a neural network may consist of a set of interconnected computational units, which may generally be referred to as nodes. These nodes may also be referred to as neurons.
  • the neural network is composed of at least one or more nodes. Nodes (or neurons) constituting neural networks may be interconnected by one or more links.
  • one or more nodes connected through a link may relatively form a relationship between an input node and an output node.
  • the concepts of an input node and an output node are relative, and any node in an output node relationship with respect to one node may have an input node relationship in a relationship with another node, and vice versa.
  • the input node to output node relationship can be created around the link.
  • One or more output nodes may be connected to one input node through a link, and vice versa.
  • the value of the output node may be determined based on data input to the input node.
  • a node interconnecting the input node and the output node may have a weight.
  • the weight may be variable and may be changed by a user or an algorithm in order for a neural network to perform a desired function.
  • the output node includes values input to input nodes connected to the output node and a link corresponding to each input node.
  • the output node value may be determined based on the weight.
  • one or more nodes are interconnected through one or more links to form an input node and an output node relationship in the neural network.
  • the characteristics of the neural network may be determined according to the number of nodes and links in the neural network, the association relationship between the nodes and the links, and a weight value assigned to each of the links. For example, when there are the same number of nodes and links, and two neural networks having different weight values between the links exist, the two neural networks may be recognized as being different from each other.
  • a neural network may be configured including one or more nodes. Some of the nodes constituting the neural network may configure one layer based on distances from the initial input node. For example, a set of nodes having a distance n from an initial input node may constitute n layers. The distance from the first input node may be defined by the minimum number of links that must be traversed to reach the node from the first input node. However, the definition of such a layer is arbitrary for explanation, and the order of the layer in the neural network may be defined in a different way than that described above. For example, the layer of nodes may be defined by the distance from the last output node.
  • the first input node may mean one or more nodes to which data is directly input without going through a link in a relationship with other nodes among nodes in the neural network. Alternatively, it may mean nodes that other input nodes connected by a link do not have in a relationship between nodes in a neural network network based on a link. Similarly, the final output node may mean one or more nodes that do not have an output node in a relationship with other nodes among nodes in the neural network.
  • the hidden node may refer to nodes constituting a neural network other than the first input node and the last output node.
  • the number of nodes in the input layer may be the same as the number of nodes in the output layer, and the number of nodes decreases and then increases again as the input layer proceeds to the hidden layer. I can.
  • the neural network according to another embodiment of the present disclosure may be a neural network in which the number of nodes of an input layer is less than the number of nodes of an output layer, and the number of nodes decreases as the number of nodes progresses from the input layer to the hidden layer. have.
  • the neural network according to another embodiment of the present disclosure may be a neural network in which the number of nodes of an input layer may be greater than the number of nodes of an output layer, and the number of nodes increases as the number of nodes progresses from the input layer to the hidden layer. I can.
  • the neural network according to another embodiment of the present disclosure may be a neural network in the form of a combination of the aforementioned neural networks.
  • a deep neural network may mean a neural network including a plurality of hidden layers in addition to an input layer and an output layer.
  • Deep neural networks can be used to identify potential structures in data. In other words, it is possible to understand the potential structures of photos, texts, videos, voices, and music (for example, what objects are in photos, what are the content and emotions of the text, what are the contents and emotions of the voice, etc.).
  • Deep neural networks include convolutional neural networks (CNNs), recurrent neural networks (RNNs), auto encoders, Generative Adversarial Networks (GANs), and restricted Boltzmann machines (RBMs). boltzmann machine), deep belief network (DBN), Q network, U network, and Siam network.
  • CNNs convolutional neural networks
  • RNNs recurrent neural networks
  • GANs Generative Adversarial Networks
  • RBMs restricted Boltzmann machines
  • the network function may include an auto encoder.
  • the auto encoder may be a kind of artificial neural network for outputting output data similar to input data.
  • the auto encoder may include at least one hidden layer, and an odd number of hidden layers may be disposed between input/output layers.
  • the number of nodes of each layer may be reduced from the number of nodes of the input layer to an intermediate layer called a bottleneck layer (encoding), and then reduced and expanded symmetrically from the bottleneck layer to an output layer (symmetric with the input layer).
  • the dimensional reduction layer and the dimensional restoration layer are illustrated as being symmetric, but the present disclosure is not limited thereto, and nodes of the dimensional reduction layer and the dimensional restoration layer may or may not be symmetric.
  • Auto encoders can perform nonlinear dimensionality reduction.
  • the number of input layers and output layers may correspond to the number of sensors remaining after pre-processing of input data.
  • the number of nodes of the hidden layer included in the encoder may decrease as the distance from the input layer increases. If the number of nodes in the bottleneck layer (the layer with the fewest nodes located between the encoder and the decoder) is too small, a sufficient amount of information may not be delivered, so more than a certain number (e.g., more than half of the input layer, etc.) ) May be maintained.
  • the neural network may be learned in at least one of supervised learning, unsupervised learning, and semi supervised learning. Learning of neural networks is to minimize output errors.
  • learning of a neural network iteratively inputs training data to the neural network, calculates the output of the neural network for the training data and the error of the target, and transfers the error of the neural network from the output layer of the neural network to the input layer in a direction to reduce the error. This is a process of updating the weight of each node of the neural network by backpropagation in the direction.
  • teacher learning learning data in which the correct answer is labeled in each learning data is used (ie, labeled learning data), and in the case of non-satellite learning, the correct answer may not be labeled in each learning data.
  • the learning data may be data in which a category is labeled with each learning data.
  • Labeled training data is input to a neural network, and an error may be calculated by comparing an output (category) of the neural network with a label of the training data.
  • an error may be calculated by comparing the input training data with the neural network output. The calculated error is backpropagated in the neural network in the reverse direction (ie, from the output layer to the input layer), and the connection weight of each node of each layer of the neural network may be updated according to the backpropagation.
  • a change amount may be determined according to a learning rate in the connection weight of each node to be updated.
  • the computation of the neural network for the input data and the backpropagation of the error can constitute a learning cycle (epoch).
  • the learning rate may be applied differently according to the number of repetitions of the learning cycle of the neural network. For example, a high learning rate is used in the early stages of training of a neural network, so that the neural network quickly secures a certain level of performance to increase efficiency, and a low learning rate can be used in the later stages of training to increase accuracy.
  • the training data may be a subset of actual data (that is, data to be processed using the learned neural network), and thus, errors in the training data decrease, but errors in the actual data occur.
  • Overfitting is a phenomenon in which errors in actual data increase due to over-learning on learning data. For example, a neural network learning a cat by showing a yellow cat may not recognize that it is a cat when it sees a cat other than yellow, which may be a kind of overfitting. Overfitting can cause an increase in errors in machine learning algorithms.
  • Various optimization methods can be used to prevent such overfitting. In order to prevent overfitting, methods such as increasing training data, regularization, and dropout in which some nodes of the network are omitted during the training process may be applied.
  • FIG 3 is an exemplary diagram for describing a contact model according to an exemplary embodiment of the present disclosure.
  • a keyboard 310 a laser sensor 320, a magnetic sensor 330, a contact speed measurement unit 340, a distance data 350, a contact model 370, and a contact speed data ( 390) is shown.
  • a distance data 350 a contact model 370
  • a contact speed data 390
  • the computing device 100 may acquire distance data 350 between the laser sensor 320 and the keyboard 310 included in the electronic keyboard instrument using the laser sensor 320.
  • the distance data 350 may include data acquired using the magnetic sensor 330.
  • the distance data 350 may also include data obtained using an optical sensor or a pressure sensor.
  • the computing device 100 may obtain the contact speed data 390 of the keyboard using the contact speed measuring unit 340.
  • the computing device 100 may acquire contact velocity data 390 using the magnetic sensor 330.
  • the computing device 100 may also acquire contact velocity data 390 using an optical sensor and a pressure sensor.
  • the speed of contact may include the speed at which the keyboard approaches or moves away from a sensor attached to the keyboard.
  • the computing device 100 may generate a training data set for training a contact model.
  • the computing device 100 may generate a training data set using distance data 350 as learning input data and contact velocity data 390 as a label.
  • the computing device 100 may train the contact model 370 using a training data set for training the contact model.
  • the computing device 100 may acquire a predicted contact velocity corresponding to the distance data by using the learned contact model.
  • FIG. 4 is an exemplary diagram for describing a sound generation model according to an embodiment of the present disclosure.
  • FIG. 4 a laser sensor 410, a keyboard 420 included in a classical keyboard instrument, a sound sensor 430, a string 440 of a classical keyboard instrument, distance data 450, a learned contact model 460, and prediction
  • the resulting contact velocity 470, sound generation model 480, and sound data 490 are shown.
  • not all of the above-described configurations need to be included, and some of the above-described configurations may be omitted or other configurations may be further added.
  • the computing device 100 may acquire distance data 450 between the laser sensor 410 and the keyboard 420 included in the classical keyboard instrument using the laser sensor 410. .
  • the computing device 100 may acquire sound generated from the string 440 of a classical keyboard musical instrument using the sound sensor 430.
  • the computing device 100 may generate a training data set for training the sound generation model 480.
  • the computing device 100 calculates the predicted contact speed 470 (that is, the predicted key contact speed 470 corresponding to the distance data 450) acquired using the learned contact model 460 as training input data.
  • a training data set with sound data 490 as a label can be generated.
  • the computing device 100 may train the sound generation model 480 using the training data set.
  • the computing device 100 may generate a sound of a classical keyboard musical instrument corresponding to a contact speed by using the learned sound generation model.
  • FIG. 5 is an exemplary diagram for explaining a process of generating sound using a learned sound generation model according to an embodiment of the present disclosure.
  • FIG. 5 a keyboard 310, a magnetic sensor 330, a contact speed measuring unit 340, a contact speed data 550, a learned sound generation model 570, and a sound 590 included in an electronic keyboard musical instrument are shown. Has been.
  • the computing device 100 may generate a sound 590 corresponding to the contact velocity data 550 by using the learned sound generation model 570.
  • the computing device 100 may generate a sound of a classical keyboard musical instrument continuously corresponding to a contact speed of a keyboard included in the electronic keyboard musical instrument by using the learned sound generation model 570.
  • the computing device () may generate a sound of a classical musical instrument full of realism and precision by using the learned sound generation model.
  • FIG. 6 is a block diagram showing a module for generating sound using artificial intelligence.
  • sound generation using artificial intelligence may be implemented by the following modules.
  • the module 630 for training the sound generation model by inputting the training data set into the sound generation model is performed by using a laser sensor included in the second measurement device.
  • the module 640 for generating sound by inputting time series data acquired from the measuring device into the learned sound generation model is a keyboard acquired from the first measuring device.
  • a module for generating sound using artificial intelligence may be implemented by means, circuits, or logic for implementing a computing device.
  • Those of skill in the art would further describe the various illustrative logical blocks, configurations, modules, circuits, means, logics and algorithm steps described in connection with the embodiments disclosed herein, in electronic hardware, computer software, or combinations of both. It should be recognized that it can be implemented as To clearly illustrate the interchangeability of hardware and software, various illustrative components, blocks, configurations, means, logics, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented in hardware or as software depends on the specific application and design restrictions imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.
  • FIG. 7 is a simplified and general schematic diagram of an exemplary computing environment in which embodiments of the present disclosure may be implemented.
  • program modules include routines, programs, components, data structures, etc. that perform particular tasks or implement particular abstract data types.
  • method of the present disclosure is not limited to single-processor or multiprocessor computer systems, minicomputers, mainframe computers, as well as personal computers, handheld computing devices, microprocessor-based or programmable household appliances, etc. It will be appreciated that other computer system configurations may be implemented, including one that may operate in connection with one or more associated devices.
  • the described embodiments of the present disclosure may also be practiced in a distributed computing environment where certain tasks are performed by remote processing devices that are connected through a communication network.
  • program modules may be located in both local and remote memory storage devices.
  • Computers typically include a variety of computer-readable media.
  • Computer-readable media can be any computer-readable media, including volatile and nonvolatile media, transitory and non-transitory media, removable and non-transitory media. Includes removable media.
  • Computer-readable media may include computer-readable storage media and computer-readable transmission media.
  • Computer-readable storage media include volatile and nonvolatile media, temporary and non-transitory media, removable and non-removable media implemented in any method or technology for storing information such as computer readable instructions, data structures, program modules or other data. Includes the medium.
  • Computer-readable storage media include RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital video disk (DVD) or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage, or other magnetic storage. Devices, or any other medium that can be accessed by a computer and used to store desired information.
  • Computer-readable transmission media typically implement computer-readable instructions, data structures, program modules, or other data on a modulated data signal such as a carrier wave or other transport mechanism. Includes all information delivery media.
  • modulated data signal refers to a signal in which one or more of the characteristics of the signal is set or changed so as to encode information in the signal.
  • computer-readable transmission media include wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, and other wireless media. Combinations of any of the above-described media are also intended to be included within the scope of computer-readable transmission media.
  • System bus 1108 couples system components, including but not limited to, system memory 1106 to processing device 1104.
  • the processing unit 1104 may be any of a variety of commercially available processors. Dual processors and other multiprocessor architectures may also be used as processing unit 1104.
  • the system bus 1108 may be any of several types of bus structures that may be additionally interconnected to a memory bus, a peripheral bus, and a local bus using any of a variety of commercial bus architectures.
  • System memory 1106 includes read-only memory (ROM) 1110 and random access memory (RAM) 1112.
  • the basic input/output system (BIOS) is stored in non-volatile memory 1110 such as ROM, EPROM, EEPROM, etc. This BIOS is a basic input/output system that helps transfer information between components in the computer 1102, such as during startup. Includes routines.
  • RAM 1112 may also include high speed RAM such as static RAM for caching data.
  • the computer 1102 also includes an internal hard disk drive (HDD) 1114 (e.g., EIDE, SATA)-this internal hard disk drive 1114 can also be configured for external use within a suitable chassis (not shown).
  • HDD hard disk drive
  • FDD magnetic floppy disk drive
  • optical disk drive 1120 for example, a CD-ROM
  • the hard disk drive 1114, magnetic disk drive 1116, and optical disk drive 1120 are each connected to the system bus 1108 by a hard disk drive interface 1124, a magnetic disk drive interface 1126, and an optical drive interface 1128.
  • the interface 1124 for implementing an external drive includes at least one or both of Universal Serial Bus (USB) and IEEE 1394 interface technologies.
  • drives and their associated computer readable media provide non-volatile storage of data, data structures, computer executable instructions, and the like.
  • drives and media correspond to storing any data in a suitable digital format.
  • the description of the computer-readable medium above refers to a removable optical medium such as a HDD, a removable magnetic disk, and a CD or DVD, those skilled in the art may use a zip drive, a magnetic cassette, a flash memory card, a cartridge, etc. It will be appreciated that other types of computer-readable media, such as the ones, may also be used in the exemplary operating environment and that any such media may contain computer-executable instructions for performing the methods of the present disclosure.
  • a number of program modules including the operating system 1130, one or more application programs 1132, other program modules 1134, and program data 1136, may be stored in the drive and RAM 1112. All or part of the operating system, applications, modules and/or data may also be cached in RAM 1112. It will be appreciated that the present disclosure may be implemented on several commercially available operating systems or combinations of operating systems.
  • a user may input commands and information to the computer 1102 through one or more wired/wireless input devices, for example, a pointing device such as a keyboard 1138 and a mouse 1140.
  • Other input devices may include a microphone, IR remote control, joystick, game pad, stylus pen, touch screen, and the like.
  • These and other input devices are often connected to the processing unit 1104 through the input device interface 1142, which is connected to the system bus 1108, but the parallel port, IEEE 1394 serial port, game port, USB port, IR interface, It can be connected by other interfaces such as etc.
  • a monitor 1144 or other type of display device is also connected to the system bus 1108 through an interface such as a video adapter 1146.
  • the computer generally includes other peripheral output devices (not shown) such as speakers, printers, and the like.
  • Computer 1102 may operate in a networked environment using logical connections to one or more remote computers, such as remote computer(s) 1148, via wired and/or wireless communication.
  • the remote computer(s) 1148 may be a workstation, a computing device computer, a router, a personal computer, a portable computer, a microprocessor-based entertainment device, a peer device, or other common network node, and is generally connected to the computer 1102. Although it includes many or all of the components described for simplicity, only memory storage device 1150 is shown.
  • the logical connections shown include wired/wireless connections to a local area network (LAN) 1152 and/or to a larger network, eg, a wide area network (WAN) 1154.
  • LAN and WAN networking environments are common in offices and companies, and facilitate enterprise-wide computer networks such as intranets, all of which can be connected to worldwide computer networks, for example the Internet.
  • the computer 1102 When used in a LAN networking environment, the computer 1102 is connected to the local network 1152 via a wired and/or wireless communication network interface or adapter 1156. Adapter 1156 may facilitate wired or wireless communication to LAN 1152, which also includes a wireless access point installed therein to communicate with wireless adapter 1156.
  • the computer 1102 When used in a WAN networking environment, the computer 1102 may include a modem 1158, connected to a communication computing device on the WAN 1154, or through the Internet, to establish communication through the WAN 1154. Have other means.
  • the modem 1158 which may be an internal or external and a wired or wireless device, is connected to the system bus 1108 through a serial port interface 1142.
  • program modules described for computer 1102 or portions thereof may be stored in remote memory/storage device 1150. It will be appreciated that the network connections shown are exemplary and other means of establishing communication links between computers may be used.
  • Computer 1102 is associated with any wireless device or entity deployed and operated in wireless communication, e.g., a printer, scanner, desktop and/or portable computer, portable data assistant (PDA), communication satellite, wireless detectable tag. It operates to communicate with any device or place, and a phone. This includes at least Wi-Fi and Bluetooth wireless technologies. Accordingly, the communication may be a predefined structure as in a conventional network or may simply be ad hoc communication between at least two devices.
  • wireless communication e.g., a printer, scanner, desktop and/or portable computer, portable data assistant (PDA), communication satellite, wireless detectable tag. It operates to communicate with any device or place, and a phone. This includes at least Wi-Fi and Bluetooth wireless technologies. Accordingly, the communication may be a predefined structure as in a conventional network or may simply be ad hoc communication between at least two devices.
  • Wi-Fi Wireless Fidelity
  • Wi-Fi is a wireless technology such as a cell phone that allows such devices, for example computers, to transmit and receive data indoors and outdoors, that is, anywhere within the coverage area of a base station.
  • Wi-Fi networks use a wireless technology called IEEE 802.11 (a, b, g, etc.) to provide a secure, reliable and high-speed wireless connection.
  • Wi-Fi can be used to connect computers to each other, to the Internet, and to a wired network (using IEEE 802.3 or Ethernet).
  • the Wi-Fi network can operate in an unlicensed 2.4 and 5 GHz radio band, for example, at a data rate of 11 Mbps (802.11a) or 54 Mbps (802.11b), or in a product including both bands (dual band). .
  • a person of ordinary skill in the art of the present disclosure includes various exemplary logical blocks, modules, processors, means, circuits and algorithm steps described in connection with the embodiments disclosed herein, electronic hardware, (convenience). For the sake of clarity, it will be appreciated that it may be implemented by various types of programs or design code or a combination of both (referred to herein as software). To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the particular application and design constraints imposed on the overall system. A person of ordinary skill in the art of the present disclosure may implement the described functions in various ways for each specific application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.
  • the various embodiments presented herein may be implemented as a method, apparatus, or article of manufacture using standard programming and/or engineering techniques.
  • article of manufacture includes a computer program, carrier, or media accessible from any computer-readable storage device.
  • computer-readable storage media include magnetic storage devices (e.g., hard disks, floppy disks, magnetic strips, etc.), optical disks (e.g., CD, DVD, etc.), smart cards, and flash devices.
  • Memory devices eg, EEPROM, cards, sticks, key drives, etc.
  • the various storage media presented herein include one or more devices and/or other machine-readable media for storing information.
  • the present disclosure relates to a method of generating a sound of a musical instrument using artificial intelligence, and may be used to implement the sound of a musical instrument using a computing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 개시의 일 실시예에 따라, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우 인공지능을 이용하여 소리를 생성하기 위한 이하의 동작을 수행하도록 하며, 상기 동작은, 센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득하는 동작; 상기 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성하는 동작; 상기 학습 데이터 세트를 소리 생성 모델에 입력시켜 상기 소리 생성 모델을 학습시키는 동작; 및 상기 측정 장치로부터 획득한 시계열 데이터를 상기 학습된 소리 생성 모델에 입력시켜 소리를 생성하는 동작을 포함할 수 있다.

Description

인공지능을 이용하여 소리를 생성하는 방법
본 개시는 인공지능을 이용하여 소리를 생성하는 방법에 관한 것이며, 보다 구체적으로는 인공지능을 이용하여 악기의 소리를 생성하는 방법에 관한 것이다.
악기의 연주는 전문가의 공연을 통해 이루어질 수도 있고 일반인이 취미로 연주하는 행위를 통해 이루어질 수 있다. 따라서 악기를 연주하는 일반인들이 증가하는 추세이다.
악기를 연주하는 일반인이 증가함에 따라, 고가의 고전 악기(예를 들어, 그랜드 피아노)의 소리를 출력하는 전자 악기(예를 들어, 디지털 피아노)에 대한 수요가 증가하고 있다.
고가의 고전 악기의 소리를 출력하기 위하여 통계적 모델링 및 인공지능에 대한 연구가 활발히 진행되고 있으며, 그 결과 통계적 모델링 및 인공지능을 이용하여 고가의 고전 악기의 소리를 전자 악기를 통해 출력하는 기술에 대한 수요가 높아지고 있다.
한국 공개 특허 (등록번호: KR10-2013-0067856)는 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법을 개시한다.
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 인공지능을 이용하여 소리를 생성하기 위한 것이다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 인공지능을 이용하여 소리를 생성하기 위한 이하의 동작을 수행하도록 하며, 상기 동작은, 센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득하는 동작; 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성하는 동작; 학습 데이터 세트를 소리 생성 모델에 입력시켜 소리 생성 모델을 학습시키는 동작; 및 측정 장치로부터 획득한 시계열 데이터를 학습된 소리 생성 모델에 입력시켜 소리를 생성하는 동작을 포함할 수 있다.
대안적 실시예에서, 측정 장치는 전자 악기에 설치되어 센서 데이터를 획득하는 제 1 측정 장치 또는 고전 악기에 설치되어 센서 데이터를 획득하는 제 2 측정 장치 중 적어도 하나를 포함할 수 있다.
대안적 실시예에서, 측정 장치는 전자 건반 악기에 설치되어 건반의 움직임에 대한 데이터를 획득하는 제 1 측정 장치 또는 고전 건반 악기에 설치되어 건반의 움직임에 대한 데이터 및 소리 데이터를 획득하는 제 2 측정 장치 중 적어도 하나를 포함할 수 있다.
대안적 실시예에서, 제 1 측정 장치는, 전자 건반 악기에 포함된 건반의 움직임에 대한 데이터를 획득하기 위한 레이저 센서, 자성 센서, 광 센서 또는 압력 센서 중 적어도 하나를 포함할 수 있다.
대안적 실시예에서, 제 2 측정 장치는, 고전 건반 악기의 건반 움직임에 대한 데이터를 획득하기 위한 레이저 센서 또는 고전 건반 악기의 건반 움직임에 대응되는 고전 악기의 소리를 획득하기 위한 소리 센서 중 적어도 하나를 포함할 수 있다.
대안적 실시예에서, 학습 데이터 세트는 접촉 모델로부터 획득한 데이터를 학습 입력 데이터로 하고, 제 2 측정 장치로부터 획득한 시계열 데이터를 라벨로 하는 학습 데이터 세트를 포함할 수 있다.
대안적 실시예에서, 접촉 모델은 건반의 접촉 속도를 예측하기 위한 모델로서, 레이저 센서를 통해 획득한 레이저 센서와 건반 사이 거리 데이터를 입력시켜, 건반의 접촉 속도를 예측하는 모델을 포함할 수 있다.
대안적 실시예에서, 학습된 소리 생성 모델은 전자 악기에 입력되는 데이터에 대응되는 고전 악기 소리를 생성하기 위하여 머신 러닝 방법으로 학습된 모델을 포함할 수 있다.
대안적 실시예에서, 전자 악기에 입력되는 데이터에 대응되는 고전 악기 소리는 전자 악기에 입력되는 데이터에 이산적으로 대응되는 고전 악기 소리 또는 전자 악기에 입력되는 데이터에 연속적으로 대응되는 고전 악기 소리 중 적어도 하나를 포함할 수 있다.
대안적 실시예에서, 학습 데이터 세트를 소리 생성 모델에 입력시켜 소리 생성 모델을 학습시키는 동작은, 제 2 측정 장치에 포함된 레이저 센서를 이용하여 고전 건반 악기에 포함된 건반과 제 2 측정 장치에 포함된 레이저 센서 사이 거리 데이터를 획득하는 동작; 거리 데이터를 접촉 모델에 입력시켜 고전 악기 건반에 포함된 건반의 접촉 속도를 예측하는 동작; 및 예측된 건반의 접촉 속도를 학습 입력 데이터로 하고, 제 2 측정 장치에 포함된 소리 센서를 통해 획득된 고전 악기의 소리 데이터를 라벨로 하는 학습 데이터 세트를 소리 생성 모델에 입력시켜 학습시키는 동작을 포함할 수 있다.
대안적 실시예에서, 측정 장치로부터 획득한 시계열 데이터를 학습된 소리 생성 모델에 입력시켜 소리를 생성하는 동작은, 제 1 측정 장치로부터 획득한 건반의 접촉 속도를 학습된 소리 생성 모델에 입력시키는 동작; 및 학습된 소리 생성 모델을 이용하여 건반의 접촉 속도에 대응되는 고전 악기의 소리를 생성하는 동작을 포함할 수 있다.
본 개시의 다른 일 실시예에 따라 인공지능을 이용하여 소리를 생성하는 방법이 개시된다. 상기 방법은 센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득하는 단계; 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성하는 단계; 학습 데이터 세트를 소리 생성 모델에 입력시켜 소리 생성 모델을 학습시키는 단계; 및 측정 장치로부터 획득한 시계열 데이터를 학습된 소리 생성 모델에 입력시켜 소리를 생성하는 단계를 포함할 수 있다.
본 개시의 다른 일 실시예에 따라 컴퓨팅 장치가 개시된다. 상기 컴퓨팅 장치는, 하나 이상의 프로세서; 및 상기 프로세서에서 실행가능한 명령들을 저장하는 메모리; 를 포함하고, 상기 프로세서는, 센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득하고, 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성하고, 학습 데이터 세트를 소리 생성 모델에 입력시켜 소리 생성 모델을 학습시키고, 그리고 측정 장치로부터 획득한 시계열 데이터를 학습된 소리 생성 모델에 입력시켜 소리를 생성할 수 있다.
본 개시는 인공지능을 이용하여 소리를 생성하는 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따라 인공지능을 이용하여 소리를 생성하기 위한 컴퓨팅 장치의 블록 구성도이다.
도 2은 본 개시의 일 실시예에 따라 소리 생성 모델에 포함되는 신경망을 나타낸 예시도이다.
도 3은 본 개시의 일 실시예에 따라 접촉 모델 설명하기 위한 예시도이다.
도 4는 본 개시의 일 실시예에 따라 소리 생성 모델을 설명하기 위한 예시도이다.
도 5은 본 개시의 일 실시예에 따라 학습된 소리 생성 모델을 이용하여 소리를 생성하는 과정을 설명하기 위한 예시도이다.
도 6은 인공지능을 이용하여 소리를 생성하기 위한 모듈을 도시한 블록 구성도이다.
도 7은 본 개시의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도이다.
다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 개시의 이해를 제공하기 위해서 제시된다. 그러나, 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.
그리고, “A 또는 B 중 적어도 하나”이라는 용어는, “A만을 포함하는 경우”, “B 만을 포함하는 경우”, “A와 B의 구성으로 조합된 경우”를 의미하는 것으로 해석되어야 한다.
당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
제시된 실시예들에 대한 설명은 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예 들로 한정되는 것이 아니다. 본 발명은 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
도 1은 본 개시의 일 실시예에 따라 인공지능을 이용하여 소리를 생성하기 위한 컴퓨팅 장치의 블록 구성도이다.
도 1에 도시된 컴퓨팅 장치(100)의 구성은 간략화 하여 나타낸 예시일 뿐이다. 본 개시의 일 실시예에서 컴퓨팅 장치(100)는 컴퓨팅 장치(100)의 컴퓨팅 환경을 수행하기 위한 다른 구성들이 포함될 수 있고, 개시된 구성들 중 일부만이 컴퓨팅 장치(100)를 구성할 수도 있다.
컴퓨팅 장치(100)는 프로세서(110), 메모리(130), 네트워크부(150)를 포함할 수 있다.
프로세서(110)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서(110)는 메모리(130)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 개시의 일실시예에 따라 프로세서(110)는 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(110)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다. 프로세서(110)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 개시의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
본 개시의 일 실시예에 따르면, 메모리(130)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(150)가 수신한 임의의 형태의 정보를 저장할 수 있다.
본 개시의 일 실시예에 따르면, 메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 서버는 인터넷(internet) 상에서 상기 메모리(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따른 네트워크부(150)는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.
또한, 본 명세서에서 제시되는 네트워크부(150)는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.
본 개시에서 네트워크부(150)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다.
본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.
본 개시의 일 실시예에 따라, 프로세서(110)는 인공지능을 이용하여 소리를 생성할 수 있다. 프로세서(110)는 소리를 생성하기 위한 데이터를 메모리(130)에 저장할 수 있다. 프로세서(110)는 소리를 생성하기 위한 데이터를 네트워크부(150)를 통해 송수신할 수 있다. 프로세서(110)는 소리를 생성하기 위하여 인공지능 학습에 사용되는 학습 데이터 세트를 생성할 수 있다. 프로세서(110)는 또한 학습 데이터 세트를 메모리(130)에 저장하고, 네트워크부(150)를 통해 학습 데이터 세트를 송수신할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 프로세서(110)는 센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득할 수 있다. 측정 장치는 일정한 기준을 가지고 양을 수치화하는 장치를 포함할 수 있다. 전술한 측정 장치는 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 측정 장치는 전자 악기에 설치되어 센서 데이터를 획득하는 제 1 측정 장치 또는 고전 악기에 설치되어 센서 데이터를 획득하는 제 2 측정 장치 중 적어도 하나를 포함할 수 있다. 전자 악기는 전기 회로를 통해 소리를 발생시키는 악기를 포함할 수 있다. 고전 악기는 전기 회로를 사용하지 않고 소리를 발생시키는 악기를 포함할 수 있다. 고전 악기는 줄을 통해 소리를 발생시키는 현악기, 입으로 불어서 소리를 내는 관악기 및/또는 두드려서 소리를 내는 타악기를 포함할 수 있다. 시계열 데이터는 인정 시간 간격으로 배치된 데이터들의 수열을 포함할 수 있다. 시계열 데이터는 또한 센서로부터 획득한 데이터를 포함할 수 있다. 전술한 측정 장치는 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 측정 장치는, 전자 건반 악기에 설치되어 건반의 움직임에 대한 데이터를 획득하는 제 1 측정 장치 또는 고전 건반 악기에 설치되어 건반의 움직임에 대한 데이터 및 소리 데이터를 획득하는 제 2 측정 장치 중 적어도 하나를 포함할 수 있다. 전자 건반 악기는 전기 회로를 이용하여 건반을 두드려서 나오는 소리를 발생시키는 악기를 포함할 수 있다. 고전 건반 악기는 건반을 두드려서 소리를 내는 악기를 포함할 수 있다. 고전 건반 악기는 현을 때려서 소리를 내는 피아노, 현을 퉁겨서 소리를 내는 하프시코드, 관에 공기를 불어넣어 소리를 내는 파이프 오르간 등을 포함할 수 있다. 전술한 측정 장치는 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 제 1 측정 장치는 전자 악기에 설치된 측정 장치를 포함할 수 있다. 제 1 측정 장치는, 전자 건반 악기에 포함된 건반의 움직임에 대한 데이터를 획득하기 위한 레이저 센서, 자성 센서, 광 센서 또는 압력 센서 중 적어도 하나를 포함할 수 있다. 전자 건반 악기는 전기 회로를 이용하여 건반을 두드려서 나오는 소리를 발생시키는 악기를 포함할 수 있다. 프로세서(110)는 제 1 측정 장치를 이용하여 건반의 움직임에 대한 데이터를 획득할 수 있다. 프로세서(110)는 제 1 측정 장치를 이용하여 건반의 접촉 속도(접촉 속도는 건반이 건반대에 부착된 센서에 가까워지거나 멀어지는 속도를 포함할 수 있다.), 건반이 센서로부터 떨어진 거리, 건반이 움직이는 방향을 획득할 수 있다. 프로세서(110)는 예를 들어, 레이저 센서를 이용하여 센서와 건반 사이의 거리를 획득할 수 있다. 프로세서(110)는 예를 들어, 자성 센서, 광 센서, 압력 센서 중 적어도 하나를 이용하여 건반의 접촉 속도, 건반이 센서로부터 떨어진 거리 및/또는 건반이 움직이는 방향을 획득할 수 있다. 따라서, 프로세서(110)는 제 1 측정 장치를 이용하여 전자 건반 악기에 포함된 건반의 움직임에 대한 데이터를 획득할 수 있다. 나아가, 프로세서(110)는 제 1 측정 장치를 이용하여 전자 악기(예를 들어, 전자 바이올린, 전자 첼로)에 포함된 현의 움직임에 대한 데이터를 획득할 수 있다. 전술한 제 1 측정 장치는 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 제 2 측정 장치는 고전 악기에 설치된 측정 장치를 포함할 수 있다. 고전 건반 악기의 건반 움직임에 대한 데이터를 획득하기 위한 레이저 센서 또는 고전 건반 악기의 건반 움직임에 대응되는 고전 악기의 소리를 획득하기 위한 소리 센서 중 적어도 하나를 포함할 수 있다. 고전 건반 악기는 건반을 두드려서 소리를 내는 악기를 포함할 수 있다. 프로세서(110)는 레이저 센서를 이용하여 고전 건반 악기의 건반 움직임에 대한 데이터를 획득할 수 있다. 프로세서(110)는 레이저 센서를 이용하여 센서와 고전 건반 악기에 포함된 건반 사이의 거리를 획득할 수 있다. 프로세서(110)는 소리 센서를 이용하여 고전 건반 악기의 건반 움직임에 대응되는 고전 악기의 소리를 획득할 수 있다. 프로세서(110)는 소리 센서를 이용하여 고전 건반 악기의 건반 움직임에 기초하여 진동하는 현의 움직임에 따라 발생하는 소리 데이터를 획득할 수 있다. 따라서 프로세서(110)는 고전 건반 악기의 건반 움직임에 대응되는 고전 악기의 소리를 획득할 수 있다. 전술한 제 2 측정 장치는 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 프로세서(110)는 측정 장치로부터 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성할 수 있다.
본 개시의 일 실시예에 따라, 학습 데이터 세트는 머신 러닝 모델의 학습에 사용되는 학습 데이터들의 집합을 포함할 수 있다. 학습 데이터 세트는 접촉 모델로부터 획득한 데이터를 학습 입력 데이터로 하고, 제 2 측정 장치로부터 획득한 시계열 데이터를 라벨로 하는 학습 데이터 세트를 포함할 수 있다. 접촉 모델은 레이저 센서를 통해 획득한 거리 데이터를 입력 받아 예측된 건반의 접촉 속도를 출력하는 머신 러닝 모델을 포함할 수 있다. 예를 들어, 접촉 모델은 지도 학습 방식으로 학습된 머신 러닝 모델을 포함할 수 있다. 접촉 모델은 레이저 센서를 통해 획득한 거리 데이터를 접촉 모델의 학습 입력 데이터로 하고 접촉 속도를 접촉 모델의 라벨(정답 데이터)로 하는 학습 데이터 세트를 이용하여 학습된 모델을 포함할 수 있다. 접촉 속도는 건반이 건반대에 부착된 센서에 가까워지거나 멀어지는 속도를 포함할 수 있다. 본 개시의 일 실시예에 따라, 접촉 모델은 건반의 접촉 속도를 예측하기 위한 모델로서, 레이저 센서를 통해 획득한 레이저 센서와 건반 사이 거리 데이터를 입력시켜, 건반의 접촉 속도를 예측하는 모델을 포함할 수 있다. 프로세서(110)는 소리 생성 모델의 학습 입력 데이터를 접촉 모델의 출력인 예측된 접촉 속도로 하고, 고전 건반 악기의 소리를 라벨로 함으로서, 전자 건반 악기의 접촉 속도에 대응되는 고전 건반 악기의 소리를 출력할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 학습된 소리 생성 모델은 전자 악기에 입력되는 데이터에 대응되는 고전 악기 소리를 생성하기 위하여 머신 러닝 방법으로 학습된 모델을 포함할 수 있다. 머신 러닝은 인공 지능의 한 분야로 컴퓨터가 학습할 수 있도록 하는 알고리즘을 포함할 수 있다. 프로세서(110)는 소리 생성 모델을 학습시키기 위하여 Wavenet, seq to seq 및/또는 GANSynth를 사용할 수 있다. 전술한 소리 생성 모델은 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 전자 악기에 입력되는 데이터에 대응되는 고전 악기 소리는 전자 악기에 입력되는 데이터에 이산적으로 대응되는 고전 악기 소리 또는 전자 악기에 입력되는 데이터에 연속적으로 대응되는 고전 악기 소리 중 적어도 하나를 포함할 수 있다. 프로세서(110)는 소리 생성 모델을 이용하여 전자 악기에 입력되는 데이터에 이산적으로 대응되는 고전 악기 소리를 생성할 수 있다. 전자 악기에 입력되는 데이터는 예를 들어, 전자 건반 악기에 포함된 건반의 움직임(예를 들어, 접촉 속도)에 대한 데이터를 포함할 수 있다. 프로세서(110)는 전자 건반 악기에 포함된 건반의 접촉 속도가 1-5인 경우에 고전 악기 소리를 1, 건반의 접촉 속도가 6-10인 경우에 고전 악기 소리를 2, 건반의 접촉 속도가 11-15인 경우에 고전 악기 소리를 3으로 생성할 수 있다. 프로세서(110)는 또한, 전자 악기에 입력되는 데이터에 연속적으로 대응되는 고전 악기 소리를 생성할 수 있다. 전자 악기에 입력되는 데이터는 예를 들어, 전자 건반 악기에 포함된 건반의 움직임(예를 들어, 접촉 속도)에 대한 데이터를 포함할 수 있다. 프로세서(110)는 전자 건반 악기에 포함된 건반의 접촉 속도에 연속적으로 대응하는 고전 악기 소리를 생성할 수 있다. 따라서 프로세서(110)는 전자 악기 연주를 소리 생성 모델에 입력시켜 고전 악기 소리를 생성할 수 있다. 즉, 전자 악기에 입력되는 데이터에 연속적으로 대응되는 고전 악기 소리를 생성하는 경우, 고전 악기 소리와 동일한 소리를 전자 악기를 통해 출력할 수 있다. 이를 통해, 소비자들은 고전 악기에 비해 상대적으로 저렴한 전자 악기를 이용하여 고전 악기를 연주하는 것과 같은 효과를 얻을 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 프로세서(110)는 학습 데이터 세트를 소리 생성 모델에 입력시켜 소리 생성 모델을 학습시킬 수 있다. 프로세서(110)는 제 2 측정 장치에 포함된 레이저 센서를 이용하여 고전 건반 악기에 포함된 건반과 제 2 측정 장치에 포함된 레이저 센서 사이의 거리 데이터를 획득할 수 있다. 프로세서(110)는 이를 통해, 고전 건반 악기에 포함된 건반의 움직임에 대한 데이터를 획득할 수 있다. 프로세서(110)는 거리 데이터를 접촉 모델에 입력시켜 고전 악기 건반에 포함된 건반의 접촉 속도를 예측할 수 있다. 접촉 모델은 레이저 센서를 통해 획득한 거리 데이터를 입력 받아 예측된 건반의 접촉 속도를 출력하는 머신 러닝 모델을 포함할 수 있다. 예를 들어, 접촉 모델은 지도 학습 방식으로 학습된 머신 러닝 모델을 포함할 수 있다. 접촉 모델은 레이저 센서를 통해 획득한 거리 데이터를 학습 입력 데이터로 하고 접촉 속도를 라벨로 하는 학습 데이터 세트를 이용하여 학습된 모델을 포함할 수 있다. 프로세서(110)는 예측된 건반의 접촉 속도를 학습 입력 데이터로 하고, 제 2 측정 장치에 포함된 소리 센서를 통해 획득된 고전 악기의 소리 데이터를 라벨로 하는 학습 데이터 세트를 상기 소리 생성 모델에 입력시켜 학습시킬 수 있다. 프로세서(110)는 소리 생성 모델이 출력한 소리가 라벨 소리 데이터(정답 데이터)와 오차가 큰 경우, 가중치를 조정함으로써 오차를 줄여 나가는 학습을 수행할 수 있다. 이를 통해, 프로세서(110)는 소리 생성 모델을 이용하여, 전자 건반 악기에 포함된 건반의 움직임에 대응되는 고전 악기 소리를 생성할 수 있다. 또한 프로세서(110)는 머신 러닝 모델인 소리 생성 모델을 사용함으로써, 전자 악기에 입력되는 데이터에 연속적으로 대응되는 고전 악기 소리를 생성할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 프로세서(110)는 측정 장치로부터 획득한 시계열 데이터를 학습된 소리 생성 모델에 입력시켜 소리를 생성할 수 있다. 프로세서(110)는 제 1 측정 장치로부터 획득한 건반의 접촉 속도를 학습된 소리 생성 모델에 입력시킬 수 있다. 즉 프로세서(110)는 전자 건반 악기에 포함된 건반의 접촉 속도를 학습된 소리 생성 모델에 입력시킬 수 있다. 프로세서(110)는 학습된 소리 생성 모델을 이용하여 건반의 접촉 속도에 대응되는 고전 악기의 소리를 생성할 수 있다. 프로세서(110)는 학습된 소리 생성 모델을 이용하여 전자 건반 악기에 포함된 건반의 접촉 속도에 대응되는 고전 건반 악기의 소리를 생성할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시에 따라, 소리 생성 모델을 이용하여 소리를 생성하는 경우, 전자 악기를 이용하여 고전 악기 소리를 생성해 낼 수 있다. 또한 소리 생성 모델은 머신 러닝 방법을 사용하여 학습된 모델을 사용함으로써, 전자 건반 악기에 포함된 건반의 움직임에 연속적으로 대응되는 고전 건반 악기의 소리를 생성할 수 있다. 이를 통해, 더 정교하고 사실감 넘치는 고전 건반 악기의 소리를 전자 건반 악기를 통해 생성할 수 있다.
도 2은 본 개시의 일 실시예에 따라 소리 생성 모델에 포함되는 신경망을 나타낸 예시도이다.
본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다. 신경망들을 구성하는 노드(또는 뉴런)들은 하나 이상의 링크에 의해 상호 연결될 수 있다.
신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 상술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변 될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
상술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호 연결되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.
신경망은 하나 이상의 노드들을 포함하여 구성될 수 있다. 신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 상술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들이 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. 본 개시의 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수와 동일할 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하다가 다시 증가하는 형태의 신경망일 수 있다. 또한, 본 개시의 다른 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수 보다 적을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다. 또한, 본 개시의 또 다른 일 실시예에 따른 신경망은 입력 레이어의 노드의 개수가 출력 레이어의 노드의 개수보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 증가하는 형태의 신경망일 수 있다. 본 개시의 또 다른 일 실시예에 따른 신경망은 상술한 신경망들의 조합된 형태의 신경망일 수 있다.
딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에서 네트워크 함수는 오토 인코더를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 이 경우, 도 2의 예시에서는 차원 감소 레이어와 차원 복원 레이어가 대칭되는 것으로 도시되어 있으나, 본 개시는 이에 제한되지 않으며, 차원 감소 레이어와 차원 복원 레이어의 노드는 대칭일 수도 있고 아닐 수도 있다. 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.
뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 및 반교사학습(semi supervised learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 출력의 오류를 최소화하기 위한 것이다. 뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다. 교사 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다. 라벨링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 라벨을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다. 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션(regularization), 학습의 과정에서 네트워크의 노드 일부를 생략하는 드롭아웃(dropout) 등의 방법이 적용될 수 있다.
도 3은 본 개시의 일 실시예에 따라 접촉 모델 설명하기 위한 예시도이다.
도 3에서는 전자 건반 악기에 포함된 건반(310), 레이저 센서(320), 자성 센서(330), 접촉 속도 측정부(340), 거리 데이터(350), 접촉 모델(370) 및 접촉 속도 데이터(390)가 도시되어 있다. 거리 데이터 또는 접촉 속도 데이터를 획득하기 위하여 전술한 모든 구성이 포함되어야 하는 것은 아니며, 전술한 구성 중 일부가 생략되거나 아니면 다른 구성이 더 부가될 수도 있다.
본 개시의 일 실시예에 따라, 컴퓨팅 장치(100)는 레이저 센서(320)를 이용하여 레이저 센서(320)와 전자 건반 악기에 포함된 건반(310) 사이 거리 데이터(350)를 획득할 수 있다. 거리 데이터(350)는 자성 센서(330)를 이용하여 획득된 데이터를 포함할 수 있다. 거리 데이터(350)는 또한 광센서, 압력센서를 이용하여 획득된 데이터를 포함할 수 있다. 컴퓨팅 장치(100)는 접촉 속도 측정부(340)를 이용하여 건반의 접촉 속도 데이터(390)를 획득할 수 있다. 컴퓨팅 장치(100)는 자성 센서(330)를 이용하여 접촉 속도 데이터(390)를 획득할 수 있다. 컴퓨팅 장치(100)는 또한 광센서, 압력센서를 이용하여 접촉 속도 데이터(390)를 획득할 수 있다. 접촉 속도는 건반이 건반대에 부착된 센서에 가까워지거나 멀어지는 속도를 포함할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 컴퓨팅 장치(100)는 접촉 모델을 학습시키기 위한 학습 데이터 세트를 생성할 수 있다. 컴퓨팅 장치(100)는 거리 데이터(350)를 학습 입력 데이터로 하고, 접촉 속도 데이터(390)를 라벨로 하는 학습 데이터 세트를 생성할 수 있다. 컴퓨팅 장치(100)는 접촉 모델을 학습시키기 위한 학습 데이터 세트를 이용하여 접촉 모델(370)을 학습시킬 수 있다. 컴퓨팅 장치(100)는 학습된 접촉 모델을 이용하여 거리 데이터에 대응되는 예측된 접촉 속도를 획득할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
도 4는 본 개시의 일 실시예에 따라 소리 생성 모델을 설명하기 위한 예시도이다.
도 4에서는 레이저 센서(410), 고전 건반 악기에 포함된 건반(420), 소리 센서(430), 고전 건반 악기의 현(440), 거리 데이터(450), 학습된 접촉 모델(460), 예측된 접촉 속도(470), 소리 생성 모델(480), 소리 데이터(490)가 도시되어 있다. 거리 데이터 또는 소리 데이터를 획득하기 위하여 전술한 모든 구성이 포함되어야 하는 것은 아니며, 전술한 구성 중 일부가 생략되거나 아니면 다른 구성이 더 부가될 수도 있다.
본 개시의 일 실시예에 따라, 컴퓨팅 장치(100)는 레이저 센서(410)를 이용하여 레이저 센서(410)와 고전 건반 악기에 포함된 건반(420) 사이 거리 데이터(450)를 획득할 수 있다. 컴퓨팅 장치(100)는 소리 센서(430)를 이용하여 고전 건반 악기의 현(440)으로부터 발생하는 소리를 획득할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라, 컴퓨팅 장치(100)는 소리 생성 모델(480)을 학습시키기 위한 학습 데이터 세트를 생성할 수 있다. 컴퓨팅 장치(100)는 학습된 접촉 모델(460)을 이용하여 획득한 예측된 접촉 속도(470)(즉, 거리 데이터(450)에 대응하는 예측된 건반의 접촉 속도(470))를 학습 입력 데이터로 하고, 소리 데이터(490)를 라벨로 하는 학습 데이터 세트를 생성할 수 있다. 컴퓨팅 장치(100)는 학습 데이터 세트를 이용하여 소리 생성 모델(480)을 학습시킬 수 있다. 컴퓨팅 장치(100)는 학습된 소리 생성 모델을 이용하여 접촉 속도에 대응되는 고전 건반 악기의 소리를 생성할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
도 5은 본 개시의 일 실시예에 따라 학습된 소리 생성 모델을 이용하여 소리를 생성하는 과정을 설명하기 위한 예시도이다.
도 5에서는 전자 건반 악기에 포함된 건반(310), 자성 센서(330), 접촉 속도 측정부(340), 접촉 속도 데이터(550), 학습된 소리 생성 모델(570), 소리(590)가 도시되어 있다.
본 개시의 일 실시예에 따라, 컴퓨팅 장치(100)는 학습된 소리 생성 모델(570)을 이용하여 접촉 속도 데이터(550)에 대응하는 소리(590)를 생성할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 학습된 소리 생성 모델(570)을 이용하여 전자 건반 악기에 포함된 건반의 접촉 속도에 연속적으로 대응되는 고전 건반 악기의 소리를 생성할 수 있다. 이를 통해, 컴퓨팅 장치()는 학습된 소리 생성 모델을 이용하여 사실감 넘치고 정교한 고전 악기의 소리를 생성할 수 있다. 전술한 사항은 예시일 뿐 본 개시는 이에 제한되지 않는다.
도 6은 인공지능을 이용하여 소리를 생성하기 위한 모듈을 도시한 블록 구성도이다.
본 개시의 일 실시예에 따라, 인공지능을 이용한 소리 생성은 다음과 같은 모듈에 의해 구현될 수 있다.
본 개시의 일 실시예에 따라, 센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득하기 위한 모듈(610); 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성하기 위한 모듈(620); 학습 데이터 세트를 소리 생성 모델에 입력시켜 소리 생성 모델을 학습시키기 위한 모듈(630); 및 측정 장치로부터 획득한 시계열 데이터를 학습된 소리 생성 모델에 입력시켜 소리를 생성하기 위한 모듈(640)을 포함할 수 있다.
인공지능을 이용하여 소리를 생성하기 위한 대안적 실시예에서, 학습 데이터 세트를 소리 생성 모델에 입력시켜 소리 생성 모델을 학습시키기 위한 모듈(630)은 제 2 측정 장치에 포함된 레이저 센서를 이용하여 고전 건반 악기에 포함된 건반과 제 2 측정 장치에 포함된 레이저 센서 사이 거리 데이터를 획득하기 위한 모듈; 거리 데이터를 접촉 모델에 입력시켜 고전 악기 건반에 포함된 건반의 접촉 속도를 예측하기 위한 모듈; 및 예측된 건반의 접촉 속도를 학습 입력 데이터로 하고, 제 2 측정 장치에 포함된 소리 센서를 통해 획득된 고전 악기의 소리 데이터를 라벨로 하는 학습 데이터 세트를 소리 생성 모델에 입력시켜 학습시키기 위한 모듈을 포함할 수 있다.
인공지능을 이용하여 소리를 생성하기 위한 대안적 실시예에서, 측정 장치로부터 획득한 시계열 데이터를 학습된 소리 생성 모델에 입력시켜 소리를 생성하기 위한 모듈(640)은 제 1 측정 장치로부터 획득한 건반의 접촉 속도를 상기 학습된 소리 생성 모델에 입력시키기 위한 모듈; 및 학습된 소리 생성 모델을 이용하여 건반의 접촉 속도에 대응되는 고전 악기의 소리를 생성하기 위한 모듈을 포함할 수 있다.
본 개시의 일 실시예에 따르면 인공지능을 이용하여 소리를 생성하기 위한 모듈은, 컴퓨팅 장치를 구현하기 위한 수단, 회로 또는 로직에 의하여 구현될 수도 있다. 당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있으나, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.
도 7은 본 개시의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도이다.
본 개시가 일반적으로 컴퓨팅 장치에 의해 구현될 수 있는 것으로 전술되었지만, 당업자라면 본 개시가 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어 및/또는 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로써 구현될 수 있다는 것을 잘 알 것이다.
일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 개시의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.
본 개시의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘 다에 위치할 수 있다.
컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.
컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.
컴퓨터(1102)를 포함하는 본 개시의 여러가지 측면들을 구현하는 예시적인 환경(1100)이 나타내어져 있으며, 컴퓨터(1102)는 처리 장치(1104), 시스템 메모리(1106) 및 시스템 버스(1108)를 포함한다. 시스템 버스(1108)는 시스템 메모리(1106)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1104)에 연결시킨다. 처리 장치(1104)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1104)로서 이용될 수 있다.
시스템 버스(1108)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇 가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1106)는 판독 전용 메모리(ROM)(1110) 및 랜덤 액세스 메모리(RAM)(1112)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1110)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1102) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1112)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.
컴퓨터(1102)는 또한 내장형 하드 디스크 드라이브(HDD)(1114)(예를 들어, EIDE, SATA)－이 내장형 하드 디스크 드라이브(1114)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음－, 자기 플로피 디스크 드라이브(FDD)(1116)(예를 들어, 이동식 디스켓(1118)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1120)(예를 들어, CD-ROM 디스크(1122)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1114), 자기 디스크 드라이브(1116) 및 광 디스크 드라이브(1120)는 각각 하드 디스크 드라이브 인터페이스(1124), 자기 디스크 드라이브 인터페이스(1126) 및 광 드라이브 인터페이스(1128)에 의해 시스템 버스(1108)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1124)는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘 다를 포함한다.
이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1102)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 개시의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.
운영 체제(1130), 하나 이상의 애플리케이션 프로그램(1132), 기타 프로그램 모듈(1134) 및 프로그램 데이터(1136)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1112)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1112)에 캐싱될 수 있다. 본 개시가 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.
사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1138) 및 마우스(1140) 등의 포인팅 장치를 통해 컴퓨터(1102)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1108)에 연결되어 있는 입력 장치 인터페이스(1142)를 통해 처리 장치(1104)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.
모니터(1144) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1146) 등의 인터페이스를 통해 시스템 버스(1108)에 연결된다. 모니터(1144)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.
컴퓨터(1102)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1148) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1148)는 워크스테이션, 컴퓨팅 디바이스 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1102)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1150)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1152) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1154)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1156)를 통해 로컬 네트워크(1152)에 연결된다. 어댑터(1156)는 LAN(1152)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1152)은 또한 무선 어댑터(1156)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 모뎀(1158)을 포함할 수 있거나, WAN(1154) 상의 통신 컴퓨팅 디바이스에 연결되거나, 또는 인터넷을 통하는 등, WAN(1154)을 통해 통신을 설정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1158)은 직렬 포트 인터페이스(1142)를 통해 시스템 버스(1108)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1102)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1150)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.
컴퓨터(1102)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.
Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성 있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a, b, g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.
본 개시의 기술 분야에서 통상의 지식을 가진 자는 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 이용하여 표현될 수 있다는 것을 이해할 것이다. 예를 들어, 위의 설명에서 참조될 수 있는 데이터, 지시들, 명령들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 입자들, 광학장들 또는 입자들, 또는 이들의 임의의 결합에 의해 표현될 수 있다.
본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 소프트웨어로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.
여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 제조 물품은 임의의 컴퓨터-판독가능 저장장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 저장매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다.
제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
상기와 같은 발명의 실시를 위한 최선의 형태에서 관련 내용을 기술하였다.
본 개시는 인공지능을 이용하여 악기의 소리를 생성하는 방법에 관한 것으로 컴퓨팅 장치를 이용하여 악기의 소리를 구현하는데 이용될 수 있다.

Claims (13)

  1. 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 인공지능을 이용하여 소리를 생성하기 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은:
    센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득하는 동작;
    상기 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성하는 동작;
    상기 학습 데이터 세트를 소리 생성 모델에 입력시켜 상기 소리 생성 모델을 학습시키는 동작; 및
    상기 측정 장치로부터 획득한 시계열 데이터를 상기 학습된 소리 생성 모델에 입력시켜 소리를 생성하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  2. 제 1 항에 있어서,
    상기 측정 장치는,
    전자 악기에 설치되어 센서 데이터를 획득하는 제 1 측정 장치 또는 고전 악기에 설치되어 센서 데이터를 획득하는 제 2 측정 장치 중 적어도 하나를 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  3. 제 1 항에 있어서,
    상기 측정 장치는,
    전자 건반 악기에 설치되어 건반의 움직임에 대한 데이터를 획득하는 제 1 측정 장치 또는 고전 건반 악기에 설치되어 건반의 움직임에 대한 데이터 및 소리 데이터를 획득하는 제 2 측정 장치 중 적어도 하나를 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  4. 제 2 항에 있어서,
    상기 제 1 측정 장치는,
    전자 건반 악기에 포함된 건반의 움직임에 대한 데이터를 획득하기 위한 레이저 센서, 자성 센서, 광 센서 또는 압력 센서 중 적어도 하나를 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  5. 제 2 항에 있어서,
    상기 제 2 측정 장치는,
    고전 건반 악기의 건반 움직임에 대한 데이터를 획득하기 위한 레이저 센서 또는 고전 건반 악기의 건반 움직임에 대응되는 고전 악기의 소리를 획득하기 위한 소리 센서 중 적어도 하나를 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  6. 제 1 항에 있어서,
    상기 학습 데이터 세트는,
    접촉 모델로부터 획득한 데이터를 학습 입력 데이터로 하고, 제 2 측정 장치로부터 획득한 시계열 데이터를 라벨로 하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  7. 제 6 항에 있어서,
    상기 접촉 모델은,
    건반의 접촉 속도를 예측하기 위한 모델로서, 레이저 센서를 통해 획득한 레이저 센서와 건반 사이 거리 데이터를 입력시켜, 건반의 접촉 속도를 예측하는 모델인,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  8. 제 1 항에 있어서,
    상기 학습된 소리 생성 모델은,
    전자 악기에 입력되는 데이터에 대응되는 고전 악기 소리를 생성하기 위하여 머신 러닝 방법으로 학습된 모델을 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  9. 제 8 항에 있어서,
    상기 전자 악기에 입력되는 데이터에 대응되는 고전 악기 소리는,
    전자 악기에 입력되는 데이터에 이산적으로 대응되는 고전 악기 소리 또는
    전자 악기에 입력되는 데이터에 연속적으로 대응되는 고전 악기 소리 중 적어도 하나를 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  10. 제 1 항에 있어서,
    상기 학습 데이터 세트를 소리 생성 모델에 입력시켜 상기 소리 생성 모델을 학습시키는 동작은,
    제 2 측정 장치에 포함된 레이저 센서를 이용하여 고전 건반 악기에 포함된 건반과 상기 제 2 측정 장치에 포함된 레이저 센서 사이 거리 데이터를 획득하는 동작;
    상기 거리 데이터를 접촉 모델에 입력시켜 고전 악기 건반에 포함된 건반의 접촉 속도를 예측하는 동작; 및
    상기 예측된 건반의 접촉 속도를 학습 입력 데이터로 하고, 제 2 측정 장치에 포함된 소리 센서를 통해 획득된 고전 악기의 소리 데이터를 라벨로 하는 학습 데이터 세트를 상기 소리 생성 모델에 입력시켜 학습시키는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  11. 제 1 항에 있어서,
    상기 측정 장치로부터 획득한 시계열 데이터를 상기 학습된 소리 생성 모델에 입력시켜 소리를 생성하는 동작은,
    제 1 측정 장치로부터 획득한 건반의 접촉 속도를 상기 학습된 소리 생성 모델에 입력시키는 동작; 및
    학습된 소리 생성 모델을 이용하여 상기 건반의 접촉 속도에 대응되는 고전 악기의 소리를 생성하는 동작;
    을 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  12. 인공지능을 이용하여 소리를 생성하기 위한 방법에 있어서,
    센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득하는 단계;
    상기 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성하는 단계;
    상기 학습 데이터 세트를 소리 생성 모델에 입력시켜 상기 소리 생성 모델을 학습시키는 단계; 및
    상기 측정 장치로부터 획득한 시계열 데이터를 상기 학습된 소리 생성 모델에 입력시켜 소리를 생성하는 단계;
    를 포함하는,
    인공지능을 이용하여 소리를 생성하기 위한 방법.
  13. 인공지능을 이용하여 소리를 생성하기 위한 컴퓨팅 장치로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에서 실행 가능한 명령들을 저장하는 메모리;
    를 포함하고,
    상기 하나 이상의 프로세서는,
    센서 데이터를 획득하기 위한 측정 장치로부터 시계열 데이터를 획득하고,
    상기 획득한 시계열 데이터를 기초로 학습 데이터 세트를 생성하고,
    상기 학습 데이터 세트를 소리 생성 모델에 입력시켜 상기 소리 생성 모델을 학습시키고, 그리고
    상기 측정 장치로부터 획득한 시계열 데이터를 상기 학습된 소리 생성 모델에 입력시켜 소리를 생성하는,
    인공지능을 이용하여 소리를 생성하기 위한 컴퓨팅 장치.
PCT/KR2020/003571 2019-10-01 2020-03-16 인공지능을 이용하여 소리를 생성하는 방법 WO2021066266A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190121719A KR102272189B1 (ko) 2019-10-01 2019-10-01 인공지능을 이용하여 소리를 생성하는 방법
KR10-2019-0121719 2019-10-01

Publications (1)

Publication Number Publication Date
WO2021066266A1 true WO2021066266A1 (ko) 2021-04-08

Family

ID=75336584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/003571 WO2021066266A1 (ko) 2019-10-01 2020-03-16 인공지능을 이용하여 소리를 생성하는 방법

Country Status (2)

Country Link
KR (1) KR102272189B1 (ko)
WO (1) WO2021066266A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271374A (ja) * 1994-03-30 1995-10-20 Yamaha Corp 電子楽器
KR0121292B1 (ko) * 1990-08-08 1997-11-17 가와까미 히로시 악음신호 합성장치
JP3316517B2 (ja) * 1992-06-15 2002-08-19 カシオ計算機株式会社 鍵盤装置
KR20180066472A (ko) * 2016-12-09 2018-06-19 반병현 기계 학습을 이용한 음악 신호의 처리 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5853889A (ja) * 1981-09-25 1983-03-30 松下電器産業株式会社 電子部品挾持装置
JPH03219298A (ja) * 1990-01-25 1991-09-26 Yamaha Corp 電子楽器
JPH06289868A (ja) * 1993-04-02 1994-10-18 Yamaha Corp 電子楽器
US7843575B1 (en) * 2007-01-15 2010-11-30 Midi9 LLC Reflective piano keyboard scanner
KR20130067856A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법
JP6547878B1 (ja) * 2018-06-21 2019-07-24 カシオ計算機株式会社 電子楽器、電子楽器の制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0121292B1 (ko) * 1990-08-08 1997-11-17 가와까미 히로시 악음신호 합성장치
JP3316517B2 (ja) * 1992-06-15 2002-08-19 カシオ計算機株式会社 鍵盤装置
JPH07271374A (ja) * 1994-03-30 1995-10-20 Yamaha Corp 電子楽器
KR20180066472A (ko) * 2016-12-09 2018-06-19 반병현 기계 학습을 이용한 음악 신호의 처리 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAYDA, ERNESTO EVGENIY SANCHES ET AL.: "Grand digital piano: multimodal transfer of learning of sound and touch", CS 229 PROJECTS STANFORD UNIVERSITY, 30 April 2019 (2019-04-30), XP055810801, Retrieved from the Internet <URL:http://cs229.stanford.edu/proj2019spr> [retrieved on 20200622] *

Also Published As

Publication number Publication date
KR102272189B1 (ko) 2021-07-02
KR20210039193A (ko) 2021-04-09

Similar Documents

Publication Publication Date Title
WO2020005049A1 (ko) 인공 신경망의 학습 방법
WO2019074195A1 (ko) 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
WO2019027208A1 (ko) 인공 신경망의 훈련 방법
WO2021261825A1 (ko) 기계 학습 기반 기상 자료 생성 장치 및 방법
KR20200123544A (ko) 동의어 추출 방법
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2022005091A1 (ko) 골 연령 판독 방법 및 장치
WO2019039757A1 (ko) 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
WO2021162362A1 (ko) 음성 인식 모델을 학습시키는 방법 및 상기 방법을 이용하여 학습된 음성 인식 장치
WO2021118050A1 (ko) 하이라이트 영상 자동 편집을 위한 컴퓨터 프로그램
WO2022265292A1 (ko) 비정상 데이터 검출 방법 및 장치
WO2022075678A2 (ko) 의사 정상 데이터를 이용한 자가 감독 학습 기반의 차량 이상징후 탐지 장치 및 방법
WO2019098454A1 (ko) 텍스트 데이터를 표현하는 가상 핑거프린트를 생성 및 활용하기 위한 기법
WO2024117708A1 (ko) 확산 모델을 이용한 얼굴 이미지 변환 방법
WO2024143909A1 (ko) 각도 변화를 고려하여 이미지를 단계적으로 변환하는 방법
WO2021066266A1 (ko) 인공지능을 이용하여 소리를 생성하는 방법
Lin et al. Speaker diarization as a fully online bandit learning problem in minivox
WO2022203127A1 (ko) 객체 이상 탐지 및 상태 분류 모델의 지속적인 학습을 위한 방법 및 이를 위한 장치
WO2022145611A1 (ko) 전자 장치 및 그 제어 방법
KR20220150122A (ko) 텍스트 교정 방법 및 장치
KR20200010984A (ko) 어노말리 디텍션
WO2023101417A1 (ko) 딥러닝 기반의 강수량 예측 방법
WO2023027278A1 (ko) 커리큘럼 기반의 능동적 학습 방법
WO2021251691A1 (ko) 앵커-프리 rpn 기반의 물체 검출 방법
KR102445226B1 (ko) 지식 추적을 위한 모델 경량화 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20872953

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20872953

Country of ref document: EP

Kind code of ref document: A1