WO2018186708A1 - 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램 - Google Patents

음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2018186708A1
WO2018186708A1 PCT/KR2018/004061 KR2018004061W WO2018186708A1 WO 2018186708 A1 WO2018186708 A1 WO 2018186708A1 KR 2018004061 W KR2018004061 W KR 2018004061W WO 2018186708 A1 WO2018186708 A1 WO 2018186708A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
section
highlight
neural network
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/004061
Other languages
English (en)
French (fr)
Inventor
하정우
김정명
박장연
김찬주
김동원
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z Intermediate Global Corp
Naver Corp
Original Assignee
Line Corp
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp, Naver Corp filed Critical Line Corp
Priority to JP2020503683A priority Critical patent/JP6998449B2/ja
Publication of WO2018186708A1 publication Critical patent/WO2018186708A1/ko
Priority to US16/593,488 priority patent/US11462210B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers

Definitions

  • Embodiments of the present invention relate to a method, an apparatus and a computer program for determining a highlight section of a sound source.
  • Embodiments of the present invention provide a method, apparatus, and computer program for determining a highlight section of a sound source by using a neural network for learning the relationship between the sound source and the classification information.
  • An embodiment of the present invention provides a method for determining a highlight section of a sound source using a processor, the method comprising: obtaining sound source and classification information for the sound source; An input layer including a node corresponding to a feature value of each of a plurality of sections in which the sound source is divided on a time axis by using the sound source and the classification information, an output layer including a node corresponding to the classification information, and the input Learning a neural network including a hidden layer defined between a layer and the output layer, a first function between the input layer and the hidden layer, and a second function between the hidden layer and the output layer, wherein the first function comprises: A neural network learning step comprising an attention model that calculates a weighted sum of feature values of each interval; And determining a highlight section of the sound source based on the weight information of the feature value node of each section included in the learned first function.
  • the hidden layer may include a node corresponding to an integrated feature value for the sound source obtained from the feature value of each section according to the first function.
  • the first function may further include a first-first function that calculates a similarity between the output value of the attention model and the output value of a Recurrent Neural Network (RNN) model. It may include nodes of similarity.
  • RNN Recurrent Neural Network
  • the sound source may be divided by the time axis.
  • the determining may include determining the highlight section based on weight information of the feature value node of each section and energy data of the section.
  • the determining may include determining a critical section based on the weight information of the feature value node of each section, and referring to energy data within a section of a predetermined range before and after the critical section.
  • the highlight section of the entire section of the sound source may be determined.
  • the determining may determine the highlight section corresponding to the point in time where the momentum of the energy data is greatest within the preset range.
  • Another embodiment of the invention discloses a computer program stored on a medium for carrying out any one of the methods described above using a computer.
  • Another embodiment of the present invention includes a sound source acquisition unit for obtaining a sound source and the classification information for the sound source; An input layer including a node corresponding to a feature value of each of a plurality of sections in which the sound source is divided on a time axis by using the sound source and the classification information, an output layer including a node corresponding to the classification information, and the input Learning a neural network including a hidden layer defined between a layer and the output layer, a first function between the input layer and the hidden layer, and a second function between the hidden layer and the output layer, wherein the first function comprises: A neural network processor including an attention model that calculates a weighted sum of feature values of each section; And a highlight determiner configured to determine a highlight section of the sound source based on weight information of the feature value node of each section included in the learned first function.
  • the method, apparatus, and computer program for determining a highlight section in accordance with embodiments of the present invention may determine a highlight section of a sound source by using a neural network for learning the relationship between the sound source and the classification information, thereby highlighting the classification information of the sound source. It is possible to determine the interval, thereby improving the highlight interval determination performance.
  • a method, apparatus, and computer program for determining a highlight section may include a section that plays a most important role among a plurality of sections of a sound source using a neural network including an attentional model that weights each section of the sound source.
  • the highlight section determination performance is improved by determining the highlight section of the sound source based on the.
  • FIG. 1 is a view showing the configuration of a sound source analysis system according to an embodiment of the present invention.
  • FIGS. 2A and 2B are flowcharts illustrating a sound source highlight interval determining method according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an example of a neural network according to an embodiment of the present invention.
  • FIG. 4 illustrates a neural network according to an embodiment of the present invention from another viewpoint.
  • FIG. 5 illustrates an example of a method of extracting a highlight section according to an embodiment of the present invention.
  • FIG. 1 is a view showing the configuration of a sound source analysis system according to an embodiment of the present invention.
  • a sound source analysis system includes a processor 10 and a memory 20.
  • the sound source analysis system provided according to the exemplary embodiment of the present invention may determine a highlight section of the sound source input to the processor 10 by using a neural network stored in the memory 20.
  • the neural network may be constructed to learn a plurality of sound sources and classification information of each sound source to define a relationship between the sound source and the classification information.
  • the classification information may be a kind of tag information labeled with respect to the sound source.
  • the classification information may include one or more of the genre, mood, preferred age group, theme, and mood of the sound source.
  • the classification information may include one or more genre values of a plurality of music genres such as hip hop, rock, ballad, and R & B.
  • the classification information may be expressed in a vector form representing a probability corresponding to each classification.
  • classification information representing a genre may be expressed as a vector including probabilities for four genres of [hip hop, rock, ballad, R & B].
  • the classification information labeled "hip hop” may be represented by a vector of [1, 0, 0, 0].
  • the classification information labeled "hip hop” and “lock” may be represented by a vector of [0.5, 0.5, 0, 0].
  • One or more machine learning algorithms may be used for neural network learning.
  • a convolution neural network algorithm may be used to extract feature values of a sound source in a vector form.
  • the processor 10 of FIG. 1 may correspond to any kind of device capable of processing data.
  • the processor 10 may refer to a data processing apparatus embedded in hardware having, for example, a circuit that is physically structured to perform a function represented by code or instructions included in a program.
  • the processor 10 may correspond to one or more processing devices or may include one or more processing devices.
  • a data processing device embedded in hardware a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, and an application-specific integrated device (ASIC) It may include a processing device such as a circuit, a field programmable gate array (FPGA), etc., but the scope of the present invention is not limited thereto.
  • the processor 10 may be driven in a form included in another hardware device such as a microprocessor or a general purpose computer system.
  • the memory 20 is a storage device that can communicate with the processor 10 and performs a function of temporarily or permanently storing data processed by the processor 10.
  • the memory 20 and the processor 10 may be provided in one device and directly connected to each other, or may be provided in separate devices and connected by wire or wireless communication.
  • the memory 20 may include a magnetic storage media or a flash storage media, but the scope of the present invention is not limited thereto.
  • the sound source analysis system shown in FIG. 1 shows only the components related to this embodiment in order to prevent the features of the present embodiment from being blurred. Accordingly, it will be understood by those skilled in the art that other general purpose components may be further included in addition to the components shown in FIG. 1.
  • the processor 10 includes a sound source acquisition unit 11, a neural network processing unit 12, and a highlight determination unit 13.
  • the sound source acquisition unit 11 obtains the sound source and classification information on the sound source.
  • the sound source and the classification information on the sound source are input by a user, input by a server, input by another device, read from the memory 20, or included in the processor 10 but not shown in FIG. 1. It may be input by the unit, the input subject is not limited.
  • the neural network processor 12 learns neural networks stored in the memory 20 by using the sound source and the classification information acquired by the sound source acquirer 11.
  • Neural network means artificial neural network which is learned by machine learning.
  • An artificial neural network refers to a model in which artificial neurons (nodes) formed by synaptic coupling learn a problem solving ability by changing the strength of synapse through learning.
  • the neural network according to an embodiment of the present invention is a neural network for learning the relationship between the sound source and the classification information by using training data including a sound source labeled with the classification information.
  • the neural network may include attributes of the input object and the output object in a vector form.
  • the neural network may include an input layer, a hidden layer, and an output layer, and may include a relationship function between each layer. For example, a first function between an input layer and a hidden layer and a second function between a hidden layer and an output layer are included.
  • the input layer may include a node corresponding to a feature value of each of the plurality of sections obtained by dividing the sound source on the time axis.
  • the hidden layer is defined between the input layer and the output layer, and may be composed of one or more layers.
  • the output layer may include a node corresponding to the classification information of the sound source.
  • the hidden layer may include an integrated feature value node obtained according to a first function from the node of the feature value of each section included in the input layer.
  • the integrated feature value may be a feature value for the entire sound source.
  • the first function is a function of connecting nodes of feature values for each section of the sound source included in the input layer to the hidden layer, and includes an attention model that calculates a weighted sum of the feature values for each section.
  • the neural network processor 12 may obtain weight information indicating the degree of contribution of each section to the estimation of the classification information of the sound source.
  • the first function may include a recurrent neural network (RNN) model that outputs a result from a sequence of feature values of each interval.
  • the first function may further include a first-first function that calculates a similarity between the weighted sum obtained by the attention model and the output value of the cyclic neural network model, wherein the output value of the first-first function is a hidden layer.
  • RNN recurrent neural network
  • the first function may further include a first-first function that calculates a similarity between the weighted sum obtained by the attention model and the output value of the cyclic neural network model, wherein the output value of the first-first function is a hidden layer.
  • the neural network processing unit 12 applies a convolutional neural network (CNN) to each of a plurality of sections obtained by dividing a sound source obtained by the sound source obtaining unit 11 on a time axis.
  • a feature value of each section can be obtained.
  • the feature value of each section may be expressed as an N-dimensional vector determined according to the parameters of the convolutional neural network, and the feature value for each section may be used as a node value of an input layer of the neural network according to an embodiment of the present invention. That is, the neural network according to an embodiment of the present invention may calculate an input layer from sound source data, and apply a convolutional neural network in this process. This process may be a process of encoding sound source data into a vector form used in a neural network.
  • CNN convolutional neural network
  • the highlight determiner 13 determines the highlight section of the sound source based on the weight information on the feature value node of each section included in the first function learned by the neural network processor 12. do.
  • the highlight determination unit 13 determines the highlight section according to the weight information for each section representing the degree of contribution to determining the classification information of the sound source, so that the highlight section considering the classification information of the sound source Provide a decision mechanism.
  • the highlight determiner 13 may learn which section plays the most important role in determining classification information among all sections of the sound source, and extract the highlight section based on the section.
  • the highlight determination unit 13 may determine a characteristic signature section that allows the user to think of the classification information of the sound source as the highlight section.
  • the highlight determiner 13 may determine an important section based on weight information for each sound source section learned by the neural network processor 12, and may determine a highlight section based on the determined important section. For example, the highlight determiner 13 may determine the same section as the highlight section as the highlight section or newly define a highlight section including at least a portion of the section.
  • the important section may be a section having the highest weight for estimating classification information of the sound source.
  • the highlight determiner 13 may determine an important section in consideration of the weight of each section and the sound source data of each section. For example, a section having the highest score calculated by a predetermined method using the weight of each section and the sound source data of each section may be determined as the important section, and the highlight section may be determined based on the determined important section. For example, the highlight determiner 13 calculates a score by simultaneously considering the weight of each section and energy or pitch information for each frequency extracted from the sound source data of each section, and selects the section having the highest score. Decide on an interval. The highlight determination unit 13 may calculate a higher score as the weight is higher, and a higher score as the value of extraction information of the sound source data is larger.
  • the processor 10 may determine the highlight section of the sound source by using the weight for each section and the energy data for each section.
  • the sound source obtaining unit 11 may obtain sound sources including sound data on the time axis and classification information on the sound sources.
  • the neural network processor 12 may convert and use a sound source including sound data on the time axis to include energy data on the time axis.
  • the energy data may include values for one or more frequency channels.
  • the neural network processor 12 may calculate a feature value for a plurality of sections obtained by dividing energy data of a sound source by a time axis and use the node as an input layer node.
  • the neural network processor 12 may convert sound source data using an FFT algorithm.
  • the converted sound source data may include energy values for each of the plurality of frequency channels with respect to the time axis.
  • the neural network processor 12 may convert the sound source data into Mel-spectrogram and convert the sound source data into sound source data expressed as energy for time and frequency.
  • the sound source conversion algorithm is not limited to the above-described example.
  • the highlight determiner 13 may determine an important section based on weight information of the feature value node of each section and other types of sound source factor data such as energy or pitch of each section. For example, the highlight determiner 13 determines a section having the highest score calculated by a predetermined method using the weight of each section and the sum of the energy of each section as the important section, and selects the highlight section based on the determined important section. You can decide. For example, the highlight determiner 13 calculates a score in consideration of the weight of each section and the sum of energy of each section at the same time, and determines the section having the highest score as the important section. The higher the weight determination unit 13 may calculate the higher score as the weight is higher, and the higher the energy sum, the higher the score is.
  • the highlight determiner 13 may determine the highlight section by referring to the energy data of the critical section. For example, the highlight determiner 13 may determine the highlight section, which is a part of the entire section of the sound source, with reference to the energy data of the section within a predetermined range before and after a specific time point of the important section.
  • the highlight determiner 13 may determine the highlight section in response to the value of the energy data or the greatest momentum in a section within a preset range before and after a specific point in time of the critical section. For example, the highlight determiner 13 may determine the highlight section corresponding to the point where the first derivative or the second derivative with respect to time of the energy data is the largest. The highlight determiner 13 may determine a start point of the highlight section as a point in time at which the value or momentum of the energy data is greatest and determine a highlight section having a predetermined length.
  • the processor 10 may further include a unit that provides a service using a highlight section determined by the highlight determiner 13.
  • the processor 10 may further include a service provider (not shown) that provides a sound source pre-listening service using a highlight period of 1 minute length.
  • it may include a service for quickly confirming the composition of the recommended song or to quickly check the taste of the user.
  • FIGS. 2A and 2B are flowcharts illustrating a sound source highlight interval determining method according to an embodiment of the present invention.
  • FIGS. 2A and 2B consist of steps that are processed in time series in the processor 10 shown in FIG. 1. Therefore, even if omitted below, it can be seen that the contents described above with respect to the components shown in FIG. 1 also apply to the flowcharts illustrated in FIGS. 2A and 2B.
  • the sound source obtaining unit 11 of FIG. 1 obtains sound source and classification information in step 21.
  • the neural network processor 12 of FIG. 1 learns the neural network using the sound source and classification information obtained in operation 21.
  • the neural network includes an attention model that calculates a weighted sum of feature values of each of a plurality of sections obtained by dividing a sound source by a time axis.
  • the neural network learned in step 22 may be a model used to predict classification information from a sound source.
  • step 23 the highlight determiner 13 of FIG. 1 determines the highlight section in the sound source by referring to the weight for each section acquired in the neural network learned in step 22.
  • the method of determining a sound source highlight section may further include step 211 after step 21.
  • the neural network processor 12 of FIG. 1 may convert the sound source data acquired in step 21 into a sound source including energy data for each frequency channel of the time axis.
  • the neural network processor 12 learns a neural network including an attention model that calculates a weighted sum of feature values of each of a plurality of sections obtained by dividing the converted sound source by a time axis, using the sound source converted in step 211. do.
  • FIG. 1 the components shown in FIG. 1 will be referred together in describing FIGS. 3 to 5.
  • FIG. 3 is a flowchart illustrating an example of a neural network according to an embodiment of the present invention.
  • a neural network may include an input layer IL including a plurality of input nodes IN, a hidden layer HL including a plurality of hidden nodes HN, and a plurality of input nodes. It includes an output layer OL including an output node ON.
  • the hidden layer HL may include one or more layers that are fully connected. When the hidden layer includes a plurality of layers, a function between each layer may be defined.
  • the neural network illustrated in FIG. 3 has a first function F1 defining a relationship between an input layer IL and a hidden layer HL, and a second function defining a relationship between a hidden layer HL and an output layer OL ( F2).
  • the first function F1 and the second function F2 may be learned.
  • the neural network described in the present invention is an artificial neural network, and the artificial neural network is an algorithm that simulates a method in which a human brain recognizes a pattern.
  • Artificial neural networks may be trained based on labeled training data according to one embodiment.
  • the training data may be sound source data labeled with classification information.
  • the neural network processing unit 12 according to an embodiment of the present invention repeats a process of adjusting a function such that an output value obtained by inputting sound source data into a neural network model is close to the classification information labeled on the sound source data, thereby generating a plurality of training data. To learn neural networks.
  • the artificial neural network may include a plurality of layers, and each layer may include a plurality of nodes. Each node included in the neural network may be a vector. Each layer consists of a plurality of nodes, and the output of each layer is the input of the next layer.
  • the function between layers may include coefficient values between nodes included in the layer.
  • the function defines the connection between each layer.
  • the first function F1 defines a connection relationship between the input layer IL and the hidden layer HL.
  • the first function F1 defines a connection relationship between the input node IN and the hidden node HL.
  • the connection relationship between nodes may be represented by coefficient values between nodes.
  • the neural network processing unit 12 inputs the section-specific data of the sound source to the convolutional neural network to obtain feature values for each section expressed as N-dimensional vectors, and input the acquired feature values for each section. Can be used as a node (IN).
  • the first function F1 illustrated in FIG. 3 may include an attention model that outputs a weighted sum of the input node IN, and the attention model may include a coefficient connecting the input node IN and the weighted sum node. Can be.
  • the weight sum node may be one of the hidden nodes HN.
  • the coefficient of each input node IN may be a weight of each input node IN.
  • the neural network processing unit 12 uses the first sound source and the first classification information acquired by the sound source acquisition unit 11 to close the first classification information when the first sound source is input.
  • the neural network may be trained to output a, and a coefficient between the input node IN corresponding to each section of the first sound source and the weight sum node may be obtained as a weight value of each section in the learned neural network.
  • the output layer OL may include one output node ON, and the output node ON may indicate one classification information.
  • the output node ON may be expressed as an M-dimensional vector including a probability value corresponding to each item of the classification information, where M may correspond to the number of items of the classification information.
  • M may correspond to the number of items of the classification information.
  • the output node ON may include a node representing genre information and a node representing mood information, and each node may be represented by a vector having the same or different dimensions.
  • FIG. 4 illustrates a neural network according to an embodiment of the present invention from another viewpoint.
  • the neural network processor 12 divides a sound source into a plurality of sections. For example, the neural network processor 12 divides the sound source into a plurality of sections having a predetermined time length.
  • the neural network processor 12 may apply a convolutional neural network CNN to the data for each section to extract the feature value f for each section.
  • the neural network processor 12 obtains the weighted sum 43 by applying the attention model 41 to the feature value f for each section, and applies the cyclic neural network 42 to the sequence of the feature value f for each section. It may include a feature value 44 for the entire sound source.
  • the neural network processor 12 is shown to apply the cyclic neural network 42 to obtain the feature value 44, but the neural network processor 12 does not necessarily have to use the cyclic neural network 42.
  • another algorithm for acquiring the feature value 44 for the entire sound source that can reflect all the feature values f for each section may be used.
  • the feature value 44 may be obtained by concatenating a sequence of feature values f for each section and adjusting the vector dimension.
  • the neural network processor 12 may obtain the integrated feature value 45 by merging the weight sum 43 and the feature value 44.
  • the neural network processing unit 12 may obtain the similarity between the weight sum 43 and the feature value 44 as the integrated feature value 45, and input the integrated feature value 45 into the final function 46.
  • Can be used as The final function 46 can include one or more matrices that fully connect the integration feature values 45 and the classification information that is a node of the output layer.
  • the neural network processor 12 may infer classification information about the sound source from the node value of the output layer output through the final function 46.
  • the neural network processor 12 may label the sound source with classification information inferred from the node value of the output layer output from the final function 46 of FIG. 4.
  • the neural network can be trained by updating the functions included in the neural network to approach the classified classification information.
  • the neural network processing unit 12 obtains only the coefficients used in the attention model 41 in the process of outputting the classification information and outputs the classification information, obtains the weight information for each section, and then processes the neural network without learning. You can also exit.
  • the neural network processor 12 may infer the classification information of the sound source from the node value of the output layer output from the final function 46 of FIG. 4. Can be.
  • the neural network stored in the memory 20 according to an embodiment of the present invention may be used to infer classification information from a sound source.
  • the neural network according to an embodiment of the present invention may infer the classification information in consideration of the weight of each section of the sound source. According to this, it is possible to concentrate on an important section for guessing classification information, thereby improving classification information guessing performance.
  • FIG. 5 illustrates an example of a method of extracting a highlight section according to an embodiment of the present invention.
  • a sound source 50 is shown that is converted to include energy data for the time and frequency axis.
  • the horizontal direction of the sound source 50 illustrated in FIG. 5 corresponds to the time axis, and the sound source 50 may include energy data for each frequency channel for each time value.
  • the energy data 511 for each frequency channel for the first time point t1 is illustrated.
  • the horizontal axis of data 511 corresponds to a frequency channel.
  • the highlight determiner 13 may determine the important section 51 in consideration of the weight for each section obtained by the neural network processor 12.
  • the highlight determination unit 13 may determine the important section 51 in consideration of the sum of the weight for each section and the energy data for each section obtained by the neural network processor 12.
  • the highlight determination unit 13 selects a time point t1 having the greatest momentum of energy data or energy data with respect to time within a range set based on the important section 51 and considers the time point t1. Can be determined. Momentum can be the primary or secondary derivative of the energy data.
  • the highlight determiner 13 may determine the section 51 including the view point t1 as the highlight section 521. For another example, the highlight determiner 13 may determine a highlight section 522 of a preset length centering on the time point t1. For another example, the highlight determiner 13 may determine a highlight section 523 of a preset length starting from the time point t1.
  • the content management method according to an embodiment of the present invention shown in Figure 3 can be written as a program that can be executed on a computer, and implemented in a general-purpose digital computer to operate the program using a computer-readable recording medium Can be.
  • the medium may be a device for storing a computer executable program.
  • the medium may be a variety of recording means or storage means in the form of a single or several hardware combined, not limited to a medium directly connected to any computer system, it may be distributed on the network.
  • examples of the medium include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And ROM, RAM, flash memory, and the like, configured to store program instructions.
  • examples of another medium may include a recording medium or a storage medium managed by an app store that distributes an application or a site or server that supplies or distributes various software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 일 실시예는 프로세서를 이용하여 음원의 하이라이트 구간을 결정하는 방법에 있어서, 상기 방법은, 음원 및 상기 음원에 대한 분류 정보를 획득하는 단계; 상기 음원 및 상기 분류 정보를 이용하여, 상기 음원을 시간 축으로 분할한 복수의 구간 각각의 특징값에 대응되는 노드를 포함하는 입력 레이어, 상기 분류 정보에 대응되는 노드를 포함하는 출력 레이어, 상기 입력 레이어와 상기 출력 레이어의 사이에 정의되는 히든 레이어, 상기 입력 레이어와 상기 히든 레이어 간의 제1 함수 및 상기 히든 레이어와 상기 출력 레이어 간의 제2 함수를 포함하는 신경망을 학습하고, 상기 제1 함수는 상기 각 구간의 특징값의 가중치 합을 계산하는 어텐션(attention) 모델을 포함하는, 신경망 학습 단계; 및 상기 학습된 제1 함수에 포함된 상기 각 구간의 특징값 노드의 가중치 정보에 기초하여, 상기 음원의 하이라이트 구간을 결정하는 단계;를 포함하는 음원의 하이라이트 구간 결정 방법을 개시한다.

Description

음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램
본 발명의 실시예들은 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
음원 파일에 대한 수요가 증가하면서, 사용자는 전자 장치에 다양한 음원 파일을 저장하여 언제 어디서든 해당 음원 파일을 재생시킬 수 있어 사용자의 편의성을 향상시켜 주고 있다. 다만 음원을 제공하는 상황에 따라 음원의 전체 구간이 아닌 일부의 하이라이트 구간을 제공하여야 하는 수요가 발생한다.
본 발명의 실시예들은 음원과 분류정보의 관계를 학습하는 신경망을 이용하여 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램을 제공한다.
본 발명의 일 실시예는 프로세서를 이용하여 음원의 하이라이트 구간을 결정하는 방법에 있어서, 상기 방법은, 음원 및 상기 음원에 대한 분류 정보를 획득하는 단계; 상기 음원 및 상기 분류 정보를 이용하여, 상기 음원을 시간 축으로 분할한 복수의 구간 각각의 특징값에 대응되는 노드를 포함하는 입력 레이어, 상기 분류 정보에 대응되는 노드를 포함하는 출력 레이어, 상기 입력 레이어와 상기 출력 레이어의 사이에 정의되는 히든 레이어, 상기 입력 레이어와 상기 히든 레이어 간의 제1 함수 및 상기 히든 레이어와 상기 출력 레이어 간의 제2 함수를 포함하는 신경망을 학습하고, 상기 제1 함수는 상기 각 구간의 특징값의 가중치 합을 계산하는 어텐션(attention) 모델을 포함하는, 신경망 학습 단계; 및 상기 학습된 제1 함수에 포함된 상기 각 구간의 특징값 노드의 가중치 정보에 기초하여, 상기 음원의 하이라이트 구간을 결정하는 단계;를 포함하는 음원의 하이라이트 구간 결정 방법을 개시한다.
본 실시예에 있어서, 상기 히든 레이어는, 상기 제1 함수에 따라 상기 각 구간의 특징값으로부터 획득되는 상기 음원에 대한 통합 특징값에 대응되는 노드를 포함할 수 있다.
본 실시예에 있어서, 상기 제1 함수는, 상기 어텐션 모델의 출력값과 순환 신경망(Recurrent Neural Network; RNN) 모델의 출력값의 유사도를 계산하는 제1-1 함수를 더 포함하고, 상기 히든 레이어는 상기 유사도의 노드를 포함할 수 있다.
본 실시예에 있어서, 상기 획득하는 단계 이후에, 시간 축에 대한 소리 데이터를 포함하는 상기 음원을 시간 축에 대한 에너지 데이터를 포함하도록 변환하는 단계;를 더 포함하고, 상기 복수의 구간은 상기 변환된 음원을 시간 축으로 분할한 것을 특징으로 할 수 있다.
본 실시예에 있어서, 상기 결정하는 단계는, 상기 각 구간의 특징값 노드의 가중치 정보, 및 상기 각 구간의 에너지 데이터에 기초하여, 상기 하이라이트 구간을 결정할 수 있다.
본 실시예에 있어서, 상기 결정하는 단계는, 상기 각 구간의 특징값 노드의 가중치 정보에 기초하여 중요 구간을 결정하고, 상기 중요 구간의 전후로 기설정된 범위의 구간 이내의 에너지 데이터를 참조하여, 상기 음원의 전체 구간 중 상기 하이라이트 구간을 결정할 수 있다.
본 실시예에 있어서, 상기 결정하는 단계는 상기 기설정된 범위의 구간 내에서 상기 에너지 데이터의 모멘텀이 가장 큰 시점에 대응하여 상기 하이라이트 구간을 결정할 수 있다.
본 발명의 다른 실시예는 컴퓨터를 이용하여 전술한 어느 한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램을 개시한다.
본 발명의 다른 실시예는 음원 및 상기 음원에 대한 분류 정보를 획득하는 음원 획득부; 상기 음원 및 상기 분류 정보를 이용하여, 상기 음원을 시간 축으로 분할한 복수의 구간 각각의 특징값에 대응되는 노드를 포함하는 입력 레이어, 상기 분류 정보에 대응되는 노드를 포함하는 출력 레이어, 상기 입력 레이어와 상기 출력 레이어의 사이에 정의되는 히든 레이어, 상기 입력 레이어와 상기 히든 레이어 간의 제1 함수 및 상기 히든 레이어와 상기 출력 레이어 간의 제2 함수를 포함하는 신경망을 학습하고, 상기 제1 함수는 상기 각 구간의 특징값의 가중치 합을 계산하는 어텐션(attention) 모델을 포함하는, 신경망 처리부; 및 상기 학습된 제1 함수에 포함된 상기 각 구간의 특징값 노드의 가중치 정보에 기초하여, 상기 음원의 하이라이트 구간을 결정하는 하이라이트 결정부;를 포함하는 음원의 하이라이트 구간 결정 장치를 개시한다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
이러한 일반적이고 구체적인 측면이 시스템, 방법, 컴퓨터 프로그램, 또는 어떠한 시스템, 방법, 컴퓨터 프로그램의 조합을 사용하여 실시될 수 있다.
본 발명의 실시예들에 관한 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램은, 음원과 분류 정보의 관계를 학습하는 신경망을 이용하여 음원의 하이라이트 구간을 결정함으로써, 음원의 분류 정보가 고려된 하이라이트 구간을 결정할 수 있게 되고, 이에 따라 하이라이트 구간 결정 성능이 향상된다.
본 발명의 실시예들에 관한 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램은, 음원의 구간 별로 가중치를 부여하는 어텐션 모델을 포함하는 신경망을 이용하여, 음원의 복수 구간 중 가장 중요한 역할을 하는 구간을 기반으로 음원의 하이라이트 구간을 결정함으로써 하이라이트 구간 결정 성능이 향상된다.
도 1은 본 발명의 일 실시예에 따른 음원 분석 시스템의 구성을 나타낸 도면이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 음원 하이라이트 구간 결정 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 신경망의 예를 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 신경망을 다른 관점에서 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 하이라이트 구간을 추출하는 방법의 예를 도시한 것이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 음원 분석 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 음원 분석 시스템은 프로세서(10) 및 메모리(20)를 포함한다. 본 발명의 일 실시예에 따라 제공되는 음원 분석 시스템은, 메모리(20)에 저장된 신경망을 이용하여, 프로세서(10)에 입력되는 음원의 하이라이트 구간을 결정할 수 있다. 신경망은 복수의 음원 및 각 음원의 분류 정보를 학습하여 음원과 분류 정보의 관계를 정의하도록 구축된 것일 수 있다. 분류 정보는, 음원에 대하여 라벨링된 일종의 태그 정보일 수 있다. 예를 들어 분류 정보는 음원의 장르, 무드, 선호 연령대, 주제, 분위기 중 하나 이상을 포함할 수 있다. 분류 정보가 장르인 경우, 분류 정보는 힙합, 락, 발라드, 알앤비 등 복수의 음악 장르 중 하나 이상의 장르 값을 포함할 수 있다. 분류 정보는 각 분류에 해당할 확률을 나타내는 벡터 형태로 표현될 수 있다.
예를 들어, 장르를 나타내는 분류 정보는 [힙합, 락, 발라드, 알앤비]의 4가지 장르에 대한 확률을 포함하는 벡터로 표현될 수 있다. "힙합"으로 라벨링된 분류 정보는 [1, 0, 0, 0]의 벡터로 표현될 수 있다. "힙합" 및 "락"으로 라벨링된 분류 정보는 [0.5, 0.5, 0, 0]의 벡터로 표현될 수 있다.
신경망 학습에는 하나 이상의 머신러닝 알고리즘이 사용될 수 있다. 예를 들어, 음원의 특징값을 벡터 형태로 추출하기 위해 콘볼루션 신경망(Convolution neural network) 알고리즘이 사용될 수 있다.
도 1의 프로세서(10)는 데이터를 처리할 수 있는 모든 종류의 장치에 해당할 수 있다. 프로세서(10)(processor)는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 프로세서(10)는 하나 이상의 처리장치에 해당하거나, 하나 이상의 처리장치를 포함할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이에 따라, 프로세서(10)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
메모리(20)는, 프로세서(10)와 통신 가능한 저장 장치로서, 프로세서(10)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리(20)와 프로세서(10)는 하나의 장치 내에 구비되어 직접 연결되거나, 별도의 장치에 각각 구비되어 유선 또는 무선 통신에 의해 연결될 수 있다. 메모리(20)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 1에 도시된 음원 분석 시스템은, 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만을 도시한 것이다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
본 발명의 일 실시예에 따른 프로세서(10)는 음원 획득부(11), 신경망 처리부(12) 및 하이라이트 결정부(13)를 포함한다.
본 발명의 일 실시예에 따른 음원 획득부(11)는 음원 및 음원에 대한 분류 정보를 획득한다. 음원 및 음원에 대한 분류 정보는, 사용자에 의해 입력되거나, 서버에 의해 입력되거나, 다른 장치에 의해 입력되거나, 메모리(20)로부터 독출되거나, 프로세서(10) 내에 포함되었으나 도 1에 도시되지 않은 다른 유닛에 의해 입력되는 것일 수 있으며, 입력 주체는 한정되지 않는다.
본 발명의 일 실시예에 따른 신경망 처리부(12)는 음원 획득부(11)가 획득한 음원 및 분류 정보를 이용하여, 메모리(20)에 저장된 신경망을 학습한다. 신경망은 기계학습에 의해 학습되는 인공신경망을 의미한다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제 해결 능력을 학습시키는 모델을 의미한다. 본 발명의 일 실시예에 따른 신경망은, 분류 정보가 라벨링된 음원을 포함하는 트레이닝 데이터를 이용하여 음원과 분류 정보의 관계를 학습하는 신경망이다. 신경망은, 입력 객체와 출력 객체의 속성을 벡터 형태로 포함할 수 있다.
본 발명의 일 실시예에 따른 신경망은 입력 레이어, 히든 레이어 및 출력 레이어를 포함하고, 각 레이어 간의 관계 함수를 포함할 수 있다. 예를 들어, 입력 레이어와 히든 레이어 간의 제1 함수 및 히든 레이어와 출력 레이어 간의 제2 함수를 포함한다. 입력 레이어는 음원을 시간 축으로 분할한 복수의 구간 각각의 특징값에 대응되는 노드를 포함할 수 있다. 히든 레이어는 입력 레이어와 출력 레이어의 사이에 정의되며, 하나 이상의 레이어로 구성될 수 있다. 출력 레이어는 음원의 분류 정보에 대응되는 노드를 포함할 수 있다.
히든 레이어는 입력 레이어에 포함된 각 구간의 특징값의 노드로부터 제1 함수에 따라 획득되는 통합 특징값 노드를 포함할 수 있다. 통합 특징값은 음원 전체에 대한 특징값일 수 있다.
제1 함수는 입력 레이어에 포함된 음원의 구간별 특징값의 노드를 히든 레이어에 연결하는 함수이며, 구간 별 특징값의 가중치 합(weighted sum)을 계산하는 어텐션(attention) 모델을 포함한다. 신경망 처리부(12)는 어텐션 모델을 이용함에 따라, 음원의 분류 정보를 추측하는 데에 각 구간이 기여하는 정도를 나타내는 가중치 정보를 획득할 수 있다.
제1 함수는, 각 구간의 특징값의 시퀀스(sequence)로부터 결과물을 출력하는 순환 신경망(recurrent neural network; RNN) 모델을 포함할 수 있다. 제1 함수는, 어텐션 모델에 의해 획득되는 가중치 합(weighted sum)과 순환 신경망 모델의 출력값의 유사도를 계산하는 제1-1 함수를 더 포함할 수 있고, 제1-1 함수의 출력값은 히든 레이어의 노드가 될 수 있다. 즉, 히든 레이어는 제1-1 함수에 의해 출력되는 유사도의 노드를 포함할 수 있고, 이에 따라 신경망은 제1-1 함수에 의해 출력되는 유사도를 분류 정보를 추측하기 위한 변수로써 고려할 수 있다.
본 발명의 일 실시예에 따른 신경망 처리부(12)는 음원 획득부(11)가 획득한 음원을 시간 축으로 분할한 복수의 구간 각각에 대하여 콘볼루션 신경망(convolution neural network; CNN)을 적용하여, 각 구간의 특징값을 획득할 수 있다. 각 구간의 특징값은 콘볼루션 신경망의 파라미터에 따라 결정되는 N차원의 벡터로 표현될 수 있고, 구간 별 특징값은 본 발명의 일 실시예에 따른 신경망의 입력 레이어의 노드 값으로 사용될 수 있다. 즉, 본 발명의 일 실시예에 따른 신경망은 음원 데이터로부터 입력 레이어를 계산할 수 있고, 이 과정에서 콘볼루션 신경망을 적용할 수 있다. 이 과정은 음원 데이터를 신경망에서 사용되는 벡터 형태로 인코딩(encoding)하는 과정일 수 있다.
본 발명의 일 실시예에 따른 하이라이트 결정부(13)는 신경망 처리부(12)에 의해 학습된 제1 함수에 포함된 각 구간의 특징값 노드에 대한 가중치 정보에 기초하여, 음원의 하이라이트 구간을 결정한다. 본 발명의 일 실시예에 따른 하이라이트 결정부(13)는 음원의 분류 정보를 결정하는 데에 기여하는 정도를 나타내는 구간 별 가중치 정보에 따라 하이라이트 구간을 결정하므로, 음원의 분류 정보를 고려하는 하이라이트 구간 결정 매카니즘을 제공할 수 있다. 예를 들어, 하이라이트 결정부(13)는 음원의 전체 구간 중에서 분류 정보를 결정하는 데에 가장 중요한 역할을 하는 구간이 어디인지를 학습하고 해당 구간을 기초로 하이라이트 구간을 추출할 수 있으며, 결과적으로 하이라이트 결정부(13)는 음원의 분류 정보를 떠올릴 수 있게 하는 특징적인 시그니쳐 구간을 하이라이트 구간으로 결정할 수 있다.
하이라이트 결정부(13)는 신경망 처리부(12)에 의해 학습된 음원 구간 별 가중치 정보에 따라 중요 구간을 결정하고, 결정된 중요 구간에 기초하여 하이라이트 구간을 결정할 수 있다. 예를 들어, 하이라이트 결정부(13)는 중요 구간과 동일한 구간을 하이라이트 구간으로 결정하거나, 중요 구간의 적어도 일부를 포함하는 하이라이트 구간을 새로 정의할 수 있다. 중요 구간은 음원의 분류 정보를 추측하기 위한 가중치가 가장 높은 구간일 수 있다.
하이라이트 결정부(13)는 각 구간의 가중치와 각 구간의 음원 데이터를 함께 고려하여 중요 구간을 결정할 수 있다. 예를 들어, 각 구간의 가중치와 각 구간의 음원 데이터를 이용하여 기설정된 방법으로 산출되는 스코어가 가장 높은 구간을 중요 구간으로 결정하고, 결정된 중요 구간에 기초하여 하이라이트 구간을 결정할 수 있다. 예를 들어, 하이라이트 결정부(13)는 각 구간의 가중치와 각 구간의 음원 데이터로부터 추출된 주파수별 에너지나 피치(pitch) 정보 등을 동시에 고려하여 스코어를 산출하고, 스코어가 가장 높은 구간을 중요 구간으로 결정한다. 하이라이트 결정부(13)는 가중치가 높을수록 스코어를 높게 산출하고, 음원 데이터의 추출정보 값이 클수록 스코어를 높게 산출할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(10)는 각 구간 별 가중치와 각 구간 별 에너지 데이터를 이용하여 음원의 하이라이트 구간을 결정할 수 있다. 본 실시예에서 음원 획득부(11)는 시간 축에 대한 소리 데이터를 포함하는 음원 및 음원에 대한 분류 정보를 획득할 수 있다. 본 실시예에서 신경망 처리부(12)는 시간 축에 대한 소리 데이터를 포함하는 음원을 시간 축에 대한 에너지 데이터를 포함하도록 변환하여 사용할 수 있다. 에너지 데이터는 하나 이상의 주파수 채널에 대한 값을 포함할 수 있다. 신경망 처리부(12)는 음원의 에너지 데이터를 시간 축으로 분할한 복수의 구간에 대하여 특징값을 계산하여 입력 레이어의 노드로 사용할 수 있다.
본 실시예에서 신경망 처리부(12)는 FFT 알고리즘을 이용하여 음원 데이터를 변환할 수 있다. 변환된 음원 데이터는 시간 축에 대하여 복수의 주파수 채널 각각에 대한 에너지 값을 포함할 수 있다. 본 실시예에서 신경망 처리부(12)는 음원 데이터를 멜스펙트로그램(Mel-spectrogram) 변환하여, 시간과 주파수에 대한 에너지로 표현되는 음원 데이터로 변환할 수 있다. 음원 변환 알고리즘은 전술한 예시에 한정되지 않는다.
본 실시예에서 하이라이트 결정부(13)는 각 구간의 특징값 노드에 대한 가중치 정보와 각 구간의 에너지 혹은 피치(pitch) 등 다른 형태의 음원 인자 데이터에 기초하여 중요 구간을 결정할 수 있다. 예를 들어, 하이라이트 결정부(13)는 각 구간의 가중치와 각 구간의 에너지 합를 이용하여 기설정된 방법으로 산출되는 스코어가 가장 높은 구간을 중요 구간으로 결정하고, 결정된 중요 구간에 기초하여 하이라이트 구간을 결정할 수 있다. 예를 들어, 하이라이트 결정부(13)는 각 구간의 가중치와 각 구간의 에너지 합을 동시에 고려하여 스코어를 산출하고, 스코어가 가장 높은 구간을 중요 구간을 결정한다. 하이라이트 결정부(13)는 가중치가 높을수록 스코어를 높게 산출하고, 에너지 합이 클수록 스코어를 높게 산출할 수 있다.
이에 따르면 아무리 가중치가 높은 구간이어도 다른 구간들에 비해 에너지 합이 낮으면 중요 구간으로 결정되지 않을 수 있으며, 분류 정보를 결정하는 데에 기여하는 정도를 나타내는 가중치 정보와 실제 구간의 에너지를 모두 고려하여 중요 구간이 결정될 수 있다.
일 예에 따르면, 하이라이트 결정부(13)는 중요 구간의 에너지 데이터를 참조하여 하이라이트 구간을 결정할 수 있다. 예를 들어, 하이라이트 결정부(13)는 중요 구간의 특정 시점을 전후로 기설정된 범위 이내의 구간의 에너지 데이터를 참조하여, 음원의 전체 구간 중 일부 구간인 하이라이트 구간을 결정할 수 있다.
예를 들어, 하이라이트 결정부(13)는 중요 구간의 특정 시점을 전후로 기설정된 범위 이내의 구간에서 에너지 데이터의 값, 또는 모멘텀이 가장 큰 시점에 대응하여 하이라이트 구간을 결정할 수 있다. 예를 들어, 하이라이트 결정부(13)는 에너지 데이터의 시간에 대한 1차 미분값 또는 2차 미분값이 가장 큰 시점에 대응하여 하이라이트 구간을 결정할 수 있다. 하이라이트 결정부(13)는 에너지 데이터의 값 또는 모멘텀이 가장 큰 시점을 하이라이트 구간의 시작 시점으로 결정하고, 기설정된 길이를 갖는 하이라이트 구간을 결정할 수 있다.
한편, 도 1에 도시되지 않았으나, 본 발명의 일 실시예에 따른 프로세서(10)는 하이라이트 결정부(13)에 의해 결정된 하이라이트 구간을 이용하여 서비스를 제공하는 유닛을 더 포함할 수 있다. 예를 들어, 프로세서(10)는 1분길이의 하이라이트 구간을 이용하여 음원 미리듣기 서비스를 제공하는 서비스 제공부(미도시)를 더 포함할 수 있다. 또한 추천곡의 구성을 빠르게 확인하거나 사용자의 곡 취향을 빠르게 확인하기 위한 서비스를 포함할 수 있다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 음원 하이라이트 구간 결정 방법의 흐름도이다.
도 2a 및 도 2b에 도시된 흐름도는 도 1에 도시된 프로세서(10)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서 이하에서 생략된 내용이라 하더라도 도 1에서 도시된 구성들에 관하여 이상에서 기술된 내용은 도 2a 및 도 2b에 도시된 흐름도에도 적용됨을 알 수 있다.
도 2a를 참조하면, 단계 21에서 도 1의 음원 획득부(11)는 음원 및 분류 정보를 획득한다.
단계 22에서 도 1의 신경망 처리부(12)는 단계 21에서 획득된 음원 및 분류 정보를 이용하여 신경망을 학습한다. 신경망은 음원을 시간 축으로 분할한 복수의 구간 각각의 특징값의 가중치 합을 계산하는 어텐션 모델을 포함한다. 단계 22에서 학습되는 신경망은 음원으로부터 분류 정보를 예측하는 데에 사용되는 모델일 수 있다.
단계 23에서 도 1의 하이라이트 결정부(13)는 단계 22에서 학습된 신경망에서 획득되는 각 구간 별 가중치를 참조하여, 음원에서의 하이라이트 구간을 결정한다.
도 2b를 참조하면, 본 발명의 일 실시예에 따른 음원 하이라이트 구간 결정 방법은, 단계 21 이후에 단계 211을 더 포함할 수 있다.
도 2b를 참조하면 단계 211에서 도 1의 신경망 처리부(12)는 단계 21에서 획득된 음원 데이터를 변환하여, 시간 축에 대한 주파수 채널 별 에너지 데이터를 포함하는 음원으로 변환할 수 있다.
단계 22에서 신경망 처리부(12)는, 단계 211에서 변환된 음원을 이용하여, 변환된 음원을 시간 축으로 분할한 복수의 구간 각각의 특징값의 가중치 합을 계산하는 어텐션 모델을 포함하는 신경망을 학습한다.
이하에서는 도 3 내지 도 5를 설명함에 있어 도 1에 도시된 구성요소들을 함께 참조한다.
도 3은 본 발명의 일 실시예에 따른 신경망의 예를 도시한 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 신경망은 복수의 입력 노드(IN)를 포함하는 입력 레이어(IL), 복수의 히든 노드(HN)를 포함하는 히든 레이어(HL) 및 복수의 출력 노드(ON)를 포함하는 출력 레이어(OL)를 포함한다. 히든 레이어(HL)는 전체적으로 연결된(fully connected) 하나 이상의 레이어를 포함할 수 있다. 히든 레이어가 복수의 레이어를 포함하는 경우, 각 레이어 간의 함수가 정의될 수 있다.
도 3에 도시된 신경망은 입력 레이어(IL)와 히든 레이어(HL)의 관계를 정의하는 제1 함수(F1) 및 히든 레이어(HL)와 출력 레이어(OL)의 관계를 정의하는 제2 함수(F2)를 포함한다. 신경망이 학습되는 과정에서 제1 함수(F1) 및 제2 함수(F2)가 학습될 수 있다.
본 발명에서 설명하는 신경망은 인공 신경망으로, 인공 신경망은 인간의 뇌가 패턴을 인식하는 방식을 모사한 알고리즘이다. 인공 신경망은 일 구현예에 따라 라벨링된 트레이닝 데이터를 기반으로 학습될 수 있다. 본 발명의 일 실시예에서 트레이닝 데이터는 분류 정보가 라벨링된 음원 데이터일 수 있다. 본 발명의 일 실시예에 따른 신경망 처리부(12)는 음원 데이터를 신경망 모델에 입력하여 나온 출력값이 해당 음원 데이터에 라벨링된 분류 정보에 근접하도록 함수를 조절하는 과정을 반복함으로써, 복수의 트레이닝 데이터를 이용해 신경망을 학습할 수 있다.
인공 신경망은 복수의 레이어를 포함하고, 각 레이어는 복수의 노드를 포함할 수 있다. 신경망에 포함되는 각 노드는 벡터일 수 있다. 각 레이어는 복수의 노드로 이루어져 있으며, 각 층의 출력은 다음 층의 입력이 된다. 레이어 간의 함수는, 레이어에 포함된 노드 간의 계수 값을 포함할 수 있다.
함수는 각 레이어들 간의 연결 관계를 정의한다. 도 3의 예에서 제1 함수(F1)는 입력 레이어(IL)와 히든 레이어(HL)의 연결 관계를 정의한다. 예를 들어, 제1 함수(F1)는 입력 노드(IN)와 히든 노드(HL)간의 연결 관계를 정의한다. 노드 간의 연결 관계는, 노드 간의 계수 값으로 표현될 수 있다.
본 발명의 일 실시예에 따르면, 신경망 처리부(12)는 음원의 구간 별 데이터를 콘볼루션 신경망에 입력하여 N차원 벡터로 표현되는 각 구간 별 특징값을 획득하고, 획득된 구간 별 특징값을 입력 노드(IN)로 사용할 수 있다.
도 3에 도시된 제1 함수(F1)는 입력 노드(IN)의 가중치 합을 출력하는 어텐션 모델을 포함할 수 있고, 어텐션 모델은 입력 노드(IN)와 가중치 합 노드를 연결하는 계수를 포함할 수 있다. 가중치 합 노드는 히든 노드(HN)의 하나일 수 있다. 각 입력 노드(IN)의 계수는 각 입력 노드(IN)의 가중치일 수 있다.
본 발명의 일 실시예에 따른 신경망 처리부(12)는, 음원 획득부(11)가 획득한 제1 음원 및 제1 분류정보를 이용하여, 제1 음원을 입력하였을 때 제1 분류정보에 근접한 결과를 출력하도록 신경망을 학습하고, 학습된 신경망에서 제1 음원의 각 구간에 대응되는 입력노드(IN)와 가중치 합 노드 간의 계수를 각 구간의 가중치 값으로 취득할 수 있다.
도 3의 예에서 각 레이어의 노드는 복수로 도시되었으나 반드시 이에 한정되지는 않는다. 예를 들어, 출력 레이어(OL)는 하나의 출력 노드(ON)를 포함할 수 있고, 출력 노드(ON)는 하나의 분류 정보를 나타낼 수 있다. 출력 노드(ON)는 분류 정보의 각 항목에 해당하는 확률 값을 포함하는 M차원 벡터로 표현될 수 있고, 이 때 M은 분 류정보의 항목 개수에 대응될 수 있다. 본 발명의 일 실시예에 따르면, 출력 노드(ON)를 복수 개 설정함으로써, 복수의 분류 정보를 고려하는 하이라이트 추출 방법을 제공할 수 있다. 예를 들어, 출력 노드(ON)는 장르 정보를 나타내는 노드와, 무드 정보를 나타내는 노드를 포함할 수 있고, 각 노드는 서로 같은 또는 서로 다른 차원의 벡터로 표현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 신경망을 다른 관점에서 도시한 것이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 신경망 처리부(12)는 음원을 복수의 구간으로 분할한다. 예를 들어 신경망 처리부(12)는 음원을 기설정된 시간 길이를 갖는 복수의 구간으로 분할한다. 신경망 처리부(12)는 각 구간 별 데이터에 콘볼루션 신경망(CNN)을 적용하여 구간별 특징값(f)을 추출할 수 있다.
신경망 처리부(12)는 구간별 특징값(f)에 어텐션 모델(41)을 적용하여 가중치 합(43)을 획득하고, 구간별 특징값(f)의 시퀀스에 대하여 순환 신경망(42)을 적용하여 음원 전체에 대한 특징값(44)을 포함할 수 있다. 도 4에서는 신경망 처리부(12)가 특징값(44)을 획득하기 위해 순환 신경망(42)을 적용하는 것으로 도시되었으나, 반드시 순환 신경망(42)을 사용해야만 하는 것은 아니다. 예를 들어, 신경망의 성능 설계에 따라 각 구간 별 특징값(f)을 모두 반영할 수 있는 음원 전체에 대한 특징값(44)을 획득할 수 있는 다른 알고리즘이 사용될 수 있다. 예컨대, 각 구간 별 특징값(f)의 시퀀스를 모두 연결한 후 벡터 차원을 조절하여 특징값(44)을 획득할 수 있다.
본 발명의 일 실시예에 따른 신경망 처리부(12)는 가중치 합(43)과 특징값(44)을 병합(merging)하여 통합 특징값(45)을 획득할 수 있다. 예를 들어, 신경망 처리부(12)는 가중치 합(43)과 특징값(44)의 유사도를 통합 특징값(45)으로 획득할 수 있고, 통합 특징값(45)을 최종 함수(46)의 입력으로 사용할 수 있다. 최종 함수(46)는 통합 특징값(45)과 출력 레이어의 노드인 분류 정보를 전체적으로 연결하는(fully connected) 하나 이상의 매트릭스(matrix)를 포함할 수 있다.
신경망 처리부(12)는 최종 함수(46)를 통과하여 출력되는 출력 레이어의 노드 값으로부터, 음원에 대한 분류 정보를 추측할 수 있다.
일 예에 따라 신경망에 입력되는 음원이 라벨링된 분류 정보를 포함하는 경우, 신경망 처리부(12)는 도 4의 최종 함수(46)에서 출력되는 출력 레이어의 노드 값으로부터 추측되는 분류 정보가 음원에 라벨링된 분류 정보에 근접하도록 신경망에 포함되는 함수들을 갱신함으로써 신경망을 학습시킬 수 있다. 또는, 신경망 처리부(12)는 분류 정보를 출력하고, 분류 정보를 출력하는 과정에서 어텐션 모델(41)에서 이용된 계수만을 취득하여 각 구간에 대한 가중치 정보를 획득한 후, 신경망을 학습시키지 않고 처리를 종료할 수도 있다.
다른 예에 따라 신경망에 입력되는 음원이 라벨링된 분류 정보를 포함하지 않는 경우, 신경망 처리부(12)는 도 4의 최종 함수(46)에서 출력되는 출력 레이어의 노드 값으로부터 음원의 분류 정보를 추측할 수 있다. 즉, 본 발명의 일 실시예에 따라 메모리(20)에 저장된 신경망은, 음원으로부터 분류 정보를 추측하는 데에 사용될 수도 있음은 물론이다. 본 발명의 일 실시예에 따른 신경망은 음원의 구간 별 가중치를 고려하여 분류 정보를 추측할 수 있다. 이에 따르면 분류 정보를 추측하기 위해 중요한 구간에 집중할 수 있게 되므로, 분류 정보 추측 성능이 향상된다.
도 5는 본 발명의 일 실시예에 따라 하이라이트 구간을 추출하는 방법의 예를 도시한 것이다.
도 5를 참조하면, 시간 및 주파수 축에 대한 에너지 데이터를 포함하도록 변환된 음원(50)이 도시되었다. 도 5에 도시된 음원(50)의 가로 방향은 시간 축에 대응되며, 음원(50)은 각 시간 값에 대한 주파수 채널 별 에너지 데이터를 포함할 수 있다. 예를 들어, 제1 시점(t1)에 대한 주파수 채널 별 에너지 데이터(511)의 예가 도시되었다. 데이터(511)의 가로 축은 주파수 채널에 해당한다.
일 실시예에 따른 하이라이트 결정부(13)는 신경망 처리부(12)에 의해 획득되는 각 구간 별 가중치를 고려하여 중요 구간(51)을 결정할 수 있다. 또는 하이라이트 결정부(13)는 신경망 처리부(12)에 의해 획득되는 각 구간 별 가중치와 구간 별 에너지 데이터의 합을 고려하여 중요 구간(51)을 결정할 수 있다.
하이라이트 결정부(13)는 중요 구간(51)을 기준으로 설정되는 범위 내에서 에너지 데이터 혹은 시간에 대한 에너지 데이터의 모멘텀이 가장 큰 시점(t1)을 선택하고, 시점(t1)을 고려하여 하이라이트 구간을 결정할 수 있다. 모멘텀은 에너지 데이터의 일차 혹은 이차 미분값일 수 있다.
예를 들어, 하이라이트 결정부(13)는 시점(t1)을 포함하는 구간(51)을 하이라이트 구간(521)으로 결정할 수 있다. 다른 예를 들면, 하이라이트 결정부(13)는 시점(t1)을 중심으로 하는 기설정된 길이의 하이라이트 구간(522)을 결정할 수 있다. 다른 예를 들면, 하이라이트 결정부(13)는 시점(t1)을 시작점으로 하는 기설정된 길이의 하이라이트 구간(523)을 결정할 수 있다.
한편, 도 3에 도시된 본 발명의 일 실시예에 따른 컨텐츠 관리 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 장치일 수 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있으며, 균등한 다른 실시 예가 가능함을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
[부호의 설명]
10: 프로세서
11: 음원 획득부
12: 신경망 처리부
13: 하이라이트 결정부
20: 메모리

Claims (9)

  1. 프로세서를 이용하여 음원의 하이라이트 구간을 결정하는 방법에 있어서, 상기 방법은,
    음원 및 상기 음원에 대한 분류 정보를 획득하는 단계;
    상기 음원 및 상기 분류 정보를 이용하여, 상기 음원을 시간 축으로 분할한 복수의 구간 각각의 특징값에 대응되는 노드를 포함하는 입력 레이어, 상기 분류 정보에 대응되는 노드를 포함하는 출력 레이어, 상기 입력 레이어와 상기 출력 레이어의 사이에 정의되는 히든 레이어, 상기 입력 레이어와 상기 히든 레이어 간의 제1 함수 및 상기 히든 레이어와 상기 출력 레이어 간의 제2 함수를 포함하는 신경망을 학습하고, 상기 제1 함수는 상기 각 구간의 특징값의 가중치 합을 계산하는 어텐션(attention) 모델을 포함하는, 신경망 학습 단계; 및
    상기 학습된 제1 함수에 포함된 상기 각 구간의 특징값 노드의 가중치 정보에 기초하여, 상기 음원의 하이라이트 구간을 결정하는 단계;를 포함하는
    음원의 하이라이트 구간 결정 방법.
  2. 제1 항에 있어서,
    상기 히든 레이어는, 상기 제1 함수에 따라 상기 각 구간의 특징값으로부터 획득되는 상기 음원에 대한 통합 특징값에 대응되는 노드를 포함하는
    음원의 하이라이트 구간 결정 방법.
  3. 제1 항에 있어서,
    상기 제1 함수는, 상기 어텐션 모델의 출력값과 순환 신경망(Recurrent Neural Network; RNN) 모델의 출력값의 유사도를 계산하는 제1-1 함수를 더 포함하고, 상기 히든 레이어는 상기 유사도의 노드를 포함하는
    음원의 하이라이트 구간 결정 방법.
  4. 제1 항에 있어서,
    상기 획득하는 단계 이후에,
    시간 축에 대한 소리 데이터를 포함하는 상기 음원을 시간 축에 대한 에너지 데이터를 포함하도록 변환하는 단계;를 더 포함하고,
    상기 복수의 구간은 상기 변환된 음원을 시간 축으로 분할한 것을 특징으로 하는
    음원의 하이라이트 구간 결정 방법.
  5. 제4 항에 있어서,
    상기 결정하는 단계는, 상기 각 구간의 특징값 노드의 가중치 정보, 및 상기 각 구간의 에너지 데이터에 기초하여, 상기 하이라이트 구간을 결정하는
    음원의 하이라이트 구간 결정 방법.
  6. 제1 항에 있어서,
    상기 결정하는 단계는, 상기 각 구간의 특징값 노드의 가중치 정보에 기초하여 중요 구간을 결정하고, 상기 중요 구간의 전후로 기설정된 범위의 구간 이내의 에너지 데이터를 참조하여, 상기 음원의 전체 구간 중 상기 하이라이트 구간을 결정하는
    음원의 하이라이트 구간 결정 방법.
  7. 제6 항에 있어서,
    상기 결정하는 단계는 상기 기설정된 범위의 구간 내에서 상기 에너지 데이터의 모멘텀이 가장 큰 시점에 대응하여 상기 하이라이트 구간을 결정하는
    음원의 하이라이트 구간 결정 방법.
  8. 컴퓨터를 이용하여 제1 항 내지 제7 항 중 어느 한 항의 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
  9. 음원 및 상기 음원에 대한 분류 정보를 획득하는 음원 획득부;
    상기 음원 및 상기 분류 정보를 이용하여, 상기 음원을 시간 축으로 분할한 복수의 구간 각각의 특징값에 대응되는 노드를 포함하는 입력 레이어, 상기 분류 정보에 대응되는 노드를 포함하는 출력 레이어, 상기 입력 레이어와 상기 출력 레이어의 사이에 정의되는 히든 레이어, 상기 입력 레이어와 상기 히든 레이어 간의 제1 함수 및 상기 히든 레이어와 상기 출력 레이어 간의 제2 함수를 포함하는 신경망을 학습하고, 상기 제1 함수는 상기 각 구간의 특징값의 가중치 합을 계산하는 어텐션(attention) 모델을 포함하는, 신경망 처리부; 및
    상기 학습된 제1 함수에 포함된 상기 각 구간의 특징값 노드의 가중치 정보에 기초하여, 상기 음원의 하이라이트 구간을 결정하는 하이라이트 결정부;를 포함하는
    음원의 하이라이트 구간 결정 장치.
PCT/KR2018/004061 2017-04-07 2018-04-06 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램 Ceased WO2018186708A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020503683A JP6998449B2 (ja) 2017-04-07 2018-04-06 音源のハイライト区間を決定する方法、その装置及び該コンピュータプログラム
US16/593,488 US11462210B2 (en) 2017-04-07 2019-10-04 Data collecting method and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0045391 2017-04-07
KR1020170045391A KR101891778B1 (ko) 2017-04-07 2017-04-07 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/593,488 Continuation US11462210B2 (en) 2017-04-07 2019-10-04 Data collecting method and system

Publications (1)

Publication Number Publication Date
WO2018186708A1 true WO2018186708A1 (ko) 2018-10-11

Family

ID=63454529

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/004061 Ceased WO2018186708A1 (ko) 2017-04-07 2018-04-06 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램

Country Status (4)

Country Link
US (1) US11462210B2 (ko)
JP (1) JP6998449B2 (ko)
KR (1) KR101891778B1 (ko)
WO (1) WO2018186708A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153211B1 (ko) * 2019-01-11 2020-09-07 서울과학기술대학교 산학협력단 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치 및 방법
KR102025652B1 (ko) * 2019-01-21 2019-09-27 휴멜로 주식회사 사운드 이벤트 탐지 모델 학습 방법
KR102397563B1 (ko) * 2019-09-20 2022-05-13 휴멜로 주식회사 사운드 이벤트 탐지 모델 학습 방법
WO2021059473A1 (ja) * 2019-09-27 2021-04-01 ヤマハ株式会社 音響解析方法、音響解析装置およびプログラム
JP7537175B2 (ja) * 2020-08-17 2024-08-21 ヤマハ株式会社 楽曲構造解析装置、楽曲構造解析方法および楽曲構造解析プログラム
CN113297490B (zh) * 2021-06-04 2022-08-02 西南大学 基于图卷积神经网络的双向推荐方法
JP7795944B2 (ja) * 2022-03-10 2026-01-08 株式会社日本総合研究所 情報処理方法、情報処理プログラム、及び情報処理装置
US20230409897A1 (en) * 2022-06-15 2023-12-21 Netflix, Inc. Systems and methods for classifying music from heterogenous audio sources

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130058939A (ko) * 2011-11-28 2013-06-05 한국전자통신연구원 음악 하이라이트 구간 추출 장치 및 방법
KR20140112313A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 음원의 하이라이트 구간을 추출하는 전자 장치 및 방법
KR20160012537A (ko) * 2014-07-24 2016-02-03 삼성전자주식회사 신경망 학습 방법 및 장치, 데이터 처리 장치
KR20160102690A (ko) * 2015-02-23 2016-08-31 삼성전자주식회사 신경망 학습 방법 및 장치, 및 인식 방법 및 장치
JP2017027044A (ja) * 2015-07-24 2017-02-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音響点数を計算する装置及び方法、音声を認識する装置及び方法並びに電子装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091194A (ja) * 1996-09-18 1998-04-10 Sony Corp 音声復号化方法及び装置
ATE331417T1 (de) * 2000-04-04 2006-07-15 Gn Resound As Eine hörprothese mit automatischer hörumgebungsklassifizierung
JP4219539B2 (ja) 2000-08-11 2009-02-04 日本放送協会 音響分類装置
JP3891111B2 (ja) 2002-12-12 2007-03-14 ソニー株式会社 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
JP2011090290A (ja) 2009-09-28 2011-05-06 Sanyo Electric Co Ltd 楽曲抽出装置および楽曲録音装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130058939A (ko) * 2011-11-28 2013-06-05 한국전자통신연구원 음악 하이라이트 구간 추출 장치 및 방법
KR20140112313A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 음원의 하이라이트 구간을 추출하는 전자 장치 및 방법
KR20160012537A (ko) * 2014-07-24 2016-02-03 삼성전자주식회사 신경망 학습 방법 및 장치, 데이터 처리 장치
KR20160102690A (ko) * 2015-02-23 2016-08-31 삼성전자주식회사 신경망 학습 방법 및 장치, 및 인식 방법 및 장치
JP2017027044A (ja) * 2015-07-24 2017-02-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音響点数を計算する装置及び方法、音声を認識する装置及び方法並びに電子装置

Also Published As

Publication number Publication date
KR101891778B1 (ko) 2018-08-24
JP6998449B2 (ja) 2022-01-18
JP2020516004A (ja) 2020-05-28
US11462210B2 (en) 2022-10-04
US20200035225A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
WO2018186708A1 (ko) 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램
WO2020139058A1 (en) Cross-device voiceprint recognition
WO2013176329A1 (ko) 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법
WO2021095987A1 (ko) 다중타입 엔티티에 기반한 지식 보완 방법 및 장치
CN111694940A (zh) 一种用户报告的生成方法及终端设备
WO2020111314A1 (ko) 개념 그래프 기반 질의응답 장치 및 방법
CN111159464B (zh) 一种音频片段的检测方法及相关设备
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
CN114782209B (zh) 一种基于社交网络拓扑图的关联用户身份识别方法
CN108933730A (zh) 信息推送方法和装置
WO2019093675A1 (ko) 빅데이터 분석을 위한 데이터 병합 장치 및 방법
CN113362852B (zh) 一种用户属性识别方法和装置
JP2019079536A (ja) 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法
WO2018212396A1 (ko) 데이터를 분석하는 방법, 장치 및 컴퓨터 프로그램
WO2023234606A1 (ko) 글로벌 스타일 토큰과 예측 모델로 생성한 화자 임베딩 기반의 화자 적응 방법 및 시스템
WO2023171886A1 (ko) 딥러닝 기반 분자 설계 방법, 이를 수행하는 장치 및 컴퓨터 프로그램
WO2020138588A1 (ko) 신약 후보 물질 발굴을 위한 데이터 처리 장치 및 방법
CN110070891B (zh) 一种歌曲识别方法、装置以及存储介质
Deena et al. Semi-supervised adaptation of RNNLMs by fine-tuning with domain-specific auxiliary features
CN113628637A (zh) 一种音频识别方法、装置、设备及存储介质
CN112085171A (zh) 一种基于分簇多实体图神经网络的推荐方法
CN117520551B (zh) 一种小样本文本自动分类方法及系统
CN117376602A (zh) 一种说话人定位方法、装置、电子设备及存储介质
CN116861253A (zh) 依赖识别模型的训练方法、概念的推送方法、装置及设备
WO2023277448A1 (ko) 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18781755

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020503683

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18781755

Country of ref document: EP

Kind code of ref document: A1