WO2022177143A1 - 데이터를 생성하는 전자 장치 및 그 동작 방법 - Google Patents

데이터를 생성하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2022177143A1
WO2022177143A1 PCT/KR2021/020275 KR2021020275W WO2022177143A1 WO 2022177143 A1 WO2022177143 A1 WO 2022177143A1 KR 2021020275 W KR2021020275 W KR 2021020275W WO 2022177143 A1 WO2022177143 A1 WO 2022177143A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
data
information
sample data
model
Prior art date
Application number
PCT/KR2021/020275
Other languages
English (en)
French (fr)
Inventor
술레이만 무하마드 알자파리아야
알리 모흐드 오사마 사브리오사마
마세이드알리 아마드 아델 알
무스타파 마흐무드 야신압델라만
칼레드 사데모하메드
모마니다나 간디 오클레 알
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022177143A1 publication Critical patent/WO2022177143A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Definitions

  • the present disclosure relates to an electronic device for generating data and a method of operating the same.
  • the AI model can recognize various types of data and output the results.
  • the artificial intelligence model may output a result of identifying text corresponding to the voice signal as a result of recognizing the voice signal input to the artificial intelligence model.
  • the artificial intelligence model may be trained based on training data including a pair of sample data and correct answer data. For example, based on sample data (eg, a voice signal), the AI model may be trained so that correct answer data (eg, text) may be output from the AI model.
  • the training data may include an insufficient amount of data to train an artificial intelligence model for various reasons, or may include data with biased characteristics.
  • the training data includes a voice signal sufficient to train an artificial intelligence model, as sample data, may not be included.
  • the training data may include, as sample data, voice signals having a biased characteristic.
  • An object of the present disclosure is to solve the above-described problem, and to provide an electronic device for generating data and an operating method thereof, which can be used to learn an artificial intelligence model.
  • Another object of the present invention is to provide a computer-readable recording medium in which a program for executing the method in a computer is recorded.
  • the technical problem to be solved is not limited to the technical problems as described above, and other technical problems may exist.
  • a plurality of first feature values representing features of the first sample data from first sample data used to learn the artificial intelligence model obtaining first characteristic information including; randomly selecting at least one first feature value from among the plurality of first feature values; converting the randomly selected at least one first characteristic value into a preset value; generating second feature information including a plurality of second feature values using a generative model based on the plurality of first feature values including the converted at least one first feature value; and generating second sample data based on the generated second characteristic information.
  • An electronic device for learning an artificial intelligence model includes: a memory for storing one or more instructions; and at least one processor executing one or more instructions stored in the memory, wherein the at least one processor comprises, from first sample data, a plurality of first characteristic values representing characteristics of the first sample data. obtain first characteristic information, randomly select at least one first characteristic value from among the plurality of first characteristic values, convert the randomly selected at least one first characteristic value into a preset value, and generated second feature information including a plurality of second feature values based on the plurality of first feature values including at least one first feature value Based on the 2 characteristic information, second sample data may be generated.
  • an artificial intelligence model with higher performance may be obtained based on the training data newly generated from the existing training data.
  • FIG. 1 is a diagram illustrating an example of an electronic device for learning an artificial intelligence model according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of generating characteristic information of sample data according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of generating new sample data according to an embodiment.
  • FIG. 4 is a block diagram illustrating an internal configuration of an electronic device according to an exemplary embodiment.
  • FIG. 5 is a block diagram illustrating an internal configuration of an electronic device according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating an operation of a method for generating data according to an embodiment.
  • the processor may consist of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
  • DSP digital signal processor
  • One or a plurality of processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
  • the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.
  • the predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
  • Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the learning process is reduced or minimized.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), There may be a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), or a Deep Q-Networks, but is not limited to the above-described example.
  • DNN Deep Neural Network
  • DNN Deep Belief Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • Deep Q-Networks Deep Q-Networks
  • FIG. 1 is a diagram illustrating an example of an electronic device 1000 for learning an artificial intelligence model according to an embodiment.
  • the electronic device 1000 may include an artificial intelligence model, and may learn the artificial intelligence model based on learning data.
  • the electronic device 1000 may be various types of devices capable of learning an artificial intelligence model.
  • the electronic device 1000 may include a digital camera, a smart phone, a laptop computer, a tablet PC, an electronic book terminal, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia (PMP) Player), navigation, MP3 player, vehicle, etc. may be a terminal device directly used by the user, but is not limited thereto.
  • the electronic device 1000 may be a server capable of providing various services to a terminal device used by a user using an artificial intelligence model.
  • the electronic device 1000 may acquire new training data from the existing training data 110 and learn an artificial intelligence model based on the newly acquired training data.
  • the learning data 110 may include various types of data according to an artificial intelligence model in which the learning data is used.
  • the training data 110 when the training data 110 is used to learn an artificial intelligence model for recognizing a voice signal, the training data 110 may include, as sample data, a voice signal having various characteristics.
  • the learning data 110 may include voice signals having various characteristics in pitch, timbre, intonation, and voice characteristics of a speaker who utters the voice. .
  • the artificial intelligence model can accurately recognize a voice signal having various characteristics as the characteristics of the voice signal included in the training data 110 are variously distributed, and a sufficient amount of the voice signal is included. have.
  • the training data 110 may not include a sufficiently large amount of speech signals to learn the artificial intelligence model for various reasons.
  • the training data 110 may include a voice signal having a biased characteristic.
  • the electronic device 1000 may acquire new learning data based on new data (eg, a voice signal) generated from data (eg, a voice signal) included in the existing training data 110 . have.
  • the electronic device 1000 may solve problems of the existing learning data 110 by using the new learning data. For example, when the training data 110 is used to learn an artificial intelligence model for recognizing a voice signal, the electronic device 1000 generates a new voice signal from the voice signal included in the training data 110, New learning data including a new voice signal may be acquired.
  • a new voice signal according to an embodiment may be obtained from a voice signal having a characteristic included in the training data 110 at a relatively small ratio compared to other characteristics among the voice signals included in the existing training data 110 .
  • the existing learning data 110 may include a large number of voice signals having the voice characteristics of adults and relatively few voice signals having the voice characteristics of children or the elderly.
  • the electronic device 1000 generates new learning data including a voice signal having a voice characteristic of a child or an elderly person based on a voice signal having a voice characteristic of a child or an elderly person included in the learning data 110 . can do.
  • the problem of the learning data 110 having a biased characteristic may be resolved by the new learning data.
  • the electronic device 1000 learns an artificial intelligence model based on the new learning data in addition to the existing learning data 110 , so that data having a characteristic included in the existing learning data 110 in a small proportion can also be recognized with high accuracy by using an artificial intelligence model.
  • the feature information generating unit 120 of the sample data obtains sample data to be used to generate new training data from among the sample data included in the existing training data 110, and from the acquired sample data, It is possible to generate characteristic information of sample data to be included in new training data.
  • the characteristic information of the newly generated sample data is not the same as the characteristic information of the acquired sample data, but may be generated to have a similar value.
  • sample data having a characteristic included in the training data 110 in a relatively small proportion compared to other characteristics is the data to be newly generated. It can be used to generate characteristic information. Therefore, according to the newly generated training data, the problem that the existing training data 110 has a biased characteristic can be solved. In addition, since a plurality of new learning data having various characteristics can be generated from the existing learning data 110 , the problem of insufficient data amount of the learning data 110 can be solved according to the newly created learning data.
  • the sample data generation unit 130 may generate sample data to be included in new learning data from the characteristic information generated by the characteristic information generation unit 120 of the sample data.
  • Sample data may be generated to have a feature included in the newly generated feature information based on predetermined correct answer data.
  • the voice signal having a pronunciation corresponding to the text of the correct answer data while having the features included in the newly generated feature information is generated. It can be generated with sample data.
  • the correct answer data may be determined based on the correct answer data included in the existing learning data 110, depending on whether the correct answer data needs to be supplemented as the learning data.
  • the correct answer data may be determined based on the number of correct answer data for sample data having the same and similar characteristics included in the existing training data 110 .
  • correct answer data having a smaller number than other correct answer data may be determined as correct answer data for generating sample data.
  • correct answer data that is not included in the correct answer data for the sample data having the same and similar characteristics included in the existing training data 110 may be determined as correct answer data for generating the sample data.
  • correct answer data requiring generation of learning data may be determined based on various pieces of information.
  • the artificial intelligence model learning unit 140 acquires new training data from the sample data generated by the sample data generation unit 130 and correct answer data corresponding to the sample data, and based on the new training data Thus, the AI model can be trained.
  • the electronic device 1000 may generate new learning data from the learning data 110 collected by the electronic device 1000 , and may transmit information about the generated new learning data to the server.
  • the electronic device 1000 may encrypt or transform the new learning data and transmit it to the server so that sensitive information of the user that may be included in the new learning data is not leaked to the outside.
  • the server may perform an operation of learning the artificial intelligence model based on information about new learning data.
  • the electronic device 1000 may directly perform an operation of learning the artificial intelligence model.
  • the electronic device 1000 receives an artificial intelligence model from a server, and uses the received artificial intelligence model as the learning data 110 collected by the electronic device 1000 and newly generated learning according to an embodiment. It can learn based on data.
  • the electronic device 1000 may be a server (not shown) capable of providing various services to a terminal device used by a user by using an artificial intelligence model.
  • the electronic device 1000 may learn an artificial intelligence model based on newly generated learning data according to an embodiment.
  • the electronic device 1000 may provide the learned AI model to the terminal device or provide various services based on the learned AI model to the terminal device.
  • FIG. 2 is a diagram illustrating an example of generating characteristic information of sample data according to an embodiment.
  • the feature information generating unit 120 of sample data which generates feature information of sample data according to an embodiment, is based on the learning data 110 , which is feature information of new sample data. 2 You can create feature information.
  • the second characteristic information according to an embodiment may be transmitted to the sample data generating unit 130 and used to generate new sample data corresponding to the second characteristic information.
  • the feature information generating unit 120 of sample data may include a feature information extracting unit 210 , a masking unit 220 , and a second characteristic information generating unit 230 .
  • the feature information extracting unit 210 acquires first sample data to be used to generate new training data from among the sample data included in the training data 110 , and obtains first sample data from the acquired first sample data. First feature information including a plurality of first feature values of the sample data may be extracted.
  • the characteristic information of the sample data may include a plurality of characteristic values indicating the characteristics of the sample data.
  • the plurality of feature values may include feature values representing a voice feature or a voice print of a speaker uttering the voice signal.
  • the plurality of feature values may include feature values indicating an utterance style (eg, pitch, tone, intonation, etc.) of a voice signal.
  • a plurality of feature values according to an embodiment may be obtained according to various methods.
  • the feature values representing the speaker's voice feature or glottis may be obtained based on a pre-learned Deep Neural Network (DNN).
  • DNN Deep Neural Network
  • feature values representing the speech style (eg, pitch, tone, intonation, etc.) of the voice signal may be obtained by various types of modules such as Glottal Autocorrelation, SWIPE, RAPT, SAC, and TEMPO.
  • feature information of the sample data including a plurality of feature values may be obtained.
  • feature values representing a speaker's voice feature or glottal are obtained in the form of an X-vector including X1, X2, X3, etc.
  • feature values representing a speech style are F_0 including F_01, F_02, F_03, etc.
  • the feature information of the sample data may include ⁇ X1, X2, X3, F_01, F_02, F_3 ⁇ , which is an FX vector in which an X-vector and an F_0 vector are concatenated. It is not limited to the above-described example, and the characteristic information of the sample data may be expressed in various forms.
  • the feature information extraction unit 210 may include a plurality of first feature values of the first sample data, for example, a plurality of feature values ( Ex. X1, X2, F_01, F_02, etc.) may be acquired and transmitted to the masking unit 220 .
  • a plurality of feature values Ex. X1, X2, F_01, F_02, etc.
  • the masking unit 220 may obtain masked first characteristic information from the first characteristic information.
  • the masking unit 220 converts at least one feature value among a plurality of feature values included in the first feature information into a preset value (ex. 0) to obtain masked first feature information can do.
  • the first feature information includes ⁇ X1, X2, X3, F_01, F_02, F_3 ⁇ that is an FX vector
  • the masked first feature information has at least one randomly selected feature value of 0 converted to ⁇ X1, 0, X3, F_01, F_02, 0 ⁇ .
  • the number of randomly selected feature values may also be randomly determined.
  • the second characteristic information according to an embodiment is obtained based on the masked first characteristic information in which some characteristic values included in the first characteristic information are converted, so that the second characteristic information is obtained from the first characteristic information is not the same as the feature values included in the first feature information, but may include similar feature values.
  • the learning data 110 when the learning data 110 includes a large number of voice signals having the voice characteristics of an adult adult and relatively few voice signals having the voice characteristics of a child or an elderly person, the amount of the voice signal is small. , there may be a lack of diversity in the learning data in the speech characteristics of children or the elderly. For example, the voice signals of children or the elderly may include various feature values within a limited range. However, if the number of voice signals used as learning data is small, the diversity of the feature values decreases accordingly, The accuracy of the AI model for the voice signals of the elderly may be lowered.
  • the voice signals belonging to a range similar to the voice characteristics of children or the elderly are supplemented as new learning data. desirable.
  • the electronic device 1000 newly generates characteristic information of new sample data based on masked characteristic information instead of characteristic information of sample data included in the existing training data 110, thereby New sample data having characteristics in a range similar to characteristics of the sample data may be acquired. Also, based on the new sample data, the electronic device 1000 may secure diversity in the sample data having some characteristics of the learning data 110 (eg, a voice signal having the characteristics of a child or an elderly person).
  • the second characteristic information generating unit 230 may include, based on the masked first characteristic information generated by the masking unit 220 and randomly generated noise, a second characteristic of the new sample data. You can create new information.
  • the generation model 231 may use randomly generated noise to generate different second characteristic information even when the masked first characteristic information is the same.
  • the noise generated randomly and the second characteristic information generated by the masked first characteristic information in which the randomly selected characteristic value is transformed include different characteristic values each time. can do. Accordingly, a plurality of different second characteristic information may be generated from the same first characteristic information, and new learning data may be generated by the number of different second characteristic information.
  • the generative model 231 and the classification model 232 may be a generative adversarial network (GAN) capable of unsupervised learning.
  • GAN generative adversarial network
  • Unsupervised learning unlike supervised learning that is learned using learning data, may be performed according to a determination result by the classification model 232 without learning data.
  • the generative model 231 may be subjected to unsupervised learning so that data generated by the generative model 231 may be determined to be real by the classification model 232 .
  • the generation model 231 may generate new second characteristic information at random based on the noise and the masked first characteristic information as a condition.
  • the generative model 231 may further use masked first characteristic information in addition to noise to obtain information limited to the masked first characteristic information, for example, similar to or similar to the masked first characteristic information. , including the masked first characteristic information, may be generated.
  • the second characteristic information generated by the generation model 231 is real data based on the first characteristic information that is real data and the masked first characteristic information. It may be determined whether the data is perceived as fake, that is, virtually generated data.
  • the classification model 232 may analyze the first feature information that is real data and the masked first feature information to determine whether the second feature information has a feature corresponding to the real data.
  • the classification model 232 since the second characteristic information generated by the generation model 231 is false information generated virtually instead of actual information, the classification model 232 must determine that it is false. However, when the generation model 231 generates the second characteristic information to be difficult to distinguish from the actual information, the classification model 232 may determine the second characteristic information as actual data.
  • the generation model 231 is based on the determination result of the classification model 232 so as to determine that the second characteristic information generated by itself is true by the classification model 232 . Thus, it can be learned. According to an embodiment, since second characteristic information may be generated based on first characteristic values including randomly generated noise and randomly selected and transformed characteristic values, from the same first characteristic information, different The second characteristic information including the value may be repeatedly generated. Accordingly, the generation model 231 may generate second characteristic information close to actual information as learning based on the determination result by the classification model 232 is repeatedly performed whenever the second characteristic information is generated. .
  • the classification model 232 may determine whether the second characteristic information is actual information based on the first characteristic information that is the actual information. Also, according to an embodiment, the classification model 232 may generate the second feature information including feature values that are not converted by the masking unit 220 among the masked feature values of the first feature information. Thus, classification may be performed on the second characteristic information. For example, as the second characteristic information includes more values identical to or similar to the characteristic values included in the masked first characteristic information, the probability that the classification model 232 determines the second characteristic information as actual information increases. can
  • the above-described unconverted feature values are values that are input to the generation model 231 as a limitation on the second feature information, and the second feature information preferably has similar characteristics to the first feature information.
  • the classification model 232 may be determined so that second feature information including the unconverted feature value may be generated.
  • FIG. 3 is a diagram illustrating an example of generating new sample data according to an embodiment.
  • the sample data generating unit 130 may generate a sample corresponding to the second characteristic information based on the second characteristic information generated by the characteristic information generating unit 120 of the sample data.
  • data can be generated.
  • Sample data according to an embodiment may be generated based on the second characteristic information and correct answer data.
  • whether each correct answer data is used to generate new sample data may be determined, but is not limited thereto, and may be determined based on various information.
  • the sample data generating unit 130 includes an encoder 310 for encoding correct answer data, a synthesizing unit 320 for synthesizing the encoded correct answer data and second characteristic information, and a sample corresponding to the synthesized value. It may include a decoder 330 that generates data.
  • the encoder 310 may generate characteristic information of the text corresponding to the correct answer data.
  • the feature information of the correct answer data generated by the encoder 310 is a vector including a plurality of feature values indicating feature information of text, and may include ⁇ p1, p2, p3, ..., pN ⁇ .
  • the synthesizer 320 may synthesize the characteristic information and the second characteristic information of the correct answer data generated by the encoder 310 .
  • the second characteristic information is a vector including a plurality of characteristic values indicating characteristic information of sample data, similar to the form of the first characteristic information, ⁇ b1, b2, b3, ..., bN ⁇ may include
  • the information in which the text characteristic information and the second characteristic information are synthesized by the synthesizing unit 320 may include ⁇ b1p1, b2p2, b3p3, ..., bNpN ⁇ in which each characteristic value is concatenated. .
  • the text characteristic information and the second characteristic information may be synthesized according to various methods.
  • the decoder 330 may generate sample data corresponding to the text characteristic information and the second characteristic information, based on the information synthesized by the synthesizer 320 .
  • a voice signal corresponding to the text of the correct answer data and including a characteristic according to the characteristic values included in the second characteristic information may be generated as sample data.
  • the electronic device 1000 generates new learning data based on the sample data generated by the sample data generator 130 and the correct answer data used for generating the sample data by the sample data generator 130 .
  • can create The electronic device 1000 according to an embodiment may acquire an artificial intelligence model with improved performance by learning the artificial intelligence model based on new learning data.
  • FIG. 4 is a block diagram illustrating an internal configuration of the electronic device 1000 according to an embodiment.
  • FIG. 5 is a block diagram illustrating an internal configuration of the electronic device 1000 according to an exemplary embodiment.
  • the electronic device 1000 may include a processor 1300 and a memory 1700 . However, not all of the components shown in FIG. 4 are essential components of the electronic device 1000 .
  • the electronic device 1000 may be implemented by more components than those illustrated in FIG. 4 , or the electronic device 1000 may be implemented by fewer components than those illustrated in FIG. 4 .
  • the electronic device 1000 includes a user input unit 1100 and an output unit 1200 in addition to the processor 1300 and the memory 1700 , as shown in FIG. 5 . ), a sensing unit 1400 , a communication unit 1500 , and an A/V input unit 1600 may be further included.
  • the user input unit 1100 means a means for a user to input data for controlling the electronic device 1000 .
  • the user input unit 1100 includes a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type).
  • a tension measurement method a piezo effect method, etc.
  • a jog wheel a jog switch, and the like, but is not limited thereto.
  • the user input unit 1100 may receive a user input for learning an artificial intelligence model.
  • the user input unit 1100 receives a user input for collecting learning data used to learn the artificial intelligence model, and according to the user input, the electronic device 1000 includes information related to the user. Learning data (eg, voice signals) can be collected.
  • the user input unit 1100 may receive a user input for performing an operation by the artificial intelligence model learned according to an embodiment.
  • the output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210 , a sound output unit 1220 , and a vibration motor 1230 . have.
  • the display unit 1210 displays and outputs information processed by the electronic device 1000 .
  • the display unit 1210 may display a result of performing an operation according to the artificial intelligence model.
  • the display unit 1210 may be used as an input device in addition to an output device.
  • the display unit 1210 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display ( 3D display) and electrophoretic display (electrophoretic display) may include at least one. Also, depending on the implementation form of the electronic device 1000 , the electronic device 1000 may include two or more display units 1210 .
  • the sound output unit 1220 outputs audio data received from the communication unit 1500 or stored in the memory 1700 .
  • the vibration motor 1230 may output a vibration signal. Also, the vibration motor 1230 may output a vibration signal when a touch is input to the touch screen. According to an embodiment, the sound output unit 1220 and the vibration motor 1230 may display a result of performing an operation according to the artificial intelligence model.
  • the processor 1300 generally controls the overall operation of the electronic device 1000 .
  • the processor 1300 executes programs stored in the memory 1700 , and thus the user input unit 1100 , the output unit 1200 , the sensing unit 1400 , the communication unit 1500 , and the A/V input unit 1600 . ) can be controlled in general.
  • the electronic device 1000 may include at least one processor 1300 .
  • the electronic device 1000 may include various types of processors, such as a central processing unit (CPU), a graphics processing unit (GPU), and a neural processing unit (NPU).
  • CPU central processing unit
  • GPU graphics processing unit
  • NPU neural processing unit
  • the processor 1300 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations.
  • the command may be provided to the processor 1300 from the memory 1700 or may be received through the communication unit 1500 and provided to the processor 1300 .
  • the processor 1300 may be configured to execute instructions according to program codes stored in a recording device such as a memory.
  • the processor 1300 obtains, from the first sample data, first characteristic information including a plurality of first characteristic values indicating characteristics of the first sample data, and obtains at least one of the plurality of first characteristic values.
  • One first feature value may be randomly selected.
  • the processor 1300 converts at least one randomly selected first feature value into a preset value, and generates a plurality of second feature values based on the plurality of first feature values including the converted values.
  • the included second characteristic information may be generated using the generation model.
  • the processor 1300 may generate second sample data based on the second characteristic information.
  • the processor 1300 may learn an artificial intelligence model by using the first sample data and the second sample data.
  • the first sample data and the second sample data according to an embodiment are not limited to learning the artificial intelligence model, but may be used to perform various operations.
  • the sensing unit 1400 may detect a state of the electronic device 1000 or a state around the electronic device 1000 , and transmit the sensed information to the processor 1300 .
  • the sensing unit 1400 includes a geomagnetic sensor 1410 , an acceleration sensor 1420 , a temperature/humidity sensor 1430 , an infrared sensor 1440 , a gyroscope sensor 1450 , and a position sensor. (eg, GPS) 1460 , a barometric pressure sensor 1470 , a proximity sensor 1480 , and at least one of an illuminance sensor 1490 , but is not limited thereto.
  • GPS GPS
  • Various sensor information sensed by the sensing unit 1400 may be used as learning data that can be used to learn an artificial intelligence model.
  • the communication unit 1500 may include one or more components that allow the electronic device 1000 to communicate with the server 2000 or an external device (not shown).
  • the communication unit 1500 may include a short-range communication unit 1510 , a mobile communication unit 1520 , and a broadcast receiving unit 1530 .
  • Short-range wireless communication unit 1510 Bluetooth communication unit, BLE (Bluetooth Low Energy) communication unit, short-range wireless communication unit (Near Field Communication unit), WLAN (Wi-Fi) communication unit, Zigbee (Zigbee) communication unit, infrared ( It may include an IrDA, infrared Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like, but is not limited thereto.
  • the mobile communication unit 1520 transmits/receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission/reception of a voice call signal, a video call signal, or a text/multimedia message.
  • the broadcast receiver 1530 receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the electronic device 1000 may not include the broadcast receiver 1530 .
  • the communication unit 1500 may transmit/receive at least one message to and from an external device.
  • the communication unit 1500 transmits/receives data required for learning the artificial intelligence model according to an embodiment to and from the server.
  • the communication unit 1500 may transmit the learning data collected by the electronic device 1000 or new learning data generated from the learning data to the server.
  • the communication unit 1500 is configured to transmit the artificial intelligence model learned in the electronic device 1000 to another external device or to provide a service to another external device based on a result of an operation performed by the artificial intelligence model. data can be transmitted.
  • the A/V (Audio/Video) input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 , a microphone 1620 , and the like.
  • the camera 1610 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode.
  • the image captured through the image sensor may be processed through the processor 1300 or a separate image processing unit (not shown).
  • the microphone 1620 receives an external sound signal and processes it as electrical voice data.
  • the audio data or image data obtained by the A/V input unit 1600 may be used to generate learning data for learning an artificial intelligence model.
  • the memory 1700 may store a program for processing and controlling the processor 1300 , and may also store data input to or output from the electronic device 1000 .
  • the memory 1700 may store an artificial intelligence model and learning data for learning the artificial intelligence model.
  • the memory 1700 may further store various data necessary to generate new learning data from the learning data.
  • the memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), and a RAM.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic disk
  • magnetic disk may include at least one type of storage medium among optical disks.
  • Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions, for example, may be classified into a UI module 1710 , a touch screen module 1720 , a notification module 1730 , and the like. .
  • the UI module 1710 may provide a specialized UI, GUI, or the like that interworks with the electronic device 1000 for each application.
  • the touch screen module 1720 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the processor 1300 .
  • the touch screen module 1720 according to some embodiments may recognize and analyze a touch code.
  • the touch screen module 1720 may be configured as separate hardware including a controller.
  • a tactile sensor is an example of a sensor for detecting a touch of a touch screen.
  • a tactile sensor refers to a sensor that senses a touch of a specific object to the extent or higher than that felt by a human.
  • the tactile sensor may sense various information such as the roughness of the contact surface, the hardness of the contact object, and the temperature of the contact point.
  • the user's touch gesture may include tap, touch & hold, double tap, drag, pan, flick, drag and drop, swipe, and the like.
  • the notification module 1730 may generate a signal for notifying the occurrence of an event in the electronic device 1000 .
  • FIG. 6 is a flowchart illustrating a method of generating data according to an embodiment.
  • the electronic device 1000 may obtain first characteristic information of first sample data including a plurality of first characteristic values.
  • the first characteristic information of the first sample data may include a plurality of characteristic values indicating the characteristic of the first sample data.
  • the first characteristic information may include at least one of information indicating an utterance style of the voice signal and information indicating a voice print of a speaker uttering the voice signal.
  • the first characteristic information may include various types of characteristic values indicating characteristics of the sample data.
  • the electronic device 1000 may randomly select at least one first characteristic value from among a plurality of first characteristic values. Also, in operation 630 , the randomly selected first feature value may be converted into a preset value, for example, 0.
  • the second characteristic information of the second sample data may be generated based on different values randomly generated from the first characteristic information each time, the second characteristic information generated from the same first characteristic information may be generated. Even with two pieces of feature information, each piece of second feature information may include different feature values. Accordingly, different second characteristic information may be generated from one piece of first characteristic information.
  • the electronic device 1000 performs a second function including a plurality of second characteristic values based on the plurality of first characteristic values including the first characteristic value converted in operation 630 .
  • Feature information can be generated using a generative model.
  • the generative model according to an embodiment may be a model capable of self-learning according to the classification model according to unsupervised learning.
  • the generative model may be learned based on the determination result of the classification model so that the classification model can determine the characteristic information generated by the generative model as the characteristic information of the actually collected learning data. Accordingly, the generation model may generate characteristic information that is not the same as the characteristic information of the actually collected training data, but can be determined as the actually collected training data.
  • the electronic device 1000 may generate second sample data based on the generated second characteristic information in operation 640 .
  • the electronic device 1000 may generate the second sample data based on the correct answer data determined to generate the second sample data and the second characteristic information.
  • Correct answer data may be determined according to whether correct answer data needs supplementation as learning data, but is not limited thereto, and may be predetermined according to various methods.
  • the electronic device 1000 may learn an artificial intelligence model by using the first sample data and the second sample data. For example, the electronic device 1000 may generate new training data based on the second sample data generated in operation 650 , and in addition to the existing training data including the first sample data, the new training data can be further used to train the artificial intelligence model. New learning data according to an embodiment may be generated including the second sample data and correct answer data used to generate the second sample data in step 650 .
  • the first sample data and the second sample data according to an embodiment are not limited to learning the artificial intelligence model, but may be used to perform various operations.
  • an artificial intelligence model with higher performance may be obtained based on the training data newly generated from the existing training data.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg smartphones).
  • a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.
  • unit may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

전자 장치와 전자 장치가 데이터를 생성하는 방법이 개시된다. 개시된 방법은, 데이터를 생성하는데 이용되는, 제1 샘플 데이터로부터, 제1 샘플 데이터의 특징을 나타내는, 복수 개의 제1 특징 값을 포함한 제1 특징 정보를 획득하고, 복수 개의 제1 특징 값 중 적어도 하나의 제1 특징 값을 랜덤하게 선택하고, 랜덤하게 선택된 적어도 하나의 제1 특징 값을 미리 설정된 값으로 변환하고, 변환된 적어도 하나의 제1 특징 값을 포함하는, 복수 개의 제1 특징 값에 기초하여, 복수 개의 제2 특징 값을 포함한 제2 특징 정보를, 생성 모델을 이용하여, 생성하고, 생성된 제2 특징 정보에 기초하여, 제2 샘플 데이터를 생성한다.

Description

데이터를 생성하는 전자 장치 및 그 동작 방법
본 개시는, 데이터를 생성하는 전자 장치 및 그 동작 방법에 관한 것이다.
인공지능 모델은, 여러 종류의 데이터를 인식하고, 그 결과를 출력할 수 있다. 예를 들면, 인공지능 모델은, 인공지능 모델에 입력된 음성 신호를 인식한 결과로서, 음성 신호와 대응되는 텍스트를 식별한 결과를 출력할 수 있다. 인공지능 모델은, 샘플 데이터와 정답 데이터의 쌍을 포함하는 학습 데이터에 기초하여, 학습될 수 있다. 예를 들면, 샘플 데이터(ex. 음성 신호(voice signal))에 기초하여, 인공지능 모델로부터 정답 데이터(ex. 텍스트)가 출력될 수 있도록, 인공지능 모델이 학습될 수 있다.
그러나, 학습 데이터는, 다양한 이유로 인해, 인공지능 모델을 학습시키기에 부족한 양의 데이터를 포함하거나, 편향된 특성을 가진 데이터들을 포함할 수 있다.
예를 들면, 사용자의 음성 신호는, 음성 신호에 포함된 개인 정보의 유출 우려로 인해 쉽게 수집되기 어려우므로, 학습 데이터는, 인공지능 모델을 학습시키기에 충분한 양의 음성 신호를, 샘플 데이터로서, 포함하지 않을 수 있다. 또한, 쉽게 수집되기 어려운 음성 신호의 특성으로 인해, 학습 데이터는, 편향된 특성을 가진 음성 신호들을, 샘플 데이터로서, 포함할 가능성이 있다.
그러나, 인공지능 모델의 성능은, 학습 데이터에 따라 크게 좌우될 수 있으므로, 보다 높은 성능을 가진 인공지능 모델을 획득하기 위한, 학습 데이터를 획득하고, 획득된 학습 데이터에 기초한, 인공지능 모델을 학습하는 방법을 제시하고자 한다.
본 개시가 해결하고자 하는 과제는 전술한 문제를 해결하기 위한 것으로서, 인공지능 모델을 학습하는데 이용될 수 있는, 데이터를 생성하는 전자 장치 및 그 동작 방법을 제공하기 위한 것이다.
또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 개시의 일 실시예에 따른 전자 장치가 데이터를 생성하는 방법은, 상기 인공지능 모델을 학습하는데 이용되는, 제1 샘플 데이터로부터, 상기 제1 샘플 데이터의 특징을 나타내는, 복수 개의 제1 특징 값을 포함한 제1 특징 정보를 획득하는 단계; 상기 복수 개의 제1 특징 값 중 적어도 하나의 제1 특징 값을 랜덤하게 선택하는 단계; 상기 랜덤하게 선택된 적어도 하나의 제1 특징 값을 미리 설정된 값으로 변환하는 단계; 상기 변환된 적어도 하나의 제1 특징 값을 포함하는, 상기 복수 개의 제1 특징 값에 기초하여, 복수 개의 제2 특징 값을 포함한 제2 특징 정보를, 생성 모델을 이용하여, 생성하는 단계; 및 상기 생성된 제2 특징 정보에 기초하여, 제2 샘플 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 인공지능 모델을 학습하는 전자 장치는, 하나 이상의 명령어들(instructions)을 저장하는 메모리; 및 상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 제1 샘플 데이터로부터, 상기 제1 샘플 데이터의 특징을 나타내는, 복수 개의 제1 특징 값을 포함한 제1 특징 정보를 획득하고, 상기 복수 개의 제1 특징 값 중 적어도 하나의 제1 특징 값을 랜덤하게 선택하고, 상기 랜덤하게 선택된 적어도 하나의 제1 특징 값을 미리 설정된 값으로 변환하고, 상기 변환된 적어도 하나의 제1 특징 값을 포함하는, 상기 복수 개의 제1 특징 값에 기초하여, 복수 개의 제2 특징 값을 포함한 제2 특징 정보를, 생성 모델을 이용하여, 생성하고, 상기 생성된 제2 특징 정보에 기초하여, 제2 샘플 데이터를 생성할 수 있다.　
본 개시의 일 실시예에 따른 전자 장치의 프로세서에 의해 수행되는 하나 이상의 프로그램이 기록된 기록매체는, 하나 이상의 프로그램을 이용하여 인공지능 모델을 학습하는 전자 장치가 데이터를 생성하는 방법을 수행할 수 있다.
일 실시 예에 의하면, 기존의 학습 데이터로부터 새롭게 생성된 학습 데이터에 기초하여, 보다 높은 성능을 가진 인공지능 모델을 획득할 수 있다.
도 1은 일 실시 예에 의한 인공지능 모델을 학습하는 전자 장치의 일 예를 나타낸 도면이다.
도 2는 일 실시 예에 의한 샘플 데이터의 특징 정보를 생성하는 일 예를 나타낸 도면이다.
도 3은 일 실시 예에 의한 새로운 샘플 데이터를 생성하는 일 예를 나타낸 도면이다.
도 4는 일 실시 예에 의한 전자 장치의 내부 구성을 설명하기 위한 블록도이다.
도 5은 일 실시 예에 의한 전자 장치의 내부 구성을 설명하기 위한 블록도이다.
도 6은 일 실시 예에 의한 데이터를 생성하는 방법의 동작을 나타내는 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시 예에 의한 인공지능 모델을 학습하는 전자 장치(1000)의 일 예를 나타낸 도면이다.
도 1을 참조하면, 일 실시 예에 의한 전자 장치(1000)는 인공지능 모델을 포함하고, 학습 데이터에 기초하여, 인공지능 모델을 학습할 수 있다.
일 실시예에 따른 전자 장치(1000)는 인공지능 모델을 학습할 수 있는 다양한 형태의 장치일 수 있다. 예를 들어, 전자 장치(1000)는, 디지털 카메라, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 차량(vehicle) 등, 사용자에 의해 직접 이용되는 단말 장치일 수 있으나, 이에 한정되는 것은 아니다. 또한, 전자 장치(1000)는, 사용자가 이용하는 단말 장치에, 인공지능 모델을 이용하여, 여러가지 서비스를 제공할 수 있는 서버일 수도 있다.
일 실시 예에 의한 전자 장치(1000)는, 기존의 학습 데이터(110)로부터, 새로운 학습 데이터를 획득하고, 새로 획득된 학습 데이터에 기초하여, 인공지능 모델을 학습할 수 있다.
일 실시 예에 의한 학습 데이터(110)는, 학습 데이터가 이용되는 인공지능 모델에 따라서, 다양한 종류의 데이터를 포함할 수 있다. 예를 들어, 학습 데이터(110)가 음성 신호를 인식하기 위한 인공지능 모델을 학습하는데 이용되는 경우, 학습 데이터(110)는, 다양한 특성을 가진 음성 신호를, 샘플 데이터로서, 포함할 수 있다. 예를 들면, 학습 데이터(110)는, 음성의 높낮이(pitch), 음색(timbre), 억양(intonation), 음성을 발화하는 화자의 목소리 특징 등에 있어서, 다양한 특성을 가진 음성 신호를 포함할 수 있다.
일 실시 예에 의한 인공지능 모델은, 학습 데이터(110)에 포함된 음성 신호의 특성이 다양하게 분포되어 있고, 충분한 양의 음성 신호를 포함하는 만큼, 다양한 특성을 가진 음성 신호를 정확하게 인식할 수 있다. 그러나, 일 실시 예에 의한 학습 데이터(110)는, 다양한 이유로 인해, 인공지능 모델을 학습하기에 충분히 많은 양의 음성 신호를 포함하지 않을 수 있다. 또한, 학습 데이터(110)는, 편향된 특성의 음성 신호를 포함할 수 있다.
일 실시 예에 의한 전자 장치(1000)는 기존의 학습 데이터(110)에 포함된 데이터(ex. 음성 신호)로부터 생성된 새로운 데이터(ex. 음성 신호)에 기초하여, 새로운 학습 데이터를 획득할 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 새로운 학습 데이터를 이용하여, 기존의 학습 데이터(110)의 문제점을 해소할 수 있다. 예를 들어, 학습 데이터(110)가 음성 신호를 인식하기 위한 인공지능 모델을 학습하는데 이용되는 경우, 전자 장치(1000)는 학습 데이터(110)에 포함된 음성 신호로부터 새로운 음성 신호를 생성하고, 새로운 음성 신호를 포함하는, 새로운 학습 데이터를 획득할 수 있다.
일 실시 예에 의한 새로운 음성 신호는, 기존의 학습 데이터(110)에 포함된 음성 신호 중 다른 특성에 비해 상대적으로 학습 데이터(110)에 적은 비율로 포함된 특성을 가진 음성 신호로부터, 획득될 수 있다. 예를 들어, 기존의 학습 데이터(110)가, 성인 어른의 음성 특징을 가지는 음성 신호를 다수 포함하고, 어린이 또는 노인의 음성 특징을 가지는 음성 신호를 상대적으로 적게 포함할 수 있다. 이때, 전자 장치(1000)는, 학습 데이터(110)에 포함된, 어린이 또는 노인의 음성 특징을 가지는 음성 신호에 기초하여, 어린이 또는 노인의 음성 특징을 가진 음성 신호를 포함하는 새로운 학습 데이터를 생성할 수 있다.
따라서, 일 실시 예에 의하면 새로운 학습 데이터에 의해, 편향된 특성을 가진 학습 데이터(110)의 문제점이 해소될 수 있다. 또한, 전자 장치(1000)는, 기존의 학습 데이터(110)에 더해, 새로운 학습 데이터에 기초하여, 인공지능 모델을 학습함으로써, 기존의 학습 데이터(110)에 적은 비율로 포함된 특성을 가지는 데이터에 대하여도, 인공지능 모델을 이용하여, 높은 정확도로 인식할 수 있다.
일 실시 예에 의한 샘플 데이터의 특징 정보 생성부(120)는, 기존의 학습 데이터(110)에 포함된 샘플 데이터 중 새로운 학습 데이터를 생성하는데 이용될 샘플 데이터를 획득하고, 획득된 샘플 데이터로부터, 새로운 학습 데이터에 포함될 샘플 데이터의 특징 정보를 생성할 수 있다. 일 실시 예에 의한 새로 생성되는 샘플 데이터의 특징 정보는, 상기 획득된 샘플 데이터의 특징 정보와 동일하지는 않으나, 유사한 값을 가지도록, 생성될 수 있다.
일 실시 예에 의하면, 기존의 학습 데이터(110)에 포함된 샘플 데이터 중, 다른 특성에 비해, 학습 데이터(110)에 상대적으로 적은 비율로 포함된 특성을 가진 샘플 데이터가, 새로 생성될 데이터의 특징 정보를 생성하는데, 이용될 수 있다. 따라서, 새로 생성된 학습 데이터에 의하면, 기존의 학습 데이터(110)가 편향된 특성을 가지는 문제점이 해소될 수 있다. 또한, 기존의 학습 데이터(110)로부터, 여러 특성을 가진 새로운 학습 데이터가 다수 생성될 수 있으므로, 새로 생성된 학습 데이터에 의하면, 학습 데이터(110)의 데이터 양이 부족한 문제점도 해소될 수 있다.
일 실시 예에 의한 샘플 데이터 생성부(130)는, 샘플 데이터의 특징 정보 생성부(120)에 의해 생성된 특징 정보로부터, 새로운 학습 데이터에 포함될 샘플 데이터를 생성할 수 있다. 일 실시 예에 의한 샘플 데이터는, 미리 결정된 정답 데이터에 기초하여, 새로 생성된 특징 정보에 포함된 특징을 가지도록, 생성될 수 있다.
예를 들어, 샘플 데이터가 음성 신호이고, 정답 데이터가, 음성 신호와 대응되는 텍스트인 경우, 새로 생성된 특징 정보에 포함된 특징을 가지면서, 정답 데이터의 텍스트와 대응되는 발음을 가지는 음성 신호가 샘플 데이터로 생성될 수 있다.
일 실시 예에 의한 정답 데이터는, 기존의 학습 데이터(110)에 포함된 정답 데이터에 기초하여, 학습 데이터로서, 보충이 필요한 정답 데이터인지에 따라, 결정될 수 있다. 예를 들어, 정답 데이터는, 기존의 학습 데이터(110)에 포함된, 동일 유사한 특징을 가진 샘플 데이터들에 대한 각 정답 데이터들의 개수에 기초하여 결정될 수 있다. 일 예로, 기존의 학습 데이터(110)에 포함된, 동일 유사한 특징을 가진 샘플 데이터들에 대한 정답 데이터 중에서, 다른 정답 데이터에 비해 개수가 적은 정답 데이터가 샘플 데이터 생성을 위한 정답 데이터로 결정될 수 있다. 또는, 기존의 학습 데이터(110)에 포함된 동일 유사한 특징을 가진 샘플 데이터들에 대한 정답 데이터들에 포함되어 있지 않은 정답 데이터가, 샘플 데이터 생성을 위한 정답 데이터로 결정될 수 있다. 상술한 예에 한하지 않고, 다양한 정보에 기초하여, 학습 데이터의 생성이 필요한 정답 데이터가 결정될 수 있다.
일 실시 예에 의한 인공지능 모델 학습부(140)는, 샘플 데이터 생성부(130)에 의해 생성된 샘플 데이터 및 샘플 데이터와 대응되는 정답 데이터로부터, 새로운 학습 데이터를 획득하고, 새로운 학습 데이터에 기초하여, 인공지능 모델을 학습할 수 있다.
일 실시 예에 의한 전자 장치(1000)가 사용자에 의해 이용되는 단말 장치인 경우, 전자 장치(1000)의 일부 동작은 서버(미도시)에 의해 수행될 수도 있다. 예를 들면, 전자 장치(1000)는, 전자 장치(1000)에서 수집된 학습 데이터(110)로부터 새로운 학습 데이터를 생성하고, 생성된 새로운 학습 데이터에 관한 정보를 서버로 전송할 수 있다. 이때, 전자 장치(1000)는, 새로운 학습 데이터에 포함될 수 있는 사용자의 민감한 정보와 외부에 유출되지 않도록, 새로운 학습 데이터를 암호화하거나 변형하여, 서버로 전송할 수 있다. 또한, 서버는, 전자 장치(1000) 대신, 새로운 학습 데이터에 관한 정보에 기초하여, 인공지능 모델을 학습하는 동작을 수행할 수 있다.
또한, 일 실시 예에 의한 전자 장치(1000)가 직접 인공지능 모델을 학습하는 동작을 수행할 수 있다. 예를 들면, 전자 장치(1000)는, 서버로부터 인공지능 모델을 수신하고, 수신된 인공지능 모델을, 전자 장치(1000)에서 수집된 학습 데이터(110) 및 일 실시 예에 따라 새롭게 생성된 학습 데이터에 기초하여 학습할 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 사용자가 이용하는 단말 장치에, 인공지능 모델을 이용하여, 여러가지 서비스를 제공할 수 있는 서버(미도시)일 수도 있다. 일 실시 예에 의한 전자 장치(1000)가 서버인 경우, 전자 장치(1000)는 일 실시 예에 따라 새롭게 생성된 학습 데이터에 기초하여, 인공지능 모델을 학습할 수 있다. 또한, 전자 장치(1000)는, 학습된 인공지능 모델을 단말 장치에 제공하거나, 학습된 인공지능 모델에 기초한 여러가지 서비스를 단말 장치에 제공할 수 있다.
도 2는 일 실시 예에 의한 샘플 데이터의 특징 정보를 생성하는 일 예를 나타낸 도면이다.
도 2를 참조하면, 일 실시 예에 의한 샘플 데이터의 특징 정보를 생성하는, 샘플 데이터의 특징 정보 생성부(120)는, 학습 데이터(110)에 기초하여, 새로운 샘플 데이터의 특징 정보인, 제2 특징 정보를 생성할 수 있다. 일 실시 예에 의한 제2 특징 정보는, 샘플 데이터 생성부(130)로 전달되어, 제2 특징 정보와 대응되는, 새로운 샘플 데이터가 생성되는데 이용될 수 있다.
일 실시 예에 의한 샘플 데이터의 특징 정보 생성부(120)는, 특징 정보 추출부(210), 마스킹부(220) 및 제2 특징 정보 생성부(230)를 포함할 수 있다.
일 실시 예에 의한 특징 정보 추출부(210)는, 학습 데이터(110)에 포함된 샘플 데이터 중 새로운 학습 데이터를 생성하는데 이용될 제1 샘플 데이터를 획득하고, 획득된 제1 샘플 데이터로부터 제1 샘플 데이터의 복수 개의 제1 특징값들을 포함하는, 제1 특징 정보를 추출할 수 있다.
일 실시 예에 의한 샘플 데이터의 특징 정보는, 샘플 데이터의 특징을 나타내는 복수 개의 특징 값들을 포함할 수 있다. 예를 들면, 샘플 데이터가 음성 신호인 경우, 복수 개의 특징값들은, 음성 신호를 발화하는 화자의 목소리 특징 또는 성문(voice print)을 나타내는 특징 값들을 포함할 수 있다. 또한, 복수 개의 특징값들은, 음성 신호의 발화 스타일(ex. 높낮이, 음색, 억양 등)을 나타내는 특징값들은 포함할 수 있다.
일 실시 예에 의한 복수 개의 특징 값들은 다양한 방법에 따라 획득될 수 있으며, 예를 들면, 화자의 목소리 특징 또는 성문을 나타내는 특징값들은, 미리 학습된 DNN(Deep Neural Network)에 기초하여, 획득될 수 있다. 또한, 음성 신호의 발화 스타일(ex. 높낮이, 음색, 억양 등)을 나타내는 특징값들은, Glottal Autocorrelation, SWIPE, RAPT, SAC, 및 TEMPO 등의 여러 종류의 모듈에 의하여, 획득될 수 있다.
상술한 다양한 방법에 따라 획득된 특징값들은, 서로 이어붙여짐(concatenation)으로써, 복수 개의 특징값들을 포함하는, 샘플 데이터의 특징 정보가 획득될 수 있다. 예를 들어, 화자의 목소리 특징 또는 성문을 나타내는 특징값들이 X1, X2, X3 등을 포함하는 X-벡터의 형태로 획득되고, 발화 스타일을 나타내는 특징값들이 F_01, F_02, F_03 등을 포함하는 F_0 벡터의 형태로 획득된 경우, 샘플 데이터의 특징 정보는, X-벡터 및 F_0 벡터가 이어붙여진 FX 벡터인, {X1, X2, X3, F_01, F_02, F_3}를 포함할 수 있다. 상술한 예에 한하지 않고, 샘플 데이터의 특징 정보는, 다양한 형태로 표현될 수 있다.
일 실시 예에 의한 특징 정보 추출부(210)는, 제1 샘플 데이터의 복수 개의 제1 특징값들, 예를 들면, 제1 샘플 데이터로부터 획득된, FX 벡터에 포함된, 복수 개의 특징 값들(ex. X1, X2, F_01, F_02 등)을 포함한, 제1 특징 정보를 획득하고, 마스킹부(220)로 전달할 수 있다.
일 실시 예에 의한 마스킹부(220)는, 제1 특징 정보로부터, 마스킹된 제1 특징 정보를 획득할 수 있다. 일 실시 예에 의한 마스킹부(220)는, 제1 특징 정보에 포함된 복수 개의 특징 값들 중 적어도 하나의 특징 값을 미리 설정된 값(ex. 0)으로 변환하여, 마스킹된 제1 특징 정보를 획득할 수 있다. 예를 들어, 제1 특징 정보가, FX 벡터인, {X1, X2, X3, F_01, F_02, F_3}를 포함하는 경우, 마스킹된 제1 특징 정보는, 랜덤하게 선택된 적어도 하나의 특징값이 0으로 변환된, {X1, 0, X3, F_01, F_02, 0}를 포함할 수 있다. 일 실시 예에 의하면, 랜덤하게 선택되는 특징값의 개수 역시, 랜덤하게 결정될 수 있다.
일 실시 예에 의한 제2 특징 정보는, 제1 특징 정보에 포함된 일부 특징 값이 변환된, 마스킹된 제1 특징 정보에 기초하여, 획득됨에 따라서, 제1 특징 정보로부터 획득된 제2 특징 정보는, 제1 특징 정보에 포함된 특징값들과 동일하지는 않으나, 유사한 특징값들을 포함할 수 있다.
예를 들어, 학습 데이터(110)가, 성인 어른의 음성 특징을 가지는 음성 신호를 다수 포함하고, 어린이 또는 노인의 음성 특징을 가지는 음성 신호를 상대적으로 적게 포함하는 경우, 음성 신호의 양이 적은 만큼, 어린이 또는 노인의 음성 특징에 있어서의 학습 데이터의 다양성이 부족할 수 있다. 예를 들면, 어린이 또는 노인의 음성 신호들은, 한정된 범위 내에서, 다양한 특징값들을 포함할 수 있으나, 학습 데이터로 이용되는 음성 신호의 개수가 적으면, 그만큼 특징 값들의 다양성이 낮아지므로, 어린이 또는 노인의 음성 신호들에 대한 인공지능 모델의 정확도가 낮아질 수 있다.
따라서, 어린이 또는 노인의 음성 특징에 있어서의 학습 데이터의 다양성을 확보하고, 인공지능 모델의 정확도가 높아질 수 있도록, 어린이 또는 노인의 음성 특징과 유사한 범위에 속하는 음성 신호가 새로운 학습 데이터로서 보충됨이 바람직하다.
일 실시 예에 의한 전자 장치(1000)는, 기존의 학습 데이터(110)에 포함된 샘플 데이터의 특징 정보 대신, 마스킹된 특징 정보에 기초하여, 새로운 샘플 데이터의 특징 정보를 새롭게 생성함으로써, 기존의 샘플 데이터의 특성과 유사한 범위의 특성을 가진 새로운 샘플 데이터를 획득할 수 있다. 또한, 전자 장치(1000)는, 새로운 샘플 데이터에 기초하여, 학습 데이터(110)의 일부 특성을 가진 샘플 데이터(ex. 어린이 또는 노인 특성을 가진 음성 신호)에 있어서의 다양성을 확보할 수 있다.
일 실시 예에 의한 제2 특징 정보 생성부(230)는, 마스킹부(220)에 의해 생성된 마스킹된 제1 특징 정보 및 랜덤으로 생성되는 노이즈에 기초하여, 새로운 샘플 데이터에 대한, 제2 특징 정보를 새롭게 생성할 수 있다. 일 실시 예에 의한 생성 모델(231)은, 랜덤으로 생성되는 노이즈를 이용하여, 마스킹된 제1 특징 정보가 동일한 경우에도, 서로 다른 제2 특징 정보를 생성할 수 있다.
따라서, 동일한 제1 특징 정보에 기초하여, 랜덤으로 생성되는 노이즈 및, 랜덤으로 선택된 특징 값이 변환된, 마스킹된 제1 특징 정보에 의해, 생성되는 제2 특징 정보는, 매번 다른 특징 값들을 포함할 수 있다. 따라서, 동일한 제1 특징 정보로부터 서로 다른 제2 특징 정보가 다수 생성될 수 있으며, 서로 다른 제2 특징 정보의 개수만큼 새로운 학습 데이터가 생성될 수 있다.
일 실시 예에 의한 생성 모델(231) 및 분류 모델(232)은, 비지도 학습될 수 있는, GAN(Generative adversarial network)일 수 있다. 일 실시 예에 의한 비지도 학습은, 학습 데이터를 이용하여 학습되는 지도 학습과는 달리, 학습 데이터 없이, 분류 모델(232)에 의한 판별 결과에 따라서, 수행될 수 있다. 일 실시 예에 의하면, 생성 모델(231)은, 생성 모델(231)에 의해 생성된 데이터가, 분류 모델(232)에 의해 사실(real)로 판단될 수 있도록, 비지도 학습될 수 있다.
일 실시 예에 의한 생성 모델(231)은, 마스킹된 제1 특징 정보를 조건으로 하고, 노이즈에 기초하여, 랜덤하게 새로운 제2 특징 정보를 생성할 수 있다. 일 실시 예에 의한 생성 모델(231)은, 노이즈에 더해, 마스킹된 제1 특징 정보를 더 이용하여, 마스킹된 제1 특징 정보로 한정된 정보, 예를 들면, 마스킹된 제1 특징 정보와 유사하거나, 마스킹된 제1 특징 정보를 포함하는, 정보를 생성할 수 있다.
일 실시 예에 의한, 분류 모델(232)은, 실제 데이터인 제1 특징 정보 및 마스킹된 제1 특징 정보에 기초하여, 생성 모델(231)에 의해 생성된 제2 특징 정보가 실제 데이터(real)인지 거짓 데이터(fake), 즉, 가상으로 생성된 데이터인지 여부를 판단할 수 있다. 일 실시 예에 의한 분류 모델(232)은, 실제 데이터인 제1 특징 정보 및 마스킹된 제1 특징 정보를 분석하여, 제2 특징 정보가 실제 데이터에 해당되는 특징을 가지는지를 판단할 수 있다.
일 실시 예에 의하면, 생성 모델(231)에 의해 생성된 제2 특징 정보는, 실제 정보가 아닌 가상으로 생성된 거짓 정보이므로, 분류 모델(232)은, 거짓이라고 판단해야 한다. 그러나, 생성 모델(231)이 실제 정보와 구별이 어렵도록 제2 특징 정보를 생성하는 경우, 분류 모델(232)은, 제2 특징 정보를 실제 데이터로 판단할 수 있다.
일 실시 예에 의한 생성 모델(231)은, 자신에 의해 생성된 제2 특징 정보가 분류 모델(232)에 의하여 참(real)인 것으로 판단할 수 있도록, 분류 모델(232)의 판단 결과에 기초하여, 학습될 수 있다. 일 실시 예에 의하면, 랜덤하게 생성된 노이즈 및 랜덤하게 선택되어 변환된 특징 값을 포함한 제1 특징값들에 기초하여, 제2 특징 정보가 생성될 수 있으므로, 동일한 제1 특징 정보로부터, 서로 다른 값을 포함하는 제2 특징 정보가 반복하여 생성될 수 있다. 따라서, 생성 모델(231)은, 제2 특징 정보가 생성될 때마다, 분류 모델(232)에 의한 판단 결과에 기초한 학습이 거듭 수행됨에 따라서, 실제 정보에 가까운 제2 특징 정보를 생성할 수 있다.
일 실시 예에 의한 분류 모델(232)은, 실제 정보인 제1 특징 정보에 기초하여, 제2 특징 정보가 실제 정보인지 여부를 판단할 수 있다. 또한, 일 실시 예에 의하면, 분류 모델(232)은, 제2 특징 정보가, 마스킹된 제1 특징 정보의 특징값들 중 마스킹부(220)에 의해 변환되지 않은 특징 값들을 포함하여 생성될 수 있도록, 제2 특징 정보에 대한 분류를 수행할 수 있다. 예를 들면, 제2 특징 정보가 마스킹된 제1 특징 정보에 포함된 특징 값들과 동일 또는 유사한 값들을 많이 포함할수록, 분류 모델(232)은, 제2 특징 정보를 실제 정보로 판단할 가능성이 높아질 수 있다.
상술한 변환되지 않은 특징 값들은, 제2 특징 정보에 대한 한정(limitation)으로서, 생성 모델(231)에 입력되는 값이고, 제2 특징 정보는, 제1 특징 정보와 유사한 특징을 가짐이 바람직하므로, 상기 변환되지 않은 특징 값을 포함한 제2 특징 정보가 생성될 수 있도록, 분류 모델(232)의 판단이 수행될 수 있다.
도 3은 일 실시 예에 의한 새로운 샘플 데이터를 생성하는 일 예를 나타낸 도면이다.
도 3을 참조하면, 일 실시 예에 의한 샘플 데이터 생성부(130)는, 샘플 데이터의 특징 정보 생성부(120)에 의해 생성된 제2 특징 정보에 기초하여, 제2 특징 정보와 대응되는 샘플 데이터를 생성할 수 있다. 일 실시 예에 의한 샘플 데이터는, 제2 특징 정보와, 정답 데이터에 기초하여, 생성될 수 있다. 일 실시 예에 의하면, 기존의 학습 데이터(110)에 포함된 정답 데이터에 기초하여, 학습 데이터로서, 보충이 필요한 정답 데이터인지에 따라, 각각의 정답 데이터가 새로운 샘플 데이터의 생성에 이용될지 여부가 결정될 수 있으나, 이에 한하지 않고, 다양한 정보에 기초하여, 결정될 수 있다.
일 실시 예에 의한 샘플 데이터 생성부(130)는, 정답 데이터를 인코딩하는 인코더(310), 인코딩된 정답 데이터 및 제2 특징 정보를 합성하는 합성부(320), 및 합성된 값에 대응되는 샘플 데이터를 생성하는 디코더(330)를 포함할 수 있다.
일 실시 예에 의한 인코더(310)는, 정답 데이터가 텍스트인 경우, 정답 데이터와 대응되는 텍스트의 특징 정보를 생성할 수 있다. 예를 들면, 인코더(310)에 의해 생성된 정답 데이터의 특징 정보는, 텍스트의 특징 정보를 나타내는 복수 개의 특징 값들을 포함한 벡터로서, {p1, p2, p3, ..., pN}을 포함할 수 있다.
일 실시 예에 의한 합성부(320)는, 인코더(310)에 의해 생성된 정답 데이터의 특징 정보와 제2 특징 정보를 합성할 수 있다.
일 실시 예에 의한 제2 특징 정보는, 제1 특징 정보의 형태와 유사하게, 샘플 데이터의 특징 정보를 나타내는 복수 개의 특징 값들을 포함한 벡터로서, {b1, b2, b3, ..., bN}을 포함할 수 있다. 또한, 합성부(320)에 의해 텍스트의 특징 정보와 제2 특징 정보가 합성된 정보는, 각각의 특징값이 이어붙여진, {b1p1, b2p2, b3p3, ..., bNpN}을 포함할 수 있다. 상술한 예에 한하지 않고, 텍스트의 특징 정보와 제2 특징 정보는, 다양한 방법에 따라 합성될 수 있다.
일 실시 예에 의한 디코더(330)는, 합성부(320)에서 합성된 정보에 기초하여, 텍스트의 특징 정보와 제2 특징 정보에 대응되는 샘플 데이터를 생성할 수 있다. 일 실시 예에 의한 디코더(330)에 의해, 정답 데이터의 텍스트와 대응되면서, 제2 특징 정보에 포함된 특징값들에 의한 특성을 포함하는 음성 신호가 샘플 데이터로서 생성될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 샘플 데이터 생성부(130)에 의해 생성된 샘플 데이터 및 샘플 데이터 생성부(130)에서 샘플 데이터 생성에 이용된 정답 데이터에 기초하여, 새로운 학습 데이터를 생성할 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 새로운 학습 데이터에 기초하여, 인공지능 모델을 학습함으로써, 성능이 더 향상된 인공지능 모델을 획득할 수 있다.
도 4는 일 실시 예에 의한 전자 장치(1000)의 내부 구성을 설명하기 위한 블록도이다.
도 5은 일 실시 예에 의한 전자 장치(1000)의 내부 구성을 설명하기 위한 블록도이다.
도 4를 참조하면, 전자 장치(1000)는, 프로세서(1300) 및 메모리(1700)를 포함할 수 있다. 그러나, 도 4에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 4에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 4에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.
예를 들면, 전자 장치(1000)는 도 5에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 프로세서(1300) 및 메모리(1700) 이외에 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500) 및 A/V 입력부(1600)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시 예에 의하면, 사용자 입력부(1100)는, 인공지능 모델을 학습하기 위한 사용자 입력을 수신할 수 있다. 예를 들면, 사용자 입력부(1100)는, 인공지능 모델을 학습하는데 이용되는 학습 데이터를 수집하기 위한 사용자 입력을 수신하고, 사용자 입력에 따라, 전자 장치(1000)는, 사용자와 관련된 정보를 포함하는 학습 데이터(ex. 음성 신호)를 수집할 수 있다. 또한, 사용자 입력부(1100)는 일 실시 예에 따라 학습된 인공지능 모델에 의한 동작을 수행하기 위한 사용자 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 일 실시 예에 의하면, 디스플레이부(1210)는 인공지능 모델에 따라 동작이 수행된 결과를 표시할 수 있다.
한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 장치(1000)의 구현 형태에 따라 전자 장치(1000)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다.
진동 모터(1230)는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다. 일 실시 예에 의한, 음향 출력부(1220) 및 진동 모터(1230)는 인공지능 모델에 따라 동작이 수행된 결과를 표시할 수 있다.
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
전자 장치(1000)는 적어도 하나의 프로세서(1300)를 포함할 수 있다. 예를 들면, 전자 장치(1000)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), NPU(Neural Processing Unit) 등의 다양한 종류의 프로세서를 포함할 수 있다.
프로세서(1300)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(1700)로부터 프로세서(1300)에 제공되거나, 통신부(1500)를 통해 수신되어 프로세서(1300)로 제공될 수 있다. 예를 들면 프로세서(1300)는 메모리와 같은 기록 장치에 저장된 프로그램 코드에 따라 명령을 실행하도록 구성될 수 있다.
일 실시 예에 의한 프로세서(1300)는 제1 샘플 데이터로부터, 제1 샘플 데이터의 특징을 나타내는, 복수 개의 제1 특징 값을 포함한, 제1 특징 정보를 획득하고, 복수 개의 제1 특징 값 중 적어도 하나의 제1 특징 값을 랜덤하게 선택할 수 있다. 또한, 프로세서(1300)는, 랜덤하게 선택된 적어도 하나의 제1 특징 값을 미리 설정된 값으로 변환하고, 변환된 값을 포함하는, 복수 개의 제1 특징 값에 기초하여, 복수 개의 제2 특징 값을 포함한 제2 특징 정보를 생성 모델을 이용하여, 생성할 수 있다. 또한, 프로세서(1300)는, 제2 특징 정보에 기초하여, 제2 샘플 데이터를 생성할 수 있다.
일 실시 예에 의한 프로세서(1300)는, 제1 샘플 데이터 및 제2 샘플 데이터를 이용하여, 인공지능 모델을 학습할 수 있다. 일 실시 예에 의한 제1 샘플 데이터 및 제2 샘플 데이터는, 인공지능 모델을 학습하는데 한하지 않고, 다양한 동작을 수행하는데 이용될 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Geomagnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 의한 센싱부(1400)에 의해 감지된 다양한 센서 정보는, 인공지능 모델을 학습하는데 이용될 수 있는 학습 데이터로서 이용될 수 있다.
통신부(1500)는, 전자 장치(1000)가 서버(2000) 또는 외부 장치(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
일 실시 예에 의한, 통신부(1500)는 외부 장치와 적어도 하나의 메시지를 송수신할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)의 일부 동작이 외부의 서버에 의해 수행되는 경우, 통신부(1500)는, 일 실시 예에 의한 인공지능 모델의 학습을 수행하는데 필요한 데이터를 서버와 송수신할 수 있다. 예를 들면, 통신부(1500)는, 전자 장치(1000)에서 수집된 학습 데이터 또는, 학습 데이터로부터 생성된 새로운 학습 데이터를 서버로 전송할 수 있다.
또한, 통신부(1500)는, 전자 장치(1000)에서 학습된 인공지능 모델을 다른 외부 장치로 전송하거나, 인공지능 모델에 의해 동작이 수행된 결과에 기초하여, 다른 외부 장치에 서비스를 제공하기 위한 데이터를 전송할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다.
일 실시 예에 의한 A/V 입력부(1600)에 의해 획득된 음성 데이터 또는 영상 데이터는, 인공지능 모델의 학습을 위한 학습 데이터가 생성되는데 이용될 수 있다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
일 실시 예에 의한 메모리(1700)는 인공지능 모델 및 인공지능 모델의 학습을 위한 학습 데이터를 저장할 수 있다. 또한, 메모리(1700)는, 학습 데이터로부터 새로운 학습 데이터를 생성하는데 필요한 다양한 데이터를 더 저장할 수 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다.
도 6은 일 실시 예에 의한 데이터를 생성하는 방법을 나타낸 순서도이다.
도 6을 참조하면, 단계 610에서, 일 실시 예에 의한 전자 장치(1000)는, 복수 개의 제1 특징 값을 포함한, 제1 샘플 데이터의 제1 특징 정보를 획득할 수 있다. 일 실시 예에 의한 제1 샘플 데이터의 제1 특징 정보는, 제1 샘플 데이터의 특징을 나타내는 복수 개의 특징값들을 포함할 수 있다.
예를 들어, 제1 샘플 데이터가 음성 신호인 경우, 제1 특징 정보는, 음성 신호의 발화 스타일을 나타내는 정보 및 음성 신호를 발화하는 화자의 성문을 나타내는 정보 중 적어도 하나를 포함할 수 있다. 상술한 예에 한하지 않고, 제1 특징 정보는, 샘플 데이터의 특징을 나타내는 다양한 형태의 특징값들을 포함할 수 있다.
단계 620에서, 일 실시 예에 의한 전자 장치(1000)는, 복수 개의 제1 특징 값 중 적어도 하나의 제1 특징 값을 랜덤하게 선택할 수 있다. 또한, 단계 630에서, 랜덤하게 선택된 제1 특징 값을 미리 설정된 값, 예를 들면, 0으로 변환할 수 있다.
따라서, 일 실시 예에 의한, 제2 샘플 데이터의 제2 특징 정보는, 제1 특징 정보로부터 매번 랜덤하게 생성된 서로 다른 값에 기초하여, 생성될 수 있으므로, 동일한 제1 특징 정보로부터 생성된 제2 특징 정보여도, 각각의 제2 특징 정보들은 서로 다른 특징 값들을 포함할 수 있다. 따라서, 하나의 제1 특징 정보로부터 서로 다른 제2 특징 정보들이 생성될 수 있다.
단계 640에서, 일 실시 예에 의한 전자 장치(1000)는, 단계 630에서 변환된 제1 특징 값을 포함하는, 복수 개의 제1 특징 값에 기초하여, 복수 개의 제2 특징 값을 포함한, 제2 특징 정보를 생성 모델을 이용하여 생성할 수 있다. 일 실시 예에 의한 생성 모델은, 비지도 학습에 따라서, 분류 모델에 따라 스스로 학습할 수 있는 모델일 수 있다.
일 실시 예에 의한 생성 모델은, 생성 모델에 의해 생성된 특징 정보를 분류 모델이 실제 수집된 학습 데이터의 특징 정보로 판단할 수 있도록, 분류 모델의 판단 결과에 기초하여, 학습될 수 있다. 따라서, 생성 모델은, 실제 수집된 학습 데이터의 특징 정보와 동일하지는 않으나, 실제 수집된 학습 데이터로 판단될 수 있는, 특징 정보를 생성할 수 있다.
단계 650에서, 일 실시 예에 의한 전자 장치(1000)는, 단계 640에서, 생성된 제2 특징 정보에 기초하여, 제2 샘플 데이터를 생성할 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 제2 샘플 데이터를 생성하기 위하여 결정된 정답 데이터와, 제2 특징 정보에 기초하여, 제2 샘플 데이터를 생성할 수 있다. 일 실시 예에 의한 정답 데이터는, 학습 데이터로서 보충이 필요한 정답 데이터인지에 따라 결정될 수 있으나, 이에 한하지 않고, 다양한 방법에 따라서, 미리 결정될 수 있다.
일 실시 예에 의한 전자 장치(1000)는, 제1 샘플 데이터 및 제2 샘플 데이터를 이용하여 인공지능 모델을 학습할 수 있다. 예를 들면, 전자 장치(1000)는, 단계 650에서 생성된 제2 샘플 데이터에 기초하여, 새로운 학습 데이터를 생성할 수 있고, 제1 샘플 데이터를 포함한, 기존의 학습 데이터에 더해, 새로운 학습 데이터를 더 이용하여, 인공지능 모델을 학습할 수 있다. 일 실시 예에 의한 새로운 학습 데이터는, 제2 샘플 데이터와 단계 650에서, 제2 샘플 데이터를 생성하는데 이용된 정답 데이터를 포함하여, 생성될 수 있다.
일 실시 예에 의한 제1 샘플 데이터 및 제2 샘플 데이터는, 인공지능 모델을 학습하는데 한하지 않고, 다양한 동작을 수행하는데 이용될 수 있다.
일 실시 예에 의하면, 기존의 학습 데이터로부터 새롭게 생성된 학습 데이터에 기초하여, 보다 높은 성능을 가진 인공지능 모델이 획득될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치가 데이터를 생성하는 방법에 있어서,
    제1 샘플 데이터로부터, 상기 제1 샘플 데이터의 특징을 나타내는, 복수 개의 제1 특징 값을 포함한 제1 특징 정보를 획득하는 단계;
    상기 복수 개의 제1 특징 값 중 적어도 하나의 제1 특징 값을 랜덤하게 선택하는 단계;
    상기 랜덤하게 선택된 적어도 하나의 제1 특징 값을 미리 설정된 값으로 변환하는 단계;
    상기 변환된 적어도 하나의 제1 특징 값을 포함하는, 상기 복수 개의 제1 특징 값에 기초하여, 복수 개의 제2 특징 값을 포함한 제2 특징 정보를, 생성 모델을 이용하여, 생성하는 단계; 및
    상기 생성된 제2 특징 정보에 기초하여, 제2 샘플 데이터를 생성하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 샘플 데이터 및 상기 제2 샘플 데이터에 기초하여, 상기 생성 모델을 학습하는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서, 상기 생성 모델은,
    상기 변환된 적어도 하나의 제1 특징 값을 포함하는, 상기 복수 개의 제1 특징 값 및 랜덤하게 생성된 노이즈에 기초하여, 상기 제2 특징 정보를 생성하도록, 미리 학습된 인공지능 모델인, 방법.
  4. 제1항에 있어서, 상기 랜덤하게 선택되는 적어도 하나의 제1 특징 값의 개수는 랜덤하게 결정되는, 방법.
  5. 제1항에 있어서, 상기 생성 모델은,
    상기 생성 모델에 의해 생성된, 상기 제2 특징 정보가 분류 모델에 의해 실제 정보인 것으로 판단될 수 있도록, 학습되고,
    상기 분류 모델은,
    상기 변환된 적어도 하나의 제1 특징 값을 포함하는 상기 복수 개의 제1 특징 값 및 상기 제1 특징 정보에 기초하여, 상기 제2 특징 정보가 실제(real) 정보인지 또는 가상으로 생성된 거짓(fake) 정보인지 여부를 판단하는 인공지능 모델인, 방법.
  6. 제5항에 있어서,
    상기 제2 특징 정보가, 상기 복수 개의 제1 특징 값 중 상기 변환되지 않은 특징 값과 동일 또는 유사한 값들을 많이 포함할수록, 상기 분류 모델이, 상기 제2 특징 정보를 실제 정보로 판단할 가능성이 높은, 방법.
  7. 제1항에 있어서, 상기 제2 샘플 데이터는
    상기 제2 특징 정보 및 상기 제2 샘플 데이터에 대해 미리 결정된 정답 데이터에 기초하여, 생성되고,
    상기 정답 데이터는, 상기 생성 모델의 학습에 이용되는 학습 데이터에 포함된, 동일 유사한 특징을 가진 샘플 데이터들에 대한 각 정답 데이터들의 개수에 기초하여, 결정되는, 방법.
  8. 데이터를 생성하는 전자 장치에 있어서, 상기 전자 장치는,
    하나 이상의 명령어들(instructions)을 저장하는 메모리; 및
    상기 메모리에 저장된 하나 이상의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    제1 샘플 데이터로부터, 상기 제1 샘플 데이터의 특징을 나타내는, 복수 개의 제1 특징 값을 포함한 제1 특징 정보를 획득하고,
    상기 복수 개의 제1 특징 값 중 적어도 하나의 제1 특징 값을 랜덤하게 선택하고,
    상기 랜덤하게 선택된 적어도 하나의 제1 특징 값을 미리 설정된 값으로 변환하고,
    상기 변환된 적어도 하나의 제1 특징 값을 포함하는, 상기 복수 개의 제1 특징 값에 기초하여, 복수 개의 제2 특징 값을 포함한 제2 특징 정보를, 생성 모델을 이용하여, 생성하고,
    상기 생성된 제2 특징 정보에 기초하여, 제2 샘플 데이터를 생성하는, 전자 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제1 샘플 데이터 및 상기 제2 샘플 데이터에 기초하여, 상기 생성 모델을 학습하는, 전자 장치.
  10. 제8항에 기초하여, 상기 생성 모델은,
    상기 변환된 적어도 하나의 제1 특징 값을 포함하는, 상기 복수 개의 제1 특징 값 및 랜덤하게 생성된 노이즈에 기초하여, 상기 제2 특징 정보를 생성하도록, 미리 학습된 인공지능 모델인, 전자 장치.
  11. 제8항에 있어서, 상기 랜덤하게 선택되는 적어도 하나의 제1 특징 값의 개수는 랜덤하게 결정되는, 전자 장치.
  12. 제8항에 있어서, 상기 생성 모델은,
    상기 생성 모델에 의해 생성된, 상기 제2 특징 정보가 분류 모델에 의해 실제 정보인 것으로 판단될 수 있도록, 상기 분류 모델의 판단 결과에 기초하여, 학습되고,
    상기 분류 모델은,
    상기 변환된 적어도 하나의 제1 특징 값을 포함하는 상기 복수 개의 제1 특징 값 및 상기 제1 특징 정보에 기초하여, 상기 제2 특징 정보가 실제 정보인지 또는 가상으로 생성된 거짓 정보인지 여부를 판단하는 인공지능 모델인, 전자 장치.
  13. 제12항에 있어서,
    상기 제2 특징 정보가, 상기 복수 개의 제1 특징 값 중 상기 변환되지 않은 특징 값과 동일 또는 유사한 값들을 많이 포함할수록, 상기 분류 모델이, 상기 제2 특징 정보를 실제 정보인 것으로 판단할 가능성이 높은, 전자 장치.
  14. 제8항에 있어서, 상기 제2 샘플 데이터는
    상기 제2 특징 정보 및 상기 제2 샘플 데이터에 대해 미리 결정된 정답 데이터에 기초하여, 생성되고,
    상기 정답 데이터는, 상기 생성 모델의 학습에 이용되는 학습 데이터에 포함된, 동일 유사한 특징을 가진 샘플 데이터들에 대한 각 정답 데이터들의 개수에 기초하여, 결정되는, 전자 장치.
  15. 제1항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/020275 2021-02-22 2021-12-30 데이터를 생성하는 전자 장치 및 그 동작 방법 WO2022177143A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210023700A KR20220120052A (ko) 2021-02-22 2021-02-22 데이터를 생성하는 전자 장치 및 그 동작 방법
KR10-2021-0023700 2021-02-22

Publications (1)

Publication Number Publication Date
WO2022177143A1 true WO2022177143A1 (ko) 2022-08-25

Family

ID=82931781

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020275 WO2022177143A1 (ko) 2021-02-22 2021-12-30 데이터를 생성하는 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20220120052A (ko)
WO (1) WO2022177143A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180115568A1 (en) * 2016-10-21 2018-04-26 Neusoft Corporation Method and device for detecting network intrusion
KR20180122171A (ko) * 2017-05-02 2018-11-12 서강대학교산학협력단 심층 신경망을 기반으로 한 사운드 이벤트 검출 방법 및 사운드 이벤트 검출 장치
JP2019028839A (ja) * 2017-08-01 2019-02-21 国立研究開発法人情報通信研究機構 分類器、分類器の学習方法、分類器における分類方法
JP2020052936A (ja) * 2018-09-28 2020-04-02 三菱電機インフォメーションシステムズ株式会社 訓練データを生成する方法、コンピュータおよびプログラム
JP2020112967A (ja) * 2019-01-10 2020-07-27 株式会社日立製作所 データ生成装置、予測器学習装置、データ生成方法、及び学習方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180115568A1 (en) * 2016-10-21 2018-04-26 Neusoft Corporation Method and device for detecting network intrusion
KR20180122171A (ko) * 2017-05-02 2018-11-12 서강대학교산학협력단 심층 신경망을 기반으로 한 사운드 이벤트 검출 방법 및 사운드 이벤트 검출 장치
JP2019028839A (ja) * 2017-08-01 2019-02-21 国立研究開発法人情報通信研究機構 分類器、分類器の学習方法、分類器における分類方法
JP2020052936A (ja) * 2018-09-28 2020-04-02 三菱電機インフォメーションシステムズ株式会社 訓練データを生成する方法、コンピュータおよびプログラム
JP2020112967A (ja) * 2019-01-10 2020-07-27 株式会社日立製作所 データ生成装置、予測器学習装置、データ生成方法、及び学習方法

Also Published As

Publication number Publication date
KR20220120052A (ko) 2022-08-30

Similar Documents

Publication Publication Date Title
WO2019124742A1 (ko) 복수 화자의 음성 신호 처리 방법 및 그에 따른 전자 장치
WO2020204655A1 (en) System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
CN110992927B (zh) 音频生成方法、装置、计算机可读存储介质及计算设备
KR102148378B1 (ko) 기계 학습 모델을 이용한 관심 이벤트의 알림 제공 장치 및 방법
CN111105788B (zh) 敏感词分数检测方法、装置、电子设备及存储介质
WO2021071110A1 (en) Electronic apparatus and method for controlling electronic apparatus
WO2022039433A1 (ko) 대화 텍스트에 대한 요약 정보를 생성하는 전자 장치 및 그 동작 방법
WO2022265273A1 (ko) 고인을 모사하는 가상 인물과 대화를 수행하는 서비스를 제공하는 방법 및 시스템
US11830501B2 (en) Electronic device and operation method for performing speech recognition
WO2021149890A1 (ko) 사용자의 개인 모델을 학습하는 전자 장치 및 그 동작 방법
WO2021080033A1 (ko) 음성 분석 방법 및 장치
US11669694B2 (en) Electronic device for obtaining sentence corresponding to context information and operating method thereof
WO2022177143A1 (ko) 데이터를 생성하는 전자 장치 및 그 동작 방법
WO2022131476A1 (ko) 인공지능 모델을 변환하는 전자 장치 및 그 동작 방법
WO2022149688A1 (ko) 전자 장치 및 이의 제어 방법
WO2022039494A1 (ko) 단말의 모델을 갱신하는 서버 및 그 동작 방법
WO2019216484A1 (ko) 전자 장치 및 그 동작방법
CN113032560B (zh) 语句分类模型训练方法、语句处理方法及设备
WO2022059979A1 (ko) 전자 장치 및 그 제어 방법
WO2021251780A1 (en) Systems and methods for live conversation using hearing devices
WO2021154018A1 (en) Electronic device and method for controlling the electronic device thereof
WO2020226264A1 (ko) 영상에 기초하여 위치 정보를 획득하는 전자 장치 및 그 동작 방법
WO2020138943A1 (ko) 음성을 인식하는 장치 및 방법
WO2023003072A1 (ko) 인공 지능 모델을 이용하여 음성 인식 서비스를 제공하는 장치 및 방법
WO2022182135A1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21926941

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21926941

Country of ref document: EP

Kind code of ref document: A1