WO2023058842A1 - 전자 장치 및 타겟 도메인 생성 방법 - Google Patents

전자 장치 및 타겟 도메인 생성 방법 Download PDF

Info

Publication number
WO2023058842A1
WO2023058842A1 PCT/KR2022/008970 KR2022008970W WO2023058842A1 WO 2023058842 A1 WO2023058842 A1 WO 2023058842A1 KR 2022008970 W KR2022008970 W KR 2022008970W WO 2023058842 A1 WO2023058842 A1 WO 2023058842A1
Authority
WO
WIPO (PCT)
Prior art keywords
loss value
source data
class
data
loss
Prior art date
Application number
PCT/KR2022/008970
Other languages
English (en)
French (fr)
Inventor
김상연
이현우
한종희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220033031A external-priority patent/KR20230049530A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/875,937 priority Critical patent/US20230106136A1/en
Publication of WO2023058842A1 publication Critical patent/WO2023058842A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present disclosure relates to an electronic device and a method for creating a target domain, and more particularly, to an electronic device for moving a domain and a method for creating a target domain.
  • GANs Generative Adversarial Networks
  • a recently researched method uses GAN to generate fake data very similar to real data.
  • the accuracy of the target domain is reduced.
  • the biggest reason for the low accuracy of the target domain is that the characteristics of the source data learned from the existing source model are changed in the transformed target data or the distribution of the characteristics is different.
  • the feature distribution of the target data may be very different from that of the source. That is, the characteristics seen in the actual data and the characteristics reflected in the source model may be different.
  • the present disclosure is intended to solve the above problems, and an object of the present disclosure is to provide an electronic device that learns by reflecting source data information of a source model to a target model and a method for generating a target domain.
  • a method for generating a generative adversarial network (GAN) based on a target domain includes reconstructing source data included in a source domain, generating target data by training the reconstructed source data based on the source data, and generating a target domain including the generated target data. Including, the step of training identifies at least one loss value of a class loss value due to class loss and a distance loss value due to distance matrix loss, and at least one loss of the identified class loss value and distance loss value. values are applied to the reconstructed source data.
  • an electronic device generating a generative adversarial network (GAN) based on a target domain includes an input interface and a processor, and the processor receives source data included in a source domain through the input interface, reconstructs the source data included in the source domain, and reconstructs the reconstructed data based on the source data.
  • Target data is generated by training the source data, and a target domain including the generated target data is generated, wherein the processor selects at least one loss value of a class loss value due to class loss and a distance loss value due to distance matrix loss. is identified, and at least one of the identified class loss value and distance loss value is applied to the reconstructed source data.
  • a non-transitory computer-readable storage medium in which a program for performing a method of generating a generative adversarial network (GAN) based on a target domain is recorded.
  • the non-transitory computer-readable storage medium includes reconstructing source data included in a source domain, generating target data by training the reconstructed source data based on the source data, and a target including the generated target data.
  • a step of generating a domain wherein the step of training identifies at least one loss value of a class loss value due to class loss and a distance loss value due to distance matrix loss, and the identified class loss value and distance loss value At least one of the loss values is applied to the reconstructed source data.
  • FIG. 1 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a specific configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a GAN according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a loss module according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a difference between an existing model according to an embodiment of the present disclosure and a model to which a loss of the present disclosure is applied.
  • FIG. 6 is a flowchart illustrating a method for generating a target domain according to an embodiment of the present disclosure.
  • a “module” or “unit” for a component used in this specification performs at least one function or operation.
  • a “module” or “unit” may perform a function or operation by hardware, software, or a combination of hardware and software.
  • a plurality of “modules” or “units” other than “modules” or “units” to be executed in specific hardware or to be executed in at least one processor may be integrated into at least one module. Singular expressions include plural expressions unless the context clearly dictates otherwise.
  • FIG. 1 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.
  • an electronic device 100 may include an input interface 110 and a processor 120 .
  • the input interface 110 may receive a signal from the outside.
  • the input interface 110 is implemented in the form of a key pad, key pad, touch pad, or touch screen, and may receive a control signal from a user.
  • the electronic device 100 may perform a control operation according to the input control signal.
  • the input interface 110 may include a communication interface.
  • the input interface 110 may communicate with an external device in a wired or wireless communication method (or communication standard).
  • the input interface 110 may include at least one of Wi-Fi, Wi-Fi Direct, Bluetooth, ZigBee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), and Long Term Evolution (LTE) wireless communication schemes.
  • the above communication methods or SCSI (Small Computer System Interface), USB (Universal Serial Bus), IEEE (Institute of Electrical and Electronics Engineers) 1394, e-SATA (Serial AT Attachment), Thunderbolt, wired LAN (Local Area Network) Communication with an external device may be performed using at least one communication method among wired communication methods.
  • the input interface 110 may receive source data included in a source domain from an external device.
  • the input interface 110 may also be called an input device, an input unit, an input module, and the like.
  • the processor 120 may control each component of the electronic device 100 .
  • the processor 120 may control the input interface 110 to receive source data included in the source domain.
  • the processor 120 may generate a target domain including an artificial intelligence neural network model implemented as a GAN and target data used in the included artificial intelligence neural network model. That is, the processor 120 may reconstruct source data included in the source domain. The processor 120 may generate target data by training the reconstructed source data based on the source data, and generate a target domain including the generated target data.
  • GAN models can learn to transform like real data regardless of the characteristics reflected in the source data. Therefore, since the characteristics reflected in the source data may be different from the characteristics seen in the actual data, the accuracy of the electronic device 100 learned with the target data generated based on the source data may be reduced.
  • the source domain may be a domain generated by an artificial intelligence learning model of an external electronic device
  • the target domain may be a domain for an artificial intelligence learning model of an electronic device.
  • External electronic devices and electronic devices may have different hardware specifications, software platforms, and software versions. Therefore, if a learning model (or learning data) with high accuracy learned in an external electronic device is used (or learned) as it is in the electronic device, the performance of the learning model in the electronic device may deteriorate.
  • the processor 120 may apply various loss values to the reconstructed source data.
  • the processor 120 may identify a class loss value based on class loss and a distance loss value based on distance matrix loss.
  • the processor 120 may generate target data by applying the identified loss value to the reconstructed source data.
  • the processor 120 may additionally identify a cluster loss value due to cluster loss, a CAM loss value due to Class Activating Mapping (CAM) loss, and a feature loss value due to feature loss.
  • the processor 120 may generate target data by additionally applying the identified cluster loss value, CAM loss value, feature loss value, and the like to the reconstructed source data. A detailed description of each loss will be described later.
  • FIG. 2 is a block diagram illustrating a specific configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes an input interface 110, a processor 120, a communication interface 130, a camera 140, a microphone 150, a speaker 160, a display 170, and a memory. 180 and a sensor 190.
  • the input interface 110 is the same as that described in FIG. 1 , and since it has been described that the communication interface 130 may also be included in the input interface 110 in a broad sense, a detailed description thereof will be omitted.
  • the camera 140 may capture a surrounding environment including the user.
  • the processor 120 may obtain information about a surrounding environment, information about a user's image, and the like, based on an image captured by the camera 140 . Then, the processor 120 may perform a corresponding operation based on the acquired information. Alternatively, the processor 120 may identify the obtained information based on the obtained information and an artificial intelligence neural network model (eg, a GAN model).
  • the camera 140 may include a CCD sensor or a CMOS sensor.
  • the camera 140 may include an RGB camera, a depth camera, a wide-angle camera, a telephoto camera, and the like.
  • the microphone 150 may receive a user's sound or a sound of a surrounding environment.
  • the processor 120 may perform a corresponding operation based on the input user's sound or the surrounding environment sound.
  • the processor 120 may identify the acquired sound based on the acquired sound and an artificial intelligence neural network model (eg, a GAN model).
  • the microphone 150 may include a general microphone, a surround microphone, a directional microphone, and the like.
  • the speaker 160 may output a sound signal.
  • the speaker 160 may output information on a user's input command, warning-related information, state-related information or operation-related information of the electronic device 100 as voice or notification sound.
  • the display 170 may output data processed by the processor 120 as an image.
  • the display 170 may display information and output a screen corresponding to a recognized user's command.
  • the display 170 may be implemented as a liquid crystal display (LCD), an organic light emitting diode (OLED), a flexible display, a touch screen, or the like.
  • the electronic device 100 may receive a control command through the touch screen.
  • the memory 180 may store data and algorithms that perform functions of the electronic device 100, and may store programs and commands operated by the electronic device 100.
  • the memory 180 may store artificial intelligence neural network models (or algorithms) and the like.
  • the memory 180 may be implemented in a type such as ROM, RAM, HDD, SSD, or memory card.
  • the sensor 190 may detect a state of the electronic device 100, a surrounding environment, an object, or a user.
  • the sensor 190 may include an image sensor, a motion recognition sensor, a proximity sensor, a heat sensor, a touch sensor, an infrared sensor, an ultrasonic sensor, a geomagnetic sensor, a gravity sensor, an acceleration sensor, and the like.
  • FIG. 3 is a diagram illustrating a GAN according to an embodiment of the present disclosure.
  • the artificial intelligence neural network of the present disclosure may be implemented as a GAN.
  • GAN includes a generator (11) and a discriminator (12).
  • the generator 11 may receive a random distribution such as a Gaussian distribution and generate fake data.
  • the discriminator 12 may receive trained real data and generated fake data, and determine whether the input data is real data or fake data.
  • the GAN generates a batch of fake images through the generator 11 for learning of the discriminator 12, samples a batch of the same size from the training data, and then produces two batches. can be combined 0 may be assigned to fake images, and 1 may be assigned to real data.
  • the weight of the discriminator 12 may be updated. However, since the weight of the updated discriminator 12 is not backpropagated, the weight of the generator 11 is not updated.
  • GAN can generate a batch of fake images through the generator (11) for learning of the generator (11). The GAN can set the label of a batch of fake images to 1 and tell the discriminator 12 to discriminate without adding a real image.
  • GAN has the advantage of being able to train an artificial intelligence neural network model using a small amount of data by generating fake data almost identical to the existing source data and learning the discriminator 12.
  • GAN since GAN is for generating fake data as real data, the target model may not be reflected in the GAN or the target model may not exist.
  • the present disclosure provides the ability to generate a target domain by applying various loss functions considering source data and a target model while maintaining the advantage of GAN for learning an artificial intelligence neural network model using a small amount of data (or in the target domain).
  • the discrimination performance of the based artificial intelligence neural network can be improved.
  • FIG. 4 is a diagram illustrating a loss module according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a difference between an existing model according to an embodiment of the present disclosure and a model to which a loss of the present disclosure is applied. This will be described with reference to FIGS. 4 and 5 .
  • the processor 120 may include a class loss module 121, a distance matrix loss module 122, a cluster loss module 123, a CAM loss module 124, and a feature loss module 125. there is.
  • processor 120 may include class loss module 121 and/or distance matrix loss module 122 .
  • processor 120 may include one or more other loss modules 123, 124, 125 in addition to class loss module 121 and/or distance matrix loss module 122.
  • Each loss module can be implemented in software.
  • each loss module is shown as a separate module in FIG. 4, each loss module is implemented as one loss module and may operate in conjunction with each other.
  • each loss module (or one loss module) is stored in the memory, and when the processor 120 trains the artificial intelligence neural network model, it can be loaded from the memory to the processor 120 and operated.
  • the class loss module 121 may obtain a class loss value.
  • the class loss module 121 identifies a first class loss value according to a preset method when classification of a class of the reconstructed source data corresponding to the source data is identical based on a class including the source data among a plurality of classes. And, if the class classification of the reconstructed source data is inconsistent, a class loss value may be obtained by identifying a second class loss value according to a preset method. The second class loss value may be greater than the first class loss value. As an example, if the source data is classified as class A and the reconstructed source data is also classified as class A, the class loss module 121 may determine that the classifications of classes match. If the source data is classified as class A and the reconstructed source data is classified as class B, the class loss module 121 may determine that the classifications of classes do not match.
  • class loss can have an effect similar to adversarial loss by simply maintaining the class when learning about the distribution of feature vectors is difficult.
  • adversarial loss is meant to distinguish between real and fake, but in the case of class loss, it can help generate more detailed parts of the classes that are important to data generated through GAN models.
  • the class loss may be calculated using (Equation 1).
  • C is the cost function of the source model, and categorical cross entropy may be used.
  • fake source data denotes the reconstructed source data.
  • M source means a source model learned using a large amount of source domain data.
  • M source (x) can output probability distribution values for each class when data x is input to the source model.
  • label(x) means the true label value of x.
  • the GAN model is may be learned to be close to [1, 0].
  • the class loss can enable the class of data transformed in the target model to be well classified. Since class loss is simpler than other losses, GANs can be easily trained. However, if the class loss is simple enough to learn only with the class loss, the distribution of data in the source domain and data in the target domain may be different.
  • the distance matrix loss module 122 may obtain a distance loss value. As described above, when the GAN is learned only with class loss, since the distribution of data in the source domain and data in the target domain may be different, the electronic device uses distance loss to compare data in the source domain and data in the target domain. The distribution of them can be made similar. The distance matrix loss module 122 may identify a distance map based on distances between feature vectors of source data included in different classes among a plurality of classes. Further, the distance matrix loss module 122 may obtain a distance loss value such that a distance between feature vectors of the reconstructed source data corresponding to the source data is maintained based on the identified distance map.
  • the feature vector distribution of the original data can enable affine transformation into feature vectors.
  • Distance loss can replace feature loss when it is difficult to learn feature loss due to differences in the characteristics of source data and target data, and relatively guaranteed transformation learning can be performed.
  • the distance loss may be calculated using (Equation 2).
  • dist() means the distance map of feature vectors that have passed through the source model.
  • the GAN model is based on fake target data from the target domain ( ) can be created. At this time, fake target data generated in the A -> B direction ( ) is well generated, the GAN model is ⁇ ⁇ It can be learned to be. is the reconstruction data of the target domain. can be obtained from Therefore, the GAN model is based on fake source data ( ), the reconstruction data of the target domain ( ), not only learning in the A -> B direction but also learning in the B -> A direction may be performed ( ⁇ ⁇ ).
  • Cluster loss module 123 may obtain a cluster loss value.
  • the cluster loss module 123 may obtain a cluster loss value based on a preset method such that feature vectors of the reconstructed source data included in different classes among a plurality of classes are spaced apart.
  • the cluster loss module 123 when the first data is classified as class A and the second data is classified as class B, the cluster loss module 123 sufficiently separates the first data and the second data so that the classes are clearly distinguished.
  • the cluster loss value can be obtained. That is, the cluster loss module 123 may separate data belonging to different classes as far from the target domain as from the source domain in order to improve the performance of the classification model using the generated data.
  • cluster loss may be calculated using (Equation 3) and (Equation 4).
  • i and j denote different classes of the classification model.
  • G feat means the plane vector at the bottom of U-net.
  • CAM loss module 124 may obtain a CAM loss value.
  • the CAM loss module 124 may identify a weight region of the source data to be applied when an artificial intelligence neural network training model including the source domain classifies a class of the source data. Also, the CAM loss module 124 may obtain a CAM loss value for setting a weight area of the reconstructed source data corresponding to the identified source data.
  • the target model In order for the target model to learn very similarly to the source model and improve performance, it is necessary to learn the features of the source data that are considered important in the source model. As an embodiment, if the source model determines that the movement of the human head region is important when determining a person's fall, the target model should also learn by assigning a weight to the movement of the human head region.
  • GradCAM can be used to acquire important data information of a source model.
  • the CAM loss module 124 may use a portion activated through GradCAM as a weight for each image during image learning. That is, the CAM loss module 124 may generate more detailed features that the source model considers important.
  • the weight area may be a specific area of image data or a specific frequency area of signal data.
  • the CAM loss may be calculated using (Equation 5).
  • cam(x) is the activation map of data x obtained by GradCAM through the source model.
  • the superscript i may be A or B.
  • the feature loss module 125 may obtain a feature loss value.
  • the feature loss module 125 may obtain a feature loss value such that the feature vector of the source data and the feature vector of the reconstructed source data corresponding to the source data are identical.
  • feature loss may be calculated using (Equation 6).
  • fc means the fully connected layer of the source model before the classification layer.
  • a typical artificial intelligence model includes a fully connected (fc) layer that collects key features in the last step.
  • (Equation 6) means an fc(x) layer process, and the artificial intelligence model of the present disclosure may output a main feature vector through (Equation 6).
  • FIG. 5 a diagram comparing existing conversion data with data generated by conversion by applying each loss of the present disclosure is shown.
  • the difference between the existing conversion data and the conversion data according to the present disclosure may be subtle, but the subtle difference may appear in a main feature part.
  • the model according to the present disclosure can generate the main feature part of the target data in more detail.
  • the model according to the present disclosure applies feature loss to maintain distances between features of the source model. Therefore, as shown in FIG. 5 , it can be confirmed that many parts of the converted data of the present disclosure are transformed differently from the existing converted data.
  • the conversion data according to the present disclosure is expressed more specifically than the existing conversion data even in the case of class loss and distance loss.
  • FIG. 6 is a flowchart illustrating a method for generating a target domain according to an embodiment of the present disclosure.
  • an electronic device generating a GAN-based target domain may reconstruct source data included in the source domain (S610).
  • the source domain may be a domain generated by the artificial intelligence learning model of the first electronic device
  • the target domain may be a domain for the artificial intelligence learning model of the second electronic device.
  • the first electronic device and the second electronic device may be devices having different hardware specifications, software platforms, and software versions.
  • the electronic device may generate target data by training the reconstructed source data based on the source data (S620). For example, the electronic device may identify a class loss value by class loss and a distance loss value by distance matrix loss. And, the electronic device may apply the identified loss value to the reconstructed source data. In addition, the electronic device additionally identifies a cluster loss value due to cluster loss, a CAM loss value due to CAM loss, a feature loss value due to feature loss, and the like, and additionally applies the identified at least one type of loss value to the reconstructed source data. can do.
  • the electronic device may determine whether the class classifications of the reconstructed source data corresponding to the source data match on the basis of a class including the source data among a plurality of classes.
  • the electronic device identifies a first class loss value according to a preset method when the class classifications of the reconstructed source data match, and identifies a second class loss value according to a preset method when the class classifications of the reconstructed source data do not match.
  • the class loss value can be obtained by identifying the class loss value.
  • the second class loss value may be greater than the first class loss value.
  • the electronic device may identify a distance map based on distances between feature vectors of source data included in different classes among a plurality of classes. And, based on the identified distance map, the electronic device may obtain a distance loss value such that a distance between feature vectors of the reconstructed source data corresponding to the source data is maintained.
  • the electronic device may obtain a cluster loss value based on a preset method such that feature vectors of reconstructed source data included in different classes among a plurality of classes are spaced apart.
  • the electronic device may identify a weight region of the source data applied when an artificial intelligence neural network training model including the source domain classifies a class of the source data. And, the electronic device may obtain a CAM loss value for setting a weight area of the reconstructed source data corresponding to the identified source data.
  • the weight area may include a specific area of image data and a specific frequency area of signal data.
  • the electronic device may obtain a feature loss value such that the feature vector of the source data and the feature vector of the reconstructed source data corresponding to the source data are the same.
  • the electronic device may create a target domain including the generated target data (S630). Through the above process, the electronic device can create a target domain in which learning performance is maintained using source data of the source domain.
  • the target domain creation method may be provided as a computer program product.
  • the computer program product may include a S/W program itself or a non-transitory computer readable medium in which the S/W program is stored.
  • a non-transitory readable medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and can be read by a device.
  • the various applications or programs described above may be stored and provided in non-transitory readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

타겟 도메인 기반의 GAN 생성하는 전자 장치 및 그 방법이 개시된다. 생성 방법은 소스 도메인에 포함된 소스 데이터를 재구성하는 단계, 소스 데이터를 기초로 재구성된 소스 데이터를 훈련시켜 타겟 데이터를 생성하는 단계 및 생성된 타겟 데이터를 포함하는 타겟 도메인을 생성하는 단계를 포함하고, 훈련시키는 단계는 클래스 손실에 의한 클래스 손실 값 및 거리 매트릭스 손실에 의한 거리 손실 값 중 적어도 하나의 손실 값을 식별하고, 식별된 클래스 손실 값 및 거리 손실 값 중 적어도 하나의 손실 값을 재구성된 소스 데이터에 적용한다.

Description

전자 장치 및 타겟 도메인 생성 방법
본 개시는 전자 장치 및 타겟 도메인 생성 방법에 관한 것으로, 상세하게는, 도메인을 이동시키는 전자 장치 및 타겟 도메인 생성 방법에 관한 것이다.
산업에서 빅데이터의 중요성이 높아짐에 따라 다양한 효율적인 데이터 활용 방법이 등장하고 있다. 다양한 사양의 전자 장치의 개발과 함께 다른 사양의 새로운 전자 장치에는 대상 모델(타겟 모델)에 따른 새로운 데이터가 적용되어야 한다. 그러나, 새로운 전자 장치의 대상 모델에 적용되는 초기의 데이터는 부족할 수 있다. 따라서, 부족한 데이터를 보완하는 방법에 대한 연구도 진행되고 있으며, 하나의 방법으로 도메인 이전 또는 도메인 적응 기술이 연구되고 있다. 특히, GAN(Generative Adversarial Networks)의 발전과 함께 타겟 도메인의 적은 양의 데이터와 소스 도메인의 많은 양의 데이터 간의 관계를 분석하여 타겟 도메인에서 다양한 데이터를 생성하는 연구가 진행되고 있다.
예를 들어, 최근 연구되는 방법은 GAN을 이용하여 실제 데이터(real data)와 매우 유사한 가짜 데이터(fake data)를 생성한다. 그러나, GAN에서 생성된 데이터로 대상 모델을 처음부터 학습하면 타겟 도메인의 정확도가 떨어진다. 타겟 도메인의 정확도가 떨어지는 가장 큰 이유는 기존 소스 모델에서 학습한 소스 데이터의 특성이 변환된 타겟 데이터에서 변경되거나 특성의 분포가 다르기 때문이다. 특히, 이미지를 보다 사실적으로 변환하는 GAN의 손실(loss)은 소스 모델에 반영된 특성에 관계없이 실제 데이터처럼 변환하도록 학습되기 때문에 타겟 데이터의 특성 분포가 소스의 특성 분포와 매우 다를 수 있다. 즉, 실제 데이터로 보이는 특성과 소스 모델에 반영된 특성이 다를 수 있다.
따라서, 소스 모델의 소스 데이터를 대상 모델의 타겟 데이터로 변환할 때 다양한 손실 함수를 이용하여 소스 모델의 기존 정보를 대상 모델에 반영하여 학습할 수 있는 방법에 대한 필요성이 존재한다.
상술한 정보는 본 개시의 이해를 돕기 위한 배경 정보로서만 제공된다. 상술한 어떤 것도 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대해서는 결정되거나 언급되지 않았다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 소스 모델의 소스 데이터의 정보를 대상 모델에 반영하여 학습하는 전자 장치 및 타겟 도메인 생성 방법을 제공하는 것이다.
추가적인 양태는 다음의 설명에서 부분적으로 설명되고, 설명으로부터 명확해지거나 개시된 실시 예의 실행에 의해 학습될 수 있다.
일 실시 예로서, 타겟 도메인 기반의 GAN(Generative Adversarial Network) 생성 방법이 제공된다. 생성 방법은 소스 도메인에 포함된 소스 데이터를 재구성하는 단계, 상기 소스 데이터를 기초로 상기 재구성된 소스 데이터를 훈련시켜 타겟 데이터를 생성하는 단계 및 상기 생성된 타겟 데이터를 포함하는 타겟 도메인을 생성하는 단계를 포함하고, 상기 훈련시키는 단계는 클래스 손실에 의한 클래스 손실 값 및 거리 매트릭스 손실에 의한 거리 손실 값 중 적어도 하나의 손실 값을 식별하고, 상기 식별된 클래스 손실 값 및 거리 손실 값 중 적어도 하나의 손실 값을 상기 재구성된 소스 데이터에 적용한다.
일 실시 예로서, 타겟 도메인 기반의 GAN(Generative Adversarial Network) 생성하는 전자 장치가 제공된다. 전자 장치는 입력 인터페이스 및 프로세서를 포함하고, 상기 프로세서는 상기 입력 인터페이스를 통해 소스 도메인에 포함된 소스 데이터를 입력받고, 소스 도메인에 포함된 소스 데이터를 재구성하며, 상기 소스 데이터를 기초로 상기 재구성된 소스 데이터를 훈련시켜 타겟 데이터를 생성하고, 상기 생성된 타겟 데이터를 포함하는 타겟 도메인을 생성하며, 상기 프로세서는 클래스 손실에 의한 클래스 손실 값 및 거리 매트릭스 손실에 의한 거리 손실 값 중 적어도 하나의 손실 값을 식별하고, 상기 식별된 클래스 손실 값 및 거리 손실 값 중 적어도 하나의 손실 값을 상기 재구성된 소스 데이터에 적용한다.
일 실시 예로서, 타겟 도메인 기반의 GAN(Generative Adversarial Network) 생성 방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 비일시적 컴퓨터 판독 가능 저장 매체는 소스 도메인에 포함된 소스 데이터를 재구성하는 단계, 상기 소스 데이터를 기초로 상기 재구성된 소스 데이터를 훈련시켜 타겟 데이터를 생성하는 단계 및 상기 생성된 타겟 데이터를 포함하는 타겟 도메인을 생성하는 단계를 포함하고, 상기 훈련시키는 단계는 클래스 손실에 의한 클래스 손실 값 및 거리 매트릭스 손실에 의한 거리 손실 값 중 적어도 하나의 손실 값을 식별하고, 상기 식별된 클래스 손실 값 및 거리 손실 값 중 적어도 하나의 손실 값을 상기 재구성된 소스 데이터에 적용한다.
본 개시의 다른 양태, 장점 및 현저한 특징은 첨부된 도면과 함께 본 개시의 다양한 실시 예를 개시하는 다음의 상세한 설명으로부터 통상의 기술자에게 명백해질 것이다.
본 개시의 특정 실시 예의 상기 및 다른 측면, 특징 및 장점은 첨부 도면과 함께 기재된 다음 설명으로부터 더욱 명백해질 것이며, 여기서:
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 설명하는 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 GAN을 설명하는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 손실 모듈을 설명하는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 기존 모델과 본 개시의 손실을 적용한 모델 간의 차이를 나타내는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 타겟 도메인 생성 방법을 설명하는 흐름도이다.
도면 전체에 걸쳐 동일한 참조 번호는 동일하거나 유사한 요소, 특징 및 구조를 묘사하는데 사용될 수 있다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 개시의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
아래 설명 및 청구항에서 사용된 용어 및 단어는 서지적 의미에 한정되지 않으며, 본 개시의 명확하고 일관된 이해를 가능하게 하기 위해 단지 발명자가 사용한 것이다. 따라서, 본 개시의 다양한 실시 예에 대한 다음 설명은 첨부된 청구항 및 그 균등물에 의해 정의된 바와 같은 본 개시를 제한하기 위한 것이 아니라 단지 예시의 목적으로 제공된다는 것이 통상의 기술자에게 명백하다.
단수 형태 “a”, “an”, 및 “the”는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 “구성요소 표면”에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서는 본 개시의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 개시의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
그 밖에도, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 1을 참조하면, 전자 장치(100)는 입력 인터페이스(110) 및 프로세서(120)를 포함할 수 있다.
입력 인터페이스(110)는 외부로부터 신호를 입력받을 수 있다. 예를 들어, 입력 인터페이스(110)는 키 패드, 키 패드, 터치 패드, 터치 스크린 등의 형태로 구현되고, 사용자로부터 제어 신호를 입력받을 수 있다. 전자 장치(100)는 입력된 제어 신호에 따라 제어 동작을 수행할 수 있다. 또는, 넓은 의미에서 입력 인터페이스(110)는 통신 인터페이스를 포함할 수 있다. 입력 인터페이스(110)가 통신 인터페이스를 포함하는 경우, 입력 인터페이스(110)는 유무선 통신 방식(또는 통신 규격)으로 외부 장치와 통신을 수행할 수 있다. 예를 들어, 입력 인터페이스(110)는 Wi-Fi, Wi-Fi 다이렉트, 블루투스, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project) 및 LTE(Long Term Evoloution)의 무선 통신 방식 중 적어도 하나 이상의 통신 방식 또는 SCSI(Small Computer System Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Electronics Engineers)1394, e-SATA(Serial AT Attachment), 썬더볼트, 유선 랜(Local Area Network)의 유선 통신 방식 중 적어도 하나 이상의 통신 방식으로 외부 장치와 통신을 수행할 수 있다. 입력 인터페이스(110)는 외부 장치로부터 소스 도메인에 포함된 소스 데이터를 수신할 수 있다. 예를 들어, 입력 인터페이스(110)는 입력 장치, 입력부, 입력 모듈 등으로 불릴 수도 있다.
프로세서(120)는 전자 장치(100)의 각 구성을 제어할 수 있다. 예를 들어, 프로세서(120)는 소스 도메인에 포함된 소스 데이터를 입력받도록 입력 인터페이스(110)를 제어할 수 있다.
프로세서(120)는 GAN으로 구현된 인공 지능 신경망 모델을 포함하고, 포함된 인공 지능 신경망 모델에 사용되는 타겟 데이터를 포함하는 타겟 도메인을 생성할 수 있다. 즉, 프로세서(120)는 소스 도메인에 포함된 소스 데이터를 재구성할 수 있다. 프로세서(120)는 소스 데이터를 기초로 재구성된 소스 데이터를 훈련시켜 타겟 데이터를 생성하고, 생성된 타겟 데이터를 포함하는 타겟 도메인을 생성할 수 있다. 한편, GAN 모델은 소스 데이터에 반영된 특성에 관계없이 실제 데이터처럼 변환하도록 학습할 수 있다. 따라서, 실제 데이터로 보이는 특성과 소스 데이터에 반영된 특성이 다를 수 있기 때문에 소스 데이터를 기초로 생성된 타겟 데이터로 학습한 전자 장치(100)는 정확도가 떨어질 수 있다. 예를 들어, 소스 도메인은 외부 전자 장치의 인공 지능 학습 모델에서 생성된 도메인이고, 타겟 도메인은 전자 장치의 인공 지능 학습 모델을 위한 도메인일 수 있다. 외부 전자 장치와 전자 장치는 하드웨어 사양, 소프트웨어 플랫폼, 소프트웨어 버전 등이 서로 다를 수 있다. 따라서, 외부 전자 장치에서 학습되어 정확도가 높은 학습 모델(또는 학습 데이터)은 전자 장치에서 그대로 사용(또는 학습)하면 전자 장치에서 학습 모델의 성능이 떨어질 수 있다.
따라서, 소스 데이터를 기초로 생성된 타겟 데이터로 학습한 전자 장치(100)의 정확도를 높이기 위해 프로세서(120)는 다양한 손실 값을 재구성된 소스 데이터에 적용할 수 있다.
예를 들어, 프로세서(120)는 클래스 손실에 의한 클래스 손실 값, 거리 매트릭스 손실에 의한 거리 손실 값을 식별할 수 있다. 프로세서(120)는 식별된 손실 값을 재구성된 소스 데이터에 적용하여 타겟 데이터를 생성할 수 있다. 또한, 프로세서(120)는 클러스터 손실에 의한 클러스터 손실 값, CAM(Class Activating Mapping) 손실에 의한 CAM 손실 값, 특징 손실에 의한 특징 손실 값 등을 추가적으로 식별할 수 있다. 프로세서(120)는 식별된 클러스터 손실 값, CAM 손실 값, 특징 손실 값 등을 재구성된 소스 데이터에 추가적으로 적용하여 타겟 데이터를 생성할 수 있다. 각 손실에 대한 구체적인 설명은 후술한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 설명하는 블록도이다.
도 2를 참조하면, 전자 장치(100)는 입력 인터페이스(110), 프로세서(120), 통신 인터페이스(130), 카메라(140), 마이크(150), 스피커(160), 디스플레이(170), 메모리(180), 센서(190)를 포함할 수 있다. 입력 인터페이스(110)는 도 1에서 설명한 바와 동일하고, 통신 인터페이스(130)도 넓은 의미에서 입력 인터페이스(110)에 포함될 수 있다고 설명하였으므로 구체적인 설명은 생략한다.
카메라(140)는 사용자를 포함한 주변 환경을 촬영할 수 있다. 프로세서(120)는 카메라(140)에서 촬영된 이미지에 기초하여 주변 환경에 대한 정보, 사용자의 이미지에 대한 정보 등을 획득할 수 있다. 그리고, 프로세서(120)는 획득된 정보에 기초하여 대응되는 동작을 수행할 수 있다. 또는, 프로세서(120)는 획득된 정보와 인공 지능 신경망 모델(예, GAN 모델)에 기초하여 획득된 정보를 식별할 수 있다. 예를 들어, 카메라(140)는 CCD 센서, CMOS 센서를 포함할 수 있다. 또한, 카메라(140)는 RGB 카메라, 뎁스 카메라, 광각 카메라, 망원 카메라 등을 포함할 수 있다.
마이크(150)는 사용자의 사운드 또는 주변 환경의 사운드를 입력받을 수 있다. 프로세서(120)는 입력된 사용자의 사운드 또는 주변 환경의 사운드에 기초하여 대응되는 동작을 수행할 수 있다. 또는, 프로세서(120)는 획득된 사운드 및 인공 지능 신경망 모델(예, GAN 모델)에 기초하여 획득된 사운드를 식별할 수 있다. 예를 들어, 마이크(150)는 일반 마이크, 서라운드 마이크, 지향성 마이크 등을 포함할 수 있다.
스피커(160)는 사운드 신호를 출력할 수 있다. 예를 들어, 스피커(160)는 사용자의 입력 명령에 대한 정보, 경고 관련 정보, 전자 장치(100)의 상태 관련 정보 또는 동작 관련 정보 등을 음성이나 알림음으로 출력할 수 있다.
디스플레이(170)는 프로세서(120)에서 처리된 데이터를 영상으로 출력할 수 있다. 디스플레이(170)는 정보를 표시할 수 있고, 인식된 사용자의 명령에 대응되는 화면을 출력할 수 있다. 예를 들어, 디스플레이(170)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이, 터치 스크린 등으로 구현될 수 있다. 디스플레이(170)가 터치 스크린으로 구현되는 경우, 전자 장치(100)는 터치 스크린을 통해 제어 명령을 입력받을 수 있다.
메모리(180)는 전자 장치(100)의 기능을 수행하는 데이터 및 알고리즘 등을 저장하고, 전자 장치(100)에서 구동되는 프로그램, 명령어 등을 저장할 수 있다. 또한, 메모리(180)는 인공 지능 신경망 모델(또는, 알고리즘) 등을 저장할 수 있다. 예를 들어, 메모리(180)는 롬, 램, HDD, SSD, 메모리 카드 등의 타입으로 구현될 수 있다.
센서(190)는 전자 장치(100)의 상태, 주변의 환경, 물체 또는 사용자를 감지할 수 있다. 예를 들어, 센서(190)는 이미지 센서, 모션 인식 센서, 근접 센서, 열 감지 센서, 터치 센서, 적외선 센서, 초음파 센서, 지자기 센서, 중력 센서, 가속도 센서 등을 포함할 수 있다.
지금까지, 전자 장치(100)의 구성을 설명하였다. 아래에서는 전자 장치(100)가 타겟 데이터를 포함하는 타겟 도메인을 생성하는 과정을 설명한다.
도 3은 본 개시의 일 실시 예에 따른 GAN을 설명하는 도면이다.
본 개시의 인공 지능 신경망은 GAN으로 구현될 수 있다. GAN은 생성자(generator)(11)와 판별자(discriminator)(12)를 포함한다. 예를 들어, 생성자(11)는 가우시안 분포와 같은 랜덤한 분포를 입력받고 가짜 데이터를 생성할 수 있다. 판별자(12)는 훈련된 실제 데이터 및 생성된 가짜 데이터를 입력받고, 입력된 데이터가 실제 데이터인지 가짜 데이터인지 판별할 수 있다.
일 실시 예로서, GAN은 판별자(12)의 학습을 위해 생성자(11)를 통해 가짜 이미지의 배치(batch)를 생성하고, 훈련 데이터에서 동일한 크기의 배치(batch)를 샘플링한 후 두 배치를 합칠 수 있다. 가짜 이미지에는 0이 부여되고, 실제 데이터에는 1이 부여될 수 있다. 판별자(12) 학습 과정에서 판별자(12)의 가중치는 업데이트될 수 있다. 그러나, 업데이트된 판별자(12)의 가중치는 역전파를 하지 않기 때문에 생성자(11)의 가중치는 업데이트되지 않는다. GAN은 생성자(11)의 학습을 위해 생성자(11)를 통해 가짜 이미지의 배치를 생성할 수 있다. GAN은 실제 이미지를 추가하지 않고 가짜 이미지의 배치의 라벨을 1로 설정하고 판별자(12)에게 판별시킬 수 있다. 생성자(11)로 역전파가 진행되어 생성자의 가중치는 업데이트되지만, 판별자(12)의 가중치는 기존 값을 유지한다. 상술한 과정을 통해 생성자(11)는 실제 데이터에 가까운 가짜 데이터를 생성하도록 훈련되고, 판별자(12)는 실제 데이터와 가짜 데이터를 판별하도록 훈련됨으로써 GAN의 판별 성능이 향상될 수 있다. 생성자(11)와 판별자(12)는 서로 다른 방향으로 학습되기 때문에 GAN은 적대적 네트워크라고 칭할 수 있다. 즉, GAN은 기존 소스 데이터와 거의 동일한 가짜 데이터를 생성하고 판별자(12)를 학습시킴으로써 적은 양의 데이터를 이용하여 인공 지능 신경망 모델을 학습시킬 수 있는 장점이 있다. 한편, GAN은 가짜 데이터를 실제 데이터로 생성하기 위한 것이므로 GAN에는 타겟 모델이 반영되지 않거나 타겟 모델이 없을 수 있다.
따라서, 본 개시는 적은 양의 데이터를 이용하여 인공 지능 신경망 모델을 학습시키는 GAN의 장점을 유지하면서 소스 데이터와 타겟 모델을 고려한 다양한 손실 함수를 적용하여 타겟 도메인을 생성하는 성능(또는, 타겟 도메인에 기초한 인공 지능 신경망의 판별 성능)을 향상시킬 수 있다.
도 4는 본 개시의 일 실시 예에 따른 손실 모듈을 설명하는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 기존 모델과 본 개시의 손실을 적용한 모델 간의 차이를 나타내는 도면이다. 도 4 및 도 5를 참조하여 설명한다.
도 4를 참조하면, 프로세서(120)는 클래스 손실 모듈(121), 거리 매트릭스 손실 모듈(122), 클러스터 손실 모듈(123), CAM 손실 모듈(124), 특징 손실 모듈(125)을 포함할 수 있다. 예를 들어, 프로세서(120)는 클래스 손실 모듈(121) 및/또는 거리 매트릭스 손실 모듈(122)을 포함할 수 있다. 또는, 프로세서(120)는 클래스 손실 모듈(121) 및/또는 거리 매트릭스 손실 모듈(122) 외에 하나 이상의 다른 손실 모듈(123, 124, 125)을 포함할 수 있다. 각 손실 모듈은 소프트웨어로 구현될 수 있다. 또한, 도 4에는 각 손실 모듈이 별개의 모듈로 도시되었으나, 각 손실 모듈은 하나의 손실 모듈로 구현되고 서로 연계되어 동작할 수도 있다. 그리고, 각 손실 모듈(또는, 하나의 손실 모듈)은 메모리에 저장되고, 프로세서(120)가 인공 지능 신경망 모델을 학습시킬 때 메모리에서 프로세서(120)로 로딩하여 동작시킬 수 있다.
클래스 손실 모듈(121)은 클래스 손실 값을 획득할 수 있다. 클래스 손실 모듈(121)은 복수의 클래스 중 소스 데이터가 포함된 클래스를 기초로 소스 데이터에 대응되는 재구성된 소스 데이터에 대한 클래스의 분류가 일치하는 경우 기 설정된 방식에 따라 제1 클래스 손실 값을 식별하고, 재구성된 소스 데이터에 대한 클래스의 분류가 불일치하는 경우 기 설정된 방식에 따라 제2 클래스 손실 값을 식별하여 클래스 손실 값을 획득할 수 있다. 제2 클래스 손실 값은 제1 클래스 손실 값보다 큰 값일 수 있다. 일 실시 예로서, 소스 데이터가 A 클래스로 분류되고 재구성된 소스 데이터도 A 클래스로 분류되면, 클래스 손실 모듈(121)은 클래스의 분류가 일치하는 것으로 판단할 수 있다. 소스 데이터가 A 클래스로 분류되고 재구성된 소스 데이터는 B 클래스로 분류되면, 클래스 손실 모듈(121)은 클래스의 분류가 불일치하는 것으로 판단할 수 있다.
소스 모델에서 특징 벡터의 분포가 다를 수 있다. 따라서, 클래스 손실은 특징 벡터의 분포에 대한 학습이 어려울 때 단순히 클래스를 유지함으로써 적대적 손실과 유사한 효과를 가질 수 있다. GAN 모델에서 적대적 손실은 진짜와 가짜를 구별하기 위한 것이지만, 클래스 손실의 경우 GAN 모델을 통해 생성된 데이터에 중요한 클래스의 더 자세한 부분을 생성하는 데 도움이 될 수 있다. 일 실시 예로서, 클래스 손실은 (식 1)을 이용하여 산출될 수 있다.
Figure PCTKR2022008970-appb-img-000001
---- (식 1)
여기서, C는 소스 모델의 비용 함수(cost function)이고, 범주형 교차 엔트로피(categorical cross entropy)가 사용될 수 있다.
Figure PCTKR2022008970-appb-img-000002
는 가짜 소스 데이터,
Figure PCTKR2022008970-appb-img-000003
는 재구성된 소스 데이터를 의미한다. Msource는 많은 양의 소스 도메인의 데이터를 이용하여 학습된 소스 모델을 의미한다. Msource(x)는 데이터 x를 소스 모델에 입력했을 때, 각 클래스에 대한 확률분포 값을 출력할 수 있다. label(x)는 x의 true 라벨 값을 의미한다. 일 실시 예로서, 소스 모델이 ‘개’와 ‘고양이’를 분류하는 모델이고,
Figure PCTKR2022008970-appb-img-000004
이 ‘개’라면,
Figure PCTKR2022008970-appb-img-000005
= [1,0] 이고,
Figure PCTKR2022008970-appb-img-000006
= [0.7, 0.3]일 수 있다. 이 두 벡터 간의 차이는 (식 1)의 비용 함수를 이용하여 계산될 수 있다. GAN 모델은
Figure PCTKR2022008970-appb-img-000007
가 [1, 0]에 가까워지도록 학습될 수 있다. 즉, 클래스 손실은 타겟 모델에서 변환된 데이터의 클래스가 잘 분류될 수 있도록 할 수 있다. 클래스 손실은 다른 손실에 비해 단순하기 때문에 GAN의 학습이 용이해질 수 있다. 그러나, 클래스 손실이 단순한만큼 클래스 손실만으로 학습되는 경우, 소스 도메인에서의 데이터들과 타겟 도메인에서의 데이터들의 분포가 다를 수 있다.
거리 매트릭스 손실 모듈(122)은 거리 손실 값을 획득할 수 있다. 상술한 바와 같이, GAN이 클래스 손실만으로 학습되는 경우, 소스 도메인에서의 데이터들과 타겟 도메인에서의 데이터들의 분포가 달라질 수 있으므로 전자 장치는 거리 손실을 이용하여 소스 도메인의 데이터들과 타겟 도메인의 데이터들의 분포를 유사하게 만들어 줄 수 있다. 거리 매트릭스 손실 모듈(122)은 복수의 클래스 중 서로 다른 클래스에 포함된 소스 데이터의 특징 벡터 간의 거리에 기초하여 거리 맵을 식별할 수 있다. 그리고, 거리 매트릭스 손실 모듈(122)은 식별된 거리 맵에 기초하여 소스 데이터에 대응되는 재구성된 소스 데이터의 특징 벡터 간의 거리가 유지되도록 거리 손실 값을 획득할 수 있다.
거리 손실의 경우 원본 데이터의 특징 벡터 분포는 특징 벡터로의 아핀 변환(affine transformation)을 가능하게 할 수 있다. 거리 손실은 소스 데이터와 타겟 데이터의 특성에 차이가 있어 특징 손실을 학습하기 어려운 경우 특징 손실을 대체할 수 있고, 상대적으로 보장된 변환 학습을 할 수 있다. 일 실시 예로서, 거리 손실은 (식 2)를 이용하여 산출될 수 있다.
Figure PCTKR2022008970-appb-img-000008
--- (식 2)
여기서, dist()는 소스 모델을 통과한 특징 벡터의 거리 맵을 의미한다.
GAN 모델은 타겟 도메인의 가짜 타겟 데이터(
Figure PCTKR2022008970-appb-img-000009
)를 생성할 수 있다. 이 때, A -> B 방향으로 생성되는 가짜 타겟 데이터(
Figure PCTKR2022008970-appb-img-000010
)가 잘 생성되도록 GAN 모델은
Figure PCTKR2022008970-appb-img-000011
≒
Figure PCTKR2022008970-appb-img-000012
≒
Figure PCTKR2022008970-appb-img-000013
이 되도록 학습될 수 있다.
Figure PCTKR2022008970-appb-img-000014
은 타겟 도메인의 재구성 데이터로서
Figure PCTKR2022008970-appb-img-000015
로부터 획득될 수 있다. 따라서, GAN 모델은 가짜 소스 데이터(
Figure PCTKR2022008970-appb-img-000016
), 타겟 도메인의 재구성 데이터(
Figure PCTKR2022008970-appb-img-000017
)의 학습을 위해 A -> B 방향으로 학습 뿐만 아니라 B -> A 방향으로 학습도 수행될 수 있다(
Figure PCTKR2022008970-appb-img-000018
≒
Figure PCTKR2022008970-appb-img-000019
≒
Figure PCTKR2022008970-appb-img-000020
).
클러스터 손실 모듈(123)은 클러스터 손실 값을 획득할 수 있다. 클러스터 손실 모듈(123)은 복수의 클래스 중 서로 다른 클래스에 포함되는 재구성된 소스 데이터의 특징 벡터의 거리가 이격되도록 기 설정된 방식에 기초하여 클러스터 손실 값을 획득할 수 있다.
예를 들어, 제1 데이터가 A 클래스로 분류되고, 제2 데이터가 B 클래스로 분류되는 경우, 클러스터 손실 모듈(123)은 제1 데이터와 제2 데이터 간의 거리를 충분히 이격하여 클래스가 명확히 구분되도록 클러스터 손실 값을 획득할 수 있다. 즉, 클러스터 손실 모듈(123)은 생성된 데이터를 이용하여 분류 모델의 성능을 향상시키기 위해서는 서로 다른 클래스에 속하는 데이터가 소스 도메인에서와 같이 타겟 도메인에서 멀리 이격시킬 수 있다. 일 실시 예로서, 클러스터 손실은 (식 3) 및 (식 4)를 이용하여 산출될 수 있다.
Figure PCTKR2022008970-appb-img-000021
--- (식 3)
여기서, i, j는 분류 모델의 다른 클래스를 의미한다.
Figure PCTKR2022008970-appb-img-000022
--- (식 4)
여기서, Gfeat는 U-net 하단의 평면 벡터를 의미한다.
그리고,
Figure PCTKR2022008970-appb-img-000023
는 A -> B 방향으로 A 데이터를 인코딩하여 획득한 특징(A 데이터의 주요 특징),
Figure PCTKR2022008970-appb-img-000024
는 B -> A 방향으로 B 데이터를 인코딩하여 획득한 특징(B 데이터의 주요 특징)을 의미한다. 즉, (식 3)은 클래스 i, j 각각에 포함된 데이터들에 대해 A의 주요 특징, B의 주요 특징의 평균 값을 산출했을 때 다른 클래스와 멀리 떨어져 있을 때 손실(loss)가 작아지도록 학습되는 것을 의미한다.
CAM 손실 모듈(124)은 CAM 손실 값을 획득할 수 있다. CAM 손실 모듈(124)은 소스 도메인을 포함하는 인공지능 신경망 학습 모델이 소스 데이터의 클래스를 분류할 때 적용하는 소스 데이터의 가중치 영역을 식별할 수 있다. 그리고, CAM 손실 모듈(124)은 식별된 소스 데이터에 대응되는 재구성된 소스 데이터의 가중치 영역을 설정하기 위한 CAM 손실 값을 획득할 수 있다. 타겟 모델이 소스 모델과 매우 유사하게 학습하여 성능을 높이려면 소스 모델에서 중요하게 판단된 소스 데이터의 기능을 학습해야 한다. 일 실시 예로서, 소스 모델이 사람의 낙상을 판단할 때 사람의 머리 영역의 이동을 중요하게 판단하였다면, 타겟 모델도 사람의 머리 영역의 이동에 가중치를 부여하여 학습해야 한다.
예를 들어, 소스 모델의 중요 데이터 정보를 획득하기 위해 GradCAM이 사용될 수 있다. CAM 손실 모듈(124)은 GradCAM을 통해 활성화된 부분을 이미지 학습 시 각 이미지에 대한 가중치로 사용될 수 있다. 즉, CAM 손실 모듈(124)는 소스 모델이 중요하게 생각하는 특성 부분을 보다 세부적으로 생성할 수 있다. 예를 들어, 가중치 영역은 이미지 데이터의 특정 영역 또는 신호 데이터의 특정 주파수 영역일 수 있다. 일 실시 예로서, CAM 손실은 (식 5)를 이용하여 산출될 수 있다.
Figure PCTKR2022008970-appb-img-000025
--- (식 5)
여기서, cam(x)은 GradCAM이 소스 모델을 통해 얻은 데이터 x의 활성화 맵이다. 윗 첨자 i는 A일 수 있고, B일 수도 있다.
특징 손실 모듈(125)은 특징 손실 값을 획득할 수 있다. 특징 손실 모듈(125)은 소스 데이터의 특징 벡터와 소스 데이터에 대응되는 재구성된 소스 데이터의 특징 벡터가 동일하도록 특징 손실 값을 획득할 수 있다. 일 실시 예로서, 특징 손실은 (식 6)을 이용하여 산출될 수 있다.
Figure PCTKR2022008970-appb-img-000026
--- (식 6)
여기서, fc는 분류 계층 이전의 소스 모델의 완전 연결 계층을 의미한다. 일반적인 인공 지능 모델은 마지막 단계에 주요 특징을 모으는 fully connected(fc) layer를 포함하고 있다. (식 6)은 fc(x) 레이어 과정을 의미하며, 본 개시의 인공 지능 모델은 (식 6)을 통해 주요 특징 벡터를 출력할 수 있다.
도 5를 참조하면, 기존 변환 데이터와 본 개시의 각 손실을 적용하여 변환하여 생성된 데이터를 비교하는 도면이 도시되어 있다. 기존 변환 데이터와 본 개시에 따른 변환 데이터의 차이는 미묘할 수 있으나, 미묘한 차이는 주요한 특징 부분에서 나타날 수 있다. 예를 들어, CAM 손실의 경우 소스 모델이 강조하는 부분의 손실이 더 강하게 반영되므로 본 개시에 따른 모델은 타겟 데이터의 주요 특징 부분을 더 자세하게 생성할 수 있다. 또한, 본 개시에 따른 모델은 소스 모델의 특징들 사이의 거리를 유지하도록 특징 손실을 적용한다. 따라서, 도 5에 도시된 바와 같이, 본 개시의 변환 데이터의 많은 부분이 기존 변환 데이터와 다르게 변형되었음을 확인할 수 있다. 또한, 클래스 손실, 거리 손실의 경우에도 본 개시에 따른 변환 데이터가 기존 변환 데이터에 비해 구체적으로 표현된 것을 확인할 수 있다.
지금까지 소스 데이터와 유사한 타겟 데이터를 생성하기 위한 다양한 손실 방법을 설명하였다. 아래에서는 타겟 도메인 생성 방법을 설명한다.
도 6은 본 개시의 일 실시 예에 따른 타겟 도메인 생성 방법을 설명하는 흐름도이다.
도 6을 참조하면, GAN 기반 타겟 도메인을 생성하는 전자 장치는 소스 도메인에 포함된 소스 데이터를 재구성할 수 있다(S610). 예를 들어, 소스 도메인은 제1 전자 장치의 인공 지능 학습 모델에서 생성된 도메인이고, 타겟 도메인은 제2 전자 장치의 인공 지능 학습 모델을 위한 도메인일 수 있다. 그리고, 제1 전자 장치 및 제2 전자 장치는 하드웨어 사양, 소프트웨어 플랫폼, 소프트웨어 버전 등이 서로 다른 장치일 수 있다.
전자 장치는 소스 데이터를 기초로 재구성된 소스 데이터를 훈련시켜 타겟 데이터를 생성할 수 있다(S620). 예를 들어, 전자 장치는 클래스 손실에 의한 클래스 손실 값, 거리 매트릭스 손실에 의한 거리 손실 값을 식별할 수 있다. 그리고, 전자 장치는 식별된 손실 값을 재구성된 소스 데이터에 적용할 수 있다. 또한, 전자 장치는 클러스터 손실에 의한 클러스터 손실 값, CAM 손실에 의한 CAM 손실 값, 특징 손실에 의한 특징 손실 값 등을 추가적으로 식별하고, 식별된 적어도 한 종류의 손실 값을 재구성된 소스 데이터에 추가적으로 적용할 수 있다.
일 실시 예로서, 전자 장치는 복수의 클래스 중 소스 데이터가 포함된 클래스를 기초로 소스 데이터에 대응되는 재구성된 소스 데이트에 대한 클래스 분류의 일치 여부를 판단할 수 있다. 전자 장치는 재구성된 소스 데이터에 대한 클래스의 분류가 일치하는 경우 기 설정된 방식에 따라 제1 클래스 손실 값을 식별하고, 재구성된 소스 데이터에 대한 클래스의 분류가 불일치하는 경우 기 설정된 방식에 따라 제2 클래스 손실 값을 식별하여 클래스 손실 값을 획득할 수 있다. 제2 클래스 손실 값은 제1 클래스 손실 값보다 큰 값일 수 있다.
그리고, 전자 장치는 복수의 클래스 중 서로 다른 클래스에 포함된 소스 데이터의 특징 벡터 간의 거리에 기초하여 거리 맵을 식별할 수 있다. 그리고, 전자 장치는 식별된 거리 맵에 기초하여 소스 데이터에 대응되는 재구성된 소스 데이터의 특징 벡터 간의 거리가 유지되도록 거리 손실 값을 획득할 수 있다.
또한, 전자 장치는 복수의 클래스 중 서로 다른 클래스에 포함되는 재구성된 소스 데이터의 특징 벡터의 거리가 이격되도록 기 설정된 방식에 기초하여 클러스터 손실 값을 획득할 수 있다.
또한, 전자 장치는 소스 도메인을 포함하는 인공지능 신경망 학습 모델이 소스 데이터의 클래스를 분류할 때 적용하는 소스 데이터의 가중치 영역을 식별할 수 있다. 그리고, 전자 장치는 식별된 소스 데이터에 대응되는 재구성된 소스 데이터의 가중치 영역을 설정하기 위한 CAM 손실 값을 획득할 수 있다. 예를 들어, 가중치 영역은 이미지 데이터의 특정 영역, 신호 데이터의 특정 주파수 영역 등을 포함할 수 있다.
또는, 전자 장치는 소스 데이터의 특징 벡터와 소스 데이터에 대응되는 재구성된 소스 데이터의 특징 벡터가 동일하도록 특징 손실 값을 획득할 수 있다.
전자 장치는 생성된 타겟 데이터를 포함하는 타겟 도메인을 생성할 수 있다(S630). 상술한 과정을 통해 전자 장치는 소스 도메인의 소스 데이터를 이용하여 학습 성능이 유지되는 타겟 도메인을 생성할 수 있다.
상술한 다양한 실시 예에 따른 타겟 도메인 생성 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 타겟 도메인 기반의 GAN(Generative Adversarial Network) 생성 방법에 있어서,
    소스 도메인에 포함된 소스 데이터를 재구성하는 단계;
    상기 소스 데이터를 기초로 상기 재구성된 소스 데이터를 훈련시켜 타겟 데이터를 생성하는 단계; 및
    상기 생성된 타겟 데이터를 포함하는 상기 타겟 도메인을 생성하는 단계;를 포함하고,
    상기 타겟 데이터를 생성하는 단계는,
    클래스 손실에 의한 클래스 손실 값 및 거리 매트릭스 손실에 의한 거리 손실 값 중 적어도 하나의 손실 값을 식별하고, 상기 식별된 클래스 손실 값 및 상기 식별된 거리 손실 값 중 적어도 하나의 손실 값을 상기 재구성된 소스 데이터에 적용하는, 타겟 도메인 생성 방법.
  2. 제1항에 있어서,
    상기 타겟 데이터를 생성하는 단계는,
    복수의 클래스 중 상기 소스 데이터가 포함된 클래스를 기초로 상기 소스 데이터에 대응되는 재구성된 소스 데이트에 대한 클래스의 분류가 일치하는 경우 기 설정된 방식에 따라 제1 클래스 손실 값을 식별하고, 상기 재구성된 소스 데이터에 대한 클래스의 분류가 불일치하는 경우 상기 기 설정된 방식으로 획득된 제2 클래스 손실 값에 따라 제2 클래스 손실 값을 식별하며, 상기 제2 클래스 손실 값은 상기 제1 클래스 손실 값보다 큰, 타겟 도메인 생성 방법.
  3. 제1항에 있어서,
    상기 타겟 데이터를 생성하는 단계는,
    복수의 클래스 중 서로 다른 클래스에 포함된 소스 데이터의 특징 벡터 간의 거리에 기초하여 거리 맵을 식별하고, 상기 식별된 거리 맵에 기초하여 상기 소스 데이터에 대응되는 재구성된 소스 데이터의 특징 벡터 간의 거리가 유지되도록 상기 거리 손실 값을 획득하는, 타겟 도메인 생성 방법.
  4. 제1항에 있어서,
    상기 타겟 데이터를 생성하는 단계는,
    클러스터 손실에 의한 클러스터 손실 값, CAM(Class Activating Mapping) 손실에 의한 CAM 손실 값 및 특징 손실에 의한 특징 손실 값 중 적어도 하나의 손실 값을 식별하고, 상기 식별된 클러스터 손실 값, CAM 손실 값 및 특징 손실 값 중 적어도 하나의 손실 값을 상기 재구성된 소스 데이터에 추가적으로 적용하는, 타겟 도메인 생성 방법.
  5. 제4항에 있어서,
    상기 타겟 데이터를 생성하는 단계는,
    복수의 클래스 중 서로 다른 클래스에 포함되는 재구성된 소스 데이터의 특징 벡터의 거리가 이격되도록 기 설정된 방식에 기초하여 클러스터 손실 값을 획득하는, 타겟 도메인 생성 방법.
  6. 제4항에 있어서,
    상기 타겟 데이터를 생성하는 단계는,
    상기 소스 도메인을 포함하는 인공지능 신경망 학습 모델이 상기 소스 데이터의 클래스를 분류할 때 적용하는 상기 소스 데이터의 가중치 영역을 식별하고, 상기 식별된 상기 소스 데이터에 대응되는 재구성된 소스 데이터의 가중치 영역을 설정하기 위한 CAM 손실 값을 획득하는, 타겟 도메인 생성 방법.
  7. 제6항에 있어서,
    상기 가중치 영역은,
    이미지 데이터의 특정 영역 및 신호 데이터의 특정 주파수 영역 중 적어도 하나의 영역을 포함하는, 타겟 도메인 생성 방법.
  8. 제4항에 있어서,
    상기 타겟 데이터를 생성하는 단계는,
    상기 소스 데이터의 특징 벡터와 상기 소스 데이터에 대응되는 재구성된 소스 데이터의 특징 벡터가 동일하도록 상기 특징 손실 값을 획득하는, 타겟 도메인 생성 방법.
  9. 제1항에 있어서,
    상기 소스 도메인은 제1 전자 장치의 인공 지능 학습 모델에서 생성된 도메인이고, 상기 타겟 도메인은 제2 전자 장치의 인공 지능 학습 모델을 위한 도메인이며, 상기 제1 전자 장치 및 상기 제2 전자 장치는 하드웨어 사양, 소프트웨어 플랫폼, 소프트웨어 버전 중 적어도 하나가 서로 다른, 타겟 도메인 생성 방법.
  10. 타겟 도메인 기반의 GAN(Generative Adversarial Network) 생성하는 전자 장치에 있어서,
    입력 인터페이스; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 입력 인터페이스를 통해 소스 도메인에 포함된 소스 데이터를 입력받고,
    소스 도메인에 포함된 소스 데이터를 재구성하며,
    상기 입력된 소스 데이터를 기초로 상기 재구성된 소스 데이터를 훈련시켜 타겟 데이터를 생성하고,
    상기 생성된 타겟 데이터를 포함하는 타겟 도메인을 생성하며,
    클래스 손실에 의한 클래스 손실 값 및 거리 매트릭스 손실에 의한 거리 손실 값 중 적어도 하나의 손실 값을 식별하고, 상기 식별된 클래스 손실 값 및 상기 식별된 거리 손실 값 중 적어도 하나의 손실 값을 상기 재구성된 소스 데이터에 적용하는, 전자 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    복수의 클래스 중 상기 소스 데이터가 포함된 클래스를 기초로 상기 소스 데이터에 대응되는 재구성된 소스 데이트에 대한 클래스의 분류가 일치하는 경우 기 설정된 방식에 따라 제1 클래스 손실 값을 식별하고, 상기 재구성된 소스 데이터에 대한 클래스의 분류가 불일치하는 경우 상기 기 설정된 방식으로 획득된 제2 클래스 손실 값에 따라 제2 클래스 손실 값을 획득하며, 상기 제2 클래스 손실 값은 상기 제1 클래스 손실 값보다 큰, 전자 장치.
  12. 제10항에 있어서,
    상기 프로세서는,
    복수의 클래스 중 서로 다른 클래스에 포함된 소스 데이터의 특징 벡터 간의 거리에 기초하여 거리 맵을 식별하고, 상기 식별된 거리 맵에 기초하여 상기 소스 데이터에 대응되는 재구성된 소스 데이터의 특징 벡터 간의 거리가 유지되도록 상기 거리 손실 값을 획득하는, 전자 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    복수의 클래스 중 서로 다른 클래스에 포함되는 재구성된 소스 데이터의 특징 벡터의 거리가 이격되도록 기 설정된 방식에 기초하여 클러스터 손실 값을 획득하는, 전자 장치.
  14. 제10항에 있어서,
    상기 프로세서는,
    클러스터 손실에 의한 클러스터 손실 값, CAM(Class Activating Mapping) 손실에 의한 CAM 손실 값 및 특징 손실에 의한 특징 손실 값 중 적어도 하나의 손실 값을 식별하고, 상기 식별된 클러스터 손실 값, CAM 손실 값 및 특징 손실 값 중 적어도 하나의 손실 값을 상기 재구성된 소스 데이터에 추가적으로 적용하는, 전자 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 소스 도메인을 포함하는 인공지능 신경망 학습 모델이 상기 소스 데이터의 클래스를 분류할 때 적용하는 상기 소스 데이터의 가중치 영역을 식별하고, 상기 식별된 상기 소스 데이터에 대응되는 재구성된 소스 데이터의 가중치 영역을 설정하기 위한 CAM 손실 값을 획득하는, 전자 장치.
PCT/KR2022/008970 2021-10-06 2022-06-23 전자 장치 및 타겟 도메인 생성 방법 WO2023058842A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/875,937 US20230106136A1 (en) 2021-10-06 2022-07-28 Electronic apparatus and generating method of target domain

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210132670 2021-10-06
KR10-2021-0132670 2021-10-06
KR1020220033031A KR20230049530A (ko) 2021-10-06 2022-03-16 전자 장치 및 타겟 도메인 생성 방법
KR10-2022-0033031 2022-03-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/875,937 Continuation US20230106136A1 (en) 2021-10-06 2022-07-28 Electronic apparatus and generating method of target domain

Publications (1)

Publication Number Publication Date
WO2023058842A1 true WO2023058842A1 (ko) 2023-04-13

Family

ID=85803543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008970 WO2023058842A1 (ko) 2021-10-06 2022-06-23 전자 장치 및 타겟 도메인 생성 방법

Country Status (1)

Country Link
WO (1) WO2023058842A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
KR102237124B1 (ko) * 2020-02-14 2021-04-06 고려대학교 산학협력단 신경망 기반 모션 리타겟팅 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
KR102237124B1 (ko) * 2020-02-14 2021-04-06 고려대학교 산학협력단 신경망 기반 모션 리타겟팅 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAWEI ZHOU; NANNAN WANG; CHUNLEI PENG; XINBO GAO; XIAOYU WANG; JUN YU; TONGLIANG LIU: "Removing Adversarial Noise in Class Activation Feature Space", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 19 April 2021 (2021-04-19), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081940380 *
HARSH RANGWANI; KONDA REDDY MOPURI; R. VENKATESH BABU: "Class Balancing GAN with a Classifier in the Loop", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 17 June 2021 (2021-06-17), 201 Olin Library Cornell University Ithaca, NY 14853, XP081991541 *
ZHANG KAI; KANG QI; PAN LE; WANG XUESONG; CUI CAN: "A Generative Adversarial Distribution Matching Framework for Visual Domain Adaptation", 2019 IEEE 16TH INTERNATIONAL CONFERENCE ON NETWORKING, SENSING AND CONTROL (ICNSC), IEEE, 9 May 2019 (2019-05-09), pages 252 - 256, XP033567005, DOI: 10.1109/ICNSC.2019.8743182 *

Similar Documents

Publication Publication Date Title
WO2021085784A1 (ko) 객체 검출 모델의 학습 방법 및 객체 검출 모델이 실행되는 객체 검출 장치
WO2017213398A1 (en) Learning model for salient facial region detection
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2022055099A1 (ko) 이상 탐지 방법 및 이를 위한 장치
WO2017138766A1 (ko) 하이브리드 기반의 영상 클러스터링 방법 및 이를 운용하는 서버
WO2022059969A1 (ko) 심전도 데이터 분류를 위한 심층 신경망 사전 학습 방법
EP3942513A1 (en) Techniques for learning effective musical features for generative and retrieval-based applications
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
US11348254B2 (en) Visual search method, computer device, and storage medium
WO2023058842A1 (ko) 전자 장치 및 타겟 도메인 생성 방법
WO2021085785A1 (en) Electronic apparatus and method for controlling thereof
WO2020111844A2 (ko) 물체 레이블을 활용한 비주얼 슬램에서의 영상 특징점 강화 방법 및 장치
WO2019225875A1 (ko) 재고 추적 방법 및 장치
WO2023075508A1 (ko) 전자 장치 및 그 제어 방법
WO2022191424A1 (ko) 전자 장치 및 그 제어 방법
WO2016021829A1 (ko) 동작 인식 방법 및 동작 인식 장치
WO2022158819A1 (en) Method and electronic device for determining motion saliency and video playback style in video
WO2019225799A1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
WO2022191366A1 (ko) 전자 장치 및 그 제어 방법
WO2022060088A1 (en) A method and an electronic device for detecting and removing artifacts/degradations in media
KR20230049530A (ko) 전자 장치 및 타겟 도메인 생성 방법
JP6467994B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20230106136A1 (en) Electronic apparatus and generating method of target domain

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878665

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE