KR20210130529A - Diary generator using deep learning - Google Patents
Diary generator using deep learning Download PDFInfo
- Publication number
- KR20210130529A KR20210130529A KR1020200048873A KR20200048873A KR20210130529A KR 20210130529 A KR20210130529 A KR 20210130529A KR 1020200048873 A KR1020200048873 A KR 1020200048873A KR 20200048873 A KR20200048873 A KR 20200048873A KR 20210130529 A KR20210130529 A KR 20210130529A
- Authority
- KR
- South Korea
- Prior art keywords
- diary
- learning
- data
- generator
- model
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000003058 natural language processing Methods 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
아래의 설명은 딥러닝 기반 일기 생성 기술에 관한 것이다. The description below relates to deep learning-based diary generation technology.
최근에는 스마트 폰의 보급으로 인하여 많은 사람들이 여러 사진을 찍으면, 사진 정보에 사진의 위치 정보가 기록된다. 그 사진을 나중에 봤을 때 일기와 같은 기록을 통해 자신이 어떤 날 어떤 일을 했는지 알 수 있다면 좋겠지만 많은 사람들이 기록을 하지 않는다. 이에, 사용자의 사진과 사진의 위치정보를 이용하여 일기를 생성하는 기술이 제안될 필요가 있다. Recently, due to the spread of smart phones, when many people take several pictures, the location information of the picture is recorded in the picture information. It would be nice to be able to find out what kind of work you did on what day through a record such as a diary when you look at the picture later, but many people do not keep a record. Accordingly, there is a need to propose a technique for generating a diary by using the user's photo and location information of the photo.
일례로, 한국공개특허 제 10-2010-0004269호(일기 작성 방법 및 장치)에 따르면, 각 지역별로 위치에 따른 지역 정보를 구성하고, 일기를 작성하는 사용자의 위치를 파악하여 사용자의 위치에 대응되는 지역 정보를 제공하는 구성이 개시된 바 있다. For example, according to Korean Patent Application Laid-Open No. 10-2010-0004269 (Method and Apparatus for Creating a Diary), local information is configured according to the location for each region, and the location of the user who writes the diary is identified to respond to the location of the user. A configuration for providing local information to be used has been disclosed.
전자 기기(예를 들면, 스마트 폰)로부터 사용자의 사진 정보에 포함된 이미지와 위치 정보를 이용하여 GAN(Generative Adversarial Networks)과 단어 임베딩 기법 중 하나인 word2vec을 결합한 학습 모델을 통해 일기를 생성하는 방법 및 장치를 제공할 수 있다. A method of generating a diary through a learning model that combines GAN (Generative Adversarial Networks) and word2vec, one of the word embedding techniques, using the image and location information included in the user's photo information from an electronic device (eg, smart phone) and devices.
일기 생성 장치에 의해 수행되는 일기 생성 방법은, 전자 기기의 사진 정보를 획득하는 단계; 상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 단계; 및 상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성하는 단계를 포함할 수 있다. A diary generating method performed by a diary generating apparatus includes: acquiring photo information of an electronic device; learning by inputting the image and location information included in the obtained photo information into a deep learning-based learning model configured for diary generation; and generating a diary based on the degree of similarity obtained as a result of learning as the learning is performed.
상기 딥러닝 기반의 학습 모델은, GAN(Generative Adversarial Networks)을 포함하고, 상기 학습시키는 단계는, 상기 일기 생성을 위하여 구성된 GAN(Generative Adversarial Networks)를 통해 가짜 데이터(Fake Data)를 생성하는 생성자(Generator)와 가짜 데이터가 얼마나 실제 데이터(Real Data)에 가까운지 판별하는 판별자(Discriminator)를 경쟁하게 만드는 방식으로 학습을 수행하는 단계를 포함할 수 있다. The deep learning-based learning model includes a GAN (Generative Adversarial Networks), and the learning step includes a generator (Fake Data) that generates fake data through a GAN (Generative Adversarial Networks) configured for generating the diary ( generator) and a discriminator that determines how close the fake data is to the real data.
상기 학습시키는 단계는, 상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 상기 GAN(Generative Adversarial Networks)에 입력하여 학습시킴에 따라 상기 생성자가 일기를 생성하고, 상기 판별자가 상기 생성자로부터 생성된 일기와 실제 일기를 비교하여 상기 생성된 일기가 실제 일기에 얼마나 가까운지를 판단하는 단계를 포함할 수 있다. In the learning step, the generator generates a diary as the image and location information included in the acquired photo information are input to the GAN (Generative Adversarial Networks) to learn, and the discriminator generates a diary generated from the generator and determining how close the generated diary is to the actual diary by comparing the diary with the actual diary.
상기 생성자는, CNN(Convolutional Neural Network) 모델 및 LSTM(Long Short Term Memory) 모델로 구성되고, 상기 학습시키는 단계는, 상기 이미지를 상기 생성자에 구성된 CNN 모델에 입력하여 이미지 정보를 분류하고, 상기 분류된 이미지 정보와 상기 위치 정보를 시퀀스 데이터로 사용하여 LSTM 모델에 입력함에 따라 일기를 생성하는 단계를 포함할 수 있다. The generator is composed of a Convolutional Neural Network (CNN) model and a Long Short Term Memory (LSTM) model, and the learning step includes inputting the image into the CNN model configured in the generator to classify image information, and the classification The method may include generating a diary by inputting the image information and the location information as sequence data into the LSTM model.
상기 판별자는, DNN 모델과 자연어 처리를 위한 word2vec로 구성되고, 상기 word2vec는 일기와 관련된 데이터를 토큰화한 뒤, 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터를 생성하고, 생성된 시퀀스 데이터를 학습시켜 일기에 사용되는 각 단어들을 벡터화하여 저장하고, 상기 학습시키는 단계는, 상기 생성자로부터 생성된 일기를 상기 판별자에 입력하여 학습시킴에 따라 가짜 데이터와 실제 데이터의 분포 차이를 학습하여 가짜 데이터와 실제 데이터를 구별하고, 상기 word2vec를 통해 벡터화된 각 단어들의 유사도를 측정하는 단계를 포함할 수 있다. The discriminator is composed of a DNN model and word2vec for natural language processing, and the word2vec tokenizes diary-related data, then generates sequence data using a text to sequence technique, and converts the generated sequence data By learning, vectorizing and storing each word used in the diary, the learning step includes learning the difference between the distribution of fake data and real data by inputting the diary generated from the generator into the discriminator and learning the fake data. and discriminating the actual data, and measuring the similarity of each word vectorized through the word2vec.
상기 일기를 생성하는 단계는, 상기 학습 모델에 구성된 생성자와 판별자가 학습을 반복함에 따라 상기 판별자에서 가짜 데이터와 실제 데이터가 기 설정된 기준 이상의 유사도를 갖는 것으로 판단될 경우, 학습 모델의 학습을 종료하고, 상기 학습이 종료될 때의 생성자 모델을 사용하여 일기를 생성하는 단계를 포함할 수 있다. In the step of generating the diary, when it is determined by the discriminator that fake data and real data have a similarity greater than or equal to a preset standard as the generator and discriminator configured in the learning model repeat learning, learning of the learning model is terminated. and generating a diary using a generator model when the learning is finished.
일기 생성 장치는, 전자 기기의 사진 정보를 획득하는 정보 획득부; 상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 학습부; 및 상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성하는 일기 생성부를 포함할 수 있다. The diary generating apparatus includes: an information acquisition unit configured to acquire photo information of an electronic device; a learning unit for learning by inputting the image and location information included in the obtained photo information into a deep learning-based learning model configured for diary generation; and a diary generator configured to generate a diary based on a degree of similarity obtained as a result of learning as the learning is performed.
사용자의 사진과 위치 정보를 이용하여 전자 기기에 일기를 자동으로 기록할 수 있다. A diary can be automatically recorded on an electronic device using the user's photo and location information.
도 1은 일 실시예에 따른 일기 생성 장치의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 일기 생성 장치에서 딥러닝 기반의 일기 생성 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 일기 생성 장치에서 딥러닝 기법으로 사용되는 GAN을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 일기 생성 장치에서 GAN의 생성자를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 일기 생성 장치에서 GAN의 판별자를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 일기 생성 장치의 딥러닝 기반의 일기 생성 모델을 설명하기 위한 도면이다. 1 is a block diagram illustrating a configuration of a diary generating apparatus according to an exemplary embodiment.
2 is a flowchart illustrating a method for generating a diary based on deep learning in a diary generating apparatus according to an exemplary embodiment.
3 is a diagram for explaining a GAN used as a deep learning technique in the diary generating apparatus according to an embodiment.
4 is a diagram for describing a generator of a GAN in a diary generating apparatus according to an exemplary embodiment.
5 is a diagram for describing a discriminator of a GAN in a diary generating apparatus according to an embodiment.
6 is a diagram for explaining a deep learning-based diary generating model of the diary generating apparatus according to an exemplary embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 일기 생성 장치의 구성을 설명하기 위한 블록도이고, 도 2는 일 실시예에 따른 일기 생성 장치에서 딥러닝 기반의 일기를 생성하는 방법을 설명하기 위한 흐름도이다.FIG. 1 is a block diagram illustrating a configuration of a diary generating apparatus according to an embodiment, and FIG. 2 is a flowchart illustrating a method of generating a deep learning-based diary in the diary generating apparatus according to an embodiment.
일기 생성 장치(100)에 포함된 프로세서는 정보 획득부(110), 학습부(120) 및 일기 생성부(130)를 포함할 수 있다. 이러한 프로세서 및 프로세서의 구성요소들은 도 2의 딥러닝 기반의 일기 생성 방법이 포함하는 단계들(210 내지 230)을 수행하도록 일기 생성 장치를 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서의 구성요소들은 일기 생성 장치(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. The processor included in the
프로세서는 딥러닝 기반의 일기 생성 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 일기 생성 장치(100)에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 일기 생성 장치를 제어할 수 있다. The processor may load the program code stored in the file of the program for the deep learning-based diary generation method into the memory. For example, when a program is executed in the
단계(210)에서 정보 획득부(110)는 전자 기기의 사진 정보를 획득할 수 있다. In
단계(220)에서 학습부(120)는 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시킬 수 있다. 이때, 딥러닝 기반의 학습 모델은, GAN(Generative Adversarial Networks)을 포함할 수 있다. 학습부(120)는 일기 생성을 위하여 구성된 GAN(Generative Adversarial Networks)를 통해 가짜 데이터(Fake Data)를 생성하는 생성자(Generator)와 가짜 데이터가 얼마나 실제 데이터(Real Data)에 가까운지 판별하는 판별자(Discriminator)를 경쟁하게 만드는 방식으로 학습을 수행할 수 있다. 학습부(120)는 획득된 사진 정보에 포함된 이미지와 위치 정보를 GAN(Generative Adversarial Networks)에 입력하여 학습시킴에 따라 생성자가 일기를 생성하고, 판별자가 생성자로부터 생성된 일기와 실제 일기를 비교하여 생성된 일기가 실제 일기에 얼마나 가까운지를 판단할 수 있다. 예를 들면, 학습부(120)는 실제 일기에 사용되는 문장 구성 방식(형태)에 기초하여 생성자로부터 생성된 일기 형식을 비교할 수 있다. 이때, 생성자는, CNN(Convolutional Neural Network) 모델 및 LSTM(Long Short Term Memory) 모델로 구성될 수 있다. 학습부(120)는 이미지를 생성자에 구성된 CNN 모델에 입력하여 이미지 정보를 분류하고, 분류된 이미지 정보와 위치 정보를 시퀀스 데이터로 사용하여 LSTM 모델에 입력함에 따라 일기를 생성할 수 있다. 이때, 판별자는, DNN 모델과 자연어 처리를 위한 word2vec로 구성될 수 있고, word2vec는 일기와 관련된 데이터를 토큰화한 뒤, 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터를 생성하고, 생성된 시퀀스 데이터를 학습시켜 일기에 사용되는 각 단어들을 벡터화하여 저장할 수 있다. 학습부(120)는 생성자로부터 생성된 일기를 판별자에 입력하여 학습시킴에 따라 가짜 데이터와 실제 데이터의 분포 차이를 학습하여 가짜 데이터와 실제 데이터를 구별하고, word2vec를 통해 벡터화된 각 단어들의 유사도를 측정할 수 있다. In
단계(230)에서 일기 생성부(130)는 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성할 수 있다. 일기 생성부(130)는 학습 모델에 구성된 생성자와 판별자가 학습을 반복함에 따라 판별자에서 가짜 데이터와 실제 데이터가 기 설정된 기준 이상의 유사도를 갖는 것으로 판단될 경우, 학습 모델의 학습을 종료하고, 학습이 종료될 때의 생성자 모델을 사용하여 일기를 생성할 수 있다. In
도 3은 일 실시예에 따른 일기 생성 장치에서 딥러닝 기법으로 사용되는 GAN을 설명하기 위한 도면이다.3 is a diagram for explaining a GAN used as a deep learning technique in the diary generating apparatus according to an embodiment.
일기 생성 장치는 딥러닝 기법으로 사용되는 GAN(Generative Adversarial Networks)를 이용하여 일기를 생성할 수 있다. GAN은 딥러닝의 기법 중 하나로 흔히 알고 있는 지도 학습(Supervised Leaning)이 아닌 비지도 학습(Unsupervised Leaning)으로 정답을 필요로 하지 않는다. 이로 인해 인공지능과 달리 '수동적 학습'에서 벗어나 '능동적 학습'을 할 수 있는 AI 탄생을 위한 초석을 만든 것으로 평가받고 있으며 이미지 생성, 텍스트 생성, 음성 합성 등 다양한 분야에서 활용되고 있다.The diary generating apparatus may generate a diary by using Generative Adversarial Networks (GAN) used as a deep learning technique. GAN is one of the deep learning techniques, and it does not require an answer because it is unsupervised learning, not supervised learning, which is commonly known. For this reason, unlike artificial intelligence, it is evaluated that it has laid the foundation for the birth of AI that can do 'active learning' away from 'passive learning', and is being used in various fields such as image generation, text generation, and speech synthesis.
도 3을 참고하면, GAN은 가짜 데이터(Fake Data)를 생성하는 생성자(Generator)(310)와 가짜 데이터(Fake Data)가 얼마나 실제 데이터(Real Data)에 가까운지 판별하는 판별자(Discriminator)(320)를 경쟁하게 만드는 방식으로 학습을 수행한다. 생성자(310)는 화폐 위조꾼처럼 가짜 데이터를 생성하고, 판별자(320)는 경찰처럼 가짜 데이터가 진짜와 가까운지 아닌지를 판단하는 역할을 수행할 수 있다. 이러한 과정이 계속 반복되면서 생성자(310)는 점점 실제 데이터와 비슷한 가짜 데이터를 생성해 내고, 판별자(320)는 점점 실제 데이터와 가짜 데이터의 판별을 더 잘할 수 있게 된다. Referring to FIG. 3, the GAN is a
실시예에서의 생성자(310)는 전자 기기로부터 사진 정보에 포함된 이미지와 사진의 위치 정보를 전달받아 일기를 생성하고, 판별자(320)는 생성자(310)가 생성한 일기와 실제 일기를 비교하여 실제 일기에 얼마나 가까운지 여부를 판단할 수 있다.In the embodiment, the
도 4는 일 실시예에 따른 일기 생성 장치에서 GAN의 생성자를 설명하기 위한 도면이다. 4 is a diagram for describing a generator of a GAN in a diary generating apparatus according to an exemplary embodiment.
실시예에서 GAN의 생성자는 CNN(Convolutional Neural Network) 모델과 LSTM(Long Short Term Memory) 모델을 사용할 수 있다. 이때, 생성자는 적어도 하나 이상의 CNN 모델 및 적어도 하나 이상의 LSTM 모델로 구성될 수 있다. In an embodiment, the generator of the GAN may use a Convolutional Neural Network (CNN) model and a Long Short Term Memory (LSTM) model. In this case, the generator may be composed of at least one CNN model and at least one LSTM model.
일기 생성 장치는 전자 기기로부터 사진 정보를 획득할 수 있다. 전자 기기(110)는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 전자 기기(110)의 예를 들면, 스마트 폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 실시예에서는 전자 기기로 스마트 폰을 예를 들어 설명하기로 한다. The diary generating apparatus may obtain photo information from the electronic device. The
예를 들면, 전자 기기를 통하여 사진이 촬영될 수 있고, 사용자로부터 인터넷 검색을 통하여 사진 정보가 저장될 수 있고, 또는, 다른 사용자와의 대화(예를 들면, 메신저를 통한 메시지 송수신)를 통해 사진 정보가 획득될 수 있다. 이때, 전자 기기로부터 획득된 사진 정보에 사진이 촬영된 시점, 수정된 시점, 위치 정보, 해상도, 저장된 공간 정보(저장소) 등과 같이 메타 데이터가 포함될 수 있다. For example, a picture may be taken through an electronic device, picture information may be stored through an Internet search from a user, or a picture may be obtained through a conversation with another user (eg, sending and receiving a message through a messenger). Information may be obtained. In this case, the photo information obtained from the electronic device may include metadata such as when the photo was taken, when the photo was corrected, location information, resolution, and stored spatial information (storage).
일기 생성 장치는 전자 기기로부터 획득된 사진 정보를 이용하여 CNN 모델에 입력으로 사용할 수 있다. 일기 생성 장치는 사진 정보를 CNN 모델에 입력하여 학습시킴에 따라 사진을 분류할 수 있다. 예를 들면, 일기 생성 장치는 사진 정보를 통하여 풍경(배경), 음식, 인물, 등으로 이미지를 1차적으로 분류할 수 있다. 이때, 이미지를 분류하기 위한 카테고리를 설정할 수 있고, 설정된 카테고리에 기초하여 이미지를 분류할 수 있다. 이후, 1차적으로 분류된 이미지로부터 이미지의 상세 정보(예를 들면, 이순신 동상, 고기 식당 등)가 판단될 수 있다. 또는, 일기 생성 장치는 사진 정보의 분석을 통하여 자동으로 이미지를 분류할 수도 있다. 또는, 일기 생성 장치는 사진 정보의 분석을 통하여 이미지의 특징을 추출할 수 있고, 추출된 이미지의 특징에 기초하여 이미지를 분류할 수도 있다. The diary generating apparatus may use the photo information obtained from the electronic device as an input to the CNN model. The diary generator may classify photos by inputting photo information into the CNN model and training it. For example, the diary generating apparatus may primarily classify images into landscapes (background), food, people, and the like through photo information. In this case, a category for classifying the image may be set, and the image may be classified based on the set category. Thereafter, detailed information (eg, a statue of Yi Sun-sin, a meat restaurant, etc.) of the image may be determined from the primarily classified image. Alternatively, the diary generating apparatus may automatically classify images through analysis of photo information. Alternatively, the diary generating apparatus may extract features of the image through analysis of photo information, and classify the image based on the extracted features of the image.
일기 생성 장치는 분류된 이미지와 전자 기기에 저장된 이미지의 위치 정보를 시퀀스 데이터(sequence data)로 하여 LSTM 모델에 입력할 수 있다. 이때, 이미지의 위치 정보는 장소 정보일 수 있다. 예를 들면, 이미지의 위치 정보가 좌표 정보로 되어 있을 경우, 좌표 정보에 기초하여 기 저장된 정보와 매칭시킴으로써 장소 정보가 추정될 수 있다. 이에, 이미지의 위치 정보로부터 장소명(예를 들면, 광화문), 식당 등과 같은 장소 정보가 추정될 수 있다. 일기 생성 장치는 시퀀스 데이터를 LSTM 모델의 입력 데이터 사용함에 따라 학습의 결과로서, 일기를 출력할 수 있다. 이때, 생성자로부터 일기는 가짜 데이터 및 실제 데이터가 포함될 수 있다. The diary generating apparatus may input the classified image and position information of the image stored in the electronic device as sequence data to the LSTM model. In this case, the location information of the image may be location information. For example, when the location information of the image is the coordinate information, the location information may be estimated by matching it with pre-stored information based on the coordinate information. Accordingly, place information such as a place name (eg, Gwanghwamun) and a restaurant may be estimated from the location information of the image. The diary generating apparatus may output a diary as a result of learning by using the sequence data as input data of the LSTM model. In this case, the diary from the creator may contain fake data and real data.
도 5는 일 실시예에 따른 일기 생성 장치에서 GAN의 판별자를 설명하기 위한 도면이다. 5 is a diagram for describing a discriminator of a GAN in a diary generating apparatus according to an embodiment.
실시예에서 GAN의 판별자는 GAN의 부족한 자연어 처리를 보강하기 위하여 word2vec을 사용하여 가짜 데이터와 실제 데이터의 판단에 도움을 줄 수 있다. word2vec은 판별자에 적용하기 전에, 일기들을 학습시켜 일기에 포함된 각 단어들을 벡터로 생성하여 저장할 수 있다. 그 후, 생성자로부터 생성된 가짜 데이터 및 실제 데이터가 판별자의 입력 데이터로 입력될 수 있다. 판별자는 생성자로부터 생성된 가짜 데이터와 실제 데이터의 각 단어의 벡터간 유사도를 계산하여 실제 데이터와 가짜 데이터를 구별할 수 있다. 이때, 가짜 데이터와 실제 데이터는 문장 형태로 구성되어 있을 수 있으며, 문장에 구성된 각각의 단어의 유사도가 판단될 수 있다. 판별자는 word2vec와 DNN(Deep Neural Network) 모델로 구성될 수 있다. DNN은 가짜 데이터와 실제 데이터의 분포(Distribution)를 통해 유사도를 판단하여 가짜 데이터와 실제 데이터를 구별할 수 있도록 학습할 수 있다. word2vec과 DNN을 통해 출력된 가짜 데이터와 실제 데이터의 유사도를 종합하여 최종적인 결과값이 출력될 수 있다. In an embodiment, the discriminator of the GAN may use word2vec to reinforce the insufficient natural language processing of the GAN to help determine fake data and real data. word2vec can learn the diaries before applying it to the discriminator, generate and store each word included in the diary as a vector. Thereafter, fake data and real data generated by the generator may be input as input data of the discriminator. The discriminator can distinguish the real data from the fake data by calculating the similarity between the vectors of each word of the fake data generated by the generator and the real data. In this case, the fake data and the real data may be configured in the form of a sentence, and the similarity of each word configured in the sentence may be determined. The discriminator can be composed of word2vec and a deep neural network (DNN) model. DNN can learn to distinguish fake data from real data by determining similarity through the distribution of fake data and real data. The final result can be output by synthesizing the similarity between the fake data and the real data output through word2vec and DNN.
도 6은 일 실시예에 따른 일기 생성 장치의 딥러닝 기반의 일기 생성 모델을 설명하기 위한 도면이다. 6 is a diagram for explaining a deep learning-based diary generating model of the diary generating apparatus according to an exemplary embodiment.
생성자 모델의 훈련에는 도 4에서 설명한 바와 같이, 사용자의 사진 정보에 포함된 이미지와 이미지의 위치 정보가 입력 데이터로 입력될 수 있다. 예를 들면, 사용자의 사진 정보에 포함된 이미지와 이미지의 위치 정보를 훈련 데이터로 사용하여 생성자 모델을 훈련시킬 수 있다. 이미지 생성 장치는 이미지의 경우, 모든 이미지의 해상도를 기 설정된 기준에 맞추어 학습 모델(생성자)의 입력으로 일정하게 들어가도록 전처리를 수행할 수 있고, 위치 정보의 경우, 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터를 생성하여 사용할 수 있다. 학습이 진행될수록 학습 모델(생성자)은 일기의 확률 분포(Probability Distribution)를 찾게 되고, 확률 분포와 유사한 분포를 가지는 일기를 생성할 수 있다. In training the generator model, as described with reference to FIG. 4 , an image included in the user's photo information and location information of the image may be input as input data. For example, the generator model may be trained using an image included in the user's photo information and location information of the image as training data. In the case of an image, the image generating apparatus may perform preprocessing so that the resolution of all images is uniformly entered as an input of a learning model (creator) according to a preset criterion, and in the case of location information, text to sequence It can be used to generate sequence data using the technique. As learning progresses, the learning model (creator) finds the probability distribution of the diary, and can generate a diary having a distribution similar to the probability distribution.
판별자 모델에 사용하는 word2vec은 실제 일기 데이터를 토큰화(tokenize)한 뒤 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터로 생성하여 학습시킬 수 있다. 학습이 완료된 word2vec에는 일기에 사용되는 단어들이 벡터화 되어 저장될 수 있다. The word2vec used in the discriminator model can be trained by tokenizing the actual diary data and then generating it as sequence data using the text to sequence technique. The words used in the diary can be vectorized and stored in word2vec where learning is completed.
판별자 모델의 훈련에는 도 5에서 설명한 바와 같이, 생성자로부터 생성된 가짜 데이터와 실제 데이터가 입력으로 사용될 수 있다. 예를 들면, 생성자로부터 생성된 가짜 데이터와 실제 데이터를 훈련 데이터로 사용하여 판별자 모델을 훈련시킬 수 있다. DNN은 가짜 데이터와 실제 데이터의 분포 차이를 학습하여 가짜 데이터와 실제 데이터를 구별하도록 하고, word2vec은 미리 저장 되어있는 각 단어의 벡터간 유사도를 측정한다. word2vec과 DNN을 통해 출력된 가짜 데이터와 실제 데이터의 유사도를 종합하여 두 데이터의 일치 여부를 구별할 수 있다.In training the discriminator model, as described in FIG. 5 , fake data and real data generated from the generator may be used as inputs. For example, a discriminator model can be trained using fake and real data generated from the generator as training data. DNN learns the distribution difference between fake data and real data to distinguish fake data from real data, and word2vec measures the similarity between vectors of each word stored in advance. By synthesizing the similarity between fake data and real data output through word2vec and DNN, it is possible to distinguish whether the two data match.
생성자 모델과 판별자 모델이 학습을 반복할 수 있다. 이와 같이, 학습을 반복함에 따라 생성자 모델은 점점 실제 데이터와 가까운 가짜 데이터를 생성하고, 판별자 모델은 가짜 데이터와 실제 데이터를 더욱 확실하게 구별할 수 있다. 예를 들면, 판별자 모델에서 가짜 데이터와 실제 데이터의 유사도가 기 설정된 기준 이상일 경우, 이상적이라고 판단될 수 있다. 판별자 모델에서 가짜 데이터와 실제 데이터가 기 설정된 기준 이상일 경우, 판별자 모델이 모든 가짜 데이터가 실제 데이터라고 판단할 수 있고, 이때, 학습은 종료될 수 있다. 학습이 종료될 때의 생성자 모델을 사용하여 실제와 매우 유사한 일기를 생성할 수 있다. 일례로, 복수 개의 문장 형태로 구성된 일기가 생성될 수 있다. 이때, 일기는 텍스트 데이터 또는/및 이미지 데이터로 구성된 일기가 생성될 수 있고, 생성된 일기가 전자 기기의 화면을 통하여 출력될 수 있다. 이와 같이 생성된 일기는 날짜별로 일기장에 저장될 수 있다. 또한, 기간별, 이벤트별 등 사용자로부터 설정된 조건 정보에 기초하여 일기장이 분류되어 저장될 수 있다.The generator model and discriminator model can repeat learning. As described above, as the learning is repeated, the generator model gradually generates fake data close to the real data, and the discriminator model can more reliably distinguish the fake data from the real data. For example, when the similarity between fake data and real data in the discriminator model is greater than or equal to a preset criterion, it may be determined to be ideal. When the fake data and the real data in the discriminator model are greater than or equal to a preset criterion, the discriminator model may determine that all fake data are real data, and in this case, the learning may be terminated. A generator model at the end of training can be used to generate a very realistic diary. As an example, a diary configured in the form of a plurality of sentences may be generated. In this case, as the diary, a diary composed of text data and/or image data may be generated, and the generated diary may be output through the screen of the electronic device. The generated diary may be stored in the diary by date. In addition, the diary may be classified and stored based on condition information set by the user, such as by period and by event.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (7)
전자 기기의 사진 정보를 획득하는 단계;
상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 단계; 및
상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성하는 단계
를 포함하는 일기 생성 방법. A diary generating method performed by a diary generating device, comprising:
obtaining photo information of the electronic device;
learning by inputting the image and location information included in the obtained photo information into a deep learning-based learning model configured for diary generation; and
generating a diary based on the degree of similarity obtained as a result of learning as the learning is performed
How to create a diary, including.
상기 딥러닝 기반의 학습 모델은, GAN(Generative Adversarial Networks)을 포함하고,
상기 학습시키는 단계는,
상기 일기 생성을 위하여 구성된 GAN(Generative Adversarial Networks)를 통해 가짜 데이터(Fake Data)를 생성하는 생성자(Generator)와 가짜 데이터가 얼마나 실제 데이터(Real Data)에 가까운지 판별하는 판별자(Discriminator)를 경쟁하게 만드는 방식으로 학습을 수행하는 단계
를 포함하는 일기 생성 방법. According to claim 1,
The deep learning-based learning model includes GAN (Generative Adversarial Networks),
The learning step is,
Compete with a generator that generates fake data through Generative Adversarial Networks (GAN) configured for generating the diary and a discriminator that determines how close the fake data is to real data Steps to learn in a way that makes you
How to create a diary, including.
상기 학습시키는 단계는,
상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 상기 GAN(Generative Adversarial Networks)에 입력하여 학습시킴에 따라 상기 생성자가 일기를 생성하고, 상기 판별자가 상기 생성자로부터 생성된 일기와 실제 일기를 비교하여 상기 생성된 일기가 실제 일기에 얼마나 가까운지를 판단하는 단계
를 포함하는 일기 생성 방법. 3. The method of claim 2,
The learning step is,
By inputting the image and location information included in the acquired photo information into the GAN (Generative Adversarial Networks) and learning, the generator creates a diary, and the discriminator compares the diary generated from the generator with the actual diary. Determining how close the generated diary is to an actual diary
How to create a diary, including.
상기 생성자는, CNN(Convolutional Neural Network) 모델 및 LSTM(Long Short Term Memory) 모델로 구성되고,
상기 학습시키는 단계는,
상기 이미지를 상기 생성자에 구성된 CNN 모델에 입력하여 이미지 정보를 분류하고, 상기 분류된 이미지 정보와 상기 위치 정보를 시퀀스 데이터로 사용하여 LSTM 모델에 입력함에 따라 일기를 생성하는 단계
를 포함하는 일기 생성 방법. 4. The method of claim 3,
The generator is composed of a Convolutional Neural Network (CNN) model and a Long Short Term Memory (LSTM) model,
The learning step is,
Classifying image information by inputting the image into a CNN model configured in the generator, and generating a diary by inputting the classified image information and the location information into an LSTM model as sequence data.
How to create a diary, including.
상기 판별자는, DNN 모델과 자연어 처리를 위한 word2vec로 구성되고,
상기 word2vec는 일기와 관련된 데이터를 토큰화한 뒤, 텍스트 투 시퀀스(text to sequence) 기법으로 시퀀스 데이터를 생성하고, 생성된 시퀀스 데이터를 학습시켜 일기에 사용되는 각 단어들을 벡터화하여 저장하고,
상기 학습시키는 단계는,
상기 생성자로부터 생성된 일기를 상기 판별자에 입력하여 학습시킴에 따라 가짜 데이터와 실제 데이터의 분포 차이를 학습하여 가짜 데이터와 실제 데이터를 구별하고, 상기 word2vec를 통해 벡터화된 각 단어들의 유사도를 측정하는 단계
를 포함하는 일기 생성 방법. 4. The method of claim 3,
The discriminator is composed of a DNN model and word2vec for natural language processing,
The word2vec tokenizes data related to the diary, generates sequence data using a text-to-sequence technique, learns the generated sequence data, vectors and stores each word used in the diary,
The learning step is,
By inputting the diary generated from the generator into the discriminator and learning the difference in the distribution of fake data and real data, the fake data and real data are distinguished, and the similarity of each word vectorized through word2vec is measured. step
How to create a diary, including.
상기 일기를 생성하는 단계는,
상기 학습 모델에 구성된 생성자와 판별자가 학습을 반복함에 따라 상기 판별자에서 가짜 데이터와 실제 데이터가 기 설정된 기준 이상의 유사도를 갖는 것으로 판단될 경우, 학습 모델의 학습을 종료하고, 상기 학습이 종료될 때의 생성자 모델을 사용하여 일기를 생성하는 단계
를 포함하는 일기 생성 방법. According to claim 1,
The step of creating the diary is,
As the generator and the discriminator configured in the learning model repeat learning, when the discriminator determines that the fake data and the real data have a similarity greater than or equal to a preset standard, the learning of the learning model is terminated, and when the learning is finished Steps to generate a diary using the constructor model of
How to create a diary, including.
전자 기기의 사진 정보를 획득하는 정보 획득부;
상기 획득된 사진 정보에 포함된 이미지와 위치 정보를 일기 생성을 위하여 구성된 딥러닝 기반의 학습 모델에 입력하여 학습시키는 학습부; 및
상기 학습을 수행함에 따라 학습 결과로서 획득된 유사도에 기초하여 일기를 생성하는 일기 생성부
를 포함하는 일기 생성 장치.
In the diary generating device,
an information acquisition unit configured to acquire photo information of the electronic device;
a learning unit for learning by inputting the image and location information included in the obtained photo information into a deep learning-based learning model configured for diary generation; and
A diary generator that generates a diary based on the degree of similarity obtained as a result of learning as the learning is performed
A diary generating device comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200048873A KR102476334B1 (en) | 2020-04-22 | 2020-04-22 | Diary generator using deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200048873A KR102476334B1 (en) | 2020-04-22 | 2020-04-22 | Diary generator using deep learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210130529A true KR20210130529A (en) | 2021-11-01 |
| KR102476334B1 KR102476334B1 (en) | 2022-12-09 |
Family
ID=78519250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200048873A KR102476334B1 (en) | 2020-04-22 | 2020-04-22 | Diary generator using deep learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102476334B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102488429B1 (en) * | 2022-09-01 | 2023-01-13 | 한화시스템(주) | System and method for providing naval gun firing specifications based on deep learning |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100004269A (en) * | 2008-07-03 | 2010-01-13 | 팅크웨어(주) | Method and apparatus for writing diary |
| KR101754093B1 (en) * | 2016-09-01 | 2017-07-05 | 성기봉 | Personal records management system that automatically classify records |
| KR20180080098A (en) * | 2017-01-03 | 2018-07-11 | 삼성전자주식회사 | Image display device and operating method for the same |
| KR20190038751A (en) * | 2017-08-29 | 2019-04-09 | 핑안 테크놀로지 (션젼) 컴퍼니 리미티드 | User keyword extraction apparatus, method and computer readable storage medium |
| WO2019238712A1 (en) * | 2018-06-13 | 2019-12-19 | Cosmo Artificial Intelligence - Al Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
-
2020
- 2020-04-22 KR KR1020200048873A patent/KR102476334B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100004269A (en) * | 2008-07-03 | 2010-01-13 | 팅크웨어(주) | Method and apparatus for writing diary |
| KR101754093B1 (en) * | 2016-09-01 | 2017-07-05 | 성기봉 | Personal records management system that automatically classify records |
| KR20180080098A (en) * | 2017-01-03 | 2018-07-11 | 삼성전자주식회사 | Image display device and operating method for the same |
| KR20190038751A (en) * | 2017-08-29 | 2019-04-09 | 핑안 테크놀로지 (션젼) 컴퍼니 리미티드 | User keyword extraction apparatus, method and computer readable storage medium |
| WO2019238712A1 (en) * | 2018-06-13 | 2019-12-19 | Cosmo Artificial Intelligence - Al Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102488429B1 (en) * | 2022-09-01 | 2023-01-13 | 한화시스템(주) | System and method for providing naval gun firing specifications based on deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102476334B1 (en) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | Cms-rcnn: contextual multi-scale region-based cnn for unconstrained face detection | |
| US10354362B2 (en) | Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network | |
| CN111260545B (en) | Method and device for generating image | |
| CN112990054B (en) | Compact linguistics-free facial expression embedding and novel triple training scheme | |
| US20190034814A1 (en) | Deep multi-task representation learning | |
| CN111275784B (en) | Method and device for generating image | |
| WO2023020005A1 (en) | Neural network model training method, image retrieval method, device, and medium | |
| KR20200087977A (en) | Multimodal ducument summary system and method | |
| WO2023134082A1 (en) | Training method and apparatus for image caption statement generation module, and electronic device | |
| US10699458B2 (en) | Image editor for merging images with generative adversarial networks | |
| US20220230648A1 (en) | Method, system, and non-transitory computer readable record medium for speaker diarization combined with speaker identification | |
| CN112818995B (en) | Image classification method, device, electronic equipment and storage medium | |
| JP2020522773A (en) | Detection and representation of objects in images | |
| CN112804558B (en) | Video splitting method, device and equipment | |
| US20230067934A1 (en) | Action Recognition Method, Apparatus and Device, Storage Medium and Computer Program Product | |
| CN114298122A (en) | Data classification method, device, equipment, storage medium and computer program product | |
| US10504002B2 (en) | Systems and methods for clustering of near-duplicate images in very large image collections | |
| US10943377B2 (en) | Creating images using image anchors and generative adversarial networks | |
| US11810388B1 (en) | Person re-identification method and apparatus based on deep learning network, device, and medium | |
| CN113408282B (en) | Method, device, equipment and storage medium for topic model training and topic prediction | |
| Yan et al. | A multi-task learning model for better representation of clothing images | |
| KR102476334B1 (en) | Diary generator using deep learning | |
| US10957017B1 (en) | Synthetic image detector | |
| US20230130662A1 (en) | Method and apparatus for analyzing multimodal data | |
| US20230153630A1 (en) | Method and apparatus for training language model for multi-modal dialog |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |