KR20200027096A - Apparatus and method for generating learning engine based on deep learing of lego type - Google Patents

Apparatus and method for generating learning engine based on deep learing of lego type Download PDF

Info

Publication number
KR20200027096A
KR20200027096A KR1020180103530A KR20180103530A KR20200027096A KR 20200027096 A KR20200027096 A KR 20200027096A KR 1020180103530 A KR1020180103530 A KR 1020180103530A KR 20180103530 A KR20180103530 A KR 20180103530A KR 20200027096 A KR20200027096 A KR 20200027096A
Authority
KR
South Korea
Prior art keywords
learning
target
lego
deep learning
learning engine
Prior art date
Application number
KR1020180103530A
Other languages
Korean (ko)
Other versions
KR102191773B1 (en
Inventor
한승완
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180103530A priority Critical patent/KR102191773B1/en
Publication of KR20200027096A publication Critical patent/KR20200027096A/en
Application granted granted Critical
Publication of KR102191773B1 publication Critical patent/KR102191773B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

Disclosed are an apparatus and a method for generating a LEGO type learning engine based on deep learning. According to an embodiment of the present invention, the apparatus for generating a LEGO type learning engine based on deep learning comprises: a user intention analysis part analyzing an intention of a user by using at least one of natural language information and image information input from the user; a target job recommendation part recommending a target task corresponding to the intention of the user; and a learning engine generation part selecting a plurality of learning engines to perform the target task and combining the plurality of learning engines to generate a LEGO type learning engine based on deep learning.

Description

레고형 딥러닝 학습엔진 생성 장치 및 방법 {APPARATUS AND METHOD FOR GENERATING LEARNING ENGINE BASED ON DEEP LEARING OF LEGO TYPE}Apparatus and method for creating LEGO deep learning learning engines {APPARATUS AND METHOD FOR GENERATING LEARNING ENGINE BASED ON DEEP LEARING OF LEGO TYPE}

본 발명은 딥러닝(Deep learning) 기술에 관한 것으로, 보다 상세하게는 딥러닝 학습엔진 생성 기술에 관한 것이다.The present invention relates to a deep learning technology, and more particularly, to a deep learning learning engine generation technology.

최근 딥러닝 기술이 각광을 받으면서 자율주행, 보안, 관제, 방범 등 다양한 분야에서 지능화된 기능 제공을 위해 딥러닝 기술기반 학습엔진을 활용하고 있다. 딥러닝을 이용한 학습엔진은 기존의 다른 AI 기술에 기반은 둔 학습엔진보다 월등히 뛰어난 지능 성능을 보이고 있다. 그러나, 딥러닝 기술 기반의 지능을 제공하는 학습엔진을 생성하기 위해서는 딥 네트워크 설계, 학습 함수 설정, 파라미터 튜닝 등 여러 가지 어려운 난관이 있다. 이러한 문제들은 딥러닝 전문가가 아니면 쉽게 할 수 없어, 누구나 쉽게 딥러닝 기반 학습엔진을 갖기 어렵다. 또한 학습엔진을 생성할 때마다, 딥러닝의 공통적인 요소를 중복 사용하게 되어, 동일한 과정을 반복 수행해야 하는 문제가 있다.Recently, as deep learning technology has come into the spotlight, deep learning technology-based learning engines are being used to provide intelligent functions in various fields such as autonomous driving, security, control, and crime prevention. Learning engines using deep learning show superior intelligence performance than learning engines based on other AI technologies. However, in order to create a learning engine that provides intelligence based on deep learning technology, there are various difficulties, such as deep network design, learning function setting, and parameter tuning. These problems cannot be easily done without a deep learning expert, so it is difficult for anyone to have a deep learning based learning engine. Also, whenever a learning engine is generated, a common element of deep learning is used repeatedly, and there is a problem that the same process must be repeatedly performed.

한편, 한국등록특허 제 10-1787611 호“딥 러닝 기반의 자가 적응 학습 엔진 모듈”는 자가 적응 기술과 딥 러닝 기반의 학습 기술을 결합하여, DNA 미션을 자가 조직하고 인공신경망 DNA 모델을 자가 구성함으로써, 상황을 이해해서 스스로 미션을 파악하고 모델을 만들어 상황을 해결하는 인간의 두뇌 메커니즘을 효과적으로 구현할 수 있는, 딥 러닝 기반의 자가 적응 학습 엔진 모듈 제공에 관하여 개시하고 있다.On the other hand, Korean Registered Patent No. 10-1787611 “Deep Learning-Based Self-Adaptive Learning Engine Module” combines self-adaptation technology and deep learning-based learning technology to self-organize DNA missions and self-organize artificial neural network DNA models. We are launching a self-adaptive learning engine module based on deep learning that can effectively implement the human brain mechanism to understand the situation, understand the mission and create a model to solve the situation.

본 발명은 사용자의 의향을 분석하여 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 레고형 딥러닝 학습엔진을 자동 생성하여 제공하는 것을 목적으로 한다.An object of the present invention is to analyze a user's intention and to provide a Lego-type deep learning learning engine required for a user without difficulty even if the user does not have expert knowledge regarding deep learning.

또한, 본 발명은 레고형 딥러닝 학습 엔진 생성에 있어서, 반복적인 과정 및 시스템 중복을 제거하여 효율적으로 레고형 딥러닝 학습엔진을 생성하는 것을 목적으로 한다.In addition, an object of the present invention is to generate a LEGO deep learning learning engine efficiently by removing repetitive processes and system duplication in generating a LEGO deep learning learning engine.

상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 장치는 사용자로부터 입력 받은 자연어 정보 및 영상 정보 중 적어도 하나 이상을 이용하여 사용자 의향을 분석하는 사용자 의향 분석부; 상기 사용자 의향에 상응하는 목적 작업을 추천하는 목적 작업 추천부 및 상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택하고, 상기 복수개의 학습엔진들을 조합하여 레고형 딥러닝 학습엔진을 생성하는 학습엔진 생성부를 포함한다.An apparatus for generating a LEGO deep learning learning engine according to an embodiment of the present invention for achieving the above object includes a user intention analysis unit that analyzes a user's intention using at least one of natural language information and image information received from a user; A learning engine for selecting a target task recommendation unit for recommending a target task corresponding to the user's intention and a plurality of learning engines for performing the target task, and combining the plurality of learning engines to generate a LEGO deep learning learning engine It includes a generator.

이 때, 상기 레고형 딥러닝 학습엔진 생성 장치는 상기 목적 작업을 상기 사용자에게 추천하여 사용자 의향에 상응하는 목적 작업인지 확인하는 학습엔진 요청부를 더 포함할 수 있다.In this case, the LEGO deep learning learning engine generating apparatus may further include a learning engine request unit that recommends the target task to the user and checks whether the target task corresponds to a user's intention.

이 때, 상기 목적 작업 추천부는 상기 사용자 의향과 목적 작업 풀(POOL)에 기저장된 복수개의 목적 작업들과의 작업유사도를 계산하여 가장 높은 작업유사도를 갖는 어느 하나의 목적 작업을 추천할 수 있다.At this time, the target job recommendation unit may recommend one of the target jobs having the highest job similarity by calculating job similarities between the user intention and a plurality of target jobs pre-stored in the target job pool POOL.

이 때, 상기 목적 작업 추천부는 상기 목적 작업들에 기설정된 조건에 따라 가중치를 설정하고, 상기 가중치가 설정된 목적 작업들로부터 계산된 작업유사도의 가중합(WEIGHTED SUM)을 산출하여 상기 어느 하나의 목적 작업을 추천할 수 있다.At this time, the target job recommendation unit sets a weight according to a preset condition for the target jobs, calculates a weighted sum of the work similarity calculated from the target jobs for which the weight is set, and calculates a weighted sum (WEIGHTED SUM). Can recommend work.

이 때, 상기 학습엔진 요청부는 상기 목적 작업이 상기 사용자 의향에 상응하지 않는 경우, 사용자 의향 분석을 위한 추가 정보 입력 요청 및 작업유사도 계산 재요청 중 어느 하나를 수행할 수 있다.At this time, the learning engine request unit may perform any one of a request for additional information input for user intention analysis and a job similarity recalculation request if the target job does not correspond to the user intention.

이 때, 상기 목적 작업 추천부는 상기 작업유사도 계산 재요청을 받은 경우, 차순위 목적 작업 추천 및 기추천한 목적 작업을 제외한 작업유사도 계산 수행 중 어느 하나를 수행할 수 있다.At this time, when the target job recommendation unit receives the job similarity calculation re-request, it may perform any one of performing the job similarity calculation except for the next target job recommendation and the recommended job.

이 때, 상기 학습엔진 생성부는 상기 딥러닝 네트워크 구조, 상기 딥러닝 네트워크 구조에 상응하는 딥러닝 모델 및 딥러닝 네트워크의 손실 함수(LOSS FUNCTION) 중 적어도 하나 이상을 고려하여 상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택할 수 있다.In this case, the learning engine generation unit is configured to perform at least one of the deep learning network structure, a deep learning model corresponding to the deep learning network structure, and at least one of a loss function of a deep learning network (LOSS FUNCTION) Multiple learning engines can be selected.

이 때, 상기 학습엔진 생성부는 상기 수행 가능한 목적 작업의 개수가 기설정된 개수 이상인 학습엔진을 학습엔진 풀(POOL)에 저장하여, 학습엔진 선택에 우선적으로 선택되기 위한 우선 순위를 부여할 수 있다.At this time, the learning engine generation unit may store the learning engines having a predetermined number or more of the number of target tasks that can be performed in the learning engine pool (POOL), thereby giving priority to the selection of the learning engines.

이 때, 상기 학습엔진 생성부는 기설정된 하이퍼 파라미터 설정값, 학습률 설정값 및 학습 횟수 설정값 중 적어도 하나 이상을 고려하여 상기 복수개의 학습엔진들을 조합한 상기 레고형 딥러닝 학습엔진을 생성할 수 있다.At this time, the learning engine generation unit may generate the LEGO deep learning learning engine combining the plurality of learning engines in consideration of at least one of a preset hyper parameter setting value, a learning rate setting value, and a learning number setting value. .

또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법은 레고형 딥러닝 학습엔진 생성 장치의 레고형 딥러닝 학습엔진 생성 방법에 있어서, 사용자로부터 입력 받은 자연어 정보 및 영상 정보 중 적어도 하나 이상을 이용하여 사용자 의향을 분석하는 단계; 상기 사용자 의향에 상응하는 목적 작업을 추천하는 단계 및 상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택하고, 상기 복수개의 학습엔진들을 조합하여 레고형 딥러닝 학습엔진을 생성하는 단계를 포함한다.In addition, the LEGO deep learning learning engine generating method according to an embodiment of the present invention for achieving the above object is a LEGO deep learning learning engine generating method of the LEGO deep learning learning engine generating device, received from a user Analyzing a user's intention using at least one of natural language information and video information; And recommending a target task corresponding to the user's intention, selecting a plurality of learning engines to perform the target task, and combining the plurality of learning engines to generate a LEGO deep learning learning engine.

이 때, 상기 레고형 딥러닝 학습엔진 생성 방법는 상기 목적 작업을 상기 사용자에게 추천하여 사용자 의향에 상응하는 목적 작업인지 확인하는 단계를 더 포함할 수 있다.At this time, the LEGO deep learning learning engine generating method may further include a step of recommending the target task to the user to determine whether the target task corresponds to a user's intention.

이 때, 상기 목적 작업을 추천하는 단계는 상기 사용자 의향과 목적 작업 풀(POOL)에 기저장된 복수개의 목적 작업들과의 작업유사도를 계산하여 가장 높은 작업유사도를 갖는 어느 하나의 목적 작업을 추천할 수 있다.At this time, the step of recommending the target job is to calculate a job similarity between the user's intention and a plurality of target jobs pre-stored in the target job pool (POOL) to recommend any target job having the highest job similarity. You can.

이 때, 상기 목적 작업을 추천하는 단계는 상기 목적 작업들에 기설정된 조건에 따라 가중치를 설정하고, 상기 가중치가 설정된 목적 작업들로부터 계산된 작업유사도의 가중합(WEIGHTED SUM)을 산출하여 상기 어느 하나의 목적 작업을 추천할 수 있다.At this time, the step of recommending the target job sets a weight according to a preset condition for the target jobs, and calculates a weighted sum (WEIGHTED SUM) of work similarity calculated from the target jobs for which the weight is set. One objective work can be recommended.

이 때, 상기 목적 작업인지 확인하는 단계는 상기 목적 작업이 상기 사용자 의향에 상응하지 않는 경우, 사용자 의향 분석을 위한 추가 정보 입력 요청 및 작업유사도 계산 재요청 중 어느 하나를 수행할 수 있다.At this time, the step of confirming whether the target job is the target job does not correspond to the user's intention, and may perform any one of a request for additional information input and job similarity calculation recalculation for user intention analysis.

이 때, 상기 목적 작업을 추천하는 단계는 상기 작업유사도 계산 재요청을 받은 경우, 차순위 목적 작업 추천 및 기추천한 목적 작업을 제외한 작업유사도 계산 수행 중 어느 하나를 수행할 수 있다.At this time, in the step of recommending the target job, if the job similarity calculation re-request is received, it may perform any one of recommending the next target job and performing job similarity calculation except for the recommended target job.

이 때, 상기 학습엔진을 생성하는 단계는 상기 딥러닝 네트워크 구조, 상기 딥러닝 네트워크 구조에 상응하는 딥러닝 모델 및 딥러닝 네트워크의 손실 함수(LOSS FUNCTION) 중 적어도 하나 이상을 고려하여 상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택할 수 있다.At this time, the step of generating the learning engine takes into consideration the at least one of the deep learning network structure, the deep learning model corresponding to the deep learning network structure, and at least one of the loss function of the deep learning network (LOSS FUNCTION). Multiple learning engines can be selected to perform.

이 때, 상기 학습엔진을 생성하는 단계는 상기 수행 가능한 목적 작업의 개수가 기설정된 개수 이상인 학습엔진을 학습엔진 풀(POOL)에 저장하여, 학습엔진 선택에 우선적으로 선택되기 위한 우선 순위를 부여할 수 있다.At this time, the step of generating the learning engine stores the learning engines having a predetermined number or more of the number of target tasks that can be performed in the learning engine pool (POOL) to give priority to the selection of the learning engines. You can.

이 때, 상기 학습엔진을 생성하는 단계는 기설정된 하이퍼 파라미터 설정값, 학습률 설정값 및 학습 횟수 설정값 중 적어도 하나 이상을 고려하여 상기 복수개의 학습엔진들을 조합한 상기 레고형 딥러닝 학습엔진을 생성할 수 있다.At this time, the step of generating the learning engine generates the LEGO deep learning learning engine combining the plurality of learning engines in consideration of at least one of a preset hyper parameter setting value, a learning rate setting value, and a learning number setting value. can do.

본 발명은 사용자의 의향을 자동 분석하여 딥러닝에 관한 전문적 지식이 없는 사용자라도 어려움 없이 사용자에게 필요한 레고형 딥러닝 학습엔진을 자동 생성하여 제공할 수 있다.According to the present invention, a user's intention can be automatically analyzed to automatically generate and provide a lego-type deep learning learning engine required by a user without difficulty even if a user does not have expertise in deep learning.

또한, 본 발명은 레고형 딥러닝 학습엔진 생성에 있어서, 반복적인 과정 및 시스템 중복을 제거하여 효율적으로 레고형 딥러닝 학습 엔진을 생성할 수 있다.Also, in the creation of the LEGO deep learning learning engine, the present invention can efficiently generate a LEGO deep learning learning engine by removing repetitive processes and system duplication.

도 1은 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 사용자 의향 분석부의 일 예를 세부적으로 나타낸 블록도이다.
도 3은 도 1에 도시된 목적 작업 추천부의 일 예를 세부적으로 나타낸 블록도이다.
도 4는 도 1에 도시된 학습엔진 생성부의 일 예를 세부적으로 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법을 나타낸 동작흐름도이다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.1 is a block diagram showing a LEGO deep learning learning engine generating apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing an example of a user intention analysis unit illustrated in FIG. 1 in detail.
3 is a block diagram showing an example of a target job recommendation unit illustrated in FIG. 1 in detail.
FIG. 4 is a block diagram showing an example of the learning engine generation unit illustrated in FIG. 1 in detail.
5 is a flowchart illustrating a method of generating a LEGO deep learning learning engine according to an embodiment of the present invention.
6 is a diagram illustrating a computer system according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.If described in detail with reference to the accompanying drawings the present invention. Here, repeated descriptions, well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for a more clear description.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part “includes” a certain component, it means that the component may further include other components, not to exclude other components, unless otherwise stated.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 장치를 나타낸 블록도이다. 도 2는 도 1에 도시된 사용자 의향 분석부의 일 예를 세부적으로 나타낸 블록도이다. 도 3은 도 1에 도시된 목적 작업 추천부의 일 예를 세부적으로 나타낸 블록도이다. 도 4는 도 1에 도시된 학습엔진 생성부의 일 예를 세부적으로 나타낸 블록도이다.1 is a block diagram showing a LEGO deep learning learning engine generating apparatus according to an embodiment of the present invention. FIG. 2 is a block diagram showing an example of a user intention analysis unit illustrated in FIG. 1 in detail. 3 is a block diagram showing an example of a target job recommendation unit illustrated in FIG. 1 in detail. FIG. 4 is a block diagram showing an example of the learning engine generation unit illustrated in FIG. 1 in detail.

도 1을 참조하면, 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 장치는 사용자 입력부(110), 사용자 의향 분석부(120), 목적 작업 추천부(130), 학습엔진 요청부(140), 학습엔진 생성부(150) 및 학습엔진 테스트부(160)를 포함한다.Referring to FIG. 1, a LEGO deep learning learning engine generating apparatus according to an embodiment of the present invention includes a user input unit 110, a user intention analysis unit 120, a target job recommendation unit 130, and a learning engine request unit ( 140), a learning engine generation unit 150 and a learning engine test unit 160.

사용자 입력부(110)는 사용자로부터 딥러닝을 활용하여 수행하고 싶은 작업과 관련된 정보를 사용자 입력 인터페이스를 통해 텍스트, 이미지, 오디오 및 동영상 등을 입력 받을 수 있다.The user input unit 110 may receive text, images, audio and video, etc. through a user input interface through a user input interface by using a deep learning from a user.

예를 들어, 딥러닝을 활용하여 수행하는 대표적인 작업은 이미지 분류, 객체 탐지, 객체 추적, 세그먼테이션, 번역 및 비디오 캡셔닝 등이 있다.For example, representative tasks performed using deep learning include image classification, object detection, object tracking, segmentation, translation, and video captioning.

사용자 의향 분석부(120)는 사용자로부터 입력 받은 자연어 정보 및 영상 정보 중 적어도 하나 이상을 이용하여 사용자 의향을 분석할 수 있다.The user intention analysis unit 120 may analyze the user intention using at least one of natural language information and image information received from the user.

도 2를 참조하면, 사용자 의향 분석부(120)는 자연어 처리부(121) 및 영상 정보 분석부(122)를 포함할 수 있다.Referring to FIG. 2, the user intention analysis unit 120 may include a natural language processing unit 121 and an image information analysis unit 122.

자연어 처리부(121)는 사용자에 의해 서술된 텍스트를 인식할 수 있고, 이미지, 오디오 및 동영상에 포함된 음성 및 텍스트를 인식할 수 있다.The natural language processing unit 121 may recognize text described by the user, and may recognize voice and text included in images, audio, and video.

이 때, 자연어 처리부(121)는 인식한 음성 및 텍스트로부터 사용자 의향을 분석할 수 있다.At this time, the natural language processing unit 121 may analyze the user's intention from the recognized voice and text.

영상 정보 분석부(122)는 자연어 처리부(121)에서 사용자로부터 입력된 정보에서 텍스트를 인식할 수 없는 경우, 이미지 및 동영상이 어떤 의도를 뜻하는지 분석할 수 있다.The image information analysis unit 122 may analyze the intention of the image and the video when the text input from the user cannot be recognized by the natural language processing unit 121.

이 때, 영상 정보 분석부(122)는 기저장된 과거의 사양자 의향 분석 결과를 참조하여 이미지 및 동영상의 사용자 의향을 분석할 수 있다.At this time, the image information analysis unit 122 may analyze the user's intention of the image and the video by referring to the pre-stored past intention analysis result.

이 때, 영상 정보 분석부(122)는 빅데이터 분석 기법을 이용하여 이미지 및 동영상의 사용자 의향을 분석할 수 있다.At this time, the image information analysis unit 122 may analyze a user's intention of images and videos using a big data analysis technique.

사용자 의향 분석부(120)는 자연어 처리부(121)와 영상 정보 분석부(122)로부터 분석된 사용자 의향(UI)을 목적 작업 추천부(130)에 전달할 수 있다.The user intention analysis unit 120 may transmit the user intention U I analyzed from the natural language processing unit 121 and the image information analysis unit 122 to the target job recommendation unit 130.

목적 작업 추천부(130)는 사용자 의향에 상응하는 목적 작업을 추천할 수 있다.The target job recommendation unit 130 may recommend the target job corresponding to the user's intention.

도 3을 참조하면, 목적 작업 추천부(130)는 작업유사도 계산부(131) 및 작업 추천부(132)를 포함할 수 있다.Referring to FIG. 3, the target job recommendation unit 130 may include a job similarity calculation unit 131 and a job recommendation unit 132.

작업유사도 계산부(131)는 복수개의 제1, 제2 내지 제N 작업유사도 계산부(131a, 132b, ?, 131n)를 포함할 수 있다.The work similarity calculation unit 131 may include a plurality of first, second to Nth work similarity calculation units 131a, 132b,?, 131n.

이 때, 작업유사도 계산부(131)는 복수개의 작업유사도 계산부를 이용하여 복수개의 목적 작업들의 사용자 의향(UI)에 대한 작업유사도를 계산할 수 있다.At this time, the work similarity calculation unit 131 may calculate a work similarity for the user's intention U I of a plurality of target jobs using the plurality of work similarity calculation units.

이 때, 목적 작업들에 관한 정보는 목적 작업 풀(POOL)과 같은 저장소에 저장되어 있을 수 있다.At this time, information about the target jobs may be stored in the same storage as the target job pool (POOL).

이 때, 작업 추천부(132)는 작업유사도 계산부(131)에서 계산된 가장 높은 작업유사도를 갖는 어느 하나의 목적 작업을 추천할 수 있다.At this time, the job recommendation unit 132 may recommend any target job having the highest job similarity calculated by the job similarity calculation unit 131.

또한, 작업유사도 계산부(131)는 목적 작업들에 기설정된 조건에 따라 가중치를 설정하고, 가중치가 설정된 목적 작업들로부터 계산된 작업유사도의 가중합(WEIGHTED SUM)을 산출할 수도 있다.In addition, the work similarity calculating unit 131 may set a weight according to a preset condition for the target tasks, and calculate a weighted sum (WEIGHTED SUM) of the calculated work similarity from the target tasks for which the weight is set.

이 때, 작업 추천부(132)는 작업유사도 계산부(131)에서 계산된 가중합을 고려하여 어느 하나의 목적 작업을 추천할 수 있다.At this time, the job recommendation unit 132 may recommend any one of the target jobs in consideration of the weighted sum calculated by the job similarity calculation unit 131.

이 때, 작업 추천부(132)는 수학식 1을 이용하여 어느 하나의 목적 작업을 추천할 수 있다.At this time, the job recommendation unit 132 may recommend any one target job using Equation (1).

Figure pat00001
Figure pat00001

수학식 1에서, TSCi( )는 작업유사도를 계산한 결과값이며, 사용자 의향(UI)에서 가장 빈번하게 등장하는 단어의 수 또는 단어들과 상관 관계에 의한 점수일 수도 있고, 작업 유사도 계산의 기준 이미지와 사용자가 제공한 이미지 사이의 유사도 값일 수 있다.In Equation 1, TSC i () is a result of calculating the work similarity, and may be the number of words most frequently appearing in the user's intention (U I ) or a score by correlating with words, and calculating the work similarity It may be a similarity value between the reference image and the image provided by the user.

가중합(Weighted_SUM)은 시스템의 정책에 따라 다양한 형식으로 목적 작업들에 기설정된 조건에 가중치를 적용하여 산출될 수 있다. 예를 들어, 작업유사도 계산부(131)는 복수개의 목적 작업들의 작업유사도 계산 결과를 똑같은 비율로 가중치를 설정하여 적용할 수 있고, 자연어 처리 중 사용자 서술에 등장하는 단어의 빈도수 계산방식에 중점을 두어 특정 자연어에 상응하는 목적 작업의 작업유사도를 계산하는 작업유사도 계산부에, 1/2의 비율을 가중치로 설정하고, 다른 (n-1)개의 작업유사도 계산부들에 1/2의 비율을 가중치로 설정할 수도 있다.Weighted sum (Weighted_SUM) may be calculated by applying weights to preset conditions for target tasks in various formats according to the system policy. For example, the work similarity calculation unit 131 may set and apply the weight of the work similarity calculation results of a plurality of target tasks at the same ratio, and focus on the frequency counting method of words appearing in the user description during natural language processing. Therefore, a ratio of 1/2 is set as a weight in the work similarity calculation unit that calculates the work similarity of the target job corresponding to a specific natural language, and a ratio of 1/2 is weighted in other (n-1) work similarity calculation units. You can also set

다음으로, 수학식 1에서 POOL 은 본 발명에서 생성 가능한 목적 작업을 수행할 수 있는 학습엔진들의 집합에 상응할 수 있고, Query( ) 함수는 본 발명이 제공하는 POOL에 저장된 목적 작업들과 작업유사도 계산 결과값이 가장 유사한 목적 작업을 추천해주는 함수이다.Next, in Equation 1, POOL may correspond to a set of learning engines capable of performing the target task that can be generated in the present invention, and the Query () function is similar to the target tasks stored in the POOL provided by the present invention. This is a function that recommends the target task with the most similar calculation result.

또한, 작업 추천부(132)는 수학식 1의 결과 추천된 Sug_Task와 추천하고자 하는 목적 작업에 대한 설명 및 예시를 학습엔진 요청부(140)를 통해 사용자에게 출력하여 제공할 수도 있다.In addition, the task recommendation unit 132 may output and provide a description and an example of the recommended Sug_Task and the target task to be recommended to the user through the learning engine request unit 140 as a result of Equation (1).

학습엔진 요청부(140)는 목적 작업을 사용자에게 추천하여 사용자 의향에 상응하는 목적 작업인지 확인할 수 있다.The learning engine request unit 140 may recommend the target job to the user to determine whether the target job corresponds to the user's intention.

이 때, 학습엔진 요청부(140)는 사용자에게 목적 작업을 추천하고, 목적 작업에 대한 학습엔진에 대한 생성 여부를 요청할 수 있다.At this time, the learning engine requesting unit 140 may recommend the target job to the user and request whether the learning engine for the target job is generated.

이 때, 학습엔진 요청부(140)는 목적 작업이 상기 사용자 의향에 상응하는 경우, 학습엔진 생성부(140)에 목적 작업을 제공하여 학습엔진 생성을 요청할 수 있고, 목적 작업이 상기 사용자 의향에 상응하지 않는 경우, 사용자 의향 분석을 위한 추가 정보 입력 요청 및 작업유사도 계산 재요청 중 어느 하나를 수행할 수도 있다.In this case, the learning engine request unit 140 may request the generation of the learning engine by providing the target job to the learning engine generating unit 140 when the target job corresponds to the user's intention, and the target job is based on the user's intention. If they do not correspond, the request for input of additional information for analyzing the user's intention and the job similarity may perform either of the calculation re-request.

이 때, 목적 작업 추천부(130)는 작업유사도 계산 재요청을 받은 경우, 차순위 목적 작업 추천 및 기추천한 목적 작업을 제외한 작업유사도 계산 수행 중 어느 하나를 수행할 수 있다.At this time, when the target job recommendation unit 130 receives a request for calculating the job similarity again, the target job recommendation unit 130 may perform any one of performing the job similarity calculation except for the next recommended job and recommending the target job.

학습엔진 생성부(150)는 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택하고, 복수개의 학습엔진들을 조합하여 레고형 딥러닝 학습엔진을 생성할 수 있다.The learning engine generation unit 150 may select a plurality of learning engines to perform a target task, and combine the plurality of learning engines to generate a LEGO deep learning learning engine.

도 4를 참조하면, 학습엔진 생성부(150)는 딥러닝 목적 작업 분석부(151), 딥러닝 레고 블록 선택부(152), 딥러닝 레고 블록 조립부(153) 및 딥러닝 엔진 훈련부(154)를 포함할 수 있다.Referring to FIG. 4, the learning engine generation unit 150 includes a deep learning purpose job analysis unit 151, a deep learning lego block selection unit 152, a deep learning lego block assembly unit 153, and a deep learning engine training unit 154 ).

딥러닝 목적 작업 분석부(151)는 학습 엔진들을 딥러닝 레고 블록 단위로 분석할 수 있다.The deep learning purpose task analysis unit 151 may analyze learning engines in a deep learning lego block unit.

예를 들어, 딥러닝 레고 블록 단위는 딥러닝 네트워크 구조, 상기 딥러닝 네트워크 구조에 상응하는 딥러닝 모델 및 딥러닝 네트워크의 손실 함수(LOSS FUNCTION)을 포함할 수 있다.For example, the deep learning lego block unit may include a deep learning network structure, a deep learning model corresponding to the deep learning network structure, and a loss function (LOSS FUNCTION) of the deep learning network.

딥러닝 네트워크 구조는 합성곱 신경망(Convolutional Neural Network, CNN) 및 순환 신경망(Recurrent Neural Networks, RNN) 등을 포함할 수 있다.The deep learning network structure may include a convolutional neural network (CNN) and a recurrent neural network (RNN).

딥러닝 모델은 Visual Geometry Group(VGG), A Recurrent Neural Network Based Alternative to Convolutional Networks(ReNet) 및 Long Short-Term Memory models(LSTM) 등을 포함할 수 있다.Deep learning models may include Visual Geometry Group (VGG), A Recurrent Neural Network Based Alternative to Convolutional Networks (ReNet) and Long Short-Term Memory models (LSTM).

딥러닝 네트워크의 손실 함수는 Square loss, Hinge loss 및 Cross entropy loss 등을 포함할 수 있다.The loss function of the deep learning network may include square loss, hinge loss, and cross entropy loss.

딥러닝 레고 블록 선택부(152)는 딥러닝 네트워크 구조, 상기 딥러닝 네트워크 구조에 상응하는 딥러닝 모델 및 딥러닝 네트워크의 손실 함수(LOSS FUNCTION) 중 적어도 하나 이상을 고려하여 상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택할 수 있다.The deep learning lego block selecting unit 152 performs the above-mentioned task in consideration of at least one of a deep learning network structure, a deep learning model corresponding to the deep learning network structure, and a loss function of a deep learning network (LOSS FUNCTION) Multiple learning engines can be selected.

이 때, 딥러닝 레고 블록 선택부(152)는 목적 작업을 수행하기 위하여 동일한 기능을 갖는 학습엔진들이 존재하는 경우, 수행 가능한 목적 작업의 개수를 비교하여 어느 하나의 학습엔진을 선택할 수 있다.At this time, the deep learning LEGO block selector 152 may select any one learning engine by comparing the number of target tasks that can be performed when there are learning engines having the same function to perform the target task.

이 때, 딥러닝 레고 블록 선택부(152)는 수행 가능한 목적 작업의 개수가 기설정된 개수 이상인 학습엔진을 학습엔진 풀(POOL)에 저장하여, 학습엔진 선택에 우선적으로 선택되기 위한 우선 순위를 부여할 수 있다.At this time, the deep learning lego block selection unit 152 stores learning engines having a predetermined number of target tasks or more that can be performed in a learning engine pool (POOL), thereby giving priority to selection of learning engines. can do.

딥러닝 레고 블록 조립부(153)는 기설정된 하이퍼 파라미터 설정값, 학습률 설정값 및 학습 횟수 설정값 중 적어도 하나 이상을 고려하여 상기 복수개의 학습엔진들을 조합하여 레고형 딥러닝 학습엔진을 생성할 수 있다.The deep learning lego block assembly unit 153 may generate a lego type deep learning learning engine by combining the plurality of learning engines in consideration of at least one of a preset hyper parameter setting value, a learning rate setting value, and a learning number setting value. have.

딥러닝 엔진 훈련부(154)는 레고형 딥러닝 학습엔진을 학습시켜 사용자에게 제공할 수 있다.The deep learning engine training unit 154 may learn a LEGO deep learning learning engine and provide it to the user.

학습엔진 테스트부(160)는 사용자에게 레고형 딥러닝 학습엔진의 테스트 기능을 제공할 수 있다.The learning engine test unit 160 may provide a test function of the LEGO deep learning learning engine to the user.

도 5는 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법을 나타낸 동작흐름도이다.5 is a flowchart illustrating a method of generating a LEGO deep learning learning engine according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법은 먼저 사용자 입력을 수행할 수 있다(S210).Referring to FIG. 5, a method for generating a LEGO deep learning learning engine according to an embodiment of the present invention may first perform user input (S210).

즉, 단계(S210)는 사용자로부터 딥러닝을 활용하여 수행하고 싶은 작업과 관련된 정보를 사용자 입력 인터페이스를 통해 텍스트, 이미지, 오디오 및 동영상 등을 입력 받을 수 있다.That is, in step S210, text, an image, audio, and a video may be input from a user through a user input interface with information related to a task to be performed by using deep learning.

예를 들어, 딥러닝을 활용하여 수행하는 대표적인 작업은 이미지 분류, 객체 탐지, 객체 추적, 세그먼테이션, 번역 및 비디오 캡셔닝 등이 있다.For example, representative tasks performed using deep learning include image classification, object detection, object tracking, segmentation, translation, and video captioning.

본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법은 사용자 의향 분석을 수행할 수 있다(S220).The LEGO deep learning learning engine generation method according to an embodiment of the present invention may perform user intention analysis (S220).

즉, 단계(S220)는 사용자로부터 입력 받은 자연어 정보 및 영상 정보 중 적어도 하나 이상을 이용하여 사용자 의향을 분석할 수 있다.That is, in step S220, the user's intention may be analyzed using at least one of natural language information and image information received from the user.

이 때, 단계(S220)는 사용자에 의해 서술된 텍스트를 인식할 수 있고, 이미지, 오디오 및 동영상에 포함된 음성 및 텍스트를 인식할 수 있다.At this time, step S220 may recognize the text described by the user, and may recognize the voice and text included in the image, audio, and video.

이 때, 단계(S220)는 인식한 음성 및 텍스트로부터 사용자 의향을 분석할 수 있다.At this time, step S220 may analyze the user's intention from the recognized voice and text.

이 때, 단계(S220)는 사용자로부터 입력된 정보에서 텍스트를 인식할 수 없는 경우, 이미지 및 동영상이 어떤 의도를 뜻하는지 분석할 수 있다.At this time, in step S220, if text cannot be recognized from the information input from the user, it is possible to analyze what the image and the video mean.

이 때, 단계(S220)는 기저장된 과거의 사양자 의향 분석 결과를 참조하여 사용자 의향에 기반하여 이미지 및 동영상의 사용자 의향을 분석할 수 있다.At this time, step S220 may analyze the user's intention of the image and the video based on the user's intention by referring to the result of the analysis of the intention of the specifier who has been stored in the past.

이 때, 단계(S220)는 빅데이터 분석 기법을 이용하여 이미지 및 동영상의 사용자 의향을 분석할 수 있다.At this time, step S220 may analyze a user's intention of images and videos using a big data analysis technique.

이 때, 단계(S220)는 분석된 사용자 의향(UI)을 다음 단계에 전달할 수 있다.At this time, step S220 may transmit the analyzed user intention U I to the next step.

본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법은 목적 작업을 추천할 수 있다(S230).A method for generating a LEGO deep learning learning engine according to an embodiment of the present invention may recommend a target operation (S230).

즉, 단계(S230)는 사용자 의향에 상응하는 목적 작업을 추천할 수 있다.That is, step S230 may recommend a target operation corresponding to the user's intention.

이 때, 단계(S230)는 복수개의 작업유사도 계산부를 이용하여 복수개의 목적 작업들의 사용자 의향(UI)에 대한 작업유사도를 계산할 수 있다.At this time, step S230 may calculate the job similarity for the user's intention U I of the plurality of target jobs using the plurality of job similarity calculating units.

이 때, 목적 작업들에 관한 정보는 목적 작업 풀(POOL)과 같은 저장소에 저장되어 있을 수 있다.At this time, information about the target jobs may be stored in the same storage as the target job pool (POOL).

이 때, 단계(S230)는 계산된 가장 높은 작업유사도를 갖는 어느 하나의 목적 작업을 추천할 수 있다.At this time, step S230 may recommend any one target job having the highest job similarity calculated.

이 때, 단계(S230)는 목적 작업들에 기설정된 조건에 따라 가중치를 설정하고, 가중치가 설정된 목적 작업들로부터 계산된 작업유사도의 가중합(WEIGHTED SUM)을 산출할 수도 있다.At this time, step S230 may set a weight according to a preset condition for the target tasks, and calculate a weighted sum of the work similarity calculated from the target tasks for which the weight is set.

이 때, 단계(S230)는 계산된 가중합을 고려하여 어느 하나의 목적 작업을 추천할 수 있다.At this time, step S230 may recommend any one target operation in consideration of the calculated weighted sum.

이 때, 단계(S230)는 상기 수학식 1을 이용하여 어느 하나의 목적 작업을 추천할 수 있다.At this time, step S230 may recommend any one of the target tasks using Equation (1).

상기 수학식 1에서, TSCi( )는 작업유사도를 계산한 결과값이며, 사용자 의향(UI)에서 가장 빈번하게 등장하는 단어의 수 또는 단어들과 상관 관계에 의한 점수일 수도 있고, 작업 유사도 계산의 기준 이미지와 사용자가 제공한 이미지 사이의 유사도 값일 수 있다.In Equation 1, TSC i () is a result of calculating the work similarity, and may be the number of words most frequently appearing in the user's intention (U I ) or a score based on correlations with words, and the work similarity It may be a similarity value between the reference image of the calculation and the image provided by the user.

가중합(Weighted_SUM)은 시스템의 정책에 따라 다양한 형식으로 목적 작업들에 기설정된 조건에 가중치를 적용하여 산출될 수 있다. 예를 들어, 작업유사도 계산부(131)는 복수개의 목적 작업들의 작업유사도 계산 결과를 똑같은 비율로 가중치를 설정하여 적용할 수 있고, 자연어 처리 중 사용자 서술에 등장하는 단어의 빈도수 계산방식에 중점을 두어 특정 자연어에 상응하는 목적 작업의 작업유사도를 계산하는 작업유사도 계산부에, 1/2의 비율을 가중치로 설정하고, 다른 (n-1)개의 작업유사도 계산부들에 1/2의 비율을 가중치로 설정할 수도 있다.Weighted sum (Weighted_SUM) may be calculated by applying weights to preset conditions for target tasks in various formats according to the system policy. For example, the work similarity calculation unit 131 may set and apply the weight of the work similarity calculation results of a plurality of target tasks at the same ratio, and focus on the frequency counting method of words appearing in the user description during natural language processing. Therefore, a ratio of 1/2 is set as a weight in the work similarity calculation unit that calculates the work similarity of the target job corresponding to a specific natural language, and a ratio of 1/2 is weighted in other (n-1) work similarity calculation units. You can also set

다음으로, 수학식 1에서 POOL 은 본 발명에서 생성 가능한 목적 작업을 수행할 수 있는 학습엔진들의 집합에 상응할 수 있고, Query( ) 함수는 본 발명이 제공하는 POOL에 저장된 목적 작업들과 작업유사도 계산 결과값이 가장 유사한 목적 작업을 추천해주는 함수이다.Next, in Equation 1, POOL may correspond to a set of learning engines capable of performing the target task that can be generated in the present invention, and the Query () function is similar to the target tasks stored in the POOL provided by the present invention. This is a function that recommends the target task with the most similar calculation result.

이 때, 단계(S230)는 수학식 1의 결과 추천된 Sug_Task와 추천하고자 하는 목적 작업에 대한 설명 및 예시를 사용자에게 출력하여 제공할 수도 있다.In this case, step S230 may output and provide a description and an example of the recommended Sug_Task and the target task to be recommended to the user as a result of Equation 1.

또한, 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법은 학습엔진을 요청할 수 있다(S240).In addition, a method for generating a LEGO deep learning learning engine according to an embodiment of the present invention may request a learning engine (S240).

즉, 단계(S240)는 목적 작업을 사용자에게 추천하여 사용자 의향에 상응하는 목적 작업인지 확인할 수 있다.That is, in step S240, the target job is recommended to the user, and it can be determined whether the target job corresponds to the user's intention.

이 때, 단계(S240)는 는 사용자에게 목적 작업을 추천하고, 목적 작업에 대한 학습엔진에 대한 생성 여부를 요청할 수 있다.At this time, step S240 may recommend the target task to the user, and request whether to generate a learning engine for the target task.

이 때, 단계(S240)는 목적 작업이 상기 사용자 의향에 상응하는 경우, 목적 작업을 제공하여 학습엔진 생성을 요청할 수 있고, 목적 작업이 상기 사용자 의향에 상응하지 않는 경우, 사용자 의향 분석을 위한 추가 정보 입력 요청 및 작업유사도 계산 재요청 중 어느 하나를 수행할 수도 있다.At this time, in step S240, if the target job corresponds to the user's intention, the target job can be provided to request the creation of a learning engine, and if the target job does not correspond to the user's intention, additional for user intention analysis The request for input of information and the work similarity may also perform any one of recalculation requests.

이 때, 단계(S240)는 작업유사도 계산 재요청을 받은 경우, 차순위 목적 작업 추천 및 기추천한 목적 작업을 제외한 작업유사도 계산 수행 중 어느 하나를 수행할 수 있다.At this time, in step S240, when the work similarity calculation re-request is requested, the work similarity calculation may be performed except for the next-ranking target work recommendation and the recommended target work.

또한, 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법은 학습엔진을 생성할 수 있다(S250).In addition, the method for generating a LEGO deep learning learning engine according to an embodiment of the present invention may generate a learning engine (S250).

즉, 단계(S250)는 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택하고, 복수개의 학습엔진들을 조합하여 레고형 딥러닝 학습엔진을 생성할 수 있다.That is, step S250 may select a plurality of learning engines to perform a target task, and combine the plurality of learning engines to generate a LEGO deep learning learning engine.

이 때, 단계(S250)는 학습 엔진들을 딥러닝 레고 블록 단위로 분석할 수 있다.At this time, step S250 may analyze the learning engines in deep learning lego block units.

예를 들어, 딥러닝 레고 블록 단위는 딥러닝 네트워크 구조, 상기 딥러닝 네트워크 구조에 상응하는 딥러닝 모델 및 딥러닝 네트워크의 손실 함수(LOSS FUNCTION)을 포함할 수 있다.For example, the deep learning lego block unit may include a deep learning network structure, a deep learning model corresponding to the deep learning network structure, and a loss function (LOSS FUNCTION) of the deep learning network.

딥러닝 네트워크 구조는 합성곱 신경망(Convolutional Neural Network, CNN) 및 순환 신경망(Recurrent Neural Networks, RNN) 등을 포함할 수 있다.The deep learning network structure may include a convolutional neural network (CNN) and a recurrent neural network (RNN).

딥러닝 모델은 Visual Geometry Group(VGG), A Recurrent Neural Network Based Alternative to Convolutional Networks(ReNet) 및 Long Short-Term Memory models(LSTM) 등을 포함할 수 있다.Deep learning models may include Visual Geometry Group (VGG), A Recurrent Neural Network Based Alternative to Convolutional Networks (ReNet) and Long Short-Term Memory models (LSTM).

딥러닝 네트워크의 손실 함수는 Square loss, Hinge loss 및 Cross entropy loss 등을 포함할 수 있다.The loss function of the deep learning network may include square loss, hinge loss, and cross entropy loss.

딥러닝 레고 블록 선택부(152)는 딥러닝 네트워크 구조, 상기 딥러닝 네트워크 구조에 상응하는 딥러닝 모델 및 딥러닝 네트워크의 손실 함수(LOSS FUNCTION) 중 적어도 하나 이상을 고려하여 상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택할 수 있다.The deep learning lego block selecting unit 152 performs the above-mentioned task in consideration of at least one of a deep learning network structure, a deep learning model corresponding to the deep learning network structure, and a loss function of a deep learning network (LOSS FUNCTION) Multiple learning engines can be selected.

이 때, 단계(S250)는 목적 작업을 수행하기 위하여 동일한 기능을 갖는 학습엔진들이 존재하는 경우, 수행 가능한 목적 작업의 개수를 비교하여 어느 하나의 학습엔진을 선택할 수 있다.At this time, in step S250, when there are learning engines having the same function in order to perform the target task, the number of target tasks that can be performed may be compared to select any one learning engine.

이 때, 단계(S250)는 수행 가능한 목적 작업의 개수가 기설정된 개수 이상인 학습엔진을 학습엔진 풀(POOL)에 저장하여, 학습엔진 선택에 우선적으로 선택되기 위한 우선 순위를 부여할 수 있다.At this time, in step S250, the number of target objects that can be performed is stored in a learning engine pool (POOL) or higher, and a priority for selecting a learning engine is given priority.

이 때, 단계(S250)는 기설정된 하이퍼 파라미터 설정값, 학습률 설정값 및 학습 횟수 설정값 중 적어도 하나 이상을 고려하여 상기 복수개의 학습엔진들을 조합하여 레고형 딥러닝 학습엔진을 생성할 수 있다.At this time, step S250 may generate a LEGO deep learning learning engine by combining the plurality of learning engines in consideration of at least one of a preset hyper parameter setting value, a learning rate setting value, and a learning number setting value.

이 때, 단계(S250)는 레고형 딥러닝 학습엔진을 학습시켜 사용자에게 제공할 수 있다.At this time, step S250 may learn and provide the LEGO deep learning learning engine to the user.

또한, 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 방법은 학습엔진을 테스트할 수 있다(S260).In addition, the LEGO deep learning learning engine generating method according to an embodiment of the present invention may test the learning engine (S260).

즉, 단계(S260)는 사용자에게 레고형 딥러닝 학습엔진의 테스트 기능을 제공할 수 있다.That is, step S260 may provide a test function of the LEGO deep learning learning engine to the user.

도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.6 is a view showing a computer system according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 레고형 딥러닝 학습엔진 생성 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 6에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.Referring to FIG. 6, an apparatus for generating a LEGO deep learning learning engine according to an embodiment of the present invention may be implemented in a computer system 1100 such as a computer-readable recording medium. As shown in FIG. 6, computer system 1100 includes one or more processors 1110, memory 1130, user interface input device 1140, and user interface output device 1150 that communicate with each other through bus 1120. And storage 1160. In addition, the computer system 1100 may further include a network interface 1170 connected to the network 1180. The processor 1110 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 1130 or the storage 1160. The memory 1130 and the storage 1160 may be various types of volatile or nonvolatile storage media. For example, the memory may include ROM 1131 or RAM 1132.

이상에서와 같이 본 발명에 따른 레고형 딥러닝 학습엔진 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the apparatus and method for generating a LEGO deep learning learning engine according to the present invention are not limited to the configuration and method of the above-described embodiments, and the above embodiments can be modified in various ways. All or part of each of the embodiments may be configured by selectively combining.

110: 사용자 입력부 120: 사용자 의향 분석부
121: 자연어 처리부 122: 영상 정보 분석부
130: 목적 작업 추천부 131: 작업유사도 계산부
132: 작업 추천부 140: 학습엔진 요청부
150: 학습엔진 생성부
151: 딥러닝 목적 작업 분석부
152: 딥러닝 레고 블록 선택부
153: 딥러닝 레고 블록 조립부
154: 딥러닝 엔진 훈련부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크110: user input unit 120: user intention analysis unit
121: natural language processing unit 122: image information analysis unit
130: target work recommendation unit 131: work similarity calculation unit
132: work recommendation unit 140: learning engine request unit
150: learning engine generation unit
151: deep learning purpose job analysis department
152: deep learning lego block selector
153: deep learning lego block assembly
154: Deep Learning Engine Training Department
1100: computer system 1110: processor
1120: bus 1130: memory
1131: Romans 1132: Ram
1140: user interface input device
1150: user interface output device
1160: storage 1170: network interface
1180: network

Claims (20)

사용자로부터 입력 받은 자연어 정보 및 영상 정보 중 적어도 하나 이상을 이용하여 사용자 의향을 분석하는 사용자 의향 분석부;
상기 사용자 의향에 상응하는 목적 작업을 추천하는 목적 작업 추천부; 및
상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택하고, 상기 복수개의 학습엔진들을 조합하여 레고형 딥러닝 학습엔진을 생성하는 학습엔진 생성부;
를 포함하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 장치.A user intention analysis unit that analyzes a user's intention using at least one of natural language information and image information input from the user;
A target job recommendation unit recommending a target job corresponding to the user's intention; And
A learning engine generator that selects a plurality of learning engines to perform the target task and combines the plurality of learning engines to generate a LEGO deep learning learning engine;
Lego-type deep learning learning engine generating apparatus comprising a. 청구항 1에 있어서,
상기 레고형 딥러닝 학습엔진 생성 장치는
상기 목적 작업을 상기 사용자에게 추천하여 사용자 의향에 상응하는 목적 작업인지 확인하는 학습엔진 요청부를 더 포함하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 장치.The method according to claim 1,
The LEGO deep learning learning engine generating device
Lego-type deep learning learning engine device, characterized in that it further comprises a learning engine request unit for recommending the target job to the user to determine whether the target job corresponding to the user's intention. 청구항 2에 있어서,
상기 목적 작업 추천부는
상기 사용자 의향과 목적 작업 풀(POOL)에 기저장된 복수개의 목적 작업들과의 작업유사도를 계산하여 가장 높은 작업유사도를 갖는 어느 하나의 목적 작업을 추천하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 장치.The method according to claim 2,
The above target work recommendation department
Generating a LEGO deep learning learning engine characterized by recommending any target job having the highest job similarity by calculating job similarities with a plurality of target jobs previously stored in the user intention and the target job pool (POOL) Device. 청구항 3에 있어서,
상기 목적 작업 추천부는
상기 목적 작업들에 기설정된 조건에 따라 가중치를 설정하고, 상기 가중치가 설정된 목적 작업들로부터 계산된 작업유사도의 가중합(WEIGHTED SUM)을 산출하여 상기 어느 하나의 목적 작업을 추천하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 장치.The method according to claim 3,
The above target work recommendation department
A weight is set according to a preset condition for the target tasks, and a weighted sum of work similarities calculated from the target tasks for which the weight is set is calculated to recommend one of the target tasks. LEGO Deep Learning Learning Engine Generator. 청구항 4에 있어서,
상기 학습엔진 요청부는
상기 목적 작업이 상기 사용자 의향에 상응하지 않는 경우, 사용자 의향 분석을 위한 추가 정보 입력 요청 및 작업유사도 계산 재요청 중 어느 하나를 수행하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 장치.The method according to claim 4,
The learning engine request unit
If the target job does not correspond to the user's intention, LEGO deep learning learning engine device, characterized in that to perform any of the request for additional information input and job similarity calculation re-request for user intention analysis. 청구항 5에 있어서,
상기 목적 작업 추천부는
상기 작업유사도 계산 재요청을 받은 경우,
차순위 목적 작업 추천 및 기추천한 목적 작업을 제외한 작업유사도 계산 수행 중 어느 하나를 수행하는 것을 특징으로 하는 레고형 딥러닝 학습 엔진 장치.The method according to claim 5,
The above target work recommendation department
If the above job similarity is requested for recalculation,
Lego-type deep learning learning engine device characterized in that it performs any one of the task similarity calculation performance except for the next-ranking target job recommendation and the recommended target job. 청구항 6에 있어서,
상기 학습엔진 생성부는
상기 딥러닝 네트워크 구조, 상기 딥러닝 네트워크 구조에 상응하는 딥러닝 모델 및 딥러닝 네트워크의 손실 함수(LOSS FUNCTION) 중 적어도 하나 이상을 고려하여 상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 장치.The method according to claim 6,
The learning engine generation unit
Selecting a plurality of learning engines to perform the target task in consideration of at least one of the deep learning network structure, a deep learning model corresponding to the deep learning network structure, and a loss function of a deep learning network (LOSS FUNCTION) Characteristic LEGO deep learning learning engine generating device. 청구항 7에 있어서,
상기 학습엔진 생성부는
상기 목적 작업을 수행하기 위하여 동일한 기능을 갖는 학습엔진들이 존재하는 경우, 수행 가능한 목적 작업의 개수를 비교하여 어느 하나의 학습엔진을 선택하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 장치.The method according to claim 7,
The learning engine generation unit
When there are learning engines having the same function in order to perform the target task, a LEGO deep learning learning engine generating apparatus characterized by selecting any one learning engine by comparing the number of target tasks that can be performed. 청구항 8에 있어서,
상기 학습엔진 생성부는
상기 수행 가능한 목적 작업의 개수가 기설정된 개수 이상인 학습엔진을 학습엔진 풀(POOL)에 저장하여, 학습엔진 선택에 우선적으로 선택되기 위한 우선 순위를 부여하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 장치.The method according to claim 8,
The learning engine generation unit
Generating a LEGO deep learning learning engine, characterized in that a learning engine whose number of target tasks can be performed is equal to or greater than a preset number is stored in a learning engine pool (POOL) and given priority for selecting a learning engine. Device. 청구항 9에 있어서,
상기 학습엔진 생성부는
기설정된 하이퍼 파라미터 설정값, 학습률 설정값 및 학습 횟수 설정값 중 적어도 하나 이상을 고려하여 상기 복수개의 학습엔진들을 조합한 상기 레고형 딥러닝 학습엔진을 생성하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 장치.The method according to claim 9,
The learning engine generation unit
The LEGO deep learning learning engine characterized by generating the LEGO deep learning learning engine combining the plurality of learning engines in consideration of at least one of a preset hyper parameter setting value, a learning rate setting value, and a learning frequency setting value. Generating device. 레고형 딥러닝 학습엔진 생성 장치의 레고형 딥러닝 학습엔진 생성 방법에 있어서,
사용자로부터 입력 받은 자연어 정보 및 영상 정보 중 적어도 하나 이상을 이용하여 사용자 의향을 분석하는 단계;
상기 사용자 의향에 상응하는 목적 작업을 추천하는 단계; 및
상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택하고, 상기 복수개의 학습엔진들을 조합하여 레고형 딥러닝 학습엔진을 생성하는 단계;
를 포함하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 방법.In the LEGO deep learning learning engine generating method of the LEGO deep learning learning engine generating device,
Analyzing a user's intention using at least one of natural language information and image information input from the user;
Recommending a target task corresponding to the user's intention; And
Selecting a plurality of learning engines for performing the target task, and combining the plurality of learning engines to generate a LEGO deep learning learning engine;
Lego-type deep learning learning engine generation method comprising a. 청구항 11에 있어서,
상기 레고형 딥러닝 학습엔진 생성 방법은
상기 목적 작업을 상기 사용자에게 추천하여 사용자 의향에 상응하는 목적 작업인지 확인하는 단계를 더 포함하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 방법.The method according to claim 11,
The LEGO deep learning learning engine creation method
Lego-type deep learning learning engine method further comprising the step of determining whether the target task is a target task corresponding to the user's intention by recommending the target task to the user. 청구항 12에 있어서,
상기 목적 작업을 추천하는 단계는
상기 사용자 의향과 목적 작업 풀(POOL)에 기저장된 복수개의 목적 작업들과의 작업유사도를 계산하여 가장 높은 작업유사도를 갖는 어느 하나의 목적 작업을 추천하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 방법.The method according to claim 12,
The step of recommending the above objective task is
Generating a LEGO deep learning learning engine characterized by recommending any target job having the highest job similarity by calculating job similarities with a plurality of target jobs previously stored in the user intention and the target job pool (POOL) Way. 청구항 13에 있어서,
상기 목적 작업을 추천하는 단계는
상기 목적 작업들에 기설정된 조건에 따라 가중치를 설정하고, 상기 가중치가 설정된 목적 작업들로부터 계산된 작업유사도의 가중합(WEIGHTED SUM)을 산출하여 상기 어느 하나의 목적 작업을 추천하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 방법.The method according to claim 13,
The step of recommending the above objective task is
A weight is set according to a preset condition for the target tasks, and a weighted sum of work similarities calculated from the target tasks for which the weight is set is calculated to recommend one of the target tasks. How to create a LEGO deep learning learning engine. 청구항 14에 있어서,
상기 목적 작업인지 확인하는 단계는
상기 목적 작업이 상기 사용자 의향에 상응하지 않는 경우, 사용자 의향 분석을 위한 추가 정보 입력 요청 및 작업유사도 계산 재요청 중 어느 하나를 수행하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 방법.The method according to claim 14,
The step of confirming that the above is the target operation
If the target job does not correspond to the user's intention, the LEGO deep learning learning engine method characterized in that it performs any one of a request for input of additional information for analyzing the user's intention and a request to calculate the job similarity. 청구항 15에 있어서,
상기 목적 작업을 추천하는 단계는
상기 작업유사도 계산 재요청을 받은 경우,
차순위 목적 작업 추천 및 기추천한 목적 작업을 제외한 작업유사도 계산 수행 중 어느 하나를 수행하는 것을 특징으로 하는 레고형 딥러닝 학습 엔진 방법.The method according to claim 15,
The step of recommending the above objective task is
If the above job similarity is requested for recalculation,
A LEGO deep learning learning engine method characterized by performing any one of the task similarity calculations except for the next target task recommendation and the recommended task task. 청구항 16에 있어서,
상기 학습엔진을 생성하는 단계는
상기 딥러닝 네트워크 구조, 상기 딥러닝 네트워크 구조에 상응하는 딥러닝 모델 및 딥러닝 네트워크의 손실 함수(LOSS FUNCTION) 중 적어도 하나 이상을 고려하여 상기 목적 작업을 수행하기 위한 복수개의 학습엔진들을 선택하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 방법.The method according to claim 16,
The step of generating the learning engine
Selecting a plurality of learning engines to perform the target task in consideration of at least one of the deep learning network structure, a deep learning model corresponding to the deep learning network structure, and a loss function of a deep learning network (LOSS FUNCTION) Characteristic method for creating a LEGO deep learning learning engine. 청구항 17에 있어서,
상기 학습엔진 생성부는
상기 목적 작업을 수행하기 위하여 동일한 기능을 갖는 학습엔진들이 존재하는 경우, 수행 가능한 목적 작업의 개수를 비교하여 어느 하나의 학습엔진을 선택하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 방법.The method according to claim 17,
The learning engine generation unit
A method for generating a LEGO deep learning learning engine, characterized in that when there are learning engines having the same function in order to perform the target task, one of the learning engines is selected by comparing the number of target tasks that can be performed. 청구항 18에 있어서,
상기 학습엔진 생성부는
상기 수행 가능한 목적 작업의 개수가 기설정된 개수 이상인 학습엔진을 학습엔진 풀(POOL)에 저장하여, 학습엔진 선택에 우선적으로 선택되기 위한 우선 순위를 부여하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 방법.The method according to claim 18,
The learning engine generation unit
Generating a LEGO deep learning learning engine, characterized in that a learning engine whose number of target tasks can be performed is equal to or greater than a preset number is stored in a learning engine pool (POOL) and given priority for selecting a learning engine. Way. 청구항 19에 있어서,
상기 학습엔진을 생성하는 단계는
기설정된 하이퍼 파라미터 설정값, 학습률 설정값 및 학습 횟수 설정값 중 적어도 하나 이상을 고려하여 상기 복수개의 학습엔진들을 조합한 상기 레고형 딥러닝 학습엔진을 생성하는 것을 특징으로 하는 레고형 딥러닝 학습엔진 생성 방법.The method according to claim 19,
The step of generating the learning engine
The LEGO deep learning learning engine characterized by generating the LEGO deep learning learning engine combining the plurality of learning engines in consideration of at least one of a preset hyper parameter setting value, a learning rate setting value, and a learning frequency setting value. Creation method.
KR1020180103530A 2018-08-31 2018-08-31 Apparatus and method for generating learning engine based on deep learing of lego type KR102191773B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180103530A KR102191773B1 (en) 2018-08-31 2018-08-31 Apparatus and method for generating learning engine based on deep learing of lego type

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180103530A KR102191773B1 (en) 2018-08-31 2018-08-31 Apparatus and method for generating learning engine based on deep learing of lego type

Publications (2)

Publication Number Publication Date
KR20200027096A true KR20200027096A (en) 2020-03-12
KR102191773B1 KR102191773B1 (en) 2020-12-16

Family

ID=69802925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180103530A KR102191773B1 (en) 2018-08-31 2018-08-31 Apparatus and method for generating learning engine based on deep learing of lego type

Country Status (1)

Country Link
KR (1) KR102191773B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327595B1 (en) 2021-06-09 2021-11-17 주식회사 한울시스템 Method and device for determining wrinkle area for seat

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167041A (en) * 2015-05-20 2015-09-24 大澤　昇平 Machine learning model design support device, machine learning model design support method, program for machine learning model design support device
KR101774844B1 (en) * 2017-04-18 2017-09-19 주식회사 더디엔에이시스템 Self-learning module of artificial neural network model using neuro-blockchain combination
KR101787613B1 (en) * 2017-01-20 2017-11-15 주식회사 더디엔에이시스템 Artificial intelligence platform system by self-adaptive learning technique based on deep learning
KR20180080097A (en) * 2017-01-03 2018-07-11 한국전자통신연구원 Self-learning system and method based on machine learning knowledge and automated workflow

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167041A (en) * 2015-05-20 2015-09-24 大澤　昇平 Machine learning model design support device, machine learning model design support method, program for machine learning model design support device
KR20180080097A (en) * 2017-01-03 2018-07-11 한국전자통신연구원 Self-learning system and method based on machine learning knowledge and automated workflow
KR101787613B1 (en) * 2017-01-20 2017-11-15 주식회사 더디엔에이시스템 Artificial intelligence platform system by self-adaptive learning technique based on deep learning
KR101774844B1 (en) * 2017-04-18 2017-09-19 주식회사 더디엔에이시스템 Self-learning module of artificial neural network model using neuro-blockchain combination

Also Published As

Publication number Publication date
KR102191773B1 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
US11348249B2 (en) Training method for image semantic segmentation model and server
CN111191791B (en) Picture classification method, device and equipment based on machine learning model
WO2021093468A1 (en) Video classification method and apparatus, model training method and apparatus, device and storage medium
JP2020091922A (en) Structure learning in convolutional neural networks
US11093798B2 (en) Agile video query using ensembles of deep neural networks
US11887215B2 (en) Image processing apparatus and method for style transformation
CN108229280A (en) Time domain motion detection method and system, electronic equipment, computer storage media
CN110569356B (en) Interviewing method and device based on intelligent interviewing interaction system and computer equipment
RU2707147C1 (en) Neural network training by means of specialized loss functions
CN116171473A (en) Bimodal relationship network for audio-visual event localization
KR102370910B1 (en) Method and apparatus for few-shot image classification based on deep learning
EP3899806A1 (en) Convolutional neural networks with soft kernel selection
KR20210107551A (en) Apparatus and method for object detection
US11468322B2 (en) Method for selecting and presenting examples to explain decisions of algorithms
US11604943B2 (en) Domain adaptation for structured output via disentangled representations
US20220019879A1 (en) Verification Of Perception Systems
KR102191773B1 (en) Apparatus and method for generating learning engine based on deep learing of lego type
US20230419721A1 (en) Electronic device for improving quality of image and method for improving quality of image by using same
CN111242176B (en) Method and device for processing computer vision task and electronic system
KR102413588B1 (en) Object recognition model recommendation method, system and computer program according to training data
US20210224596A1 (en) System and method for improved fake digital content creation
RU2703270C1 (en) Optical character recognition using specialized confidence functions, implemented on the basis of neural networks
Littlestone et al. An apobayesian relative of winnow
US6735577B2 (en) Method and apparatus for automatic search for relevant picture data sets
CN111402121A (en) Image style conversion method and device, computer equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant