KR102613844B1 - Apparatus and method for automating artificial intelligence model design - Google Patents
Apparatus and method for automating artificial intelligence model design Download PDFInfo
- Publication number
- KR102613844B1 KR102613844B1 KR1020220098562A KR20220098562A KR102613844B1 KR 102613844 B1 KR102613844 B1 KR 102613844B1 KR 1020220098562 A KR1020220098562 A KR 1020220098562A KR 20220098562 A KR20220098562 A KR 20220098562A KR 102613844 B1 KR102613844 B1 KR 102613844B1
- Authority
- KR
- South Korea
- Prior art keywords
- search
- task
- space
- specific
- search space
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 42
- 238000013461 design Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000010845 search algorithm Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
다중 태스크 학습을 위한 인공지능 모델 설계 자동화 장치 및 방법이 개시된다. 일 실시예에 따른 인공지능 모델 설계 자동화 장치는 태스크 특정 입력값에 따라 탐색 공간 풀(search space pool)에 포함된 하나 이상의 요소 각각에 대한 확률값을 도출하도록 학습된 인공 신경망을 이용하여 태스크 특정 탐색 공간을 생성하는 공간 탐색부; 및 생성된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 태스크 특정 탐색 구조를 생성하는 구조 탐색부를 포함할 수 있다.An apparatus and method for automating artificial intelligence model design for multi-task learning are disclosed. An artificial intelligence model design automation device according to an embodiment is a task-specific search space using an artificial neural network learned to derive a probability value for each of one or more elements included in a search space pool according to a task-specific input value. a space exploration unit that generates; and a structure search unit that generates a task-specific search structure based on operators corresponding to the generated task-specific search space.
Description
다중 태스크 학습을 위한 인공지능 모델 설계 자동화 장치 및 방법에 관한 것이다.This relates to an apparatus and method for automating artificial intelligence model design for multi-task learning.
최근 인공지능(Artificial Intelligent)을 이용한 특징 추출(Feature extraction)의 자동화는 분류(Classification), 물체 탐지(Object detection), 의미론적 분할(Semantic Segmentation) 등의 많은 응용 분야에서 뛰어난 성과를 보여주고 있다. 이에 따라, 인공지능 모델 설계 자동화를 위한 신경망 구조 탐색(Neural Architecture Search)이 기계학습 자동화(AutoML)의 한 분야로 대두되어 활발한 연구가 진행되고 있다. Recently, automation of feature extraction using artificial intelligence has shown excellent performance in many application fields such as classification, object detection, and semantic segmentation. Accordingly, neural architecture search for artificial intelligence model design automation has emerged as a field of machine learning automation (AutoML), and active research is underway.
신경망 구조 탐색은 공간(Search Space), 탐색 방법(Search Strategy), 평가 방법(Evaluation Strategy)의 3가지 구성요소로 이루어져 있다. 먼저, 신경망 구조를 나타낼 탐색 공간을 정의한 후, 정의된 탐색 공간에서 탐색 방법을 이용하여 최적의 신경망 구조를 탐색한다. 효율적인 탐색을 위해, 탐색된 후보 신경망 구조들에 대하여 평가 방법을 이용하여 평가를 진행하는 방식으로 신경망 구조 탐색이 이루어진다.Neural network structure search consists of three components: Search Space, Search Strategy, and Evaluation Strategy. First, a search space representing the neural network structure is defined, and then the optimal neural network structure is searched using a search method in the defined search space. For efficient search, neural network structure search is performed by evaluating the searched candidate neural network structures using an evaluation method.
다중 태스크 학습을 위한 인공지능 모델 설계 자동화 장치 및 방법을 제공하는데 목적이 있다.The purpose is to provide a device and method for automating artificial intelligence model design for multi-task learning.
일 양상에 따르면, 인공지능 모델 설계 자동화 장치는 태스크 특정 입력값에 따라 탐색 공간 풀(search space pool)에 포함된 하나 이상의 요소 각각에 대한 확률값을 도출하도록 학습된 인공 신경망을 이용하여 태스크 특정 탐색 공간을 생성하는 공간 탐색부; 및 생성된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 태스크 특정 탐색 구조를 생성하는 구조 탐색부를 포함할 수 있다.According to one aspect, an artificial intelligence model design automation device uses an artificial neural network trained to derive a probability value for each of one or more elements included in a search space pool according to a task-specific input value to create a task-specific search space. a space exploration unit that generates; and a structure search unit that generates a task-specific search structure based on operators corresponding to the generated task-specific search space.
공간 탐색부는 하나 이상의 요소 중 소정 임계값 이상의 확률을 가지는 하나 이상의 요소를 기초로 태스크 특정 탐색 공간을 생성할 수 있다.The space search unit may generate a task-specific search space based on one or more elements having a probability greater than a predetermined threshold among one or more elements.
공간 탐색부에 포함된 인공 신경망은 태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조 및 태스크 특정 탐색 구조 가중치를 기초로 결정되는 손실함수를 최소화하도록 학습될 수 있다. The artificial neural network included in the space search unit may be trained to minimize a loss function determined based on the task-specific search structure and the task-specific search structure weight for the task-specific search space.
구조 탐색부는 태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조에 기초하여 생성된 손실함수를 최소화하는 태스크 특정 탐색 구조 가중치가 적용된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 결정된 탐색 구조 요소별 확률이 가장 큰 탐색 구조 요소를 이용하여 태스크 특정 탐색 구조를 생성할 수 있다. The structure search unit minimizes the loss function generated based on the task-specific search structure for the task-specific search space, with the highest probability for each search structure element determined based on the operator corresponding to the task-specific search space with weighted task-specific search structure weights applied. You can create task-specific navigation structures using navigation structure elements.
구조 탐색부는 구조 탐색을 위하여 상기 공간 탐색부에서 생성된 탐색 공간을 기초로 후보 요소들로 이루어진 탐색 구조를 결정하고, 결정된 탐색 구조를 기초로 기울기 기반의 탐색 알고리즘을 이용하여 생성된 탐색 공간 요소들의 가중치를 계산할 수 있다.The structure search unit determines a search structure composed of candidate elements based on the search space generated by the space search unit for structural search, and searches the search space elements generated using a gradient-based search algorithm based on the determined search structure. Weights can be calculated.
상기 기울기 기반의 탐색 알고리즘은, 탐색 공간 요소의 선택 확률와 관련된 가중치 파라미터와 각 탐색 공간 요소에 해당하는 연산자의 가중치를 최적화하고, 상기 구조 탐색부는, 상기 최적화를 통하여 각 탐색 구조 요소별 가중치에 따른 확률이 가장 높은 하나의 연산자가 탐색 구조에 포함되도록 할 수 있다.The gradient-based search algorithm optimizes the weight parameter related to the selection probability of the search space element and the weight of the operator corresponding to each search space element, and the structure search unit optimizes the probability according to the weight for each search structure element through the optimization. This allows the highest single operator to be included in the search structure.
인공지능 모델 설계 자동화 장치는 탐색 구조의 탐색 공간 요소별 선택 확률을 기초로 태스크 특정 탐색 공간을 업데이트하는 공간 진화부를 더 포함할 수 있다.The artificial intelligence model design automation device may further include a space evolution unit that updates the task-specific search space based on the selection probability for each search space element of the search structure.
일 양상에 따르면, 인공지능 모델 설계 자동화 방법은 태스크 특정 입력값에 따라 탐색 공간 풀(search space pool)에 포함된 하나 이상의 요소 각각에 대한 확률값을 도출하도록 학습된 인공 신경망을 이용하여 태스크 특정 탐색 공간을 생성하는 공간 탐색 단계; 및 생성된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 태스크 특정 탐색 구조를 생성하는 구조 탐색 단계를 포함할 수 있다.According to one aspect, a method for automating artificial intelligence model design uses an artificial neural network trained to derive a probability value for each of one or more elements included in a search space pool according to task-specific input values to create a task-specific search space. A space exploration step to generate; and a structure search step of generating a task-specific search structure based on operators corresponding to the generated task-specific search space.
공간 탐색 단계는 하나 이상의 요소 중 소정 임계값 이상의 확률을 가지는 하나 이상의 요소를 기초로 태스크 특정 탐색 공간을 생성할 수 있다.The space search step may generate a task-specific search space based on one or more elements that have a probability greater than a predetermined threshold among one or more elements.
구조 탐색 단계는 태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조에 기초하여 생성된 손실함수를 최소화하는 태스크 특정 탐색 구조 가중치가 적용된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 결정된 탐색 구조 요소별 확률이 가장 큰 탐색 구조 요소를 이용하여 태스크 특정 탐색 구조를 생성할 수 있다.The structure search step is a task-specific search structure that minimizes the loss function generated based on the task-specific search structure for the task-specific search space. The probability of each search structure element determined based on the operator corresponding to the task-specific search space with the weight applied is the highest. You can create task-specific navigation structures using large navigation structure elements.
구조 탐색 단계는, 구조 탐색을 위하여 상기 공간 탐색부에서 생성된 탐색 공간을 기초로 후보 요소들로 이루어진 탐색 구조를 결정하는 단계; 및 결정된 탐색 구조를 기초로 기울기 기반의 탐색 알고리즘을 이용하여 생성된 탐색 공간 요소들의 가중치를 계산하는 단계를 포함할 수 있다.The structure search step includes determining a search structure composed of candidate elements based on the search space generated by the space search unit for structural search; and calculating weights of search space elements generated using a gradient-based search algorithm based on the determined search structure.
상기 기울기 기반의 탐색 알고리즘은, 탐색 공간 요소의 선택 확률와 관련된 가중치 파라미터와 각 탐색 공간 요소에 해당하는 연산자의 가중치를 최적화하고, 상기 구조 탐색 단계는, 상기 최적화를 통하여 각 탐색 구조 요소별 가중치에 따른 확률이 가장 높은 하나의 연산자가 탐색 구조에 포함되도록 하는 단계를 더 포함할 수 있다.The gradient-based search algorithm optimizes the weight parameter related to the selection probability of the search space element and the weight of the operator corresponding to each search space element, and the structure search step is performed according to the weight for each search structure element through the optimization. A step of ensuring that the single operator with the highest probability is included in the search structure may be further included.
인공지능 모델 설계 자동화 방법은 생성된 태스크 특정 탐색 구조의 탐색 공간 요소별 선택 확률을 기초로 태스크 특정 탐색 공간을 업데이트하는 공간 진화 단계를 더 포함할 수 있다.The artificial intelligence model design automation method may further include a space evolution step of updating the task-specific search space based on the selection probability for each search space element of the generated task-specific search structure.
다중 태스크 학습에서의 공간 탐색 및 구조 탐색의 두 단계로 구성된 중첩된 탐색을 이용하여 태스크 맞춤형 탐색 공간과 인공지능 모델을 자동으로 생성할 수 있다.In multi-task learning, a task-specific search space and artificial intelligence model can be automatically created using nested search, which consists of two steps: spatial search and structural search.
도 1은 일 실시예에 따른 인공지능 모델 설계 자동화 장치의 구성도이다.
도 2는 일 실시예에 따른 인공지능 모델 설계 자동화 장치의 동작을 설명하기 위한 예시도이다.
도 3은 일 실시예에 따른 인공지능 모델 설계 자동화 방법을 도시한 흐름도이다.
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.1 is a configuration diagram of an artificial intelligence model design automation device according to an embodiment.
Figure 2 is an example diagram for explaining the operation of an artificial intelligence model design automation device according to an embodiment.
Figure 3 is a flowchart illustrating a method for automating artificial intelligence model design according to an embodiment.
4 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in example embodiments.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the attached drawings. In describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the content throughout this specification.
이하, 인공지능 모델 설계 자동화 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명한다.Hereinafter, embodiments of an artificial intelligence model design automation device and method will be described in detail with reference to the drawings.
도 1은 일 실시예에 따른 인공지능 모델 설계 자동화 장치의 구성도이다.1 is a configuration diagram of an artificial intelligence model design automation device according to an embodiment.
일 실시예에 따르면, 인공지능 모델 설계 자동화 장치(100)는 공간 탐색부(110) 및 구조 탐색부(120)를 포함할 수 있다. According to one embodiment, the artificial intelligence model design automation device 100 may include a space search unit 110 and a structure search unit 120.
일 예에 따르면, 인공지능 모델 설계 자동화 장치(100)는 공간 탐색부(110)에서 생성한 탐색 공간을 기초로 탐색 구조를 생성할 수 있다. 예를 들어, 인공지능 모델 설계 자동화 장치(100)는 아래 수학식과 같이 인공지능 설계를 위한 탐색 공간 및 탐색 구조를 생성할 수 있다.According to one example, the artificial intelligence model design automation device 100 may generate a search structure based on the search space generated by the space search unit 110. For example, the artificial intelligence model design automation device 100 can generate a search space and search structure for artificial intelligence design as shown in the equation below.
[수학식 1][Equation 1]
예를 들어, 인공지능 모델 설계 자동화 장치(100)는 탐색 공간 풀(Z)에서 생성된 각각의 β t 를 가지고 a t *를 탐색할 수 있다. 다시 말해, 인공지능 모델 설계 자동화 장치(100)는 β t 가 생성되면 생성된 β t 의 요소(operation)들에 따라 탐색 구조를 결정하고, 이를 이용하여 a t *를 탐색할 수 있다.For example, the artificial intelligence model design automation device 100 may search for a t * with each β t generated from the search space pool (Z). In other words, when β t is generated, the artificial intelligence model design automation device 100 determines a search structure according to the elements (operations) of the generated β t and can use this to search for a t * .
도 2를 참조하면, 탐색 공간 풀의 요소 1 및 Z가 β t 의 요소에 포함된다면, 탐색 구조는 이에 해당하는 연산자를 포함하여 구성될 수 있다. 예를 들어, 탐색 구조는 모든 태스크들이 공유하는 단일 구조로 구성될 수 있으며, 생성된 탐색 공간에 따라 탐색 구조는 선택적으로 공유될 수 있다. 따라서, 도 2와 같이 태스크 1 및 t가 탐색 공간 요소 Z를 탐색 공간으로 동시에 포함하는 경우, 이에 해당하는 연산자의 탐색 구조는 공유될 수 있다.Referring to FIG. 2, if elements 1 and Z of the search space pool are included in the elements of β t , the search structure may be configured to include the corresponding operator. For example, the search structure may consist of a single structure shared by all tasks, and the search structure may be selectively shared depending on the created search space. Therefore, as shown in Figure 2, when tasks 1 and t simultaneously include search space element Z as the search space, the search structure of the corresponding operator can be shared.
일 실시예에 따르면, 공간 탐색부(110)는 태스크 특정 입력값에 따라 탐색 공간 풀(search space pool)에 포함된 하나 이상의 요소 각각에 대한 확률값을 도출하도록 학습된 인공 신경망을 이용하여 태스크 특정 탐색 공간을 생성할 수 있다.According to one embodiment, the spatial search unit 110 performs a task-specific search using an artificial neural network learned to derive a probability value for each of one or more elements included in a search space pool according to a task-specific input value. Space can be created.
일 예에 따르면, 공간 탐색부(110)는 각각의 태스크에 대한 탐색 공간을 탐색 공간 풀(Search space pool)의 하위 공간으로 생성할 수 있다. 여기서 생성된 탐색 공간의 요소는 다른 태스크들과 공유될 수 있으며, 고유의 요소로 생성될 수 있다. 예를 들어, 단일 탐색을 이용하여 각각의 태스크 별로 공간 탐색부(110)에서 생성된 탐색 공간을 기초로 구조 탐색을 수행할 수 있으며, 점진적인 진화(Progressive Evolution)를 통하여 탐색 공간이 진화할 수 있다.According to one example, the space search unit 110 may create a search space for each task as a subspace of a search space pool. Elements of the search space created here can be shared with other tasks or created as unique elements. For example, a structural search can be performed based on the search space generated by the space search unit 110 for each task using a single search, and the search space can evolve through progressive evolution. .
일 예에 따르면, 공간 탐색을 수행하는 공간 탐색부(110)는 인공 신경망을 포함할 수 있으며, 아래 수학식과 같이 탐색 공간 풀에 포함된 하나 이상의 요소 각각에 대한 확률값을 도출할 수 있다.According to one example, the spatial search unit 110 that performs spatial search may include an artificial neural network and may derive a probability value for each of one or more elements included in the search space pool as shown in the equation below.
[수학식 2][Equation 2]
여기서, G는 공간 탐색부, q는 공간 탐색부의 인공 신경망 파라미터, Xt는 태스크 t의 입력값, z는 탐색 공간 풀을 나타낸다. 예를 들어, 공간 탐색부(110)는 수학식 2와 같이 각각의 태스크의 입력값에 따라 탐색 공간 풀에 포함된 각각의 요소들에 대해 확률값을 결과로 도출할 수 있다.Here, G is the spatial search unit, q is the artificial neural network parameter of the spatial search unit, X t is the input value of task t, and z is the search space pool. For example, the space search unit 110 may derive a probability value for each element included in the search space pool according to the input value of each task as shown in Equation 2.
일 실시예에 따르면, 공간 탐색부(110)는 하나 이상의 요소 중 소정 임계값 이상의 확률을 가지는 하나 이상의 요소를 기초로 탐색 공간을 생성할 수 있다. 예를 들어, 공간 탐색부(110)는 요소별 도출된 확률값이 임계값(Threshold) 이상이면 해당 요소를 탐색 공간으로 생성할 수 있다. According to one embodiment, the space search unit 110 may generate a search space based on one or more elements that have a probability of more than a predetermined threshold among one or more elements. For example, if the probability value derived for each element is greater than or equal to a threshold, the space search unit 110 may generate the corresponding element as a search space.
일 예로, 공간 탐색부(110)에 포함된 인공 신경망의 파라미터는 정책 기울기 근사치(Policy gradient approximation) 기반으로 생성된 탐색 공간에 따른 탐색 구조의 손실이 최소화되도록 최적화될 수 있다.As an example, the parameters of the artificial neural network included in the spatial search unit 110 may be optimized to minimize the loss of the search structure according to the search space generated based on policy gradient approximation.
일 실시예에 따른 공간 탐색부(110)에 포함된 인공 신경망은 태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조 및 태스크 특정 탐색 구조 가중치를 기초로 결정되는 손실함수를 최소화하도록 학습될 수 있다. 예를 들어, 인공 신경망은 아래 수학식과 같이 학습될 수 있다.The artificial neural network included in the spatial search unit 110 according to one embodiment may be trained to minimize a loss function determined based on a task-specific search structure and a task-specific search structure weight for the task-specific search space. For example, an artificial neural network can be trained as shown in the equation below.
[수학식 3][Equation 3]
예를 들어, 공간 탐색부(110)에서 생성된 β t 및 이에 해당하는 요소들의 wt, a t 를 기초로 손실함수를 계산할 수 있으며, 이를 최적화하는 방향으로 공간 탐색부(110)에 포함된 인공 신경망의 가중치(q)가 학습될 수 있다. 일 예로, 학습되는 가중치에 따라 생성되는 b t 는 변할 수 있다.For example, the loss function can be calculated based on β t generated in the spatial search unit 110 and the w t and a t of the corresponding elements, and the loss function included in the spatial search unit 110 is used to optimize this. The weights (q) of the artificial neural network can be learned. As an example, b t generated may change depending on the learned weight.
일 실시예에 따르면, 구조 탐색부(120)는 생성된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 태스크 특정 탐색 구조를 생성할 수 있다.According to one embodiment, the structure search unit 120 may generate a task-specific search structure based on an operator corresponding to the created task-specific search space.
일 실시예에 따르면, 구조 탐색부(120)는 태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조에 기초하여 생성된 손실함수를 최소화하는 태스크 특정 탐색 구조 가중치가 적용된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 결정된 탐색 구조 요소별 확률이 가장 큰 탐색 구조 요소를 이용하여 태스크 특정 탐색 구조를 생성할 수 있다.According to one embodiment, the structure search unit 120 is based on an operator corresponding to a task-specific search space to which a task-specific search structure weight that minimizes the loss function generated based on the task-specific search structure for the task-specific search space is applied. A task-specific search structure can be created using the search structure element with the highest probability for each search structure element determined.
일 예에 따르면, 구조 탐색부(120)는 구조 탐색을 위하여 공간 탐색부(110)에서 생성된 탐색 공간을 기초로 후보 요소들로 이루어진 탐색 구조를 결정할 수 있다. 예를 들어, 도 2와 같이 1 및 Z가 태스크 t에서 생성된 탐색 공간 β t 의 요소에 포함된다면, 탐색 구조는 이에 해당하는 연산자를 포함하여 구성될 수 있다. According to one example, the structure search unit 120 may determine a search structure composed of candidate elements based on the search space generated by the space search unit 110 for structure search. For example, as shown in FIG. 2, if 1 and Z are included in the elements of the search space β t created in task t, the search structure may be configured to include the corresponding operator.
일 예로, 사용되는 탐색 구조는 단일 구조이며, 생성된 탐색 공간에 따라 탐색 구조는 선택적으로 공유될 수 있다. 예를 들어, 도 2와 같이 태스크 1, t가 탐색 공간 요소 Z를 탐색 공간으로 동시에 포함하는 경우, 이에 해당하는 연산자의 탐색 구조는 공유될 수 있다. As an example, the search structure used is a single structure, and the search structure can be selectively shared depending on the created search space. For example, as shown in Figure 2, when task 1, t simultaneously includes search space element Z as the search space, the search structure of the corresponding operator may be shared.
일 예에 따르면, 구조 탐색부(120)는 구성된 탐색 구조를 기초로 기울기(Gradient) 기반의 탐색 알고리즘을 이용하여 생성된 탐색 공간 요소들의 가중치를 계산할 수 있다. 기울기 기반의 탐색 알고리즘은 탐색 공간 요소의 선택 확률(p)와 관련된 가중치 파라미터(e)와 각 탐색 공간 요소에 해당하는 연산자(w)의 가중치를 최적화할 수 있다. 일 예로, 구조 탐색부(120)는 최적화를 통하여 각 탐색 구조 요소별 가중치에 따른 확률(p)이 가장 높은 하나의 연산자가 탐색 구조에 포함될 수 있다. 예를 들어, 최적화는 태스크별 손실함수(L t )의 합에 대하여 이루어지며 아래의 수학식과 같이 표현될 수 있다.According to one example, the structure search unit 120 may calculate the weights of search space elements generated using a gradient-based search algorithm based on the configured search structure. The gradient-based search algorithm can optimize the weight parameter ( e ) related to the selection probability ( p ) of the search space element and the weight of the operator ( w ) corresponding to each search space element. As an example, the structure search unit 120 may include in the search structure an operator with the highest probability ( p ) according to the weight of each search structure element through optimization. For example, optimization is performed on the sum of loss functions ( L t ) for each task and can be expressed as the equation below.
[수학식 4][Equation 4]
여기서, a t 는 주어진 탐색 공간 β t 에서 선택된 탐색 구조이다. 수학식 4에서와 같이, 구조 탐색부(120)는 주어진 β t 내에서 최적의 탐색 구조를 결정할 수 있다. Here, a t is the search structure selected in the given search space β t . As in Equation 4, the structure search unit 120 can determine the optimal search structure within a given β t .
일 예로, 구조 탐색부(120)는 기울기(Gradient) 기반의 탐색 알고리즘을 이용하여 학습할 수 있으며, 학습하는 파라미터는 각각의 요소(operation)마다 두 개씩 존재할 수 있다. 예를 들어, 구조 탐색부(120)는 탐색 공간 요소의 선택 확률(p)와 관련된 가중치 파라미터(e)와 각 탐색 공간 요소에 해당하는 연산자의 가중치(w)를 반복적으로(iterative) 학습하며 탐색 구조를 최적화할 수 있다. 예를 들어, 최적화를 통하여 각 탐색 구조 요소별 가중치에 따른 확률(p)이 가장 높은 하나의 연산자가 탐색 구조에 포함될 수 있다.For example, the structure search unit 120 may learn using a gradient-based search algorithm, and there may be two parameters to learn for each element (operation). For example, the structure search unit 120 iteratively learns the weight parameter ( e ) related to the selection probability ( p ) of the search space element and the weight ( w ) of the operator corresponding to each search space element. The structure can be optimized. For example, through optimization, one operator with the highest probability ( p ) according to the weight of each search structure element may be included in the search structure.
일 실시예에 따르면, 인공지능 모델 설계 자동화 장치(100)는 탐색 구조의 탐색 공간 요소별 선택 확률을 기초로 태스크 특정 탐색 공간을 업데이트하는 공간 진화부를 더 포함할 수 있다.According to one embodiment, the artificial intelligence model design automation apparatus 100 may further include a space evolution unit that updates the task-specific search space based on the selection probability for each search space element of the search structure.
일 예로, 공간 진화부(130)는 구조 탐색부(120)에서 최적화된 각 탐색 공간 요소의 가중치 확률(p)와 진화 알고리즘(Evolutionary algorithm)을 바탕으로 공간 진화를 수행할 수 있다. 예를 들어, 공간 진화를 위한 적합 수치(Fitness measure)는 아래 수학식과 같이 나타낼 수 있다.As an example, the spatial evolution unit 130 may perform spatial evolution based on the weight probability ( p ) of each search space element optimized by the structure search unit 120 and an evolutionary algorithm. For example, the fitness measure for spatial evolution can be expressed as the equation below.
[수학식 5][Equation 5]
여기서, 와 는 태스크 t, 연산자 j의 적합 수치와 연산자이며, 는 태스크 t에서 구성된 탐색 구조의 레이어 l, 노드 i에서 연산자 j에 해당하는 가중치 확률을 나타낸다. here, and are the appropriate numbers and operators of task t and operator j , represents the weight probability corresponding to operator j at node i, layer l of the search structure constructed in task t.
일 예로, 공간 진화부(130)는 진화 알고리즘에서 사용되는 변이(Mutation) 기법을 이용하여 적합 수치가 낮은 탐색 공간 요소들은 탐색 공간 풀의 요소로 교체하여 탐색 공간을 갱신할 수 있다.As an example, the space evolution unit 130 may update the search space by replacing search space elements with low fitness values with elements of the search space pool using a mutation technique used in an evolutionary algorithm.
일 예를 들어, 공간 진화부(130)는 구조 탐색부(120)에서 얻어진 탐색 공간 요소의 선택 확률(p)를 이용하여 b t 를 업데이트할 수 있다. For example, the spatial evolution unit 130 may update b t using the selection probability ( p ) of the search space element obtained by the structure search unit 120.
수학식 5에서 는 요소(operation) j가 전체 탐색 구조에 걸쳐 얻는 확률들의 합을 나타낸다. 여기서, 공간 진화부(130)는 진화 알고리즘을 이용하여 점수가 낮은 요소들을 변이(mutation) 시킬 수 있다. 이 때, 공간 진화부(130)는 점수가 낮은 요소들을 탐색 공간 풀에서 현재 b t 에 포함되지 않은 요소들 중 어느 하나로 랜덤하게 변이 시키거나, 점수가 높은 요소에 해당하는 타입과 동일한 타입 내의 요소로 변이 시킬 수 있다.In equation 5: represents the sum of probabilities obtained by element (operation j) over the entire search structure. Here, the spatial evolution unit 130 may mutate elements with low scores using an evolutionary algorithm. At this time, the spatial evolution unit 130 randomly mutates elements with low scores into any of the elements not currently included in b t in the search space pool, or transforms elements with the same type as the elements with high scores. It can be transformed into .
도 3은 일 실시예에 따른 인공지능 모델 설계 자동화 방법을 도시한 흐름도이다.Figure 3 is a flowchart illustrating a method for automating artificial intelligence model design according to an embodiment.
일 실시예에 따르면, 인공지능 모델 설계 자동화 장치는 태스크 특정 입력값에 따라 탐색 공간 풀(search space pool)에 포함된 하나 이상의 요소 각각에 대한 확률값을 도출하도록 학습된 인공 신경망을 이용하여 태스크 특정 탐색 공간을 생성할 수 있다(310). 일 예로, 인공지능 모델 설계 자동화 장치는 하나 이상의 요소 중 소정 임계값 이상의 확률을 가지는 하나 이상의 요소를 기초로 태스크 특정 탐색 공간을 생성할 수 있다. 여기서, 인공 신경망은 태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조 및 태스크 특정 탐색 구조 가중치를 기초로 결정되는 손실함수를 최소화하도록 학습될 수 있다.According to one embodiment, an artificial intelligence model design automation device performs task-specific search using an artificial neural network learned to derive a probability value for each of one or more elements included in a search space pool according to task-specific input values. Space can be created (310). As an example, an artificial intelligence model design automation device may generate a task-specific search space based on one or more elements that have a probability of more than a predetermined threshold among one or more elements. Here, the artificial neural network may be trained to minimize the loss function determined based on the task-specific search structure and the task-specific search structure weight for the task-specific search space.
일 실시예에 따르면, 인공지능 모델 설계 자동화 장치는 생성된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 태스크 특정 탐색 구조를 생성할 수 있다(320). 일 예로, 인공지능 모델 설계 자동화 장치는 태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조에 기초하여 생성된 손실함수를 최소화하는 태스크 특정 탐색 구조 가중치가 적용된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 결정된 탐색 구조 요소별 확률이 가장 큰 탐색 구조 요소를 이용하여 태스크 특정 탐색 구조를 생성할 수 있다. According to one embodiment, the artificial intelligence model design automation device may generate a task-specific search structure based on an operator corresponding to the generated task-specific search space (320). As an example, an artificial intelligence model design automation device determines a search based on an operator corresponding to a task-specific search space with a task-specific search structure weight that minimizes the loss function generated based on the task-specific search structure for the task-specific search space. A task-specific search structure can be created using the search structure element with the highest probability for each structure element.
일 실시예에 따르면, 인공지능 모델 설계 자동화 장치는 생성된 태스크 특정 탐색 구조의 태스크 특정 탐색 공간 요소별 선택 확률을 기초로 태스크 특정 탐색 공간을 업데이트할 수 있다.According to one embodiment, the artificial intelligence model design automation device may update the task-specific search space based on the selection probability for each task-specific search space element of the generated task-specific search structure.
도 3의 실시예 중 도 1 및 도 2를 참조하여 설명한 내용과 중복되는 설명은 생략하였다.Among the embodiments of FIG. 3, descriptions that overlap with those described with reference to FIGS. 1 and 2 have been omitted.
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.FIG. 4 is a block diagram illustrating and illustrating a computing environment 10 including computing devices suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 신경망 장치(100)일 수 있다.The illustrated computing environment 10 includes a computing device 12 . In one embodiment, computing device 12 may be neural network device 100.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14, a computer-readable storage medium 16, and a communication bus 18. Processor 14 may cause computing device 12 to operate in accordance with the example embodiments noted above. For example, processor 14 may execute one or more programs stored on computer-readable storage medium 16. The one or more programs may include one or more computer-executable instructions, which, when executed by the processor 14, cause computing device 12 to perform operations according to example embodiments. It can be.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or an appropriate combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, another form of storage medium that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.Communication bus 18 interconnects various other components of computing device 12, including processor 14 and computer-readable storage medium 16.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input/output devices 24. The input/output interface 22 and the network communication interface 26 are connected to the communication bus 18. Input/output device 24 may be coupled to other components of computing device 12 through input/output interface 22. Exemplary input/output devices 24 include, but are not limited to, a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touch screen), a voice or sound input device, various types of sensor devices, and/or imaging devices. It may include input devices and/or output devices such as display devices, printers, speakers, and/or network cards. The exemplary input/output device 24 may be included within the computing device 12 as a component constituting the computing device 12, or may be connected to the computing device 12 as a separate device distinct from the computing device 12. It may be possible.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.So far, the present invention has been examined focusing on its preferred embodiments. A person skilled in the art to which the present invention pertains will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Accordingly, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope equivalent to the content described in the patent claims.
100: 인공지능 모델 설계 자동화 장치
110: 공간 탐색부
120: 구조 탐색부
130: 공간 진화부100: Artificial intelligence model design automation device
110: Space exploration unit
120: Structure search unit
130: Space Evolution Department
Claims (15)
상기 생성된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 태스크 특정 탐색 구조를 생성하는 구조 탐색부를 포함하고,
상기 구조 탐색부는,
태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조에 기초하여 생성된 손실함수를 최소화하는 태스크 특정 탐색 구조 가중치가 적용된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 결정된 탐색 구조 요소별 확률이 가장 큰 탐색 구조 요소를 이용하여 태스크 특정 탐색 구조를 생성하는, 인공지능 모델 설계 자동화 장치.
A task-specific search space is created using an artificial neural network that is trained to derive the probability that each element will be selected for creation of the search space for each of one or more elements included in the search space pool according to task-specific input values. a space exploration unit that generates; and
A structure search unit that generates a task-specific search structure based on operators corresponding to the generated task-specific search space,
The structure search unit,
A task-specific search structure that minimizes the loss function generated based on a task-specific search structure for a task-specific search space. The search structure element with the highest probability for each search structure element determined based on the operator corresponding to the weighted task-specific search space. An artificial intelligence model design automation device that creates a task-specific search structure using .
상기 공간 탐색부는
상기 하나 이상의 요소 중 소정 임계값 이상의 확률을 가지는 하나 이상의 요소를 기초로 태스크 특정 탐색 공간을 생성하는, 인공지능 모델 설계 자동화 장치.
According to claim 1,
The space exploration unit
An artificial intelligence model design automation device that generates a task-specific search space based on one or more elements having a probability of more than a predetermined threshold among the one or more elements.
상기 공간 탐색부에 포함된 인공 신경망은
태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조 및 태스크 특정 탐색 구조 가중치를 기초로 결정되는 손실함수를 최소화하도록 학습되는, 인공지능 모델 설계 자동화 장치.
According to claim 1,
The artificial neural network included in the space exploration unit is
An artificial intelligence model design automation device that is learned to minimize the loss function determined based on the task-specific search structure and the task-specific search structure weight for the task-specific search space.
상기 구조 탐색부는
구조 탐색을 위하여 상기 공간 탐색부에서 생성된 탐색 공간을 기초로 후보 요소들로 이루어진 탐색 구조를 결정하고, 결정된 탐색 구조를 기초로 기울기 기반의 탐색 알고리즘을 이용하여 생성된 탐색 공간 요소들의 가중치를 계산하는, 인공지능 모델 설계 자동화 장치.
According to claim 1,
The structure search unit
For structure search, a search structure consisting of candidate elements is determined based on the search space generated by the spatial search unit, and weights of search space elements generated using a gradient-based search algorithm are calculated based on the determined search structure. An artificial intelligence model design automation device.
상기 기울기 기반의 탐색 알고리즘은, 탐색 공간 요소의 선택 확률와 관련된 가중치 파라미터와 각 탐색 공간 요소에 해당하는 연산자의 가중치를 최적화하고,
상기 구조 탐색부는, 상기 최적화를 통하여 각 탐색 구조 요소별 가중치에 따른 확률이 가장 높은 하나의 연산자가 탐색 구조에 포함되도록 하는, 인공지능 모델 설계 자동화 장치.
According to claim 5,
The gradient-based search algorithm optimizes weight parameters related to the selection probability of search space elements and the weight of the operator corresponding to each search space element,
The structure search unit is an artificial intelligence model design automation device that ensures that the operator with the highest probability according to the weight of each search structure element is included in the search structure through the optimization.
탐색 구조의 탐색 공간 요소별 선택 확률을 기초로 태스크 특정 탐색 공간을 업데이트하는 공간 진화부를 더 포함하는, 인공지능 모델 설계 자동화 장치.
According to claim 1,
An artificial intelligence model design automation device further comprising a space evolution unit that updates a task-specific search space based on the selection probability for each search space element of the search structure.
상기 생성된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 태스크 특정 탐색 구조를 생성하는 구조 탐색 단계를 포함하고,
상기 구조 탐색 단계는
태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조에 기초하여 생성된 손실함수를 최소화하는 태스크 특정 탐색 구조 가중치가 적용된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 결정된 탐색 구조 요소별 확률이 가장 큰 탐색 구조 요소를 이용하여 태스크 특정 탐색 구조를 생성하는, 인공지능 모델 설계 자동화 방법.
A task-specific search space is created using an artificial neural network that is trained to derive the probability that each element will be selected for creation of the search space for each of one or more elements included in the search space pool according to task-specific input values. A space exploration step to create; and
A structure search step of generating a task-specific search structure based on operators corresponding to the generated task-specific search space,
The structure search step is
A task-specific search structure that minimizes the loss function generated based on a task-specific search structure for a task-specific search space. The search structure element with the highest probability for each search structure element determined based on the operator corresponding to the weighted task-specific search space. An artificial intelligence model design automation method that generates a task-specific search structure using .
상기 공간 탐색 단계는
상기 하나 이상의 요소 중 소정 임계값 이상의 확률을 가지는 하나 이상의 요소를 기초로 태스크 특정 탐색 공간을 생성하는, 인공지능 모델 설계 자동화 방법.
According to claim 8,
The space exploration step is
An artificial intelligence model design automation method that generates a task-specific search space based on one or more elements with a probability of more than a predetermined threshold among the one or more elements.
상기 인공 신경망은
태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조 및 태스크 특정 탐색 구조 가중치를 기초로 결정되는 손실함수를 최소화하도록 학습되는, 인공지능 모델 설계 자동화 방법.
According to claim 8,
The artificial neural network is
A method of automating the design of an artificial intelligence model that is learned to minimize a loss function determined based on a task-specific search structure and a task-specific search structure weight for a task-specific search space.
상기 구조 탐색 단계는,
구조 탐색을 위하여 상기 공간 탐색부에서 생성된 탐색 공간을 기초로 후보 요소들로 이루어진 탐색 구조를 결정하는 단계; 및
결정된 탐색 구조를 기초로 기울기 기반의 탐색 알고리즘을 이용하여 생성된 탐색 공간 요소들의 가중치를 계산하는 단계를 포함하는, 인공지능 모델 설계 자동화 방법.
According to claim 8,
The structure search step is,
determining a search structure composed of candidate elements based on the search space generated by the space search unit for structural search; and
An artificial intelligence model design automation method comprising calculating weights of search space elements generated using a gradient-based search algorithm based on a determined search structure.
상기 기울기 기반의 탐색 알고리즘은, 탐색 공간 요소의 선택 확률와 관련된 가중치 파라미터와 각 탐색 공간 요소에 해당하는 연산자의 가중치를 최적화하고,
상기 구조 탐색 단계는, 상기 최적화를 통하여 각 탐색 구조 요소별 가중치에 따른 확률이 가장 높은 하나의 연산자가 탐색 구조에 포함되도록 하는 단계를 더 포함하는, 인공지능 모델 설계 자동화 방법.
According to claim 12,
The gradient-based search algorithm optimizes weight parameters related to the selection probability of search space elements and the weight of the operator corresponding to each search space element,
The structure search step further includes the step of ensuring that one operator with the highest probability according to the weight of each search structure element is included in the search structure through the optimization.
상기 생성된 태스크 특정 탐색 구조의 탐색 공간 요소별 선택 확률을 기초로 태스크 특정 탐색 공간을 업데이트하는 공간 진화 단계를 더 포함하는, 인공지능 모델 설계 자동화 방법.
According to claim 8,
An artificial intelligence model design automation method further comprising a spatial evolution step of updating the task-specific search space based on the selection probability for each search space element of the generated task-specific search structure.
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
태스크 특정 입력값에 따라 탐색 공간 풀(search space pool)에 포함된 하나 이상의 요소 각각에 대해 각 요소가 탐색 공간의 생성을 위해 선택될 확률값을 도출하도록 학습된 인공 신경망을 이용하여 태스크 특정 탐색 공간을 생성하는 공간 탐색 단계; 및
상기 생성된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 태스크 특정 탐색 구조를 생성하는 구조 탐색 단계를 수행하도록 하고,
상기 구조 탐색 단계는,
태스크 특정 탐색 공간에 대한 태스크 특정 탐색 구조에 기초하여 생성된 손실함수를 최소화하는 태스크 특정 탐색 구조 가중치가 적용된 태스크 특정 탐색 공간에 해당하는 연산자에 기초하여 결정된 탐색 구조 요소별 확률이 가장 큰 탐색 구조 요소를 이용하여 태스크 특정 탐색 구조를 생성하는, 컴퓨터 프로그램.
A computer program stored on a non-transitory computer readable storage medium,
The computer program includes one or more instructions that, when executed by a computing device having one or more processors, cause the computing device to:
A task-specific search space is created using an artificial neural network that is trained to derive the probability that each element will be selected for creation of the search space for each of one or more elements included in the search space pool according to task-specific input values. A space exploration step to create; and
Perform a structure search step to generate a task-specific search structure based on operators corresponding to the created task-specific search space,
The structure search step is,
A task-specific search structure that minimizes the loss function generated based on a task-specific search structure for a task-specific search space. The search structure element with the highest probability for each search structure element determined based on the operator corresponding to the weighted task-specific search space. A computer program that generates a task-specific navigation structure using .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220098562A KR102613844B1 (en) | 2022-08-08 | 2022-08-08 | Apparatus and method for automating artificial intelligence model design |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220098562A KR102613844B1 (en) | 2022-08-08 | 2022-08-08 | Apparatus and method for automating artificial intelligence model design |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102613844B1 true KR102613844B1 (en) | 2023-12-13 |
Family
ID=89157664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220098562A KR102613844B1 (en) | 2022-08-08 | 2022-08-08 | Apparatus and method for automating artificial intelligence model design |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102613844B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102140996B1 (en) * | 2020-02-21 | 2020-08-04 | 광주과학기술원 | Method and device for neural architecture search optimized for binary neural network |
| KR20210078212A (en) | 2019-12-18 | 2021-06-28 | 주식회사 하나금융티아이 | Neural architecture search apparatus and method based on policy vector |
| US20210256392A1 (en) * | 2020-02-10 | 2021-08-19 | Nec Laboratories America, Inc. | Automating the design of neural networks for anomaly detection |
-
2022
- 2022-08-08 KR KR1020220098562A patent/KR102613844B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210078212A (en) | 2019-12-18 | 2021-06-28 | 주식회사 하나금융티아이 | Neural architecture search apparatus and method based on policy vector |
| US20210256392A1 (en) * | 2020-02-10 | 2021-08-19 | Nec Laboratories America, Inc. | Automating the design of neural networks for anomaly detection |
| KR102140996B1 (en) * | 2020-02-21 | 2020-08-04 | 광주과학기술원 | Method and device for neural architecture search optimized for binary neural network |
Non-Patent Citations (2)
| Title |
|---|
| CASALE, Francesco Paolo et al., Probabilistic neural architecture search. arXiv preprint arXiv:1902.05116, 2019* * |
| 추형석, 신경망 구조 탐색 연구 동향, 소프트웨어정책연구소, [online], 2018년 6월, [2023년 6월 20일 검색], 인터넷 : <[URL : https://www.spri.kr/posts/view/22164?code=data_all]>* * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11790238B2 (en) | Multi-task neural networks with task-specific paths | |
| KR102302609B1 (en) | Neural Network Architecture Optimization | |
| EP3711000B1 (en) | Regularized neural network architecture search | |
| CN111105029B (en) | Neural network generation method, generation device and electronic equipment | |
| US11010664B2 (en) | Augmenting neural networks with hierarchical external memory | |
| CN109313720A (en) | The strength neural network of external memory with sparse access | |
| JP2018537788A (en) | Extension of neural network using external memory | |
| KR20190056940A (en) | Method and device for learning multimodal data | |
| US20180285769A1 (en) | Artificial immune system for fuzzy cognitive map learning | |
| KR102293791B1 (en) | Electronic device, method, and computer readable medium for simulation of semiconductor device | |
| CN111443964B (en) | Method, apparatus and computer readable storage medium for updating user interface | |
| WO2014176056A2 (en) | Data classification | |
| CN112508177A (en) | Network structure searching method and device, electronic equipment and storage medium | |
| US11663413B2 (en) | Dialog apparatus, dialog system, and computer-readable recording medium | |
| Paul et al. | Exploring reward efficacy in traffic management using deep reinforcement learning in intelligent transportation system | |
| KR20200106108A (en) | System and method for patent information word embedding based on deep learning | |
| KR102613844B1 (en) | Apparatus and method for automating artificial intelligence model design | |
| KR20220032861A (en) | Neural architecture search method and attaratus considering performance in hardware | |
| KR20210116640A (en) | Systems and methods for creating an architecture of pyramid hierarchies | |
| KR20210149393A (en) | Apparatus and method for training reinforcement learning model in use of combinational optimization | |
| JP2023540266A (en) | Concept prediction for creating new intents and automatically assigning examples in dialogue systems | |
| KR102583943B1 (en) | A neural network apparatus and neural network learning method for performing continuous learning using a correlation analysis algorithm between tasks | |
| KR20210141150A (en) | Method and apparatus for image analysis using image classification model | |
| Fedorenko et al. | The Neural Network for Online Learning Task Without Manual Feature Extraction | |
| KR20230062052A (en) | Method and apparatus for training prediction model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |