KR102134472B1 - 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법 - Google Patents

유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법 Download PDF

Info

Publication number
KR102134472B1
KR102134472B1 KR1020180087386A KR20180087386A KR102134472B1 KR 102134472 B1 KR102134472 B1 KR 102134472B1 KR 1020180087386 A KR1020180087386 A KR 1020180087386A KR 20180087386 A KR20180087386 A KR 20180087386A KR 102134472 B1 KR102134472 B1 KR 102134472B1
Authority
KR
South Korea
Prior art keywords
neural network
convolutional neural
generating
chromosome
chromosomes
Prior art date
Application number
KR1020180087386A
Other languages
English (en)
Other versions
KR20200012281A (ko
Inventor
박지훈
이상호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020180087386A priority Critical patent/KR102134472B1/ko
Publication of KR20200012281A publication Critical patent/KR20200012281A/ko
Application granted granted Critical
Publication of KR102134472B1 publication Critical patent/KR102134472B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

본 발명은 콘볼루션 뉴럴 네트워크의 최적 구조를 탐색하기 위한 방법에 관한 것이다. 본 발명에 따른 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크 최적 구조 탐색 방법은, 콘볼루션 뉴럴 네트워크 구조를 초기화하여 초기 세대를 생성하고, 상기 초기 세대의 염색체들을 생성하는 단계; 상기 염색체들에 대한 콘볼루션 뉴럴 네트워크를 생성하여 학습하고, 소정 적합도 함수에 따라 적합도를 산출하여 평가하는 단계; 상기 평가한 적합도를 통해 우수 염색체를 선택하는 단계; 상기 우수 염색체로부터 염색체 교배를 통해 다음 세대 후보군을 생성하는 단계; 염색체 변이를 통해 상기 다음 세대 후보군에 대한 변이를 적용하는 단계; 및 소정 횟수만큼 상기 평가하는 단계, 선택하는 단계, 다음 세대 후보군을 생성하는 단계 및 적용하는 단계를 반복하는 단계;를 포함한다.

Description

유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법{A METHOD FOR SEARCHING OPTIMAL STRUCTURE OF CONVOLUTION NEURAL NETWORK USING GENETIC ALGORITHMS}
본 발명은 콘볼루션 뉴럴 네트워크의 최적 구조를 탐색하기 위한 방법에 관한 것이다.
딥러닝 기술의 발전으로 인해 콘볼루션 뉴럴 네트워크(CNN)가 영상을 다루는 컴퓨터 비전 분야의 거의 전 영역에서 사용되고 있으며, 그 범위는 영상 분류(Image Classification), 물체 인식(Object Detection), 영상 분리(Image Segmenation), 영상 초해상도(Image SuperResolution) 등 다양하다.
AlexNet, VGG Net, Google Net 등의 초기 CNN 구조들 이후에 ResNet, DenseNet 등의 최신 뉴럴 네트워크 아키텍처들이 발전하고 있지만, CNN을 사용하는 목적과 데이터 셋에 따라 최적의 구조가 다를 수 있다.
특히, CNN의 레이어수가 많고 깊이가 깊어질수록(필터 수가 많아질수록) 특징 추출의 성능이 높아지는 경향이 있지만, 뉴럴 네트워크 파라미터의 개수가 많아지며, 이는 알고리즘 수행 속도의 저하와 모델 용량의 증가를 가져온다.
따라서 CNN 알고리즘이 탑재되는 처리장치의 처리 성능과 시스템 요구조건에 따른 알고리즘 수행 속도 제약을 지키는 CNN 구조 중, 가장 정확도가 높은 것을 사용해야 한다.
또한 기존의 CNN 구조들의 경우 여러 아이디어를 통해 CNN을 만들어내고, 다양한 구조가 제안되고 있지만, 최적의 CNN 구조를 자동으로 탐색하기 위한 알고리즘은 거의 없다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 콘볼루션 뉴럴 네트워크 알고리즘의 목적에 맞는 뉴럴 네트워크 구조를 유전 알고리즘을 활용하여 탐색할 수 있도록 하는 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법을 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 콘볼루션 뉴럴 네트워크 구조를 초기화하여 초기 세대를 생성하고, 상기 초기 세대의 염색체들을 생성하는 단계; 상기 염색체들에 대한 콘볼루션 뉴럴 네트워크를 생성하여 학습하고, 소정 적합도 함수에 따라 적합도를 산출하여 평가하는 단계; 상기 평가한 적합도를 통해 우수 염색체를 선택하는 단계; 상기 우수 염색체로부터 염색체 교배를 통해 다음 세대 후보군을 생성하는 단계; 염색체 변이를 통해 상기 다음 세대 후보군에 대한 변이를 적용하는 단계; 및 소정 횟수만큼 상기 평가하는 단계, 선택하는 단계, 다음 세대 후보군을 생성하는 단계 및 적용하는 단계를 반복하는 단계;를 포함하는 것을 특징으로 하는 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크 최적 구조 탐색 방법을 제공한다.
실시 예에 있어서, 상기 초기 세대의 염색체들은 각각 소정 개수의 유전자를 갖으며, 상기 유전자는 각각 임의의 길이의 DNA를 갖는 것을 특징으로 한다.
또 다른 실시 예에 있어서, 상기 DNA는 Input, Conv, Dwconv, Sum, Concat 중 하나의 타입을 가지며, 입력 레이어와 각 레이어의 파라미터에 대한 정보를 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 염색체들에 대한 콘볼루션 뉴럴 네트워크를 생성하여 학습하고, 소정 적합도 함수에 따라 적합도를 산출하여 평가하는 단계;는, 상기 염색체들 각각에 대하여, 염색체 내에 포함된 각 유전자의 뉴럴 네트워크 표현 사이에 전이 계층(Transition Layer)을 삽입하여, 콘볼루션 뉴럴 네트워크를 생성하는 단계;를 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 콘볼루션 뉴럴 네트워크를 생성하는 단계;는 상기 전이 계층 중 요소 기반 합(Element-wise Sum) 레이어에 대하여, 서로 다른 채널수를 갖고 있는 입력들은 1x1 Conv(콘볼루션) 레이어를 추가하여, 채널수를 입력 중 가장 작은 수의 채널로 동일하게 맞춰주는 단계;를 포함할 수 있다.
본 발명에 따른 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 콘볼루션 뉴럴 네트워크 알고리즘의 목적에 맞는 뉴럴 네트워크 구조를 유전 알고리즘을 활용하여 탐색할 수 있다는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명에 따른 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법의 실시 예를 설명하기 위한 흐름도이다.
도 2는 유전 알고리즘 염색체 및 유전자의 실시 예를 설명하기 위한 도면이다.
도 3은 염색체를 콘볼루션 뉴럴 네트워크로 생성하는 방법의 실시 예를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 기술할 것이다. 이하의 설명에서 본 발명의 모든 실시형태가 개시되는 것은 아니다. 본 발명은 매우 다양한 형태로 구현될 수 있으며, 여기에 개시되는 실시형태에 한정되는 것으로 해석되어서는 안 된다. 본 실시형태들은 출원을 위한 법적 요건들을 충족시키기 위해 제공되는 것이다. 동일한 구성요소에는 전체적으로 동일한 참조부호가 사용된다.
본 발명은 CNN 구조 탐색을 위한 유전 알고리즘, 유전 알고리즘에서의 염색체(Chromosome) 표현 방법, 각 염색체의 CNN 생성 방법으로 구성되어 있다.
유전 알고리즘은 초기화, 학습 및 성능 평가, 우수 염색체 선택, 염색체 교배, 염색체 변이로 구성되어 있으며, 사용자의 목적에 맞는 척도를 가중 지수합을 이용해 적합도 함수로 사용할 수 있다.
유전 알고리즘에서의 염색체 표현 방법은, 각 염색체(Chromosome)는 동일한 길이의 유전자(Gene)를 갖고 있으며, 해당 유전자의 DNA는 콘볼루션 뉴럴 네트워크의 레이어에 해당하는 정보를 갖고 있도록 하는 방법으로 구성되어 있다.
각 염색체의 CNN 생성 방법은, 각 유전자의 정보를 이용해 유전자에 해당하는 뉴럴 네트워크를 생성하고, 그 사이에 전이 레이어를 이용해 전체 뉴럴 네트워크 구조를 생성하는 방법, 채널수가 맞지 않는 레이어들 간의 레이어 채널을 맞추어 주는 방법으로 구성되어 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 콘볼루션 뉴럴 네트워크 구조를 초기화하여 초기 세대를 생성하고, 상기 초기 세대의 염색체들을 생성하는 단계; 상기 염색체들에 대한 콘볼루션 뉴럴 네트워크를 생성하여 학습하고, 소정 적합도 함수에 따라 적합도를 산출하여 평가하는 단계; 상기 평가한 적합도를 통해 우수 염색체를 선택하는 단계; 상기 우수 염색체로부터 염색체 교배를 통해 다음 세대 후보군을 생성하는 단계; 염색체 변이를 통해 상기 다음 세대 후보군에 대한 변이를 적용하는 단계; 및 소정 횟수만큼 상기 평가하는 단계, 선택하는 단계, 다음 세대 후보군을 생성하는 단계 및 적용하는 단계를 반복하는 단계;를 포함하는 것을 특징으로 하는 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크 최적 구조 탐색 방법을 제공한다.
실시 예에 있어서, 상기 초기 세대의 염색체들은 각각 소정 개수의 유전자를 갖으며, 상기 유전자는 각각 임의의 길이의 DNA를 갖는 것을 특징으로 한다.
또 다른 실시 예에 있어서, 상기 DNA는 Input, Conv, Dwconv, Sum, Concat 중 하나의 타입을 가지며, 입력 레이어와 각 레이어의 파라미터에 대한 정보를 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 염색체들에 대한 콘볼루션 뉴럴 네트워크를 생성하여 학습하고, 소정 적합도 함수에 따라 적합도를 산출하여 평가하는 단계;는, 상기 염색체들 각각에 대하여, 염색체 내에 포함된 각 유전자의 뉴럴 네트워크 표현 사이에 전이 계층(Transition Layer)을 삽입하여, 콘볼루션 뉴럴 네트워크를 생성하는 단계;를 포함할 수 있다.
또 다른 실시 예에 있어서, 상기 콘볼루션 뉴럴 네트워크를 생성하는 단계;는 상기 전이 계층 중 요소 기반 합(Element-wise Sum) 레이어에 대하여, 서로 다른 채널수를 갖고 있는 입력들은 1x1 Conv(콘볼루션) 레이어를 추가하여, 채널수를 입력 중 가장 작은 수의 채널로 동일하게 맞춰주는 단계;를 포함할 수 있다.
도 1은 본 발명에 따른 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법의 실시 예를 설명하기 위한 흐름도이다.
도 1을 참조하면, 먼저, 임의 CNN 구조 초기화 과정을 통해 초기 세대(population) 생성단계가 진행된다. 임의의 DNA로 구성된 유전자를 가진 염색체를 생성하게 된다.
이어서, 세대 내의 염색체들에 대해 콘볼루션 뉴럴 네트워크를 생성하여 학습한 뒤 검증 (Validation) 데이터에 대한 성능 평가를 수행하는 단계가 진행된다. 각 염색체를 CNN 구조로 변환하여 목적에 맞게 학습하고, 정해진 적합도 함수(Fitness function)에 따라 적합도를 산정하여 평가하게 된다.
이후, 평가된 적합도(fitness score)를 통해 우수 염색체를 선택하는 단계가 진행된다. 적합도가 더 높은 염색체를 더 우수한 염색체로 볼 수 있으며, 다음 염색체를 생성하기 위한 부모 염색체를 선택하는 단계이다. 적합도에 따라 선택될 확률이 분배되는 룰렛 선택(rolette-wheel selection) 방법 또는 정해진 개수를 임의로 선택한 뒤, 해당 개체들 중 가장 적합도가 높은 개체를 선택하는 토너먼트 선택(Tournament selection) 방법 등이 있다.
그리고, 염색체 교배를 통해 다음 세대 후보군을 생성하는 단계가 진행된다. 선택 단계에서 선택된 두 부모 염색체로부터 교배를 통해 다음 단계를 생성한다. 단일점 교배(single-point crossover)는 정해진 길이의 개체에서 특정 지점으로부터 부모의 유전자를 교차로 가져오는 방법이며, 균일 교배(Uniform crossover)의 경우 매 유전자마다 확률적으로 부모로부터 물려받는 방법이다.
다음으로, 염색체 변이를 통해 다음 세대 후보군에 대한 변이를 적용하는 단계가 진행된다. 염색체 변이의 경우 각 유전자에 특정 DNA를 추가, 삭제 또는 변경하는 기작을 정의한 뒤, 확률적으로 변이를 적용한다.
또한 정해진 횟수만큼 평가-선택-교배-변이 과정을 반복할 수 있다.
적합도 함수는 다음의 수학식 1에 의해 산출될 수 있다.
Figure 112018074177841-pat00001
위의 식은 적합도 함수를 가중 지수 합(Weighted exponential sum)으로 나타낸 것이며, p=1인 경우 일반적인 가중합(Weighted sum)과 같다.
Figure 112018074177841-pat00002
의 경우 사용자의 목적에 맞는 함수를 사용할 수 있다. 예를 들면 물체 인식 정밀도(Precision) 혹은 재현율(Recall)과 같은 정확도 지표, 알고리즘의 수행 속도, 네트워크의 파라미터 수 등을 사용한 함수를 사용할 수 있다.
도 2는 유전 알고리즘 염색체 및 유전자의 실시 예를 설명하기 위한 도면이다.
도 2를 참조하면, 각 염색체(Chromosome)는 특정수의 유전자(Gene)를 갖고 있으며, 각 유전자는 임의의 길이의 DNA를 갖고 있다.
각 DNA는 Input/Conv/Dwconv/Sum/Concat 중의 하나의 타입을 갖고 있으며, Conv, Dwconv는 한 개의 입력 DNA를, Sum과 Concat는 두 개 이상의 입력 DNA를 갖고 있다.
Input의 경우 첫 번째 유전자(Gene)의 경우에는 이미지 입력을, 그렇지 않은 경우에는 앞 계층의 출력을 입력으로 받게 된다.
Conv/Dwconv 의 경우 각각 합성곱 계층 (Convolutional Layer) 과 깊이 분리 합성곱 계층 (Depthwise Separable Convolutional Layer)를 나타낸다. 두 경우 모두 필터의 커널 크기를 매개 변수로 갖게 되며, 합성곱 계층의 경우 필터 개수를 추가로 매개 변수로 갖게 된다.
Sum 과 Concat의 경우 각각 요소 기반 합 (Element-wise Sum)과 연결 (Concatenation) 계층을 나타내며, 요소 기반 합 계층의 경우 두 입력 계층의 출력을 요소 기반으로 더하는 역할을, 연결의 경우 두 계층을 연결하는 역할을 수행한다.
도 3은 염색체를 콘볼루션 뉴럴 네트워크로 생성하는 방법의 실시 예를 설명하기 위한 도면이다.
도 3을 참조하면, 각 염색체는 콘볼루션 뉴럴 네트워크로 표현할 수 있다. 각 유전자의 뉴럴 네트워크 표현 사이에 있는 전이 계층(Transition Layer)을 넣어 최종 뉴럴 네트워크 구조를 생성할 수 있다.
요소 기반 합(Element-wise Sum) 레이어의 경우 입력 레이어들의 채널 수가 같아야 하므로, 서로 다른 채널 수를 갖고 있는 입력들은 1x1 Conv 레이어를 추가하여, 채널수를 입력 중 가장 작은 수의 채널로 동일하게 맞추어 줄 수 있다.
하나의 유전자에 해당하는 레이어들은 Stride를 1로 고정해놓기 때문에 출력 레이어의 크기가 모두 같으며, 따라서 Concat 레이어의 입력은 별도의 크기 조정 과정이 필요 없게 된다.
전이 계층(Transition Layer)은 레이어의 크기를 줄이고, 상황에 따라 채널수를 줄이는 등 유전자로 표현 된 뉴럴 네트워크들 사이의 전이 역할을 해주는 레이어이다. Stride가 2인 Maxpool, Avgpool, 혹은 콘볼루션 레이어를 사용 가능하며, 여러 계층을 병렬적으로 수행한 뒤, 연결 (Concatenation) 하는 방법 또한 가능하다.
본 발명에 따른 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 콘볼루션 뉴럴 네트워크 알고리즘의 목적에 맞는 뉴럴 네트워크 구조를 유전 알고리즘을 활용하여 탐색할 수 있다는 장점이 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (5)

  1. 유전 알고리즘을 이용하는 콘볼루션 뉴럴 네트워크 최적 구조 탐색 방법에 있어서,
    콘볼루션 뉴럴 네트워크 구조를 초기화하여 초기 세대를 생성하고, 상기 초기 세대의 염색체들을 생성하는 단계;
    상기 염색체들에 대한 콘볼루션 뉴럴 네트워크를 생성하여 학습하고, 소정 적합도 함수에 따라 적합도를 산출하여 평가하는 단계;
    상기 평가한 적합도를 통해 우수 염색체를 선택하는 단계;
    상기 우수 염색체로부터 염색체 교배를 통해 다음 세대 후보군을 생성하는 단계;
    염색체 변이를 통해 상기 다음 세대 후보군에 대한 변이를 적용하는 단계; 및
    소정 횟수만큼 상기 평가하는 단계, 선택하는 단계, 다음 세대 후보군을 생성하는 단계 및 적용하는 단계를 반복하는 단계를 포함하며,
    상기 염색체들에 대한 콘볼루션 뉴럴 네트워크를 생성하여 학습하고, 소정 적합도 함수에 따라 적합도를 산출하여 평가하는 단계는,
    상기 염색체들 각각에 대하여, 염색체 내에 포함된 각 유전자의 뉴럴 네트워크 표현 사이에 전이 계층(Transition Layer)을 삽입하여, 콘볼루션 뉴럴 네트워크를 생성하는 단계
    를 포함하고,
    상기 콘볼루션 뉴럴 네트워크를 생성하는 단계는,
    상기 전이 계층 중 요소 기반 합(Element-wise Sum) 레이어에 대하여, 서로 다른 채널수를 갖고 있는 입력들은 1x1 Conv(콘볼루션) 레이러를 추가하여, 채널수를 입력 중 가장 작은 수의 채널로 동일하게 맞춰주는 단계
    를 포함하고,
    상기 유전 알고리즘은 처리장치에 저장되어 수행되는 것을 특징으로 하는 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크 최적 구조 탐색 방법.
  2. 제1항에 있어서,
    상기 초기 세대의 염색체들은 각각 소정 개수의 유전자를 가지며, 상기 유전자는 각각 임의의 길이의 DNA를 갖는 것을 특징으로 하는 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크 최적 구조 탐색 방법.
  3. 제2항에 있어서,
    상기 DNA는 Input, Conv, Dwconv, Sum, Concat 중 하나의 타입을 가지며, 입력 레이어와 각 레이어의 파라미터에 대한 정보를 포함하는 것을 특징으로 하는 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크 최적 구조 탐색 방법.
  4. 삭제
  5. 삭제
KR1020180087386A 2018-07-26 2018-07-26 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법 KR102134472B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180087386A KR102134472B1 (ko) 2018-07-26 2018-07-26 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180087386A KR102134472B1 (ko) 2018-07-26 2018-07-26 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법

Publications (2)

Publication Number Publication Date
KR20200012281A KR20200012281A (ko) 2020-02-05
KR102134472B1 true KR102134472B1 (ko) 2020-07-15

Family

ID=69514919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180087386A KR102134472B1 (ko) 2018-07-26 2018-07-26 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법

Country Status (1)

Country Link
KR (1) KR102134472B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102465676B1 (ko) 2022-03-31 2022-11-11 주식회사 에너자이(ENERZAi) 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572437B1 (ko) 2020-02-26 2023-08-29 동아대학교 산학협력단 유전알고리즘에 기초한 최적화된 학습 모델 결정 장치 및 방법
US11910083B2 (en) 2020-11-06 2024-02-20 Samsung Electro-Mechanics Co., Ltd. Method and system with optimization of lens module assembly
CN112819161B (zh) * 2021-02-02 2021-08-31 四川大学 变长基因遗传算法的神经网络构建系统、方法及存储介质
KR20230059486A (ko) * 2021-10-26 2023-05-03 연세대학교 산학협력단 기계 학습 기반 데이터베이스 튜닝 방법 및 장치
CN114184861A (zh) * 2021-11-28 2022-03-15 辽宁石油化工大学 一种油浸式变压器的故障诊断方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003508835A (ja) 1999-09-01 2003-03-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 進化アルゴリズムを用いたニューラルネットワークのアーキテクチャの改良方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003508835A (ja) 1999-09-01 2003-03-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 進化アルゴリズムを用いたニューラルネットワークのアーキテクチャの改良方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Gao Huang 외 3명. Densely Connected Convolutional Networks. 2017년
서기성. CNN 구조의 진화 최적화 방식 분석. 2018년6월
위키백과: 유전 알고리즘. 2018.05.18.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102465676B1 (ko) 2022-03-31 2022-11-11 주식회사 에너자이(ENERZAi) 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치
KR102582737B1 (ko) 2022-03-31 2023-09-25 주식회사 에너자이 시계열 이상 감지 모델의 경량화 방법, 및 경량화 장치

Also Published As

Publication number Publication date
KR20200012281A (ko) 2020-02-05

Similar Documents

Publication Publication Date Title
KR102134472B1 (ko) 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법
Islam et al. KNNOR: An oversampling technique for imbalanced datasets
US10909455B2 (en) Information processing apparatus using multi-layer neural network and method therefor
KR102092263B1 (ko) 일정한 처리 시간 내에 k개의 극값을 찾는 방법
TW201909112A (zh) 圖像特徵獲取
JP7457125B2 (ja) 翻訳方法、装置、電子機器及びコンピュータプログラム
CN105701120A (zh) 确定语义匹配度的方法和装置
CN114419509B (zh) 一种多模态情感分析方法、装置及电子设备
JP2020512651A (ja) 検索方法、装置及び非一時的コンピュータ読取可能記憶媒体
CN110969172A (zh) 一种文本的分类方法以及相关设备
CN109145107B (zh) 基于卷积神经网络的主题提取方法、装置、介质和设备
CN111260056B (zh) 一种网络模型蒸馏方法及装置
CN111159481B (zh) 图数据的边预测方法、装置及终端设备
CN115455171A (zh) 文本视频的互检索以及模型训练方法、装置、设备及介质
CN111783088B (zh) 一种恶意代码家族聚类方法、装置和计算机设备
Baten et al. Fast splice site detection using information content and feature reduction
Kim et al. Tweaking deep neural networks
CN104572687A (zh) 微博传播的关键用户识别方法和装置
CN111814813A (zh) 神经网络训练和图像分类方法与装置
CN111708745B (zh) 一种跨媒体数据共享表示方法及用户行为分析方法、系统
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN114840665A (zh) 一种基于情感分析的谣言检测方法、装置及相关介质
JPWO2014118976A1 (ja) 学習方法、情報変換装置および学習プログラム
Zafar et al. An Optimization Approach for Convolutional Neural Network Using Non-Dominated Sorted Genetic Algorithm-II.
KR20200129313A (ko) 선택적 스플라이싱 예측을 위한 분산 특징 표현에 기반한 딥러닝 모델

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant