KR20190081218A - 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치 - Google Patents

컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치 Download PDF

Info

Publication number
KR20190081218A
KR20190081218A KR1020170183585A KR20170183585A KR20190081218A KR 20190081218 A KR20190081218 A KR 20190081218A KR 1020170183585 A KR1020170183585 A KR 1020170183585A KR 20170183585 A KR20170183585 A KR 20170183585A KR 20190081218 A KR20190081218 A KR 20190081218A
Authority
KR
South Korea
Prior art keywords
harmony
memory
hmcr
par
neural network
Prior art date
Application number
KR1020170183585A
Other languages
English (en)
Other versions
KR102129161B1 (ko
Inventor
심귀보
이우영
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170183585A priority Critical patent/KR102129161B1/ko
Publication of KR20190081218A publication Critical patent/KR20190081218A/ko
Application granted granted Critical
Publication of KR102129161B1 publication Critical patent/KR102129161B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치가 개시된다. 개시된 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법은 상기 하이퍼파라미터를 HS(Harmony Search) 알고리즘의 하모니로 설정하는 단계; 랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하는 단계; 및 HMCR(Harmony Memory Considering Rate) 및 PAR(Pitch adjusting Rate)를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 단계;를 포함한다.

Description

컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치{Terminal device and Method for setting hyperparameter of convolutional neural network}
본 발명의 실시예들은 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법 및 이를 수행하는 단말 장치와 관련된 것이다.
컨볼루션 신경망(CNN: Convolutional Neural Network)은 다층 신경망의 한 종류로 패턴 인식 분야에서 좋은 성능을 보이고 있어 이미지, 텍스트 등의 데이터를 분류하고 인식하는데 주로 사용되고 있다.
다층 신경망은 입력 층, 은닉 층, 출력 층으로 이루어진 구조를 가지고 있어 원본 데이터에 대하여 바로 연산하여 출력을 계산하는 반면, 컨볼루션 신경망은 원본 데이터의 특징을 추출하는 단계와 추출한 특징을 분류하는 단계로 이루어져 있어 원본 데이터에 대하여 바로 연산하지 않고 원본 데이터의 특징을 추출한 뒤 연산한다는 특징을 가지고 있다.
일반적으로, 컨볼루션 신경망은 입력 층, 컨볼루션 층(convolution layer) 풀링 층(pooling layer), 완전 연결 층(fully connected layer), 출력 층으로 구성된다. 컨볼루션 층과 풀링 층은 원본 데이터의 특징을 추출하는 역할을 하고, 완전 연결 층은 특징을 분류하는 분류기의 역할을 한다.
일반적인 다층 신경망은 모든 노드에 대하여 계산을 수행하기 때문에 학습시킬 파라미터의 개수가 많지만, 컨볼루션 신경망은 다른 알고리즘과 달리 특징을 추출하는 단계가 내부에 포함되어 있기 때문에 입력 데이터의 특징을 추출하는 별도의 전처리 과정 없이 직접 연산이 가능하다는 장점이 있다. 또한, 컨볼루션 신경망은 데이터의 특징을 이용하여 학습하기 때문에 국부적 특징 추출 및 분류에 좋은 성능을 보이고, dropout 기법을 이용하면 과적합 문제도 방지할 수 있기 때문에 이미지 인식 분야에서 널리 사용되고 있다.
도 1은 종래의 컨볼루션 신경망의 일례인 LeNet-5 구조를 도시하고 있다 .
도 1을 참조하면, C1, C3, C5는 컨볼루션 층으로서, 입력으로 들어오는 데이터에 5×5 크기의 커널 필터를 사용하여 컨볼루션 연산을 수행하고, 입력으로 들어오는 데이터에서 특징을 추출한다. S2, S4층은 풀링 층으로 일반적으로 최대 풀링 방법을 이용하여 차원을 축소시킨다. 컨볼루션과 풀링을 여러 번 반복하여 데이터의 특징을 추출하며, 데이터 추출이 끝나는 층 뒤에 분류기를 위치시켜 컨볼루션 신경망을 완성한다. F6층은 일반적인 다층 신경망과 같은 구조로 구성되어 있는 완전 연결 층으로 특징 추출 단계에서 추출된 특징을 분류하는 역할을 한다.
한편, 컨볼루션 신경망의 구조를 결정할 때에는 커널의 크기, 채널의 수 등과 같은 하이퍼파라미터를 설정해야 한다. 이러한 하이퍼파라미터들은 컨볼루션 신경망의 전체적인 구조를 결정할 뿐만 아니라, 학습 시간, 정확도 등의 성능에도 직접적인 영향을 주기 때문에 하이퍼파라미터에 대한 최적화 작업이 선행되어야 한다.
하지만, 종래의 경우, 하이퍼파라미터의 최적화하는 규칙이 존재하지 않으며, 사용자의 경험 또는 직관을 통해 하이퍼파라미터를 설정하여야 하는 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법 및 이를 수행하는 단말 장치를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 프로세서가 포함된 장치에서 수행되는 컨볼루션 신경망(Convolutional Neural Network)의 하이퍼파라미터(Hyperparameter)의 설정 방법에 있어서, 상기 하이퍼파라미터를 HS(Harmony Search) 알고리즘의 하모니로 설정하는 단계; 랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하는 단계; 및 HMCR(Harmony Memory Considering Rate) 및 PAR(Pitch adjusting Rate)를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 단계;를 포함하는 것을 특징으로 하는 컨볼루션 신경망의 하이퍼파라미터의 설정 방법이 제공된다.
상기 하이퍼파라미터는 상기 컨볼루션 신경망의 컨볼루션 층(convolution layer)와 풀링 층(pooling layer) 각각의 커널(kernel)의 크기, 채널의 수, 스트라이드(stride) 및 제로-패딩(zero-padding)을 포함할 수 있다.
상기 HMCR 및 상기 PAR는 상기 업데이트 시 변경되며, i번째 업데이트 시점에서 상기 HMCR 및 상기 PAR가 1 또는 0의 값을 갖는 경우, 상기 HMCR 및 상기 PAR는 최대 반복 횟수 및 상기 i번째 업데이트 시점까지의 반복 횟수에 기초하여 설정될 수 있다.
상기 i번째 업데이트 시점에서의 HMCR 및 PAR는 아래의 수학식에 초하여 설정될 수 있다.
Figure pat00001
여기서, HMCRi는 i번째 업데이트 시점의 HMCR, PARi는 i번째 업데이트 시점의 PAR, iter는 상기 i번째 업데이트 시점까지의 반복 횟수, 상기 Max iter는 상기 최대 반복 횟수, n(yi j=Memory)는 기억 회상(Harmony Memory Considering)이 사용된 횟수, n(yi j=Pitch)는 피치 조정(Pitch Adjusting)이 사용된 횟수, HMS는 상기 하모니 메모리의 크기(size)를 각각 의미함.
또한, 본 발명의 다른 실시예에 따르면, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구현되는 프로세서:를 포함하되, 상기 프로세서는, 컨볼루션 신경망의 하이퍼파라미터를 HS 알고리즘의 하모니로 설정하고, 랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하고, HMCR 및 PAR를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 것을 특징으로 하는 단말 장치가 제공된다.
본 발명에 따르면, 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정할 수 있는 장점이 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 종래의 컨볼루션 신경망의 일례인 LeNet-5 구조를 도시한 도면이다.
도 2는 종래의 HS 알고리즘의 적용 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 컨볼루션 신경망의 하이퍼파라미터의 설정 방법의 흐름도를 도시한 도면이다.
도 5 및 도 6은 본 발명에 따른 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법의 시뮬레이션 결과를 도시한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 발명의 특징을 설명하기에 앞서, 본 발명에서 사용되는 HS(Harmony Search) 알고리즘에 대해 먼저 설명하기로 한다.
HS 알고리즘은 음악의 즉흥 연주에서 연주자들이 최적의 화음을 찾아내기 위하여 더 좋은 하모니를 찾는 방법을 모방한 최적화 알고리즘이다.
HS 알고리즘은 초기 하모니 메모리를 생성하고 새로운 해를 생성하여 기존의 해와 성능 비교를 통하여 하모니 메모리를 업데이트하는 방법으로 최적화를 진행한다. 도 2에서는 종래의 HS 알고리즘의 적용 과정을 도시하고 있다.
이 때, HS 알고리즘은 랜덤으로 생성된 변수가 저장되는 공간인 하모니 메모리(Harmony Memory)에 변수를 생성하고 이를 반복적으로 업데이트하여 최적의 해를 도출한다. 이 때, 무작위로 변수를 생성하는 랜덤 선택, 하모니 메모리의 변수를 사용하는 기억 회상(Harmony Memory Considering), 하모니 메모리의 변수를 가져와 변형하는 피치 조정(Pitch Adjusting Rate)를 이용하여 최적화를 진행한다.
한편, 기억 회상을 이용하여 하모니를 생성할 확률인 HMCR(Harmony Memory Considering Rate)과 피치 조정을 이용하여 하모니를 생성할 확률인 PAR(Pitch Adjusting Rate)은 HS 알고리즘의 성능에 영향을 준다고 알려져 있다. 따라서, 적절한 HMCR과 PAR을 자동으로 설정하기 위한 PSF-HS(Parameter Setting Free - Harmony Search) 알고리즘이 기존에 제안되었다.
일반적인 HS 알고리즘은 HMCR과 PAR을 고정한 뒤 최적화를 진행하지만, PSF-HS 알고리즘은 기존의 하모니 메모리에 저장된 하모니들이 생성된 방법을 이용하여 HMCR과 PAR을 결정한다. 즉, PSF-HS 알고리즘은 초기의 HMCR과 PAR을 바탕으로 구성된 하모니 메모리를 분석한 다음, 기억 회상과 피치 조정을 사용한 횟수를 하모니 메모리의 크기(Harmony Memory Size, HMS)로 나눠 HMCR과 PAR을 반복적으로 변경(업데이트)하여 최적화를 진행한다. 변경된 HMCR과 PAR는 각각 아래의 수학식 1 및 수학식 2와 같이 표현될 수 있다.
Figure pat00002
Figure pat00003
여기서, HMCRi는 i번째 업데이트 시점의 HMCR, PARi는 i번째 업데이트 시점의 PAR, n(yi j=Memory)는 기억 회상이 사용된 횟수, n(yi j=Pitch)는 피치 조정(Pitch Adjusting)이 사용된 횟수, HMS는 하모니 메모리의 크기(size)를 각각 의미한다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.
도 3은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 단말 장치(300)는 메모리(310) 및 프로세서(320)를 포함할 수 있다.
메모리(310)는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하여 구성될 수 있으며, 단말 장치(300)의 적어도 하나의 다른 구성요소에 관계된 명령어 또는 데이터를 저장한다. 특히, 메모리(310)에는 하기에서 설명하는 하모니 메모리(Harmony Memory)가 저장될 수 있다.
프로세서(320)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서부(320)는 단말 장치(300)의 적어도 하나의 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.
이 때, 단말 장치(300)는 HS(Harmony Search) 알고리즘, 보다 정확하게 PSF-HS(Parameter Setting Free - Harmony Search) 알고리즘을 이용하여 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정수 있다.
이하, 도 4를 참조하여 본 발명에 따른 단말 장치(300)의 동작을 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 단말 장치(300)의 동작인 컨볼루션 신경망의 하이퍼파라미터의 설정 방법의 흐름도를 도시한 도면이다. 이하, 각 단계 별로 수행되는 과정을 상세하게 설명한다.
먼저, 단계(402)에서는 하모니 메모리의 크기(HMS: Harmony memory Size), 초기 HMCR(Harmony Memory Considering Rate) 및 초기 PAR(Pitch adjusting Rate)를 설정한다.
다음으로, 단계(404)에서는 컨볼루션 신경망의 구조를 결정하고, 컨볼루션 신경망의 하이퍼파라미터를 HS(Harmony Search) 알고리즘, 즉 PSF-HS 알고리즘의 하모니로 설정한다.
본 발명의 일 실시예에 따르면, 하이퍼파라미터는 컨볼루션 신경망의 컨볼루션 층(convolution layer)와 풀링 층(pooling layer) 각각의 커널(kernel)의 크기, 채널의 수, 스트라이드(stride) 및 제로-패딩(zero-padding)을 포함할 수 있다.
계속하여, 단계(406)에서는 랜덤 선택을 통해 하모니의 초기값을 설정하여 하모니 메모리를 초기화한다. 즉, 단계(406)에서는 랜덤 선택을 이용하여 하모니 벡터를 생성하고, 각각의 하모니 벡터의 컨볼루션 신경망의 loss를 획득하고, 하모니 벡터 및 loss로 구성되는 하모니 메모리를 초기화한다.
그 후, 단계(408)에서는 새로운 HMCR 및 PAR를 산출한다.
그리고, 단계(410) 내지 단계(420)는 하모니 메모리 내의 값(Rand) 각각에 대해 수행되는 과정이다.
단계(410)에서는 상기 값(Rand)이 HMCR보다 큰지 여부를 판단한다.
만약, 상기 값(Rand)이 HMCR보다 큰 경우, 단계(412)에서는 상기 값(Rand)을 랜덤 선택한다.
반대로, 상기 값(Rand)이 HMCR보다 작은 경우, 단계(414)에서는 상기 값(Rand)이 PAR보다 큰지 여부를 판단한다. 상기 값(Rand)이 PAR보다 큰 경우 단계(416)에서는 상기 값(Rand)에 대해 기억 회상을 수행하고, 상기 값(Rand)이 PAR보다 작은 경우 단계(418)에서는 상기 값(Rand)에 대해 피치 조정을 수행한다.
다음으로, 단계(420)에서는 새로운 하모니 벡터에 대한 컨볼루션 신경망의 loss를 획득한다. 그리고, 단계(422)에서는 하모니 메모리 내의 가장 안 좋은 하모니를 새로운 후보 하모니로 대체하여 하모니 메모리를 업데이트한다.
그리고, 단계(410) 내지 단계(420)는 반복적으로 수행되며, 이를 통해 하이퍼파라미터의 최적해가 도출된다. 즉, 단계(410) 내지 단계(420)는 HMCR 및 PAR를 이용해 하모니 메모리를 반복적으로 업데이트하여 하이퍼파라미터의 최적해를 도출하는 단계이다.
이하, 도 5 및 도 6을 참조하여, 본 발명에 따른 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법의 시뮬레이션 결과를 설명하기로 한다.
본 시뮬레이션의 경우, 손 글씨 이미지로 구성된 MNIST 데이터 셋을 분류하기 위해 제안된 컨볼루션 신경망인 LeNet-5 구조에 대한 하이퍼파라미터의 최적화 시뮬레이션이다. 이 때, 최적화하기 위한 하이퍼파라미터들은 도 5에 도시된 바와 같이, 컨볼루션 신경망의 컨볼루션 층(convolution layer)와 풀링 층(pooling layer) 각각의 커널(kernel)의 크기, 채널의 수, 스트라이드(stride) 및 제로-패딩(zero-padding)이다.
그리고, 상기의 하이퍼파라미터로 구성한 컨볼루션 신경망은 도 6에 도시된 바와 같다. 이러한 컨볼루션 신경망의 구조는 60552개의 가중치 및 바이어스를 가지고 있는데, LeNet-5의 가중치와 바이어스의 수인 61706개보다 1154개 적기 때문에 복잡도가 줄어드는 장점이 있다. 또한, 상기한 컨볼루션 신경망의 구조는 MNIST 데이터 셋을 99.25%의 정확도로 분류했는데, LeNet-5는 98.94%로 분류하여 데이터를 인식하고 분류하는 성능 또한 향상된 것을 확인하였다.
요컨대, 본 발명에 따른 컨볼루션 신경망의 하이퍼파라미터를 최적화하여 설정하는 방법은 사용자의 경험 및 직관을 이용하지 않고, 하이퍼파라미터를 최적화할 수 있는 장점이 있다.
한편, 종래의 PSF-HS 알고리즘의 경우, HMCR과 PAR이 한번이라도 1(100%) 또는 0(0%)가 된다면, 그 이후 산출되는 HMCR과 PAR이 계속해서 1 또는 0로 계산된다는 문제점이 있다. 즉, HMCR이 1의 값을 가지는 경우 HS 알고리즘은 랜덤 선택 방법을 사용하지 않고, PAR이 1의 값을 가지는 경우 HS 알고리즘은 피치 조정만을 사용하며, HMCR이 0의 값을 가지는 경우 랜덤 선택만을 이용한다. 따라서, 종래의 PSF-HS 알고리즘의 경우 최적해를 찾는 성능이 떨어지는 단점이 있다.
따라서, 본 발명의 일 실시예에 따르면, i(1 이상의 정수)번째 업데이트 시점에서, HMCR 및 PAR가 1 또는 0의 값을 가지는 않는 경우 HMCR 및 PAR는 상기의 수학식 1 및 2와 같이 설정되고, HMCR 및 PAR가 1 또는 0의 값을 가지는 경우 HMCR 및 PAR는 최대 반복 횟수 및 i번째 업데이트 시점까지의 반복 횟수에 기초하여 설정 내지 변경된다.
일례로서, 본 발명의 일 실시예에 따르면, i번째 업데이트 시점에서의 HMCR 및 PAR은 아래의 수학식 3과 같이 설정될 수 있다.
Figure pat00004
여기서, HMCRi는 i번째 업데이트 시점의 HMCR, PARi는 i번째 업데이트 시점의 PAR, iter는 i번째 업데이트 시점까지의 반복 횟수, Max iter는 최대 반복 횟수, n(yi j=Memory)는 기억 회상이 사용된 횟수, n(yi j=Pitch)는 피치 조정이 사용된 횟수, HMS는 하모니 메모리의 크기를 각각 의미한다. 이를 통해 지역 최적해에 수렴하는 것을 방지하여 정확한 최적해를 도출할 수 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 프로세서가 포함된 장치에서 수행되는 컨볼루션 신경망(Convolutional Neural Network)의 하이퍼파라미터(Hyperparameter)의 설정 방법에 있어서,
    상기 하이퍼파라미터를 HS(Harmony Search) 알고리즘의 하모니로 설정하는 단계;
    랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하는 단계; 및
    HMCR(Harmony Memory Considering Rate) 및 PAR(Pitch adjusting Rate)를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 단계;를 포함하는 것을 특징으로 하는 컨볼루션 신경망의 하이퍼파라미터의 설정 방법.
  2. 제1항에 있어서,
    상기 하이퍼파라미터는 상기 컨볼루션 신경망의 컨볼루션 층(convolution layer)와 풀링 층(pooling layer) 각각의 커널(kernel)의 크기, 채널의 수, 스트라이드(stride) 및 제로-패딩(zero-padding)을 포함하는 것을 특징으로 하는 컨볼루션 신경망의 하이퍼파라미터의 설정 방법.
  3. 제1항에 있어서,
    상기 HMCR 및 상기 PAR는 상기 업데이트 시 변경되며,
    i번째 업데이트 시점에서 상기 HMCR 및 상기 PAR가 1 또는 0의 값을 갖는 경우, 상기 HMCR 및 상기 PAR는 최대 반복 횟수 및 상기 i번째 업데이트 시점까지의 반복 횟수에 기초하여 설정되는 것을 특징으로 하는 컨볼루션 신경망의 하이퍼파라미터의 설정 방법.
  4. 제3항에 있어서,
    상기 i번째 업데이트 시점에서의 HMCR 및 PAR는 아래의 수학식에 기초하여 설정되는 것을 특징으로 하는 최적해 도출 방법.

    Figure pat00005


    여기서, HMCRi는 i번째 업데이트 시점의 HMCR, PARi는 i번째 업데이트 시점의 PAR, iter는 상기 i번째 업데이트 시점까지의 반복 횟수, 상기 Max iter는 상기 최대 반복 횟수, n(yi j=Memory)는 기억 회상(Harmony Memory Considering)이 사용된 횟수, n(yi j=Pitch)는 피치 조정(Pitch Adjusting)이 사용된 횟수, HMS는 상기 하모니 메모리의 크기(size)를 각각 의미함.
  5. 제1항 내지 제4항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  6. 컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및
    상기 명령을 실행하도록 구현되는 프로세서:를 포함하되,
    상기 프로세서는, 컨볼루션 신경망의 하이퍼파라미터를 HS 알고리즘의 하모니로 설정하고, 랜덤 선택을 통해 상기 하모니의 초기값을 설정하여 하모니 메모리를 초기화하고, HMCR 및 PAR를 이용해 상기 하모니 메모리를 반복적으로 업데이트하여 상기 하이퍼파라미터의 최적해를 도출하는 것을 특징으로 하는 단말 장치.
KR1020170183585A 2017-12-29 2017-12-29 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치 KR102129161B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183585A KR102129161B1 (ko) 2017-12-29 2017-12-29 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183585A KR102129161B1 (ko) 2017-12-29 2017-12-29 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치

Publications (2)

Publication Number Publication Date
KR20190081218A true KR20190081218A (ko) 2019-07-09
KR102129161B1 KR102129161B1 (ko) 2020-07-01

Family

ID=67261710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183585A KR102129161B1 (ko) 2017-12-29 2017-12-29 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치

Country Status (1)

Country Link
KR (1) KR102129161B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126564A (zh) * 2019-11-27 2020-05-08 东软集团股份有限公司 一种神经网络结构搜索方法、装置及设备
CN111798940A (zh) * 2020-06-28 2020-10-20 南方科技大学 一种基于深度神经网络算法预测超导材料的方法及装置
CN113205122A (zh) * 2021-04-23 2021-08-03 微马科技有限公司 基于低成本运算平台的人脸检测方法、装置及介质
KR20220006293A (ko) 2020-07-08 2022-01-17 건국대학교 산학협력단 라즈베리파이부를 이용한 미세먼지 측정장치, 이를 포함하는 개인 이동수단, 및 상기 개인 이동수단을 이용한 데이터 무선 전송 시스템 및 방법
CN115660073A (zh) * 2022-12-28 2023-01-31 民航成都物流技术有限公司 基于和声鲸鱼优化算法的入侵检测方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091140A (ko) * 2015-04-02 2017-08-08 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 컨볼루션 신경망 모델의 트레이닝 방법 및 장치
KR20190059816A (ko) * 2017-11-23 2019-05-31 중앙대학교 산학협력단 Hs 알고리즘을 이용하여 최적해를 도출하는 방법 및 이를 수행하는 단말 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091140A (ko) * 2015-04-02 2017-08-08 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 컨볼루션 신경망 모델의 트레이닝 방법 및 장치
KR20190059816A (ko) * 2017-11-23 2019-05-31 중앙대학교 산학협력단 Hs 알고리즘을 이용하여 최적해를 도출하는 방법 및 이를 수행하는 단말 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kang Seok Lee 외 1, ‘A new structural optimization method based on the harmony search algorithm', Computers and Structures, 2004.4* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126564A (zh) * 2019-11-27 2020-05-08 东软集团股份有限公司 一种神经网络结构搜索方法、装置及设备
CN111126564B (zh) * 2019-11-27 2023-08-08 东软集团股份有限公司 一种神经网络结构搜索方法、装置及设备
CN111798940A (zh) * 2020-06-28 2020-10-20 南方科技大学 一种基于深度神经网络算法预测超导材料的方法及装置
KR20220006293A (ko) 2020-07-08 2022-01-17 건국대학교 산학협력단 라즈베리파이부를 이용한 미세먼지 측정장치, 이를 포함하는 개인 이동수단, 및 상기 개인 이동수단을 이용한 데이터 무선 전송 시스템 및 방법
CN113205122A (zh) * 2021-04-23 2021-08-03 微马科技有限公司 基于低成本运算平台的人脸检测方法、装置及介质
CN115660073A (zh) * 2022-12-28 2023-01-31 民航成都物流技术有限公司 基于和声鲸鱼优化算法的入侵检测方法和系统
CN115660073B (zh) * 2022-12-28 2024-02-06 民航成都物流技术有限公司 基于和声鲸鱼优化算法的入侵检测方法和系统

Also Published As

Publication number Publication date
KR102129161B1 (ko) 2020-07-01

Similar Documents

Publication Publication Date Title
KR20190081218A (ko) 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치
US11741361B2 (en) Machine learning-based network model building method and apparatus
US20200401939A1 (en) Systems and methods for preparing data for use by machine learning algorithms
US11468262B2 (en) Deep network embedding with adversarial regularization
US11314988B2 (en) Image aesthetic processing method and electronic device
CN109978142B (zh) 神经网络模型的压缩方法和装置
US10713533B2 (en) Image processing method and apparatus, and computer-readable storage medium
KR102445468B1 (ko) 부스트 풀링 뉴럴 네트워크 기반의 데이터 분류 장치 및 그 데이터 분류 장치를 위한 뉴럴 네트워크 학습 방법
CN109948149B (zh) 一种文本分类方法及装置
US11630990B2 (en) Systems and methods for auto machine learning and neural architecture search
JP7376731B2 (ja) 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体
US20210125000A1 (en) Method and apparatus for training model for object classification and detection
JP2007128195A (ja) 画像処理システム
KR20200052439A (ko) 딥러닝 모델의 최적화 시스템 및 방법
JP6950756B2 (ja) ニューラルネットワークのランク最適化装置および最適化方法
CN111373418A (zh) 学习设备和学习方法、识别设备和识别方法、程序和记录介质
CN113642400A (zh) 基于2s-agcn的图卷积动作识别方法、装置及设备
CN114072809A (zh) 经由神经架构搜索的小且快速的视频处理网络
US20240119266A1 (en) Method for Constructing AI Integrated Model, and AI Integrated Model Inference Method and Apparatus
CN110334716B (zh) 特征图处理方法、图像处理方法及装置
US20200134386A1 (en) Apparatus and method for classifying image
US20230259761A1 (en) Transfer learning system and method for deep neural network
KR20230170752A (ko) 기계 학습 모델들의 하드웨어 인식 점진적 훈련
US10909421B2 (en) Training method for phase image generator and training method of phase image classifier
KR102608565B1 (ko) 음향 장면 분류 방법 및 음향 장면 분류를 위한 학습 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant