KR20200073269A - 인공 신경망의 자동 생성을 위한 방법 및 장치 - Google Patents

인공 신경망의 자동 생성을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200073269A
KR20200073269A KR1020207014578A KR20207014578A KR20200073269A KR 20200073269 A KR20200073269 A KR 20200073269A KR 1020207014578 A KR1020207014578 A KR 1020207014578A KR 20207014578 A KR20207014578 A KR 20207014578A KR 20200073269 A KR20200073269 A KR 20200073269A
Authority
KR
South Korea
Prior art keywords
modules
connections
artificial neural
network
neural network
Prior art date
Application number
KR1020207014578A
Other languages
English (en)
Other versions
KR102569169B1 (ko
Inventor
얀 헨드릭 넷첸
토마스 엘스켄
프랑크 후터
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20200073269A publication Critical patent/KR20200073269A/ko
Application granted granted Critical
Publication of KR102569169B1 publication Critical patent/KR102569169B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명은 모듈들과, 이 모듈들을 연쇄시키는 연결들을 포함하는 인공 신경망(60)을 자동 생성하기 위한 방법에 관한 것으로, 이 방법에서는 연속적인 모듈들 및/또는 연결들이 현재의 출력 네트워크(60)에 부가되고, 부가될 모듈들 및/또는 연결들은 기설정 가능한 복수 개의 부가 가능 모듈 및 연결 중에서 랜덤으로 선택되며, 각각 출력 네트워크에 부가될 모듈들 및/또는 연결들의 부가를 통해 현재의 출력 네트워크(60)의 복수의 가능한 개선안(61)이 생성되고, 그런 다음, 개선안들(61) 중 하나가, 상기 방법의 다음번 수행 중에 현재의 출력 네트워크(60)로서 이용하기 위해, 복수의 가능한 개선안(61) 중에서 선택된다.

Description

인공 신경망의 자동 생성을 위한 방법 및 장치
본 발명은, 인공 신경망을 자동 생성하기 위한 방법; 컴퓨터에서 실행될 때 상기 방법을 실행하도록 구성된 명령어들을 포함하는 컴퓨터 프로그램; 컴퓨터 프로그램이 저장되어 있는 기계 판독 가능 저장 매체; 및 특히 상기 방법을 실행하도록 구성된 하나 또는 복수의 컴퓨터를 포함하는 시스템;에 관한 것이다.
Han Cai, Tianyao Chen, Weinan Zhang, Yong Yu, Jun Wang 공저의 문헌 "Reinforcement Learning for Architecture Search by Network Transformation"(arXiv preprint arXiv:1707.04873v1, 2017)"으로부터, 강화 학습(reinforcement learning)을 이용하여 인공 신경망의 아키텍처를 자동 생성하기 위한 방법이 공지되어 있으며, 여기서 네트워크는 자신의 기능을 유지하면서 심화되거나 확대된다.
종래 기술과 달리, 독립 청구항 제1항의 특징들을 포함하는 방법은, 확장된 고성능 인공 신경망의 매우 효율적인 자동 구성을 가능하게 한다는 장점이 있다.
바람직한 개선예들은 종속 청구항들의 대상이다.
제1 양태에서 본 발명은, 모듈들과, 이 모듈들을 연쇄시키는 연결들(concatenating connections)을 포함하는 인공 신경망을 자동 생성하기 위한 방법에 관한 것이며, 연속적인 모듈들 및/또는 연결들이 현재의 출력 네트워크(present output network)에 부가되고, 부가될 모듈들 및/또는 연결들은 기설정 가능한 복수 개의 부가 가능 모듈 및 연결 중에서 랜덤으로 선택되며, 각각 출력 네트워크에 부가될 모듈들 및/또는 연결들의 부가를 통해 현재의 출력 네트워크의 복수의 가능한 개선안(development)이 생성되며, (다시 말해, 각각의 개선안이 각각 현재의 출력 네트워크 및 부가된 모듈들 및/또는 연결들로 구성되며), 그런 다음 개선안들 중 하나가, 상기 방법의 다음번 수행(next pass) 중에 현재의 출력 네트워크로서 이용하기 위해, 복수의 가능한 개선안 중에서 선택된다.
모듈들은, (경우에 따라 벡터 값인) 입력 변수에 따라 (경우에 따라 벡터 값인) 출력 변수를 결정하는 신경망의 유닛들이다. 모듈은 예컨대 인공 신경망의 층(layer)일 수 있거나, 인공 신경(artificial neuron)일 수 있다.
다시 말해, "연속적"이란, 본원의 방법이 복수의 수행 사이클을 포함하고, 매 수행 시 가능한 개선안들이 현재의 출력 네트워크를 기반으로 생성되어, 이를 토대로 다음번 수행 시 현재의 출력 네트워크로서 이용하기 위해 하나의 개선안, 바람직하게는 최상의 개선안이 선택됨을 의미한다.
다시 말해, 복수의 가능한 개선안이 반복해서 생성되고, 이들 개선안 중에서 단 하나의, 바람직하게는 최상의 개선안이 선택되며, 그런 다음 상기 최상의 개선안은 다시 추가 개선안들을 위한 기반으로서 이용된다. 이런 방식으로 인공 신경망이 점차 확장된다. 이처럼 열망했던 접근법이 놀랍게도 단시간에 매우 고성능의 인공 신경망을 유도하고, 억제성 부엽 최소값으로 이어지지는 않는 점이 확인되었다.
일 개선예에서, 각각의 모듈들 및/또는 연결들의 부가 시, 각각의 부가될 모듈들 및/또는 연결들이 부가되는 출력 네트워크가 각각의 가능한 입력 변수를 위해 각각의 부가될 모듈들 및/또는 연결들의 부가 이전 및 이후에 각각 변함없는 출력 변수들을 공급하도록, 각각의 부가될 모듈들 및/또는 연결들을 특징짓는 기설정 가능한 매개변수들이 선택될 수 있다.
다시 말하면, 부가될 모듈들 및/또는 연결들의 상응하는 매개변수들은, 출력 네트워크와, 부가될 모듈들 및/또는 연결들의 부가를 통해 확장된 네트워크가 기능상 대등하도록 선택된다. 이로써, 가능한 개선안들이 훨씬 더 빠르게 트레이닝될 수 있으며, 이는 본원의 방법을 가속화한다.
그 대안으로 또는 그에 추가로, 모듈들 및/또는 연결들의 최초의 부가를 위한 출발점으로서 이용되는 현재의 출력 네트워크는 모듈들 및/또는 연결들의 최초의 부가 이전에 초기 학습 데이터 세트로 트레이닝될 수 있다. 이는 본원 방법의 추가 가속화를 유도한다.
그 대안으로 또는 그에 추가로, 현재의 출력 네트워크의 가능한 개선안들은 각각 학습 데이터 세트로 트레이닝될 수 있으며, 그런 후에 개선안들 중 하나가, 본원 방법의 다음번 수행 시 현재의 출력 네트워크로서 이용하기 위해, 복수의 가능한 개선안 중에서 선택된다.
복수의 가능한 개선 중에서 하나의 개선안을 선택하는 것은 복수의 가능한 개선안 각각의 개별 성능을 특징짓는 변수에 따라 수행될 수 있다. 상기 변수는 바람직하게, 복수의 개선안 중 각각 하나의 개선안의 출력 변수들에 따라 선택될 수 있다.
상기 양태의 일 개선예에서, 출력 네트워크의 개선안들은 각각 경사 하강법(gradient descent method)에 의해 트레이닝될 수 있으며, 상기 경사 하강법의 학습 속도를 특징짓는 매개변수는 수행된 트레이닝 에포크(training epoch)의 개수가 증가함에 따라 감소하도록 선택된다.
다시 말해, 학습 속도는 학습 기간이 증가함에 따라 감소하도록 선택된다. 이는, 경사 하강법이 특히 빠르게 수렴한다는 장점이 있다. 요컨대, 그로써 추정 경사(gradient)에서의 변동이 특히 신뢰성 있게 상쇄될 수 있다는 점이 확인되었다.
이 경우, 학습 속도를 특징짓는 매개변수의 하강 곡선은 삼각 함수(trigonometric function)에 의해 특성화될 수 있다.
이는, 선호되는 완만한 곡선을 갖는 하강하는 학습 속도를 특성화하기 위한 특히 간단한 방식이다. 예컨대 대개 학습 속도를 특징짓는 변수[
Figure pct00001
]를 선택할 수 있으며, 상기 식에서 t는 (예컨대 트레이닝 에포크들에서 측정되는) 트레이닝 시간을 나타내며, T는 기설정 가능한 전체 시간을 나타낸다.
본 발명의 또 다른 한 양태에서, 청구범위에서 선행 청구항들 중 어느 한 항에 따라, 기설정 가능한 복수 개의 가능한 모듈 및/또는 연결은 정규화 모듈, 및/또는 스킵 연결(skip connection), 및/또는 비선형 함수를 내포한 모듈을 포함하며, 상기 비선형 함수는 자신의 거동을 특징짓는 매개변수의 적어도 하나의 값에 대해 멱등원일 수 있다. 상기 비선형 함수의 조건을 통해, 특징적인 매개변수는, 멱등 함수가 상기 멱등 함수 직전 또는 직후에 이미 출력 네트워크 내에 존재한다면, 비선형 함수가 출력 변수를 변경하지 않도록 선택된다.
정규화 모듈은, 예컨대 층 정규화(layer normalization)일 수 있거나, 배치 정규화(batch normalization)일 수 있다. 상기 모듈들은 효율적으로 초기화될 수 있고, 이들 모듈이 기설정 가능한 복수 개의 가능 모듈 내에 포함됨으로써 특히 효율적으로 고성능 인공 신경망이 생성될 수 있다.
특히, 기설정 가능한 복수 개의 가능 모듈 및/또는 연결은, 정규화 모듈; 스킵 연결; 비선형 함수를 내포한 모듈; 선형 함수를 내포한 모듈; 유닛들 내지 채널들의 부가를 통해 기존 선형층을 확대하는 모듈; 그리고 상기 선형층의 복제를 통해 하나의 선형층을 확대하는 모듈;을 포함할 수 있다.
확인된 점에 따르면, 상기 기설정 가능한 복수 개의 가능 모듈 및/또는 연결에 의해 특히 효율적으로 인공 신경망이 생성될 수 있다.
또 다른 양태들에서, 본 발명은 본 발명에 따른 방법을 실행하도록 구성된 컴퓨터 프로그램과 관련된다. 다시 말해, 컴퓨터 프로그램은, 컴퓨터가 상기 컴퓨터 프로그램을 실행할 때, 컴퓨터로 하여금 본 발명에 따른 방법을 수행하게 하는 명령들을 포함한다.
또 다른 양태들에서, 본 발명은 상기 컴퓨터 프로그램이 저장되어 있는 기계 판독 가능 저장 매체 및 본원 방법을 실행하도록 구성된 컴퓨터와 관련된다.
하기에서는 첨부한 도면들을 참조하여 본 발명의 실시예들이 더 상세하게 설명된다.
도 1은 본 발명에 따라 생성된 인공 신경망의 한 사용 가능성의 개략도이다.
도 2는 인공 신경망을 생성하기 위한 예시적인 학습 시스템의 개략도이다.
도 3은 인공 신경망을 생성하기 위한 방법의 가능한 시퀀스의 흐름도이다.
도 1에는, 자신의 주변환경(20)에서 액추에이터 제어 시스템(40)과 상호작용하는 액추에이터(10)가 예시로서 도시되어 있다. 액추에이터(10)와 주변환경(20)을 합쳐서 하기에서 액추에이터 시스템이라고도 지칭된다. 액추에이터 시스템의 상태는 센서(30)에 의해 검출되며, 상기 센서가 복수의 센서로도 제공될 수 있다. 센서(30)의 출력 신호(S)가 액추에이터 제어 시스템(40)으로 전송된다. 액추에이터 제어 시스템(40)은 상기 출력 신호를 토대로 액추에이터(10)가 수신하는 구동 신호(A)를 결정한다.
액추에이터(10)는 예컨대 (부분) 자율 로봇, 예컨대 (부분) 자율 주행 자동차일 수 있다. 센서(30)는 예컨대 하나 또는 복수의 비디오 센서 및/또는 하나 또는 복수의 레이더 센서 및/또는 하나 또는 복수의 위치 센서(예: GPS)일 수 있다. 그 대안으로 또는 그에 추가로, 센서(30)는, 예컨대 주변환경(20)의 현재 또는 향후의 기상 상태를 결정하는 기상 정보 시스템처럼, 액추에이터 시스템의 상태에 대한 정보를 결정하는 정보 시스템도 포함할 수 있다.
또 다른 실시예에서, 액추에이터(10)는 생산 로봇일 수 있으며, 이 경우 센서(30)는 예컨대 생산 로봇의 제조 생산품의 특성을 검출하는 광학 센서일 수 있다.
또 다른 실시예에서, 액추에이터(10)는, 장치의 작동을 릴리스(release)하거나 차단하는 릴리스 시스템일 수 있다. 센서(30)는 예컨대 안면을 검출하도록 구성된 (예컨대 이미지 데이터 또는 비디오 데이터의 검출을 위한) 광학 센서일 수 있다. 액추에이터(10)는 구동 신호(A)에 따라 릴리스 신호를 결정하고, 이 릴리스 신호는 그의 값에 따라 장치를 릴리스하기 위해 사용될 수 있다. 장치는 예컨대 물리적 또는 논리적 액세스 컨트롤일 수 있다. 이 경우, 액세스 컨트롤은 구동 신호(A)의 값에 따라 액세스 허용 여부를 제공할 수 있다.
액추에이터(10) 대신, 예컨대 구동 신호(A)에 따라 의료 진단을 송출하는 의료 진단 시스템이 구동될 수 있다. 센서(30)가 의학적 이미지들을 검출할 수 있는 광학 센서라면, 구동 신호(A)는 예컨대 의료 진단을 위해 특히 관련이 있는 것으로 보이는 영역들이 강조되어 있는 이미지들의, 경우에 따라 특이점이 부여된 의미론적 분할(semantic segmentation)일 수 있다. 이 경우, 도면부호 "40"은 에이전트 제어 시스템(agent control system)을 나타낸다.
액추에이터 제어 시스템(40)은, 출력 신호(S)를 데이터 신호(x)로 변환하는 선택적 수신 유닛(50)에서 센서의 출력 신호(S)를 수신한다[그 대안으로, 출력 신호(S)가 곧바로 데이터 신호(x)로서 인계될 수도 있음]. 데이터 신호(x)는 예컨대 출력 신호(S)의 절편 또는 추가 처리 신호일 수 있다. 데이터 신호(x)는 입력 신호로서 인공 신경망(60)으로 공급된다. 인공 신경망의 구조는, 구조 매개변수 메모리(Q)에 저장되어 있는 구조 매개변수들(q)로써 특성화된다. 인공 신경망(60)은 매개변수 메모리(P)에 저장되어 있는 기설정 가능한 매개변수들(p)에 의해 매개변수화된다.
하기에 기술되는 한 바람직한 실시예에서, 데이터 신호(x)는, 그 픽셀이 예컨대 휘도 부호화(brightness coding) 또는 3개의 색상 값(RGB 부호화)으로 특성화되는 2차원 이미지 신호이다. 또는 데이터 신호(x)가 또 다른 1차원 또는 다차원 데이터 신호일 수도 있다.
인공 신경망(60)은 입력 신호(x)[여기서는 이미지 신호(x)]를 토대로 대응하는 출력 신호(y), 예컨대 픽셀별 의미론적 분할을 결정한다. 이 경우, 이미지 신호(x)의 각각의 영역에 의미론적 값(semantic value)이 할당된다.
출력 신호(y)[여기서는 의미론적 분할(y)]는 출력 유닛(80)으로 전송되고, 출력 유닛은 상기 출력 신호를 토대로 구동 신호(A)를 결정한다. 다시 말하면, 의미론적 분할(y)에 따라서 구동 신호(A)가 결정된다. 다른 실시예들에서는, 출력 유닛(80)이 출력 신호(y)를 곧바로 구동 신호(A)로서 인계받을 수도 있다.
액추에이터 제어 시스템(40)은 일 실시예에서, 컴퓨터 및 이 컴퓨터 프로그램이 저장되어 있는 기계 판독 가능 저장 매체(미도시)를 포함하며, 컴퓨터 프로그램은 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 기술한 액추에이터 제어 시스템(40)의 기능들을 실행하게 한다.
도 2에는, 인공 신경망(60)을 생성하기 위한 시스템(140)의 일 실시예가 개략적으로 도시되어 있다. 트레이닝 데이터 유닛(150)은 인공 신경망으로 공급되는 적합한 입력 변수들(x)을 결정한다. 예컨대 트레이닝 데이터 유닛(150)은, 트레이닝 데이터의 세트가 저장되어 있는 컴퓨터 구현 데이터 베이스에 액세스하여, 예컨대 트레이닝 데이터의 세트에서 랜덤으로 입력 변수들(x)을 선택한다. 선택적으로, 트레이닝 데이터 유닛(150)은 입력 변수들(x)에 할당된 원하는 출력 변수들(ys)도 결정하며, 이들 출력 변수는 평가 유닛(180)으로 공급된다.
인공 신경망(60)은, 자신에게 공급된 입력 변수들(x)을 토대로 관련 출력 변수들(y)을 결정하도록 구성된다. 상기 출력 변수들(y)은 평가 유닛(180)으로 공급된다.
수정 유닛(160)(modification unit)은, 예컨대 도 3에 도시된 방법을 이용하여 신규 구조 매개변수들(q') 및 신규 매개변수들(p')을 결정하고, 이들을 구조 매개변수 메모리(Q) 및 매개변수 메모리(P)로 공급하며, 이들 메모리에서 상기 신규 구조 매개변수들 및 신규 매개변수들은 구조 매개변수들(q) 및 매개변수들(p)을 대체한다. 수정 유닛(160) 내에는 구조 매개변수들(q)의 가능한 변분(variation)이 기록된다. 구조 매개변수들(q)의 상기 가능한 변분은 각각 인공 신경망(60)에 부가될 수 있는 모듈들 및 연결들의 가능한 조합(combination)에 상응한다.
그러므로 본 발명의 일 양태에 따라서, 인공 신경망(60)의 초기 버전(initial version), 즉, 출력 네트워크를 기반으로, 인공 신경망(60)으로 구조 매개변수들(q) 및 매개변수들(p)의 공급을 통해, 인공 신경망(60)의 각각 하나의 가능한 개선안(61)이 제공된다. 이런 개선안들(61) 각각에, 인공 신경망(60)처럼, 그에 상응하게 입력 변수들(x)이 공급될 수 있음으로써, 이후 상기 각각의 개선안이 상응하는 출력 변수들(y)을 결정한다.
평가 유닛(180)은 예컨대, 출력 변수들(y) 및 원하는 출력 변수들(ys)에 따라 좌우되는 비용 함수(손실 함수)를 이용하여, 인공 신경망(60) 내지 개선안들(61)의 성능을 특징짓는 특성 변수(
Figure pct00002
)를 결정할 수 있다.
구조 매개변수들(q)이 고정된 경우, 매개변수(p)의 변분에 의해 인공 신경망(60) 또는 개선안들(61)이 최적화될 수 있다. 이 경우에 도출되는, 성능을 특징짓는 특성 변수(
Figure pct00003
)를 통해, 가장 고성능인 개선안(61)이 선택될 수 있다.
시스템(140)은 예컨대 하나의 컴퓨터 또는 복수의 컴퓨터를 포함할 수 있으며, 시스템은 본 실시예에서 본 발명에 따른 방법을 실행하도록 구성된 컴퓨터 프로그램(210)이 저장되어 있는 기계 판독 가능 저장 매체(200)를 포함한다.
도 3에는, 인공 신경망(60)을 생성하기 위한 방법의 한 가능한 시퀀스가 흐름도로 도시되어 있다.
우선(1000), [예컨대, 저장 영역에서 특징적인 구조 매개변수들(q)이 판독 출력됨으로써] 출력 네트워크(60)가 결정된다. 선택적으로, 출력 네트워크에 할당된 매개변수들(p)이 트레이닝된다.
그런 다음(1100), (의사) 난수 발생기에 의해, 구조 매개변수들(q)의 가능한 변분들이 선택되며, 예컨대 8개 또는 16개의 상이한 변분이 선택된다(물론, 상기 개수는 자유롭게 선택될 수 있지만, 8개 내지 16개 범위의 개수가 특히 우수한 결과를 도출하는 것으로 확인되었음). 다시 말하면, 그에 병행하여, 복수 개, 예컨대 8개 또는 16개의 가능한 개선안(61)이 생성되며, 이들 개선안은 각각 출력 네트워크(60)를 토대로, 하기 조합들(combinations) 중 하나 또는 복수 개를 포함하는 모듈들 및/또는 연결들로 이루어진 조합의 부가를 통해 도출된다.
가능한 제1 조합은, 출력 네트워크(60)의 기설정 가능한 (그리고 바람직하게는 랜덤으로 선택된) 기준층(reference layer) 앞에 선형층을 부가하는 것이다. 또한, 기설정 가능한 기준층은 출력 네트워크(60)의 출력단일 수도 있다. 다시 말해, 기준층에는 입력 변수들(ze)이 공급되며, 입력 변수들을 토대로 기준층은 출력 변수들을 생성하며, 이렇게 상기 층 앞에 선형층이 삽입되고, 이 선형층은 입력 변수(ze)를 수신하여 이를 토대로 변환된 입력 변수(ze' = a*ze + b)(매개변수 a, b는 자유롭게 선택 가능함)를 결정하고, 이 변환된 입력 변수(z'e)는 입력 변수(ze) 대신 기준층으로 공급된다. 바람직하게 b=0 및 a=1이 선택된다.
가능한 제2 조합은 기설정 가능한 기준층 앞에 비선형층을 부가하는 것이다. 이 경우, 기준층의 멱등 함수(h)가 식별된다[예컨대 입력 변수(ze)가 함수 relu(x) = max(0,x)로 공급되는 점이 식별될 수 있음]. 부가될 멱등 함수(h)를 특징짓는 매개변수들은 바람직하게, 부가될 멱등 함수(h)의 출력 변수가 공급되는, 기준층 내에 존재하는 멱등 함수의 상응하는 매개변수들과 동일하게 선택된다. 그 대안으로, 필연적으로 기준층 내 멱등 함수가 식별되지 않은 비선형 함수도 삽입될 수 있다. 그런 다음, 부가될 멱등 함수는, 특정 매개변수에 대해 항등성(identity)을 제공하는 방식으로 [예컨대 볼록 선형 조합(convex linear combination)으로서] 선택될 수 있다. 다시 말하면, 기준층에 입력 변수(ze) 대신 변환된 입력 변수[ze' = a*h(ze) + (1-a)*ze]가 공급된다. 바람직하게 초기에는 a=0이 선택된다.
가능한 제3 조합은 기설정 가능한 기준층 앞에 개별 신경들을 부가하는 것이다. 이 경우, 기준층의 출력 변수에서 입력 변수들의 입력의 함수 관계(functional relation)를 특징짓는 매개변수들은 바람직하게, 입력 변수에 대한 기준층의 출력 변수의 함수적 종속(functional dependency)이 변함없이 유지되도록 선택된다.
가능한 제4 조합은 기설정 가능한 기준층에 개별 연결들을 부가하는 것이다. 예컨대 연결은 이미 존재하는 연결에 대해 병렬로 부가될 수 있다. 이 경우, 기준층의 출력 변수로의 입력 변수들의 입력의 함수 관계를 특징짓는 매개변수들은 바람직하게, 입력 변수에 대한 기준층의 출력 변수의 함수적 종속이 변함없이 유지되도록 선택된다.
가능한 제5 조합은, 2개의 (바람직하게는 랜덤으로 선택된) 기설정 가능한 기준층 사이에 스킵 연결을 부가하는 것, 다시 말해 기설정 가능한 타깃층 내에 기설정 가능한 출력층을 부가하는 것이다. 상기 스킵 연결은, 타깃층 내에서 자신의 출력 변수가 또 다른 출력 변수에 가산되는 방식으로 선택된다(이 경우, 스킵 연결의 매개변수들은 바람직하게, 스킵 연결의 가중치가 0으로 선택되고 가산될 출력 변수의 가중치는 1로 선택되는 방식으로 선택된다).
가능한 제6 조합은, 제5 조합과 유사하지만, 타깃층 내에서 스킵 연결의 출력 변수가 또 다른 출력 변수에 연쇄되는 방식으로(concatenated) 스킵 연결이 선택된다는 차이점이 있다(이 경우, 연쇄된 성분들을 가중하는 가중치들은 바람직하게 0으로 선택됨).
가능한 제7 조합은, 출력 네트워크(60)의 기설정 가능한 (그리고 바람직하게는 랜덤으로 선택된) 기준층 뒤에 정규화 모듈을 부가하는 것이다. 기준층의 출력 변수(zr)의 통계 분포에 따라서, 예컨대 선택된 매개변수들의 평균값 내지 추정 표준 분포에 상응할 수 있는 통계적 매개변수들(
Figure pct00004
)이 결정된다. 상기 매개변수들은 예컨대 하나의 층의 행들 및/또는 열들에 걸쳐 평균되어 산출될 수 있거나, 개선안(61)의 입력 변수들(x)의 스택(stack)에 대한 기준층의 출력 변수들에 걸쳐서도 평균되어 산출될 수 있다. 이 경우, 정규화 모듈의 출력 변수(yr)는 하기 식으로서 선택될 수 있다.
Figure pct00005
여기서, 매개변수(
Figure pct00006
)는 수치 안정성의 이유에서 고정 선택된 작은 값으로 설정될 수 있으며, 예컨대
Figure pct00007
이다. 매개변수들(
Figure pct00008
)은 바람직하게 하기 식으로서 선택된다.
Figure pct00009
Figure pct00010
이어서(1200), 생성된 가능한 개선안들(61)이 트레이닝된다. 이를 위해, 생성되고 가능한 개선안들(61) 각각에 트레이닝 에포크들 내에서 입력 변수들(x)이 공급되며, 입력 변수들(x)을 토대로 결정된 출력 변수들(y)에 따라 성능을 특징짓는 특성 변수(
Figure pct00011
)가 결정된다. 매개변수(p)는 이제 "
Figure pct00012
" 에 의해 연속하여 반복적으로 변한다. 여기서
Figure pct00013
는 학습 속도를 특징짓는 매개변수이다. 상기 매개변수는 바람직하게 반복 지수(iteration index)(t)가 증가함에 따라 하강하는 방식으로 선택되며, 예컨대 전체 시간(T)이 기설정 가능한 조건에서
Figure pct00014
에 비례하는 방식으로 선택된다. 이 반복은 지수(tc)에서 매개변수들(p)이 수렴될 때까지 수행된다. 그런 다음 신규 매개변수는 p' = ptc로 선택된다.
이어서(1300), 생성되어 트레이닝된 가능한 개선안들(61)에 기설정 가능한 입력 변수들이 공급되며, 그렇게 도출된, 성능을 특징짓는 특성 변수(
Figure pct00015
)가 가능한 개선안들(61) 각각에 대해 결정된다. 트레이닝의 진행 중에 단계(1200)에서 결정된 특성 변수(
Figure pct00016
)가 이용되는 점도 고려될 수 있다.
마지막으로(1400), 결정된 특성 변수들(
Figure pct00017
)에 따라서, 특성 변수(
Figure pct00018
)가 가장 최상인, 예컨대 가장 큰 개선안(61)이 선택된다.
이제, 선택된 개선안(61)이 출력 네트워크(60)보다 충분히 명백하게 더 적합한 특성 변수(
Figure pct00019
)를 달성했는지의 여부가 검사될 수 있다. 달성하지 않았다면 본원 방법은 종료되며, 선택된 개선안(61)[그 대안으로 현재의 출력 네트워크(60)]은 생성된 인공 신경망을 도출한다.
그렇지 않으면, 선택된 개선안(61)이 이제 현재의 출력 네트워크(60)를 대체하는데, 다시 말해 선택된 개선안(61)에 할당된 구조 매개변수(q') 및 선택된 개선안에 할당되고 결정된 매개변수(p')가 구조 매개변수(q) 및 매개변수(p)를 대체한다. 그런 다음, 본원 방법은 다시 단계 1100으로 되돌아간다.
이와 관련하여, 인공 신경망(60)의 생성에 의해, 상기 인공 신경망(60)이 사용되는 상응하는 액추에이터 시스템 또는 에이전트 제어 시스템(40)이 생성될 수 있다는 점이 주지된다. 예컨대 모든 다른 컴포넌트는 변함없이 기설정될 수 있고, 내포된 인공 신경망(60)만이 생성될 수 있다.
본원 방법은 컴퓨터 프로그램, 다시 말해 소프트웨어로서 또는 하드웨어에서, 또는 하드웨어와 소프트웨어의 혼합 형태로 구현될 수 있다.

Claims (11)

  1. 모듈들과, 이 모듈들을 연쇄시키는 연결들을 포함하는 인공 신경망(60)을 자동 생성하기 위한 방법으로서,
    연속적인 모듈들 및/또는 연결들이 현재의 출력 네트워크(60)에 부가되고,
    부가될 모듈들 및/또는 연결들은 기설정 가능한 복수 개의 부가 가능 모듈 및 연결 중에서 랜덤으로 선택되며,
    각각 출력 네트워크에 부가될 모듈들 및/또는 연결들의 부가를 통해 현재의 출력 네트워크(60)의 복수의 가능한 개선안(61)이 생성되고,
    그런 다음, 개선안들(61) 중 하나가, 상기 방법의 다음번 수행 중에 현재의 출력 네트워크(60)로서 이용하기 위해, 복수의 가능한 개선안(61) 중에서 선택되는, 인공 신경망의 자동 생성 방법.
  2. 제1항에 있어서, 각각의 모듈들 및/또는 연결들의 부가 시, 각각의 부가될 모듈들 및/또는 연결들이 부가되는 출력 네트워크(60)가 각각의 가능한 입력 변수(x)를 위해 각각의 부가될 모듈들 및/또는 연결들의 부가 이전과 부가 이후에 각각 변함없는 출력 변수들(y)을 공급하도록, 각각의 부가될 모듈들 및/또는 연결들을 특징짓는 기설정 가능한 매개변수들(p)이 선택되는, 인공 신경망의 자동 생성 방법.
  3. 제1항 또는 제2항에 있어서, 모듈들 및/또는 연결들의 최초의 부가를 위한 출발점으로서 이용되는 현재의 출력 네트워크(60)는 모듈들 및/또는 연결들의 최초의 부가 이전에 초기 학습 데이터 세트로 트레이닝되는, 인공 신경망의 자동 생성 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 현재의 출력 네트워크(60)의 가능한 개선안들(61)은 각각 학습 데이터 세트로 트레이닝되며, 그런 후에 상기 개선안들 중 하나가, 상기 방법의 다음번 수행 시 현재의 출력 네트워크(60)로서 이용하기 위해, 복수의 가능한 개선안 중에서 선택되는, 인공 신경망의 자동 생성 방법.
  5. 제4항에 있어서, 출력 네트워크(60)의 개선안들은 각각 경사 하강법에 의해 트레이닝되며, 상기 경사 하강법의 학습 속도를 특징짓는 매개변수(
    Figure pct00020
    )는 수행된 트레이닝 에포크의 개수가 증가함에 따라 감소하도록 선택되는, 인공 신경망의 자동 생성 방법.
  6. 제5항에 있어서, 학습 속도를 특징짓는 매개변수(
    Figure pct00021
    )의 하강 곡선은 삼각 함수에 의해 특성화되는, 인공 신경망의 자동 생성 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 기설정 가능한 복수 개의 가능한 모듈 및/또는 연결은 정규화 모듈, 및/또는 스킵 연결(skip connection), 및/또는 비선형 함수를 내포한 모듈을 포함하며, 상기 비선형 함수는 자신의 거동을 특징짓는 매개변수(p)의 적어도 하나의 값에 대해 멱등원인, 인공 신경망의 자동 생성 방법.
  8. 제7항에 있어서, 기설정 가능한 복수 개의 가능한 모듈 및/또는 연결은, 정규화 모듈, 스킵 연결, 비선형 함수를 내포한 모듈, 선형 함수를 내포한 모듈, 유닛들 내지 채널들의 부가를 통해 기존 선형층을 확대하는 모듈, 그리고 상기 선형층의 복제를 통해 하나의 선형층을 확대하는 모듈을 포함하는, 인공 신경망의 자동 생성 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 따른 방법을 실행하도록 구성된 컴퓨터 프로그램(210).
  10. 제9항에 따른 컴퓨터 프로그램이 저장되어 있는 기계 판독 가능한 저장 매체(200).
  11. 제1항 내지 제8항 중 어느 한 항에 따른 방법을 실행하도록 구성된 시스템(140).
KR1020207014578A 2017-10-26 2018-10-24 인공 신경망의 자동 생성을 위한 방법 및 장치 KR102569169B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017219282.8 2017-10-26
DE102017219282.8A DE102017219282A1 (de) 2017-10-26 2017-10-26 Verfahren und Vorrichtung zum automatischen Erzeugen eines künstlichen neuronalen Netzes
PCT/EP2018/079088 WO2019081545A1 (de) 2017-10-26 2018-10-24 Verfahren und vorrichtung zum automatischen erzeugen eines künstlichen neuronalen netzes

Publications (2)

Publication Number Publication Date
KR20200073269A true KR20200073269A (ko) 2020-06-23
KR102569169B1 KR102569169B1 (ko) 2023-08-22

Family

ID=64049189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207014578A KR102569169B1 (ko) 2017-10-26 2018-10-24 인공 신경망의 자동 생성을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US11727277B2 (ko)
EP (1) EP3701434A1 (ko)
KR (1) KR102569169B1 (ko)
CN (1) CN111295676A (ko)
DE (1) DE102017219282A1 (ko)
WO (1) WO2019081545A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263525B2 (en) 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
US11250329B2 (en) * 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
US11669713B2 (en) * 2018-12-04 2023-06-06 Bank Of America Corporation System and method for online reconfiguration of a neural network system
DE102019212330A1 (de) * 2019-08-19 2021-02-25 Robert Bosch Gmbh Verfahren zur Bestimmung einer Materialkenngröße, insbesondere für ein Kunststoffmaterial oder einen Prozess
DE102019214546B4 (de) 2019-09-24 2023-01-05 Robert Bosch Gmbh Computerimplementiertes Verfahren und Vorrichtung zur Optimierung einer Architektur eines künstlichen neuronalen Netzwerks
US11915419B1 (en) 2020-06-25 2024-02-27 Verily Life Sciences Llc Auto-normalization for machine learning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101774844B1 (ko) * 2017-04-18 2017-09-19 주식회사 더디엔에이시스템 뉴로블록체인 콤비네이션을 이용한 인공신경망 모델의 자가 학습 모듈

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483868B2 (en) * 2002-04-19 2009-01-27 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
US9916611B2 (en) * 2008-04-01 2018-03-13 Certona Corporation System and method for collecting and targeting visitor behavior
US10832138B2 (en) * 2014-11-27 2020-11-10 Samsung Electronics Co., Ltd. Method and apparatus for extending neural network
CN106228185B (zh) * 2016-07-20 2019-10-15 武汉盈力科技有限公司 一种基于神经网络的通用图像分类识别系统及方法
US20180060724A1 (en) * 2016-08-25 2018-03-01 Microsoft Technology Licensing, Llc Network Morphism
US10685285B2 (en) * 2016-11-23 2020-06-16 Microsoft Technology Licensing, Llc Mirror deep neural networks that regularize to linear networks
DE202017102238U1 (de) 2017-04-13 2017-05-12 Robert Bosch Gmbh Aktorsteuerungssystem

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101774844B1 (ko) * 2017-04-18 2017-09-19 주식회사 더디엔에이시스템 뉴로블록체인 콤비네이션을 이용한 인공신경망 모델의 자가 학습 모듈

Also Published As

Publication number Publication date
EP3701434A1 (de) 2020-09-02
DE102017219282A1 (de) 2019-05-02
US20210133576A1 (en) 2021-05-06
US11727277B2 (en) 2023-08-15
CN111295676A (zh) 2020-06-16
KR102569169B1 (ko) 2023-08-22
WO2019081545A1 (de) 2019-05-02

Similar Documents

Publication Publication Date Title
KR102569169B1 (ko) 인공 신경망의 자동 생성을 위한 방법 및 장치
CN111160375B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
US20230089380A1 (en) Neural network construction method and apparatus
CN112949678B (zh) 深度学习模型对抗样本生成方法、系统、设备及存储介质
EP3583553A1 (en) Neural architecture search for convolutional neural networks
US11657291B2 (en) Spatio-temporal embeddings
CN112529146B (zh) 神经网络模型训练的方法和装置
CN114078195A (zh) 分类模型的训练方法、超参数的搜索方法以及装置
CN106373112B (zh) 图像处理方法、装置和电子设备
US20190378009A1 (en) Method and electronic device for classifying an input
US20220083843A1 (en) System and method for balancing sparsity in weights for accelerating deep neural networks
CN109446476B (zh) 一种多模式传感器信息解耦方法
CN112149694A (zh) 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端
KR20210045225A (ko) 뉴럴 네트워크에서 연산을 수행하는 방법 및 장치
CN111008631A (zh) 图像的关联方法及装置、存储介质和电子装置
CN111709415A (zh) 目标检测方法、装置、计算机设备和存储介质
EP3940603A1 (en) Processing apparatus for performing pointwise convolutions and depthwise convolutions
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111507135A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN111222558B (zh) 图像处理方法及存储介质
US11429386B2 (en) Method and apparatus for an advanced convolution on encrypted data
CN114254686A (zh) 对抗样本的识别方法及装置
JP6815743B2 (ja) 画像処理装置及びその方法、プログラム
US20180005089A1 (en) Information processing apparatus, method and computer program product
CN112200210A (zh) 使基础分类器适应于新奇类

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant