KR20220101504A - 그래프 컨볼루션 네트워크 학습 방법 및 장치 - Google Patents

그래프 컨볼루션 네트워크 학습 방법 및 장치 Download PDF

Info

Publication number
KR20220101504A
KR20220101504A KR1020210003590A KR20210003590A KR20220101504A KR 20220101504 A KR20220101504 A KR 20220101504A KR 1020210003590 A KR1020210003590 A KR 1020210003590A KR 20210003590 A KR20210003590 A KR 20210003590A KR 20220101504 A KR20220101504 A KR 20220101504A
Authority
KR
South Korea
Prior art keywords
node
learning
layer
convolution network
graph convolution
Prior art date
Application number
KR1020210003590A
Other languages
English (en)
Other versions
KR102441442B1 (ko
KR102441442B9 (ko
Inventor
김가형
임지영
강석규
이지형
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020210003590A priority Critical patent/KR102441442B1/ko
Publication of KR20220101504A publication Critical patent/KR20220101504A/ko
Application granted granted Critical
Publication of KR102441442B1 publication Critical patent/KR102441442B1/ko
Publication of KR102441442B9 publication Critical patent/KR102441442B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 그래프 컨볼루션 네트워크 학습 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 그래프 컨볼루션 네트워크 학습 방법은, 분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하는 단계, 상기 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하는 단계, 및 상기 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측하는 단계를 포함한다.

Description

그래프 컨볼루션 네트워크 학습 방법 및 장치{METHOD AND APPARATUS FOR LEARNING GRAPH CONVOLUTIONAL NETWORK}
본 발명은 그래프 컨볼루션 네트워크 학습 방법 및 장치에 관한 것이다.
그래프 컨볼루션 네트워크(Graph Convolutional Network, GCN)는 비유클리드 공간(Non-Euclidean space)에 있는 그래프 자료를 효과적으로 학습하여 노드 분류 문제에서 좋은 성능을 내고 있다. 하지만, GCN의 문제점으로 은닉층(hidden layer)을 깊이 쌓을수록, 노드 정보의 고유 특징이 이웃노드들에 의해 흐려지는 오버 스무딩(over-smoothing) 문제로 인해 학습 정확도가 낮아진다.
최근 이러한 GCN의 한계점을 극복하기 위해 그래프 컨볼루션 네트워크 학습 모델 중 하나인 ResNet의 잔차 연결(residual connection) 방법을 GCN에 적용하여 더 깊은 모델을 만들고자 노력하였다. 종래의 방법은 GCN의 오버 스무딩을 해결하기 위해 잔차 연결(residual connection) 방법을 사용한다.
그 방법은 다음과 같다. 그래프 노드 정보를 벡터(vector)화 하여 2차원에 임베딩(embedding)한다. 모델의 은닉층을 한 번 거칠 때 마다 서로 연결되어 있는 노드의 임베딩 값을 곱해 새로운 리프리젠테이션(representation)을 만든다. 오버 스무딩 문제를 방지하기 위해, 노드의 초기 리프리젠테이션 값 역시 곱해 활성화 함수(activation function)에 넣어준다. 위 과정을 은닉층 개수만큼 반복한 후, 소프트맥스 스코어(softmax score)로 노드를 분류한다.
종래의 기술은 위와 같이 초기 리프리젠테이션(representation) 값을 계속 해서 곱해주기 때문에 학습이 불안정하게 진행된다. 특히 학습 초기에는 값이 급격하게 급증, 혹은 급락하는 모습을 보이기 때문에 오랫동안 학습을 진행해야 한다. 이는 메모리와 시간이 제한적인 환경 등에서는 부정확한 학습 결과를 내고 있다.
이와 같이, 종래의 기술은 계속 해서 초기 노드의 리프리젠테이션(representation)을 새롭게 학습 된 레이어(layer)에 곱해주기 때문에 학습이 계속 불안하게 이뤄지는 문제점이 있다.
본 발명의 실시예들은 그래프 컨볼루션 네트워크(Graph Convolutional Network)에서 사용되는 잔차 연결(residual connection)의 문제점인 불안한 학습을 새로운 정규화 레이어(normalization layer)를 추가함으로써, 안정적이고 효과적으로 노드 분류를 학습하기 위한, 그래프 컨볼루션 네트워크 학습 방법 및 장치를 제공하고자 한다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 그래프 컨볼루션 네트워크 학습 장치에 의해 수행되는 그래프 컨볼루션 네트워크 학습 방법에 있어서, 분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하는 단계; 상기 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하는 단계; 및 상기 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측하는 단계를 포함하는, 그래프 컨볼루션 네트워크 학습 방법이 제공될 수 있다.
상기 정규화 레이어를 생성하는 단계는, 초기 노드 특징 행렬과 학습 후의 노드 특징 행렬이 기설정된 간격을 유지하여 안정성을 확보하는 정규화 레이어를 생성할 수 있다.
상기 정규화 레이어를 생성하는 단계는, 상기 노드가 같은 클러스터에 해당하는 노드끼리 스무딩(Smoothing)이 일어나게 하는 정규화 레이어를 생성할 수 있다.
상기 정규화 레이어를 생성하는 단계는, 상기 노드가 다른 클러스터끼리 스무딩이 일어나지 않게 방지하는 정규화 레이어를 생성할 수 있다.
상기 정규화 레이어를 생성하는 단계는, [수학식 1]
Figure pat00001
, 여기서,
Figure pat00002
는 l번째 레이어,
Figure pat00003
는 학습된 i번째 행의 노드 X 특징,
Figure pat00004
는 학습된 j번째 열의 노드 X 특징,
Figure pat00005
는 초기 i번째 행의 노드 X 특징,
Figure pat00006
는 초기 j번째 열의 노드 X 특징,
Figure pat00007
는 하이퍼파라미터(hyperparameter),
Figure pat00008
(epsilon)는 같은 클러스터를 나타내며, 상기 [수학식 1]에 따라 정규화 레이어를 생성할 수 있다.
상기 [수학식 1]에서
Figure pat00009
항은 같은 클러스터인
Figure pat00010
(epsilon)에 포함되지 않는 i, j번째 노드 X에 대해서 스무딩되지 않게 하는 것을 나타낼 수 있다.
상기 노드 리프리젠테이션을 생성하는 단계는, 상기 노드의 학습 중 특정 노드의 특징을 연결된 이웃 노드들의 특징과 곱하여 컨볼루션 레이어를 계산할 수 있다.
상기 노드 리프리젠테이션을 생성하는 단계는, 상기 [수학식 1]을 그래프 컨볼루션 신경망에 학습하는 중에, 상기 생성된 정규화 레이어를 컨볼루션 레이어 다음에 위치시켜 정규화된 새로운 노드 리프리젠테이션을 생성할 수 있다.
상기 노드 리프리젠테이션을 생성하는 단계는, 상기 노드의 학습 중 컨볼루션 레이어 다음에 상기 생성된 정규화 레이어를 위치시켜 상기 생성된 정규화 레이어에 의한 정규화(Normalization)를 통해 확률 분포를 바로 잡아줄 수 있다.
상기 노드 분류를 예측하는 단계는, 상기 생성된 새로운 노드 리프리젠테이션의 소프트맥스 스코어(Softmax score)를 계산하여 노드 분류를 예측할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하고, 상기 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하고, 상기 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측하는, 그래프 컨볼루션 네트워크 학습 장치가 제공될 수 있다.
상기 프로세서는, 초기 노드 특징 행렬과 학습 후의 노드 특징 행렬이 기설정된 간격을 유지하여 안정성을 확보하는 정규화 레이어를 생성할 수 있다.
상기 프로세서는, 상기 노드가 같은 클러스터에 해당하는 노드끼리 스무딩(Smoothing)이 일어나게 하는 정규화 레이어를 생성할 수 있다.
상기 프로세서는, 상기 노드가 다른 클러스터끼리 스무딩이 일어나지 않게 방지하는 정규화 레이어를 생성할 수 있다.
상기 프로세서는, [수학식 1]
Figure pat00011
, 여기서,
Figure pat00012
는 l번째 레이어,
Figure pat00013
는 학습된 i번째 행의 노드 X 특징,
Figure pat00014
는 학습된 j번째 열의 노드 X 특징,
Figure pat00015
는 초기 i번째 행의 노드 X 특징,
Figure pat00016
는 초기 j번째 열의 노드 X 특징,
Figure pat00017
는 하이퍼파라미터(hyperparameter),
Figure pat00018
(epsilon)는 같은 클러스터를 나타내며, 상기 [수학식 1]에 따라 정규화 레이어를 생성할 수 있다.
상기 [수학식 1]에서
Figure pat00019
항은 같은 클러스터인
Figure pat00020
(epsilon)에 포함되지 않는 i, j번째 노드 X에 대해서 스무딩되지 않게 하는 것을 나타낼 수 있다.
상기 프로세서는, 상기 노드의 학습 중 특정 노드의 특징을 연결된 이웃 노드들의 특징과 곱하여 컨볼루션 레이어를 계산할 수 있다.
상기 프로세서는, 상기 [수학식 1]을 그래프 컨볼루션 신경망에 학습하는 중에, 상기 생성된 정규화 레이어를 컨볼루션 레이어 다음에 위치시켜 정규화된 새로운 노드 리프리젠테이션을 생성할 수 있다.
상기 프로세서는, 상기 노드의 학습 중 컨볼루션 레이어 다음에 상기 생성된 정규화 레이어를 위치시켜 상기 생성된 정규화 레이어에 의한 정규화(Normalization)를 통해 확률 분포를 바로 잡아줄 수 있다.
상기 프로세서는, 상기 생성된 새로운 노드 리프리젠테이션의 소프트맥스 스코어(Softmax score)를 계산하여 노드 분류를 예측할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하는 단계; 상기 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하는 단계; 및 상기 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 실시예들은 그래프 컨볼루션 네트워크(Graph Convolutional Network)에서 사용되는 잔차 연결(residual connection)의 문제점인 불안한 학습을 새로운 정규화 레이어(normalization layer)를 추가함으로써, 안정적이고 효과적으로 노드 분류를 학습할 수 있다.
본 발명의 실시예들은 안정적인 GCN 학습을 가능하게 함으로 컴퓨팅 파워가 부족하여 짧은 학습을 진행할 수밖에 없는 환경에서도 초기에 빠르고 안정적이게 노드 분류 학습을 하여 실시간 분석이 필수적인 교통수요 예측에 활용 할 수 있도록 도움을 준다.
도 1은 본 발명의 일 실시예에 따른 그래프 컨볼루션 네트워크 학습 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 그래프 컨볼루션 네트워크 학습 방법에 대한 순서도이다.
도 3은 본 발명의 일 실시예와 종래 기술에 대해 에포크(Epoch) 수에 따른 학습도를 비교한 도면이다.
도 4 내지 도 6은 본 발명의 일 실시예와 종래 기술에 대해 정규화 적용 여부에 따른 안정성을 비교한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 그래프 컨볼루션 네트워크 학습 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 그래프 컨볼루션 네트워크 학습 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 그래프 컨볼루션 네트워크 학습 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 그래프 컨볼루션 네트워크 학습 장치(100)가 구현될 수 있다.
본 발명의 일 실시에 따른 그래프 컨볼루션 네트워크 학습 장치(100)는 종래의 GCN의 불안정한 학습을 컨볼루션 레이어(convolution layer)에 정규화 레이어(normalization layer)를 추가하여 더 안정적인 GCN 학습을 수행 할 수 있는 방법을 수행한다. 그래프 컨볼루션 네트워크 학습 장치(100)는 정규화 레이어(normalization layer)를 추가하여 안정적 학습 방법을 수행할 수 있다.
이하, 도 1의 그래프 컨볼루션 네트워크 학습 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
메모리(110)는 그래프 컨볼루션 네트워크 학습과 관련된 하나 이상의 프로그램을 저장한다.
프로세서(120)는 메모리(110)에 저장된 하나 이상의 프로그램을 실행한다. 프로세서(120)는 분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하고, 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하고, 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측한다.
실시예들에 따르면, 프로세서(120)는 초기 노드 특징 행렬과 학습 후의 노드 특징 행렬이 기설정된 간격을 유지하여 안정성을 확보하는 정규화 레이어를 생성할 수 있다.
실시예들에 따르면, 프로세서(120)는 노드가 같은 클러스터에 해당하는 노드끼리 스무딩(Smoothing)이 일어나게 하는 정규화 레이어를 생성할 수 있다.
실시예들에 따르면, 프로세서(120)는 노드가 다른 클러스터끼리 스무딩이 일어나지 않게 방지하는 정규화 레이어를 생성할 수 있다.
실시예들에 따르면, 프로세서(120)는 하기 [수학식 1]에 따라 정규화 레이어를 생성할 수 있다.
Figure pat00021
여기서,
Figure pat00022
는 l번째 레이어,
Figure pat00023
는 학습된 i번째 행의 노드 X 특징,
Figure pat00024
는 학습된 j번째 열의 노드 X 특징,
Figure pat00025
는 초기 i번째 행의 노드 X 특징,
Figure pat00026
는 초기 j번째 열의 노드 X 특징,
Figure pat00027
는 하이퍼파라미터(hyperparameter),
Figure pat00028
(epsilon)는 같은 클러스터를 나타낸다.
그래프 컨볼루션 네트워크에서 한 레이어
Figure pat00029
이 노드와 이웃 노드들의 리프리젠테이션을 곱하여 새로운 레이어
Figure pat00030
를 생성한 후, 본 발명의 일 실시예에 따른 정규화 레이어를 추가하여 새로 학습된 레이어가 기존 레이어와 일정한 거리를 가지도록 한다. 정규화 수식은 [수학식 1]과 같으며, 같은 클러스터 안의 노드들은 스무딩이 되도록 하되, 다른 클러스터에 해당하는 노드들은 스무딩이 되지 않도록 방지한다.
실시예들에 따르면, 상기 [수학식 1]에서
Figure pat00031
항은 같은 클러스터인
Figure pat00032
(epsilon)에 포함되지 않는 i, j번째 노드 X에 대해서 스무딩되지 않게 하는 것을 나타낼 수 있다.
실시예들에 따르면, 프로세서(120)는 노드의 학습 중 특정 노드의 특징을 연결된 이웃 노드들의 특징과 곱하여 컨볼루션 레이어를 계산할 수 있다.
실시예들에 따르면, 프로세서(120)는 상기 [수학식 1]을 그래프 컨볼루션 신경망에 학습하는 중에, 상기 생성된 정규화 레이어를 컨볼루션 레이어 다음에 위치시켜 정규화된 새로운 노드 리프리젠테이션을 생성할 수 있다.
실시예들에 따르면, 프로세서(120)는 노드의 학습 중 컨볼루션 레이어 다음에 생성된 정규화 레이어를 위치시켜 생성된 정규화 레이어에 의한 정규화(Normalization)를 통해 확률 분포를 바로 잡아줄 수 있다.
실시예들에 따르면, 프로세서(120)는 생성된 새로운 노드 리프리젠테이션의 소프트맥스 스코어(Softmax score)를 계산하여 노드 분류를 예측할 수 있다.
도 2는 본 발명의 일 실시예에 따른 그래프 컨볼루션 네트워크 학습 방법에 대한 순서도이다.
본 발명의 일 실시예에 따른 그래프 컨볼루션 네트워크 학습 방법은 그래프 컨볼루션 네트워크 학습 장치(100)에 의해 수행된다.
단계 S101에서, 그래프 컨볼루션 네트워크 학습 장치(100)는 분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성한다. 즉, 그래프 컨볼루션 네트워크 학습 장치(100)는 노드의 안정적인 학습이 가능하도록 정규화 레이어를 생성한다.
여기서, 그래프 컨볼루션 네트워크 학습 장치(100)는 정류화 레이어를 생성함으로써, 초기 노드의 특징(feature) 행렬과, 학습 후의 노드의 특징 행렬이 일정한 간격을 유지하여 안정성을 확보할 수 있다.
그래프 컨볼루션 네트워크 학습 장치(100)는 같은 클러스터(cluster)에 해당하는 노드는 스무딩(smoothing)되고, 다른 클러스터에 해당하는 노드는 스무딩이 되지 않도록 정규화 레이어를 생성한다. 이와 같이, 그래프 컨볼루션 네트워크 학습 장치(100)는 상기 [수학식 1]에 따라 정규화 레이어를 생성한다.
정규화 레이어에 대해 구체적으로 설명하면 다음과 같다. 그래프 컨볼루션(Graph convolution)은 특정 노드 X의 특징(feature)을 연결된 이웃 노드들의 특징과 곱하며 계산을 하게 된다. 그리고 이 컨볼루션 레이어를 그래프 컨볼루션 뉴럴 네트워크(Graph Convolutional Neural Network, GCN)이라는 모델에 넣어 학습을 진행하게 된다. 이때, 본 발명의 일 실시예는 GCN 모델을 데이터에 맞춰 최적화한다. 이와 같이 본 발명의 일 실시예에 따라 데이터가 정규화되어 있으면 최적화가 더 용이하고, 더 좋은 학습을 할 수 있다.
그래프 컨볼루션에서 최적화란, 입력 특징
Figure pat00033
와 멀지 않은 적절한
Figure pat00034
를 찾는 것이다. 이것은 노이즈 제거된 특징(denoised feature)이라고 한다. 본 발명의 일 실시예는
Figure pat00035
가 그래프 구조(graph structure)에 맞게 학습이 되고(smoothing 되고), 본래 특징을 잊지 않게 하는 것이다.
Figure pat00036
[수학식 2]에서
Figure pat00037
는 학습된 i번째 행(i-row)의 노드 x 특징이다. 그리고
Figure pat00038
는 j번째 열(j-column)의 노드 x 특징이 이렇게 L2 정규화(Normlization) 수식에 넣음으로써, 노드들이 계속 같은 클러스터 안에서 학습되도록 유도한다. 즉, 이는 스무딩이 된다고 표현한다.
여기서, 더 나아가, 다른 클러스터 안에 속한 노드들끼리 스무딩되는 것을 방지하기 위해, 본 발명의 일 실시예는 [수학식 2]에 네거티브 항(negative term)을 더한 것이다. [수학식 2]에서
Figure pat00039
는 하이퍼 파라미터로 사용자가 직접 정할 수 있다. 같은 클러스터인 ε(epsilon)에 포함되지 않는 i, j번째 노드 X에 대해서는 스무딩이 되지 않게 하는 식을 추가 함으로써, 다른 클러스터에 속하는 노드끼리 스무딩이 되는 것을 방지하게 된다.
단계 S102에서, 그래프 컨볼루션 네트워크 학습 장치(100)는 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성한다. 그래프 컨볼루션 네트워크 학습 장치(100)는 분류하고자 하는 노드의 학습 중 컨볼루션 레이어 다음에 정규화 레이어를 위치하여 안정적인 노드 리프리젠테이션을 생성한다. 즉, 그래프 컨볼루션 네트워크 학습 장치(100)는 상기 [수학식 1]을 그래프 컨볼루션 네트워크 학습 중, 컨볼루션 레이어 다음에 위치하여 정규화된 새로운 노드 리프리젠테이션을 생성한다.
컨볼루션 레이어 다음에 정규화 레이어를 위치시키면 안정적인 노드 리프리젠테이션을 생성할 수 있는지에 대해 설명하면 다음과 같다. 컨볼루션 레이어는 노드와 연결된 이웃 노드들의 특징 행렬(feature matrix)을 계속 곱해 만들어 진 것이다. 따라서 기존 데이터가 가지고 있던 확률 분포가 흐트러 지게 된다. 이렇게 계속 확률 분포가 바뀌게 되면 정확한 학습을 하기 힘들다. 따라서, 본 발명의 일 실시예는 정규화를 통해 확률분포를 계속해서 바로 잡아주는 작업을 수행한다. 본 발명의 일 실시예는 컨볼루션 학습이 일어난 후에 정규화 레이어를 위치시켜 안정적으로 학습이 일어나게 한다. 본 발명의 일 실시예에서는 이러한 정규화 역할에 노드가 같은 클러스터 끼리 스무딩이 잘 일어나고, 다른 클러스터끼리 스무딩을 막아주는 역할을 더 수행한다.
단계 S103에서, 그래프 컨볼루션 네트워크 학습 장치(100)는 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측한다. 일례로, 그래프 컨볼루션 네트워크 학습 장치(100)는 새로운 노드 리프리젠테이션의 소프트맥스 스코어(Softmax score) 계산을 통해 노드 분류를 예측할 수 있다.
도 3은 본 발명의 일 실시예와 종래 기술에 대해 에포크(Epoch) 수에 따른 학습도를 비교한 도면이다.
도 4 내지 도 6은 본 발명의 일 실시예와 종래 기술에 대해 정규화 적용 여부에 따른 안정성을 비교한 도면이다.
본 발명의 일 실시예에서 그래프의 벤치마크 데이터세트(benchmark dataset)인 Cora, Citeseer, Pubmed를 사용하였다. 세 개의 데이터 모드는 인용 네트워크(citation network)로, 노드는 문서를, 엣지는 인용 링크를 나타낸다. 에지는 무방향(undirected)이고, 특징(feature) 데이터는 문서의 단어 리프리젠테이션(representation)을 나타낸다.
노드 분류 모델로는 현재 가장 노드 분류 예측 성능이 좋은 GCNII(Graph Convolutional Network with Initial residual connection and Identity mapping)를 사용한다.
본 발명의 일 실시예의 실험 환경은 지포스(Geforce) RTX 2080 Ti 12G GPU이며, 사용한 하이퍼 파라미터(hyper-parameter) 세팅은 다음과 같다. 시드(Seed) 값: 50, 은닉층(hidden-layer) 수: 32, 에포크(epoch) 수: 200, 학습률(learning-rate): 0.01, 드롭아웃 비율(dropout ratio): 0.6, 알파(alpha) 값: 0.1, 람다(lamda) 값: 0.5이다.
이와 같이, 도 3은 본 발명의 일 실시예와 종래 기술에서 제공하고 있는 정규화 레이어 여부의 따른 정확도를 수치화하여 보여준다. 비교 모델은 기본 GCN과 가장 성능이 좋은 GCNII 모델을 비교하였다.
도 4 내지 도 6은 본 발명의 일 실시예와 종래 기술에서 제공하고 있는 방법을 적용했을 때, 각 3개의 데이터에서 나타나는 학습 안정성을 그래프로 나타냈다.
도 3에 도시된 바와 같이, GCN에 대해, 종래 GCN 모델을 초기 분류 예측 정확도를 에포크(epoch) 수로 비교한 것이다. GCNII에 대해서, 종래 GCNII은 STOA(state-of-the-art) 모델에서 잔차 연결(residual connection)을 사용한 것이다. 본 발명의 일 실시에 대해, 정규화 레이어를 GCNII 모델에 적용한 것이다.
한편, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하는 단계; 상기 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하는 단계; 및 상기 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 그래프 컨볼루션 네트워크 학습 장치
110: 메모리
120: 프로세서

Claims (21)

  1. 그래프 컨볼루션 네트워크 학습 장치에 의해 수행되는 그래프 컨볼루션 네트워크 학습 방법에 있어서,
    분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하는 단계;
    상기 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하는 단계; 및
    상기 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측하는 단계를 포함하는, 그래프 컨볼루션 네트워크 학습 방법.
  2. 제1항에 있어서,
    상기 정규화 레이어를 생성하는 단계는,
    초기 노드 특징 행렬과 학습 후의 노드 특징 행렬이 기설정된 간격을 유지하여 안정성을 확보하는 정규화 레이어를 생성하는, 그래프 컨볼루션 네트워크 학습 방법.
  3. 제1항에 있어서,
    상기 정규화 레이어를 생성하는 단계는,
    상기 노드가 같은 클러스터에 해당하는 노드끼리 스무딩(Smoothing)이 일어나게 하는 정규화 레이어를 생성하는, 그래프 컨볼루션 네트워크 학습 방법.
  4. 제1항에 있어서,
    상기 정규화 레이어를 생성하는 단계는,
    상기 노드가 다른 클러스터끼리 스무딩이 일어나지 않게 방지하는 정규화 레이어를 생성하는, 그래프 컨볼루션 네트워크 학습 방법.
  5. 제1항에 있어서,
    상기 정규화 레이어를 생성하는 단계는,
    [수학식 1]
    Figure pat00040

    여기서,
    Figure pat00041
    는 l번째 레이어,
    Figure pat00042
    는 학습된 i번째 행의 노드 X 특징,
    Figure pat00043
    는 학습된 j번째 열의 노드 X 특징,
    Figure pat00044
    는 초기 i번째 행의 노드 X 특징,
    Figure pat00045
    는 초기 j번째 열의 노드 X 특징,
    Figure pat00046
    는 하이퍼파라미터(hyperparameter),
    Figure pat00047
    (epsilon)는 같은 클러스터를 나타내며, 상기 [수학식 1]에 따라 정규화 레이어를 생성하는, 그래프 컨볼루션 네트워크 학습 방법.
  6. 제5항에 있어서,
    상기 [수학식 1]에서
    Figure pat00048
    항은 같은 클러스터인
    Figure pat00049
    (epsilon)에 포함되지 않는 i, j번째 노드 X에 대해서 스무딩되지 않게 하는 것을 나타내는, 그래프 컨볼루션 네트워크 학습 방법.
  7. 제1항에 있어서,
    상기 노드 리프리젠테이션을 생성하는 단계는,
    상기 노드의 학습 중 특정 노드의 특징을 연결된 이웃 노드들의 특징과 곱하여 컨볼루션 레이어를 계산하는, 그래프 컨볼루션 네트워크 학습 방법.
  8. 제5항에 있어서,
    상기 노드 리프리젠테이션을 생성하는 단계는,
    상기 [수학식 1]을 그래프 컨볼루션 신경망에 학습하는 중에, 상기 생성된 정규화 레이어를 컨볼루션 레이어 다음에 위치시켜 정규화된 새로운 노드 리프리젠테이션을 생성하는, 그래프 컨볼루션 네트워크 학습 방법.
  9. 제1항에 있어서,
    상기 노드 리프리젠테이션을 생성하는 단계는,
    상기 노드의 학습 중 컨볼루션 레이어 다음에 상기 생성된 정규화 레이어를 위치시켜 상기 생성된 정규화 레이어에 의한 정규화(Normalization)를 통해 확률 분포를 바로 잡아주는, 그래프 컨볼루션 네트워크 학습 방법.
  10. 제1항에 있어서,
    상기 노드 분류를 예측하는 단계는,
    상기 생성된 새로운 노드 리프리젠테이션의 소프트맥스 스코어(Softmax score)를 계산하여 노드 분류를 예측하는, 그래프 컨볼루션 네트워크 학습 방법.
  11. 하나 이상의 프로그램을 저장하는 메모리; 및
    상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하고,
    상기 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하고,
    상기 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측하는, 그래프 컨볼루션 네트워크 학습 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    초기 노드 특징 행렬과 학습 후의 노드 특징 행렬이 기설정된 간격을 유지하여 안정성을 확보하는 정규화 레이어를 생성하는, 그래프 컨볼루션 네트워크 학습 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 노드가 같은 클러스터에 해당하는 노드끼리 스무딩(Smoothing)이 일어나게 하는 정규화 레이어를 생성하는, 그래프 컨볼루션 네트워크 학습 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 노드가 다른 클러스터끼리 스무딩이 일어나지 않게 방지하는 정규화 레이어를 생성하는, 그래프 컨볼루션 네트워크 학습 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    [수학식 1]
    Figure pat00050

    여기서,
    Figure pat00051
    는 l번째 레이어,
    Figure pat00052
    는 학습된 i번째 행의 노드 X 특징,
    Figure pat00053
    는 학습된 j번째 열의 노드 X 특징,
    Figure pat00054
    는 초기 i번째 행의 노드 X 특징,
    Figure pat00055
    는 초기 j번째 열의 노드 X 특징,
    Figure pat00056
    는 하이퍼파라미터(hyperparameter),
    Figure pat00057
    (epsilon)는 같은 클러스터를 나타내며, 상기 [수학식 1]에 따라 정규화 레이어를 생성하는, 그래프 컨볼루션 네트워크 학습 장치.
  16. 제15항에 있어서,
    상기 [수학식 1]에서
    Figure pat00058
    항은 같은 클러스터인
    Figure pat00059
    (epsilon)에 포함되지 않는 i, j번째 노드 X에 대해서 스무딩되지 않게 하는 것을 나타내는, 그래프 컨볼루션 네트워크 학습 장치.
  17. 제11항에 있어서,
    상기 프로세서는,
    상기 노드의 학습 중 특정 노드의 특징을 연결된 이웃 노드들의 특징과 곱하여 컨볼루션 레이어를 계산하는, 그래프 컨볼루션 네트워크 학습 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    상기 [수학식 1]을 그래프 컨볼루션 신경망에 학습하는 중에, 상기 생성된 정규화 레이어를 컨볼루션 레이어 다음에 위치시켜 정규화된 새로운 노드 리프리젠테이션을 생성하는, 그래프 컨볼루션 네트워크 학습 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    상기 노드의 학습 중 컨볼루션 레이어 다음에 상기 생성된 정규화 레이어를 위치시켜 상기 생성된 정규화 레이어에 의한 정규화(Normalization)를 통해 확률 분포를 바로 잡아주는, 그래프 컨볼루션 네트워크 학습 장치.
  20. 제11항에 있어서,
    상기 프로세서는,
    상기 생성된 새로운 노드 리프리젠테이션의 소프트맥스 스코어(Softmax score)를 계산하여 노드 분류를 예측하는, 그래프 컨볼루션 네트워크 학습 장치.
  21. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
    분류하고자 하는 노드의 안정적인 학습이 가능하도록 정규화 레이어(Normalization layer)를 생성하는 단계;
    상기 노드의 학습 중 컨볼루션 레이어(Convolution layer) 다음에 상기 생성된 정규화 레이어를 위치시켜 새로운 노드 리프리젠테이션(Representation)을 생성하는 단계; 및
    상기 생성된 새로운 노드 리프리젠테이션을 이용하여 노드 분류를 예측하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
KR1020210003590A 2021-01-11 2021-01-11 그래프 컨볼루션 네트워크 학습 방법 및 장치 KR102441442B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210003590A KR102441442B1 (ko) 2021-01-11 2021-01-11 그래프 컨볼루션 네트워크 학습 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210003590A KR102441442B1 (ko) 2021-01-11 2021-01-11 그래프 컨볼루션 네트워크 학습 방법 및 장치

Publications (3)

Publication Number Publication Date
KR20220101504A true KR20220101504A (ko) 2022-07-19
KR102441442B1 KR102441442B1 (ko) 2022-09-08
KR102441442B9 KR102441442B9 (ko) 2023-04-12

Family

ID=82607370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210003590A KR102441442B1 (ko) 2021-01-11 2021-01-11 그래프 컨볼루션 네트워크 학습 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102441442B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240053516A (ko) 2022-10-17 2024-04-24 한국과학기술원 관계 불변을 보존하는 그래프 신경망을 학습시키는 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170108081A (ko) * 2015-01-28 2017-09-26 구글 인코포레이티드 배치 정규화 레이어들

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170108081A (ko) * 2015-01-28 2017-09-26 구글 인코포레이티드 배치 정규화 레이어들

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sami Abu-El-HAija et al., N-GCN: Multi-scale Graph Convolution for Semi-supervised Node Classification, Proceedings of The 35th Uncertainty in Artificial Intelligence Conference, 1-11pages (2020.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240053516A (ko) 2022-10-17 2024-04-24 한국과학기술원 관계 불변을 보존하는 그래프 신경망을 학습시키는 방법 및 장치

Also Published As

Publication number Publication date
KR102441442B1 (ko) 2022-09-08
KR102441442B9 (ko) 2023-04-12

Similar Documents

Publication Publication Date Title
CN110287477B (zh) 实体情感分析方法及相关装置
CN107122327B (zh) 一种利用训练数据训练模型的方法和训练系统
JP6212217B2 (ja) 機械学習における重みの生成
CN111310860B (zh) 改进梯度提升决策树性能的方法及计算机可读存储介质
CN111492382A (zh) 训练第一神经网络模型和第二神经网络模型
US11194968B2 (en) Automatized text analysis
US11556785B2 (en) Generation of expanded training data contributing to machine learning for relationship data
US20220237465A1 (en) Performing inference and signal-to-noise ratio based pruning to train sparse neural network architectures
KR102545113B1 (ko) 기계학습 모델에 기반한 필수 유전자 식별 방법 및 분석장치
KR102441442B1 (ko) 그래프 컨볼루션 네트워크 학습 방법 및 장치
EP4009239A1 (en) Method and apparatus with neural architecture search based on hardware performance
US11537934B2 (en) Systems and methods for improving the interpretability and transparency of machine learning models
CN111832693A (zh) 神经网络层运算、模型训练方法、装置及设备
Lin et al. Parallel construction of explicit boundaries using support vector machines
CN108229572B (zh) 一种参数寻优方法及计算设备
EP3975071A1 (en) Identifying and quantifying confounding bias based on expert knowledge
WO2022040963A1 (en) Methods and apparatus to dynamically normalize data in neural networks
CN114297385A (zh) 模型训练方法、文本分类方法、系统、设备及介质
CN113159419A (zh) 一种群体特征画像分析方法、装置、设备及可读存储介质
CN116185843B (zh) 基于神经元覆盖率引导的两阶段神经网络测试方法及装置
KR102583943B1 (ko) 태스크 간의 상관관계 분석 알고리즘을 이용하여 연속학습을 수행하는 신경망 장치 및 신경망 학습 방법
US20230032822A1 (en) Systems and methods for adapting machine learning models
US20220366187A1 (en) Systems and methods for generating an interpretive behavioral model
JP6994572B2 (ja) データ処理システムおよびデータ処理方法
US20220108156A1 (en) Hardware architecture for processing data in sparse neural network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]