KR102617929B1 - 그래프 신경 망을 사전 트레이닝하는 방법 및 장치 - Google Patents
그래프 신경 망을 사전 트레이닝하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102617929B1 KR102617929B1 KR1020210035504A KR20210035504A KR102617929B1 KR 102617929 B1 KR102617929 B1 KR 102617929B1 KR 1020210035504 A KR1020210035504 A KR 1020210035504A KR 20210035504 A KR20210035504 A KR 20210035504A KR 102617929 B1 KR102617929 B1 KR 102617929B1
- Authority
- KR
- South Korea
- Prior art keywords
- sample
- original sample
- original
- neural network
- samples
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
본 출원은 그래프 신경 망을 사전 트레이닝하는 방법, 장치, 전자 기기 및 판독 가능 기록 매체를 개시하며, 심층 학습의 기술 분야에 관한 것이다. 본 출원의 그래프 신경 망을 사전 트레이닝할 때 사용하는 실현 방안은, 트레이닝 하려는 원본 샘플을 취득하는 단계; 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득하는 단계; 각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플, 음성 샘플, 위크 샘플을 이용하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성하는 단계; 및 상기 그래프 신경 망이 수렴될 때까지, 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플 중의 하나를 각각 그래프 신경 망의 입력으로 설정하여 상기 그래프 신경 망을 사전 트레이닝하는 단계를 포함한다. 본 출원은 그래프 레벨의 그래프 신경 망의 사전 트레이닝을 실현할 수 있다.
Description
본 출원은 인공 지능 기술의 분야에 관한 것인 바, 특히 심층 학습 기술의 분야에서 그래프 신경 망을 사전 트레이닝하는 방법, 장치, 전자 기기 및 판독 가능 기록 매체에 관한 것이다.
종래 기술에서는 그래프 신경 망(GNN, Graph Neural Network)의 사전 트레이닝을 실행할 때, 일반적으로 Deepwalk, LINE, Nod2vec, Deep Graph Infomax 등 방식을 사용한다. 그러나, Deepwalk, LINE, Nod2vec 등의 완더링 알고리즘을 사용하여 그래프 신경 망의 사전 트레이닝을 실행하면, 한편으로는 여전히 노드 레벨의 사전 트레이닝에 속할 뿐이고, 다른 한편으로는 그래프 내의 노드 자체의 특징 정보가 무시되므로, 사전 트레이닝하여 얻어진 그래프 신경 망의 효과가 나쁘다. Deep Graph Infomax 모델도 노드 레벨(node level)의 사전 트레이닝 모델에 속하며, 그래프 레벨(graph level)에 기반하여 그래프 신경 망의 사전 트레이닝을 실현하는 것을 고려하지 않았다.
본 출원이 기술적 문제를 해결하기 위하여 사용하는 기술 방안은 그래프 신경 망을 사전 트레이닝하는 방법을 제공하는 것이다.
상기 방법은 트레이닝 하려는 원본 샘플을 취득하는 단계; 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득하는 단계; 각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플, 음성 샘플, 위크 샘플을 이용하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성하는 단계; 및 상기 그래프 신경 망이 수렴될 때까지, 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플 중의 하나를 각각 그래프 신경 망의 입력으로 하여 상기 그래프 신경 망이, 사전 트레이닝되는 것을 포함한다.
본 출원이 기술적 문제를 해결하기 위하여 사용하는 기술 방안은 그래프 신경 망을 사전 트레이닝하는 장치를 제공하는 것이며, 상기 장치는 트레이닝 하려는 원본 샘플을 취득하기 위한 취득 유닛; 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득하기 위한 처리 유닛; 각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플, 음성 샘플, 위크 샘플을 이용하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성하기 위한 구성 유닛; 및 상기 그래프 신경 망이 수렴될 때까지, 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플 중의 하나를 각각 그래프 신경 망의 입력으로 하여 상기 그래프 신경 망을 사전 트레이닝하기 위한 트레이닝 유닛을 구비한다.
상기의 출원 중의 일 실시예는 이하의 이점 또는 유익한 효과를 가진다. 본 출원은 그래프 신경 망에 대해 그래프 레벨의 사전 트레이닝을 실행하는 것을 구현할 수 있다. 원본 샘플에 대응하는 서로 다른 샘플을 취득하여 대비 학습의 방식을 통해 그래프 신경 망을 사전 트레이닝한다고 하는 기술적 수단을 이용하기에, 종래 기술에서 노드 레벨(node level)에 기반하여 그래프 신경 망의 사전 트레이닝을 실행할 수밖에 없는 기술적 문제는 극복하였으며, 그래프 신경 망에 대해 그래프 레벨(graph level)의 사전 트레이닝을 실행하는 기술적 효과를 실현하게 된다.
상기의 선택적인 방식이 가지는 기타 효과는 아래에서 구체적인 실시예를 참조하여 설명한다.
도면은 본 방안을 더욱 잘 이해하게 하기 위한 것일 뿐, 본 출원에 대한 한정을 이루지 않는다.
도 1은 본 출원의 제1 실시예의 순서도이다.
도 2는 본 출원의 제2 실시예의 블럭도이다.
도 3은 본 출원의 실시예에 따른 그래프 신경 망을 사전 트레이닝하는 방법을 실현하기 위한 전자 기기의 블럭도이다.
도 1은 본 출원의 제1 실시예의 순서도이다.
도 2는 본 출원의 제2 실시예의 블럭도이다.
도 3은 본 출원의 실시예에 따른 그래프 신경 망을 사전 트레이닝하는 방법을 실현하기 위한 전자 기기의 블럭도이다.
이하, 도면을 참조하여 본 발명의 시범적인 실시예를 설명하는 바, 본 발명에 대한 이해를 돕기 위해 여기에는 본 발명 실시예의 다양한 세부 사항이 포함되며, 이러한 세부 사항을 단지 시범적인 것으로 간주해야 할 것이다. 따라서, 당업자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에서, 여기서 설명되는 실시예에 대해 다양한 변경 및 수정을 수행할 수 있음을 인식해야 한다. 마찬가지로, 명확성 및 간결성을 위하여 이하의 설명에서는 잘 알려진 기능 및 구조에 대한 설명을 생략한다.
도 1은 본 출원에 따른 제1 실시예의 순서도이다. 도 1에 나타낸 바와 같이, 본 실시예에 따른 그래프 신경 망을 사전 트레이닝하는 방법은 구체적으로 이하의 단계를 포함할 수 있다.
S101에 있어서, 트레이닝 하려는 원본 샘플을 취득한다.
S102에 있어서, 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득한다.
S103에 있어서, 각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플, 음성 샘플, 위크 샘플을 이용하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성한다.
S104에 있어서, 상기 그래프 신경 망이 수렴될 때까지, 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플 중의 하나를 각각 그래프 신경 망의 입력으로 하여 상기 그래프 신경 망을 사전 트레이닝한다.
본 실시예에 따른 그래프 신경 망을 사전 트레이닝하는 방법에 따르면, 원본 샘플에 대응하는 서로 다른 샘플을 취득함으로써, 대비 학습의 방식에 기반하여 그래프 신경 망의 그래프 레벨의 사전 트레이닝을 실행하는 것을 구현한다. 여기서, 그래프 신경 망은 그래프 구조 데이터에 사용되는 심층 학습 아키텍처이며, 본 실시예에 따른 사전 트레이닝하여 얻은 그래프 신경 망은 2개의 그래프가 유사한지 여부를 판단할 수 있다.
본 실시예에서는 취득된 트레이닝 하려는 원본 샘플의 유형은 그래프(Graph)이며, 일부 노드(Node) 및 2개의 노드를 연결하는 에지(Edge)로 구성되는 도형이며, 서로 다른 노드 사이의 관계를 나타내는데 이용될 수 있다.
따라서, 본 실시예에서는 취득한 트레이닝 하려는 원본 샘플은 소셜 네트워크 그래프("사용자"가 "노드"이고 "사용자 관계"가 "에지"이다), 분자 구조 그래프("원자"가 "노드"이고, "화학 결합"이 "에지"이다), 온라인 쇼핑 그래프("사용자 및 상품"이 "노드"이고, "사용자와 상품 사이의 연계"가 "에지"이다) 등일 수 있다.
본 실시예에서는 트레이닝 하려는 원본 샘플을 취득한 후, 각각의 원본 샘플을 증폭함으로써, 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득한다. 즉, 본 실시예에서는 샘플을 증폭하는 방식을 통해 각각의 원본 샘플에 대응하는 트리플을 취득할 수 있고, 각각의 트리플은 원본 샘플, 원본 샘플에 대응하는 양성 샘플 및 원본 샘플에 대응하는 음성 샘플을 포함한다.
취득된 트레이닝 하려는 원본 샘플은 그래프이므로, 본 실시예에서는 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플을 취득할 때, 일부 노드의 속성을 숨기는 것, 일부 에지의 속성을 숨기는 것, 일부 노드 간의 에지를 증가하는 것 및 일부 노드 간의 에지를 삭제하는 것 중 적어도 하나를 통해 각각의 원본 샘플을 처리하고, 처리 결과를 각각의 원본 샘플에 대응하는 양성 샘플로 간주하는 방식을 이용할 수 있다.
여기서, 본 실시예에서는 일부 노드의 속성을 숨기어 원본 샘플을 처리할 때, 제1 소정의 확률에 따라 원본 샘플 중의 노드의 속성을 0으로 설정할 수 있는 바, 즉 원본 샘플 중의 일부 노드가 속성을 가지지 않도록 한다. 본 실시예에서는 일부 에지의 속성을 숨기어 원본 샘플을 처리할 때, 제2 소정의 확률에 따라 원본 샘플 중의 에지의 속성을 0으로 설정할 수 있는 바, 즉 원본 샘플 중의 일부 에지가 속성을 가지지 않도록 한다. 본 실시예에서는 일부 노드 간의 에지를 증가하여 원본 샘플을 처리할 때, 제3 소정의 확률에 따라 2개의 노드를 랜덤으로 연결할 수 있는 바, 즉 원본 샘플 중의 일부 노드에 대해 기타 노드와의 관계를 추가한다. 본 실시예에서는 일부 노드 간의 에지를 삭제하여 원본 샘플을 처리할 때, 제4 소정의 확률에 따라 노드 간의 에지를 삭제할 수 있는 바, 즉 원본 샘플 중의 일부 노드에 대해 기타 노드와의 관계를 삭제한다.
본 실시예 중의 제1 소정의 확률, 제2 소정의 확률, 제3 소정의 확률 및 제4 소정의 확률은 같은 수치일 수도 있고, 서로 다른 수치일 수 있는 바, 사용자가 실제의 적용 시나리오에 기반하여 설정할 수 있음을 이해해야 한다.
본 실시예에서는 원본 샘플 중의 일부 노드의 속성, 일부 에지의 속성 또는 일부 구조를 변경하는 방식을 통해 양성 샘플을 취득함으로써, 원본 샘플과 증폭하여 얻은 양성 샘플 사이에 일정한 차이가 있도록 하지만, 당해 차이는 원본 샘플에 작은 영향을 주기에, 그래프 신경 망이 원본 샘플과 양성 샘플을 충분히 구별할 수 없다. 따라서, 상기의 원본 샘플을 증폭하여 양성 샘플을 취득하는 방식을 통해 트레이닝하여 얻은 그래프 신경 망은 일정한 유사도를 가지는 2개의 그래프가 유사하다고 판정할 수 있으므로, 그래프의 사이가 유사한지 여부를 판단할 때의 그래프 신경 망의 구별 능력을 향상시킨다.
본 실시예에서는 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 음성 샘플을 취득할 때, 모든 노드의 속성을 숨기는 것, 모든 에지의 속성을 숨기는 것 및 샘플 내의 모든 노드의 구조를 변경하는 것 중 적어도 하나를 통해 원본 샘플을 처리하고, 처리 결과를 원본 샘플에 대응하는 음성 샘플로 간주하는 방식을 이용할 수 있다. 여기서, 본 실시예에서는 샘플 내의 모든 노드의 구조를 변경할 때, 노드 간의 모든 에지를 삭제한 후 노드 간의 에지를 랜덤으로 추가하여, 처리 결과가 원본 샘플과 완전히 다르도록 한다.
본 실시예에서는 원본 샘플 내의 모든 노드의 속성, 모든 에지의 속성 또는 모든 구조를 변경하는 방식을 통해 음성 샘플을 취득함으로써, 원본 샘플과 증폭하여 얻은 음성 샘플 사이에 큰 차이가 존재하도록 하며, 당해 차이는 그래프 신경 망이 원본 샘플과 음성 샘플을 구별하기에 충분하다. 따라서, 상기의 원본 샘플을 증폭하여 음성 샘플을 취득하는 방식을 통해 트레이닝하여 얻은 그래프 신경 망은 완전히 다른 2개의 그래프를 정확하게 구별할 수 있도록 한다.
본 실시예에서는 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득한 후, 각각의 원본 샘플에 대응하는 양성 샘플, 음성 샘플 및 위크 샘플을 이용하여, 각각의 원본 샘플에 대응하는 샘플 그룹을 구성한다. 여기서, 본 실시예에서는 각각의 원본 샘플에 대응하는 위크 샘플은 기타 원본 샘플에 대응하는 양성 샘플 및 음성 샘플 중 적어도 하나를 포함한다.
본 실시예에서는 기타 원본 샘플에 대응하는 양성 샘플 및/또는 음성 샘플을 도입하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성함으로써, 한편으로는 샘플 그룹에 포함되는 트레이닝 샘플의 수를 효과적으로 증가하고, 다른 한편으로는 그래프 신경 망을 사전 트레이닝할 때 서로 다른 트레이닝 샘플의 사이의 대비 효과를 효과적으로 향상시킴으로써, 그래프 신경 망이 서로 다른 유형의 그래프를 구별하는 능력을 향상시킨다.
예를 들어 설명하면, 취득한 트레이닝 하려는 원본 샘플이 원본 샘플 A 및 원본 샘플 B이고, 원본 샘플 A에 대응하는 것은 양성 샘플 A 및 음성 샘플 A이며, 원본 샘플 B에 대응하는 것은 양성 샘플 B 및 음성 샘플 B이면, 원본 샘플 A에 대응하는 위크 샘플은 양성 샘플 B 및 음성 샘플 B 중의 적어도 하나일 수 있고, 원본 샘플 B에 대응하는 위크 샘플은 양성 샘플 A 및 음성 샘플 A 중의 적어도 하나일 수 있다.
각각의 원본 샘플에 대응하는 샘플 그룹에 포함되는 샘플의 수를 증가시키고, 서로 다른 트레이닝 샘플 사이의 대비 효과를 더욱 명확히 하기 위하여, 본 실시예에서는 각각의 원본 샘플에 대응하는 위크 샘플이 서로 다른 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 포함하는 것이 바람직하다.
본 실시예에서는 각각의 원본 샘플에 대응하는 샘플 그룹을 구축하여 취득한 후, 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플 중의 하나를 각각 그래프 신경 망의 입력으로 설정하며, 그래프 신경 망의 출력 결과에 기반하여 손실 함수를 얻고, 또한 그래프 신경 망이 수렴될 때까지, 손실 함수에 기반하여 그래프 신경 망의 매개 변수를 조정함으로써, 그래프 신경 망의 사전 트레이닝을 완성한다.
본 실시예에서는 그래프 신경 망의 손실 함수는 다중 클래스 교차 엔트로피 손실 함수로 표현될 수 있고, 기타 유형의 손실 함수로 표현될 수도 있음을 이해해야 한다. 또한, 본 실시예에서는 그래프 신경 망의 수렴을 확정하는 것은, 손실 함수가 소정의 임계 값 이하인 것으로 확정하는 것, 소정의 횟수 내에서 취득된 손실 함수가 동일한 것으로 확정하는 것, 또는, 소정의 횟수 내에서 취득된 손실 함수 사이의 차이가 소정의 임계 값 이하인 것으로 확정하는 것 등을 포함할 수 있다.
따라서, 본 실시예에서는 상기의 방식을 통해 그래프 신경 망을 사전 트레이닝할 때, 먼저 원본 샘플을 증폭하여 이에 대응하는 양성 샘플 및 음성 샘플을 취득하고, 그리고 각각의 원본 샘플에 대응하는 샘플 그룹을 구성하며, 마지막으로, 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플을 각각 이용하여 그래프 신경 망의 사전 트레이닝을 완성함으로써, 대비 학습의 방식에 기반하여 그래프 신경 망의 그래프 레벨의 사전 트레이닝을 실행하는 것을 구현한다. 도 2는 본 출원에 따른 제2 실시예의 블럭도이다. 도 2에 나타낸 바와 같이, 본 실시예에 따른 그래프 신경 망을 사전 트레이닝하는 장치는,
트레이닝 하려는 원본 샘플을 취득하기 위한 취득 유닛(201);
각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득하기 위한 처리 유닛(202);
각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플, 음성 샘플, 위크 샘플을 이용하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성하기 위한 구성 유닛(203); 및
상기 그래프 신경 망이 수렴될 때까지, 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플 중의 하나를 각각 그래프 신경 망의 입력으로 하여 상기 그래프 신경 망을 사전 트레이닝하기 위한 트레이닝 유닛(204)을 구비한다.
취득 유닛(201)에 의해 취득되는 트레이닝 하려는 원본 샘플의 유형은 그래프(Graph)이며, 일부 노드(Node) 및 2개의 노드를 연결하는 에지(Edge)로 구성되는 도형인 바, 서로 다른 노드 사이의 관계를 나타낼 수 있다.
취득 유닛(201)이 트레이닝 하려는 원본 샘플을 취득한 후, 처리 유닛(202)이 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 얻는다. 즉, 처리 유닛(202)은 샘플을 증폭하는 방식을 통해 각각의 원본 샘플에 대응하는 트리플을 취득할 수 있고, 각각의 트리플은 원본 샘플, 원본 샘플에 대응하는 양성 샘플 및 원본 샘플에 대응하는 음성 샘플을 포함한다.
취득된 트레이닝 하려는 원본 샘플은 그래프이므로, 처리 유닛(202)은 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플을 얻을 때, 일부 노드의 속성을 숨기는 것, 일부 에지의 속성을 숨기는 것, 일부 노드 간의 에지를 증가하는 것 및 일부 노드 간의 에지를 삭제하는 것 중 적어도 하나를 통해 각각의 원본 샘플을 처리하고, 처리 결과를 각각의 원본 샘플에 대응하는 양성 샘플로 간주한다고 하는 방식을 이용할 수 있다.
여기서, 처리 유닛(202)은 일부 노드의 속성을 숨기어 원본 샘플을 처리할 때, 제1 소정의 확률에 따라 원본 샘플 중의 노드의 속성을 0으로 설정할 수 있는 바, 즉 원본 샘플 중의 일부 노드가 속성을 가지지 않도록 한다. 처리 유닛(202)은 일부 에지의 속성을 숨기어 원본 샘플을 처리할 때, 제2 소정의 확률에 따라 원본 샘플 중의 에지의 속성을 0으로 설정할 수 있는 바, 즉 원본 샘플 중의 일부 에지가 속성을 가지지 않도록 한다. 처리 유닛(202)은 일부 노드 간의 에지를 증가하여 원본 샘플을 처리할 때, 제3 소정의 확률에 따라 2개의 노드를 랜덤으로 연결할 수 있는 바, 즉 원본 샘플 중의 일부 노드에 대해 기타 노드와의 관계를 추가한다. 처리 유닛(202)은 일부 노드 간의 에지를 삭제하여 원본 샘플을 처리할 때, 제4 소정의 확률에 따라 노드 간의 에지를 삭제할 수 있는 바, 즉 원본 샘플 중의 일부 노드에 대해 기타 노드와의 관계를 삭제한다.
처리 유닛(202) 중의 제1 소정의 확률, 제2 소정의 확률, 제3 소정의 확률 및 제4 소정의 확률은 같은 수치일 수 있는 바, 서로 다른 수치일 수 있는 바, 사용자가 실제의 적용 시나리오에 기반하여 설정할 수 있다고 이해해야 한다.
처리 유닛(202)은 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 음성 샘플을 취득할 때, 모든 노드의 속성을 숨기는 것, 모든 에지의 속성을 숨기는 것 및 샘플 내의 모든 노드의 구조를 변경하는 것 중 적어도 하나를 통해 원본 샘플을 처리하고, 처리 결과를 원본 샘플에 대응하는 음성 샘플로 간주하는 방식을 이용할 수 있다.
처리 유닛(202)이 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득한 후, 구성 유닛(203)이 각각의 원본 샘플에 대응하는 양성 샘플, 음성 샘플 및 위크 샘플을 이용하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성한다. 여기서, 구성 유닛(203) 중의 각각의 원본 샘플에 대응하는 위크 샘플은 기타 원본 샘플에 대응하는 양성 샘플 및 음성 샘플 중 적어도 하나를 포함한다.
각각의 원본 샘플에 대응하는 샘플 그룹에 포함되는 샘플의 수를 증가시키고, 서로 다른 트레이닝 샘플 사이의 대비 효과를 더욱 명확히 하기 위하여, 구성 유닛(203) 중의 각각의 원본 샘플에 대응하는 위크 샘플은 서로 다른 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 포함하는 것이 바람직하다.
구성 유닛(203)이 각각의 원본 샘플에 대응하는 샘플 그룹을 구축하여 취득한 후, 트레이닝 유닛(204) 이 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플 중의 하나를 각각 그래프 신경 망의 입력으로 하여 그래프 신경 망의 출력 결과에 기반하여 손실 함수를 취득하고, 또한 그래프 신경 망이 수렴될 때까지, 손실 함수에 기반하여 그래프 신경 망의 매개 변수를 조정함으로써, 그래프 신경 망의 사전 트레이닝을 완성한다.
트레이닝 유닛(204) 중의 그래프 신경 망의 손실 함수는 다중 클래스 교차 엔트로피 손실 함수로 표현될 수 있고, 기타 유형의 손실 함수로 표현될 수도 있음을 이해해야 한다. 또한, 트레이닝 유닛(204)이 그래프 신경 망의 수렴을 확정하는 것은, 손실 함수가 소정의 임계 값 이하인 것으로 확정하는 것, 소정의 횟수 내에서 취득된 손실 함수가 동일한 것으로 확정하는 것, 또는, 소정의 횟수 내에서 취득된 손실 함수 사이의 차이가 소정의 임계 값 이하인 것으로 확정하는 것 등을 포함할 수 있다.
본 출원의 실시예에 따르면, 본 출원은 또한 전자 기기 및 컴퓨터 판독 가능 기록 매체를 제공한다.
도 3은 본 발명에 따른 실시예의 그래프 신경 망을 사전 트레이닝하는 방법을 실현하는 전자 기기의 블럭도이다. 전자 기기는 예를 들면 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타낸다. 전자 기기는 또한 예를 들면 개인 디지털 처리기, 셀폰, 스마트 전화, 웨어러블 기기 및 기타 유사한 계산 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 나타낸 구성 요소, 이들의 연결과 관계 및 이들의 기능은 단지 예일 뿐이며, 본 명세서에서 설명하거나 및/또는 요구하는 본 발명의 실현을 한정하려는 것이 아니다.
도 3에 나타낸 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(301), 메모리(302) 및 각각의 구성 요소를 연결하기 위한 인터페이스를 구비하며, 당해 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각각의 구성 요소는 서로 다른 버스를 통해 상호 연결되며, 공통 마더 보드에 설치되거나 또는 수요에 따라 기타 방식으로 설치된다. 프로세서 전자 기기 내에서 수행되는 명령에 대해 처리를 실행할 수 있으며, 메모리 내에 기억되어 외부 입력/출력 장치（예를 들면 인터페이스에 연결된 디스플레이 기기） 상에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한다. 기타 실시 방식에 있어서, 필요할 경우, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있으며, 각각의 기기는 부분적인 필요한 조작（예를 들면, 서버 어레이, 일 그룹의 블레이드 서버, 또는 다중 프로세서 시스템）을 제공한다. 도 3에서는 하나의 프로세서(301)의 예를 들었다.
메모리(302)는 본 발명에 의해 제공되는 비 일시적 컴퓨터 판독 가능 기억 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 수행 가능한 명령이 기억되어 있으며, 상기 적어도 하나의 프로세서로 하여금 본 발명에 의해 제공되는 그래프 신경 망을 사전 트레이닝하는 방법을 수행하도록 한다. 본 발명의 비 일시적 컴퓨터 판독 가능 기억 매체는 컴퓨터 명령을 기억하며, 당해 컴퓨터 명령은 컴퓨터로 하여금 본 발명에 의해 제공되는 그래프 신경 망을 사전 트레이닝하는 방법을 수행하도록 한다.
메모리(302)는 일종의 비 일시적 컴퓨터 판독 가능 기억 매체로서, 비 일시적 소프트웨어 프로그램을 기억하는데 사용될 수 있는 바, 예를 들면 비 일시적 컴퓨터 수행 가능 프로그램 및 모듈, 본 발명 실시예 중의 그래프 신경 망을 사전 트레이닝하는 방법 대응하는 프로그램 명령/모듈（예를 들면, 도 3에 나타낸 관련 모듈）을 기억하는데 사용될 수 있다. 프로세서(301)는 메모리(302) 내에 기억된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 운행함으로써, 서버의 다양한 기능 응용 및 데이터 처리를 수행하는 바, 즉 상술한 방법 실시예 중의 그래프 신경 망을 사전 트레이닝하는 방법을 실현한다.
메모리(302)는 프로그램 기억 영역 및 데이터 기억 영역을 포함할 수 있으며, 여기서, 프로그램 기억 영역은 운영 체제 및 적어도 하나의 기능에 필요한 응용 프로그램을 기억할 수 있고, 데이터 기억 영역은 그래프 신경 망을 사전 트레이닝하는 방법을 실현하는 전자 기기의 사용을 통해 생성된 데이터 등을 기억할 수 있다. 또한, 메모리(302)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비 일시적 메모리를 더 포함할 수 있는 바, 예를 들면 적어도 하나의 자기 디스크 저장 장치, 플래시 장치, 또는 기타 비 일시적 고체 저장 장치를 포함할 수 있다. 일부 실시예에 있어서, 메모리(302)는 선택적으로 프로세서(301)에 대해 원격 설치한 메모리를 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 그래프 신경 망을 사전 트레이닝하는 방법을 실현하는 전자 기기에 연결될 수 있다. 상술한 네트워크의 실예는 인터넷, 기업 인트라 넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
그래프 신경 망을 사전 트레이닝하는 방법을 실현하는 전자 기기는 입력 장치(303) 및 출력 장치(304)를 더 포함할 수 있다. 프로세서(301), 메모리(302), 입력 장치(303) 및 출력 장치(304)는 버스 또는 기타 방식을 통해 연결될 수 있으며, 도 3에서는 버스를 통해 연결하는 예를 들었다.
입력 장치(303)는 입력된 디지털 또는 문자 정보를 수신하고, 또한 그래프 신경 망을 사전 트레이닝하는 방법을 실현하는 전자 기기의 사용자 설정 및 기능 제어에 관한 키 신호 입력을 생성할 수 있다. 예를 들면 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치를 포함할 수 있다. 출력 장치(304)는 디스플레이 기기, 보조 조명 장치（예를 들면 LED） 및 촉각의 피드백 장치（예를 들면 진동 모터） 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이（LCD）, 발광 다이오드（LED） 디스플레이 및 등 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에 있어서, 디스플레이 기기는 터치 스크린일 수 있다.
본 명세서에서 설명하는 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC（전용 집적 회로）, 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현될 수 있다. 이러한 다양한 실시 예는 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 수행 및/또는 해석될 수 있으며, 당해 프로그램 가능 프로세서는 전용 또는 일반 프로그램 가능 프로세서일 수 있고, 기억 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 또한 데이터 및 명령을 당해 기억 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 계산 프로그램 （프로그램, 소프트웨어, 소프트웨어 응용 또는 코드로도 불림）은 프로그램 가능 프로세서의 기계 명령을 포함하며, 또한 고급 과정 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 계산 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 "기계 판독 가능 매체” 및 "컴퓨터 판독 가능 매체”와 같은 용어는, 기계 명령 및/또는 데이터를 프로그램 가능 프로세서의 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치 （예를 들면, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치（PLD））에 제공하기 위한 것을 의미하며, 기계 판독 가능 신호로서의 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. "기계 판독 가능 신호”와 같은 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
유저와의 대화를 제공하기 위하여, 컴퓨터 상에서 여기서 설명하는 시스템 및 기술을 실시할 수 있으며, 당해 컴퓨터는 유저에게 정보를 표시하기 위한 디스플레이 장치 （예를 들면 CRT（음극선관） 또는 LCD（액정 디스플레이） 모니터） 및 키보드와 포인팅 장치（예를 들면, 마우스 또는 트랙볼）를 구비할 수 있으며, 유저는 당해 키보드 및 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 유형의 장치는 또한 유저와의 대화를 제공하는데 사용될 수 있다. 예를 들면, 유저에 제공하는 피드백은 임의의 형태의 감각의 피드백 （예를 들면, 시각의 피드백, 청각의 피드백, 또는 촉각의 피드백）일 수 있으며, 또한 임의의 형태（음향 입력, 음성 입력 또는 촉각의 입력을 포함함）를 통해 유저로부터의 입력을 수신할 수 있다.
본 발명에서 설명하는 시스템 및 기술을 백엔드 구성 요소를 포함하는 계산 시스템（예를 들면 데이터 서버）, 또는 미들웨어 구성 요소를 포함하는 계산 시스템（예를 들면 응용 서버）, 또는 프런트엔드 구성 요소를 포함하는 계산 시스템（예를 들면 그래픽 유저 인터페이스 또는 웹 브라우저를 구비하는 유저 컴퓨터인 바, 유저는 당해 그래픽 유저 인터페이스 또는 당해 웹 브라우저를 통해 여기서 설명하는 시스템 및 기술의 실시 방식과 대화함）, 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소, 또는 프런트엔드 구성 요소의 임의의 조합을 포함하는 계산 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신（예를 들면, 통신 네트워크）을 통해 시스템의 구성 요소를 상호 연결할 수 있다. 통신 네트워크의 예는 근거리 통신망（LAN）, 광역 통신망（WAN） 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 또한 일반적으로 통신 네트워크를 통해 대화를 실행한다. 해당되는 컴퓨터 상에서 운행되고, 또한 클라이언트 - 서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 발생시킬 수 있다.
본 출원의 실시예의 기술 방안에 따르면, 먼저 원본 샘플을 증폭하여 이에 대응하는 양성 샘플 및 음성 샘플을 취득하고, 그리고, 각각의 원본 샘플에 대응하는 샘플 그룹을 구성하고, 최후, 각각, 각각의 샘플 그룹 중의 원본 샘플 및 기타 샘플을 이용하여 그래프 신경 망의 사전 트레이닝을 완성함으로써, 대비 학습의 방식에 기반하여 그래프 신경 망의 그래프 레벨의 사전 트레이닝을 실행하는 것을 실현한다.
상기에 나타낸 다양한 형태의 흐름을 이용하여 단계를 재정열, 증가 또는 삭제할 수 있음을 이해해야 한다. 예를 들면, 본 발명에 기재된 각각의 단계는 병열로 수행되거나 또는 차례로 수행되거나 또는 다른 순서로 수행될 수 있으며, 본 발명이 개시하는 기술 방안이 원하는 결과를 실현할 수 있는 한, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 방식은 본 발명의 보호 범위를 한정하지 않는다. 당업자는 설계 요건 및 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체를 실행할 수 있음을 이해해야 한다. 본 발명의 정신 및 원칙 내에서 이루어진 임의의 수정 동등한 대체 및 개선 등은 모두 본 발명의 보호 범위 내에 포함되어야 한다.
Claims (11)
- 컴퓨터로 실행되는 그래프 신경 망(graph neural network)을 사전 트레이닝(pre-training)하는 방법에 있어서,
트레이닝 하려는 원본 샘플(original sample)을 취득하는 단계;
각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득하는 단계;
각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플(positive sample), 음성 샘플(negative sample), 및 위크 샘플（weak sample）을 이용하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성하는 단계; 및
상기 그래프 신경 망이 수렴될 때까지, 각각의 샘플 그룹 중의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플(positive sample), 음성 샘플(negative sample), 및 위크 샘플(weak sample) 중 하나를 각각 그래프 신경 망의 입력으로 하여 상기 그래프 신경 망을 사전 트레이닝하는 단계;
를 포함하고,
각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플(positive sample), 음성 샘플(negative sample), 및 위크 샘플(weak sample)은 모두 그래프이며,
각각의 원본 샘플에 대응하는 위크 샘플은 기타 원본 샘플에 대응하는 양성 샘플 및 음성 샘플 중 적어도 하나를 포함하는 것을 특징으로 하는,
그래프 신경 망 사전 트레이닝 방법. - 제1항에 있어서,
각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플을 취득하는 단계는,
일부 노드(some nodes)의 속성을 숨기는 것, 일부 에지(some edges)의 속성을 숨기는 것, 일부 노드 간의 에지를 증가하는 것 및 일부 노드 간의 에지를 삭제하는 것 중 적어도 하나를 통해 각각의 원본 샘플을 처리하는 것; 및
처리 결과를 각각의 원본 샘플에 대응하는 양성 샘플로 간주하는 것을 포함하는 것을 특징으로 하는,
그래프 신경 망 사전 트레이닝 방법. - 제1항에 있어서,
각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 음성 샘플을 취득하는 단계는,
모든 노드(all nodes)의 속성을 숨기는 것, 모든 에지(all edges)의 속성을 숨기는 것 및 샘플 내의 모든 노드의 구조를 변경하는 것 중 적어도 하나를 통해 각각의 원본 샘플을 처리하는 것; 및
처리 결과를 각각의 원본 샘플에 대응하는 음성 샘플로 간주하는 단계를 포함하는 것을 특징으로 하는,
그래프 신경 망 사전 트레이닝 방법. - 그래프 신경 망(graph neural network)을 사전 트레이닝(pre-training)하는 장치에 있어서,
트레이닝 하려는 원본 샘플을 취득하기 위한 취득 유닛;
각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플 및 음성 샘플을 취득하기 위한 처리 유닛;
각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플, 음성 샘플, 및 위크 샘플을 이용하여 각각의 원본 샘플에 대응하는 샘플 그룹을 구성하기 위한 구성 유닛 -각각의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플(positive sample), 음성 샘플(negative sample), 및 위크 샘플(weak sample)은 모두 그래프이며,각각의 원본 샘플에 대응하는 위크 샘플은 기타 원본 샘플에 대응하는 양성 샘플 및 음성 샘플 중 적어도 하나를 포함함-; 및
상기 그래프 신경 망이 수렴될 때까지, 각각의 샘플 그룹 중의 원본 샘플 및 각각의 원본 샘플에 대응하는 양성 샘플(positive sample), 음성 샘플(negative sample), 및 위크 샘플(weak sample) 중 하나를 각각 그래프 신경 망의 입력으로 하여 상기 그래프 신경 망을 사전 트레이닝하기 위한 트레이닝 유닛;
을 구비하는 것을 특징으로 하는,
그래프 신경 망 사전 트레이닝 장치. - 제4항에 있어서,
상기 처리 유닛은 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 양성 샘플을 취득할 때 구체적으로,
일부 노드의 속성을 숨기는 것, 일부 에지의 속성을 숨기는 것, 일부 노드 간의 에지를 증가하는 것 및 일부 노드 간의 에지를 삭제하는 것 중 적어도 하나를 통해 각각의 원본 샘플을 처리하는 것;
처리 결과를 각각의 원본 샘플에 대응하는 양성 샘플로 간주하는 것을 실행하는 것을 특징으로 하는,
그래프 신경 망 사전 트레이닝 장치. - 제4항에 있어서,
상기 처리 유닛은 각각의 원본 샘플을 증폭하여 각각의 원본 샘플에 대응하는 음성 샘플을 취득할 때 구체적으로,
모든 노드의 속성을 숨기는 것, 모든 에지의 속성을 숨기는 것 및 샘플 내의 모든 노드의 구조를 변경하는 것 중 적어도 하나를 통해 각각의 원본 샘플을 처리하는 것;
처리 결과를 각각의 원본 샘플에 대응하는 음성 샘플로 간주하는 것을 실행하는 것을 특징으로 하는,
그래프 신경 망 사전 트레이닝 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 구비하며,
상기 메모리에는 상기 적어도 하나의 프로세서가 실행 가능한 명령이 기억되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제3항 중 어느 한 항에 기재된 방법을 실행하도록 하는 것을 특징으로 하는,
전자 기기. - 컴퓨터 명령이 기억되어 있는 비 일시적 컴퓨터 판독 가능 기록 매체에 있어서,
상기 컴퓨터 명령은 컴퓨터로 하여금 제1항 내지 제3항 중 어느 한 항에 기재된 방법을 실행하도록 하는 것을 특징으로 하는,
기록 매체. - 비 일시적 컴퓨터 판독 가능 기록 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 컴퓨터로 하여금 제1항 내지 제3항 중 어느 한 항에 기재된 방법을 실행하도록 하는 것을 특징으로 하는,
프로그램. - 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010549634.8 | 2020-06-16 | ||
| CN202010549634.8A CN111860769A (zh) | 2020-06-16 | 2020-06-16 | 预训练图神经网络的方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210156201A KR20210156201A (ko) | 2021-12-24 |
| KR102617929B1 true KR102617929B1 (ko) | 2023-12-22 |
Family
ID=72987232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210035504A KR102617929B1 (ko) | 2020-06-16 | 2021-03-18 | 그래프 신경 망을 사전 트레이닝하는 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210390393A1 (ko) |
| EP (1) | EP3926548A1 (ko) |
| JP (1) | JP7095209B2 (ko) |
| KR (1) | KR102617929B1 (ko) |
| CN (1) | CN111860769A (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862093B (zh) * | 2021-01-29 | 2024-01-12 | 北京邮电大学 | 一种图神经网络训练方法及装置 |
| CN112906873A (zh) * | 2021-03-26 | 2021-06-04 | 北京邮电大学 | 一种图神经网络训练方法、装置、电子设备及存储介质 |
| KR102471829B1 (ko) * | 2021-04-20 | 2022-11-30 | 주식회사 유디엠텍 | 실시간 이상 탐지를 위한 gnn 기반의 마스터 상태 생성 방법 |
| US11978188B2 (en) * | 2022-05-01 | 2024-05-07 | Robert Bosch Gmbh | Method and system for graph level anomaly detection |
| CN115051929B (zh) * | 2022-06-20 | 2023-05-26 | 湖北工业大学 | 基于自监督目标感知神经网络的网络故障预测方法及装置 |
| CN115391450B (zh) * | 2022-08-26 | 2024-01-09 | 百度在线网络技术（北京）有限公司 | 推理信息生成方法、装置、设备、可读存储介质及产品 |
| CN115187610B (zh) * | 2022-09-08 | 2022-12-30 | 中国科学技术大学 | 基于图神经网络的神经元形态分析方法、设备及存储介质 |
| CN115545189B (zh) * | 2022-11-29 | 2023-04-18 | 支付宝(杭州)信息技术有限公司 | 训练图生成网络、训练图神经网络的方法及装置 |
| CN116631641B (zh) * | 2023-07-21 | 2023-12-22 | 之江实验室 | 一种集成自适应相似患者图的疾病预测装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095806A1 (en) | 2017-09-28 | 2019-03-28 | Siemens Aktiengesellschaft | SGCNN: Structural Graph Convolutional Neural Network |
| CN112862093A (zh) | 2021-01-29 | 2021-05-28 | 北京邮电大学 | 一种图神经网络训练方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016006626A (ja) | 2014-05-28 | 2016-01-14 | 株式会社デンソーアイティーラボラトリ | 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法 |
| CN109657792A (zh) * | 2018-12-19 | 2019-04-19 | 北京世纪好未来教育科技有限公司 | 构建神经网络的方法、装置和计算机可读介质 |
-
2020
- 2020-06-16 CN CN202010549634.8A patent/CN111860769A/zh active Pending
- 2020-12-21 US US17/128,978 patent/US20210390393A1/en active Pending
-
2021
- 2021-03-17 EP EP21163244.3A patent/EP3926548A1/en not_active Ceased
- 2021-03-18 KR KR1020210035504A patent/KR102617929B1/ko active IP Right Grant
- 2021-03-18 JP JP2021044608A patent/JP7095209B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095806A1 (en) | 2017-09-28 | 2019-03-28 | Siemens Aktiengesellschaft | SGCNN: Structural Graph Convolutional Neural Network |
| CN112862093A (zh) | 2021-01-29 | 2021-05-28 | 北京邮电大学 | 一种图神经网络训练方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| B. Ko 등. "Embedding Expansion: Augmentation in Embedding Space for Deep Metric Learning". arXiv:2003.02546v3* |
| Y. Zhu 등. "Deep Graph Contrastive Representation Learning". arXiv:2006.04131v1* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210156201A (ko) | 2021-12-24 |
| JP7095209B2 (ja) | 2022-07-05 |
| JP2021197159A (ja) | 2021-12-27 |
| EP3926548A1 (en) | 2021-12-22 |
| CN111860769A (zh) | 2020-10-30 |
| US20210390393A1 (en) | 2021-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102617929B1 (ko) | 그래프 신경 망을 사전 트레이닝하는 방법 및 장치 | |
| KR102648232B1 (ko) | 다중 모드 사전 훈련 모델 취득 방법, 장치, 전자 기기 및 기록 매체 | |
| JP7225273B2 (ja) | マルチモーダルコンテンツ処理方法、装置、機器及び記憶媒体 | |
| CN111078845B (zh) | 为聊天机器人对话流能力生成决策树的方法、系统和程序 | |
| KR102541053B1 (ko) | 언어 모델에 기반한 단어 벡터 획득 방법, 장치, 기기 및 기록매체 | |
| JP7091430B2 (ja) | インタラクション情報推薦方法及び装置 | |
| CN111667056B (zh) | 用于搜索模型结构的方法和装置 | |
| JP2019106181A (ja) | 神経網及びそのウェートをプルーニングする方法 | |
| JP7395445B2 (ja) | 検索データに基づくヒューマンコンピュータ対話型インタラクションの方法、装置及び電子機器 | |
| US12118063B2 (en) | Method, apparatus, electronic device and storage medium for training semantic similarity model | |
| CN111738419B (zh) | 神经网络模型的量化方法和装置 | |
| CN111339437B (zh) | 一种团伙成员角色的确定方法、装置及电子设备 | |
| CN111882035A (zh) | 基于卷积核的超网络搜索方法、装置、设备和介质 | |
| CN111709252A (zh) | 基于预训练的语义模型的模型改进方法及装置 | |
| KR20220003444A (ko) | 옵티마이저 학습 방법, 장치, 전자 기기 및 판독 가능 기록 매체 | |
| CN111539222B (zh) | 语义相似度任务模型的训练方法、装置、设备及存储介质 | |
| CN111986659B (zh) | 建立音频生成模型的方法以及装置 | |
| CN114492788A (zh) | 训练深度学习模型的方法和装置、电子设备及存储介质 | |
| WO2022143625A1 (zh) | 神经网络模型、方法、电子设备及可读介质 | |
| CN112580723B (zh) | 多模型融合方法、装置、电子设备和存储介质 | |
| CN111160552B (zh) | 新闻信息的推荐处理方法、装置、设备和计算机存储介质 | |
| CN111428489B (zh) | 一种评论生成方法、装置、电子设备及存储介质 | |
| CN116257611B (zh) | 问答模型的训练方法、问答处理方法、装置及存储介质 | |
| CN111783872B (zh) | 训练模型的方法、装置、电子设备及计算机可读存储介质 | |
| CN111414765B (zh) | 句子一致性的判定方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |