KR20210035786A - 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램 - Google Patents

이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램 Download PDF

Info

Publication number
KR20210035786A
KR20210035786A KR1020210032502A KR20210032502A KR20210035786A KR 20210035786 A KR20210035786 A KR 20210035786A KR 1020210032502 A KR1020210032502 A KR 1020210032502A KR 20210032502 A KR20210032502 A KR 20210032502A KR 20210035786 A KR20210035786 A KR 20210035786A
Authority
KR
South Korea
Prior art keywords
heterogeneous graph
node
model
heterogeneous
representing
Prior art date
Application number
KR1020210032502A
Other languages
English (en)
Other versions
KR102484617B1 (ko
Inventor
웨이빈 리
지판 주
쉬쿤 펭
징저우 헤
쉬웨이 후앙
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210035786A publication Critical patent/KR20210035786A/ko
Application granted granted Critical
Publication of KR102484617B1 publication Critical patent/KR102484617B1/ko

Links

Images

Classifications

    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 출원은 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 개시하는바, 자연어 처리, 지식그래프, 심층학습 분야에 관한 것이다. 구체적인 구현방안으로는, 훈련 데이터셋을 취득하되, 여기서, 훈련 데이터셋은 서로 다른 메타 경로에 따라 이종 그래프를 샘플링하여 얻은 노드 보행 경로 정보를 포함하고; 경사 하강 알고리즘에 기반하여, 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻는 것이다. 본 방안은 다양한 메타 경로를 서로 결합하는 방식을 적용하는바, 서로 다른 메타 경로의 시맨틱 정보를 취득할 수 있고, 하나의 메타 경로에 기반하는 노드 표현 방법에 따른 이종 그래프의 경로 정보가 유실되는 문제를 해결하고, 이종 그래프의 노드 표현 능력을 강화한다.

Description

이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램{METHOD AND APPARATUS FOR GENERATING MODEL FOR REPRESENTING HETEROGENEOUS GRAPH NODE, ELECTRONIC DEVICE, STORAGE MEDIUM AND PROGRAM}
본 개시의 실시예는 컴퓨터 기술분야에 관한 것이며, 구체적으로 자연어 처리, 지식그래프, 심층학습 기술에 관한 것으로, 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램에 관한 것이다.
현재, 그래프 네트워크 표현 기술이 광범위하게 응용되고 있는바, 예를 들면 노드 분류, 링크 예측, 단지 탐지 등이 있다. 현실에는, 대량의 이종 그래프가 존재하고, 이종 그래프는 다양한 노드 종류와 간선의 종류를 포함한다. 서로 다른 종류의 노드의 시맨틱 정보를 학습하기 위하여, 이종 그래프의 그래프 네트워크 표현 기술에서 적용하는 방법으로는 일반적으로, 메타 경로를 통해 샘플링하여 서로 다른 실제예 보행 시퀀스를 얻고, 실제예 보행 시퀀스를 문장 시퀀스로 하고, 단어 임베딩 모델의 훈련 방법에 의해 보행 시퀀스를 훈련하여 최종적으로 이종 그래프 노드의 표현 결과를 얻는 것이다. 이러한 노드 표현 학습 방법은 한 가지 메타 경로만을 사용하는바, 다른 메타 경로의 시맨틱 정보가 유실되고, 최종의 최적화는 차선의 결과를 초래하게 한다.
본 출원은 이종 그래프 노드를 표현하는 모델을 생성하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 제공한다.
첫 번째 측면으로, 본 출원은 이종 그래프 노드를 표현하는 모델 생성 방법을 제공하는바, 상기 방법은, 훈련 데이터셋을 취득하는 단계 - 여기서, 훈련 데이터셋은 서로 다른 메타 경로에 따라 이종 그래프를 샘플링하여 얻은 노드 보행(walk) 경로 정보를 포함함 -; 및 경사 하강 알고리즘에 기반하여, 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻는 단계를 포함한다.
두 번째 측면으로, 본 출원은 이종 그래프 노드를 표현하는 모델 생성 장치를 제공하는바, 상기 장치는, 훈련 데이터셋을 취득도록 구성되는 제1 취득 유닛 - 여기서, 훈련 데이터셋은 서로 다른 메타 경로에 따라 이종 그래프를 샘플링하여 얻은 노드 보행 경로 정보를 포함함 - ; 및 경사 하강 알고리즘에 기반하여, 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻도록 구성되는 훈련 유닛을 포함한다.
세 번째 측면으로, 전자 기기를 제공하는바, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고, 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 명령은 적어도 하나의 프로세서에 의해 실행됨으로써 적어도 하나의 프로세서가 상술한 첫 번째 측면 중의 어느 한 방법을 실행 가능하도록 한다.
네 번째 측면으로, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체를 제공하는바, 컴퓨터 명령은 컴퓨터가 상술한 첫 번째 측면 중의 어느 한 방법을 수행하도록 한다.
다섯 번째 측면으로, 매체에 저장된 컴퓨터 프로그램을 제공하는바, 상술한 프로그램이 프로세서에 의해 실행되는 경우, 상술한 첫 번째 측면 중의 어느 한 방법이 수행된다.
본 출원의 기술에 따르면, 다양한 메타 경로를 서로 결합하는 방식을 적용하는바, 서로 다른 메타 경로의 시맨틱 정보를 취득할 수 있고, 하나의 메타 경로에 기반하는 노드 표현 방법에 따른 이종 그래프의 경로 정보가 유실되는 문제를 해결하고, 이종 그래프의 노드 표현 능력을 강화한다.
본 부분에서 서술하는 내용은 본 개시의 실시예의 핵심적인 또는 중요한 특징을 표기하고자 하는 것이 아니고 본 개시의 범위를 한정하기 위한 것도 아님을 이해하여야 한다. 본 개시의 다른 특징은 하기의 발명의 상세한 내용에 의해 이해하기 수월해질 것이다.
첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본 출원을 한정하지 않는다.
도 1은 본 개시의 일 실시예가 응용될 수 있는 예시적인 시스템 아키텍처 도면이다.
도 2는 본 개시에 따른 이종 그래프 노드를 표현하는 모델 생성 방법의 일 실시예의 흐름도이다.
도 3은 본 개시에 따른 이종 그래프의 예시적인 개략도이다.
도 4는 본 개시에 따른 이종 그래프 노드를 표현하는 모델 생성 방법의 일 응용 시나리오의 개략도이다.
도 5는 본 개시에 따른 이종 그래프 노드를 표현하는 모델 생성 방법의 다른 실시예의 흐름도이다.
도 6은 본 개시에 따른 이종 그래프 노드를 표현하는 모델 생성 장치의 일 실시예의 구조 개략도이다.
도 7은 본 개시의 실시예를 구현하기에 적합한 전자 기기/단말기기 또는 서버의 컴퓨터 시스템의 구조 개략도이다.
아래 첨부 도면을 결부하여 본 출원의 시범적 실시예를 설명하고자 하는데, 여기서는 이해를 돕고자 본 출원의 실시예의 다양한 세부사항을 포함하나 이를 단지 시범적인 것으로 간주하여야 한다. 따라서, 당업자라면, 여기서 서술한 실시예는 본 출원의 범위 및 사상에 위배되지 않으면서 다양한 변경 및 수정이 가능하다는 것을 인지하여야 한다. 마찬가지로, 명확함과 간결함을 위해, 아래 서술에서는 공지된 기능 및 구조에 대한 서술을 생략하기로 한다.
도 1은 본 출원의 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램이 응용될 수 있는 예시적인 아키텍처(100)를 도시한다.
도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 단말기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말기기(101, 102, 103)와 서버(105) 사이에서 통신 링크를 제공하는 매체로 사용된다. 네트워크(104)는 다양한 연결 종류, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.
단말기기(101, 102, 103)는 네트워크 연결을 지원함으로써 데이터 인터랙션 및 데이터 처리를 수행하는 하드웨어 기기 또는 소프트웨어일 수 있다. 단말기기(101, 102, 103)가 하드웨어인 경우에는 정보 인터랙션, 네트워크 연결, 이미지 촬영 등 기능을 지원하는 다양한 전자 기기일 수 있는바, 스마트폰, 태블릿 컴퓨터, 전자책 뷰어 기기, 휴대용 랩톱 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되지 않는다. 단말기기(101, 102, 103)가 소프트웨어인 경우에는 이상 나열한 전자 기기에 설치될 수 있다. 이는 예를 들면 분산 서비스를 제공하는 복수의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있고, 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서는 구체적으로 한정하지 않는다.
서버(105)는 다양한 서비스를 제공하는 서버일 수 있는바, 예를 들면 단말기기(101, 102, 103)에 의해 송신된 훈련 데이터셋에 기반하여 초기 이종 그래프 노드 표현 모델을 훈련하는 백스라운드 처리 서버일 수 있다. 백스라운드 처리 서버는 초기 이종 그래프 노드 표현 모델을 훈련하여 훈련된 이종 그래프 노드 표현 모델을 얻을 수 있다. 대안으로, 백스라운드 처리 서버는 또한, 이종 그래프 노드 표현 모델을 단말기기에 피드백하여 단말기기가 사용하도록 할 수 있다. 예시로, 서버(105)는 클라우드 서버일 수 있다.
부연하면, 서버는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 서버가 하드웨어인 경우에는 복수의 서버로 구성되는 분산 서버 클러스터로 구현될 수도 있고 단일 서버로 구현될 수도 있다. 서버가 소프트웨어인 경우에는 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산 서비스를 제공하는 소프트웨어 또는 소프트웨어 모듈)로 구현될 수도 있고 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서는 구체적으로 한정하지 않는다.
더 부연하면, 본 개시의 실시예에 의해 제공되는 이종 그래프 노드를 표현하는 모델 생성 방법은 서버에 의해 수행될 수도 있고 단말기기에 의해 수행될 수도 있고 서버와 단말기기가 서로 협동하여 실행할 수도 있다. 상응하게, 정보 처리 장치에 포함되는 각 부분(예를 들면 각 유닛, 서브유닛, 모듈, 서브모듈)은 전부 서버에 설치될 수도 있고 전부 단말기기에 설치될 수도 있고 또한 서버와 단말기기에 각각 설치될 수도 있다.
도 1에서의 단말기기, 네트워크 및 서버의 수는 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라, 임의 수의 단말기기, 네트워크 및 서버를 가질 수 있다. 이종 그래프 노드를 표현하는 모델 생성 방법이 수행되는 전자 기기가 다른 전자 기기와 데이터 전송하는 것이 필요하지 않는 경우, 당해 시스템 아키텍처는 이종 그래프 노드를 표현하는 모델 생성 방법이 수행되는 전자 기기(예를 들면 서버 또는 단말기기)만을 포함할 수 있다.
계속하여 도 2를 참조하면, 이는 이종 그래프 노드를 표현하는 모델 생성 방법의 일 실시예의 흐름(200)을 도시하고, 상기 방법은 하기 단계를 포함한다.
단계(201)에서, 훈련 데이터셋을 취득한다.
본 실시예에서, 이종 그래프 노드를 표현하는 모델 생성 방법의 수행 주체(예를 들면 도 1에서의 단말기기 또는 서버)는 유선 연결 방식 또는 무선 연결 방식을 통해 원격으로, 또는 로컬에서 훈련 데이터셋을 취득할 수 있다. 여기서, 훈련 데이터셋은 서로 다른 메타 경로에 따라 이종 그래프를 샘플링하여 얻은 노드 보행 경로 정보를 포함한다.
이종 그래프는 이종 정보 네트워크(HIN, Heterogeneous Information Network) 또는 이종 그래프 네트워크로도 지칭되는바, 여기에는 다양한 종류의 노드와 간선이 존재하며, 간선은 개의 종류 노드 간의 연계라고 이해할 수 있다. 현실 세계에서의 그래프는 통상적으로는 다양한 종류의 노드와 간선을 가지는 이종 그래프이다. 이종 그래프에 포함되는 정보가 더 포괄적이고 시맨틱이 더 풍부하므로, 많은 데이터 마이닝 태스크에 광범위하게 응용되었다
메타 경로는 2개의 노드 객체의 복합 관계이고 광범위하게 응용되고 있는 시맨틱 캡처링 구조이다. 본 실시예에서의 서로 다른 메타 경로의 구조는 서로 다르다. 메타 경로에 따라 이종 그래프를 샘플링하면, 노드 보행 경로 정보를 얻을 수 있고, 노드 보행 경로 정보에 의해 특성화된 노드 보행 경로는 복수의 메타 경로를 포함한다. 예시로, 상술한 수행 주체는 무작위 보행 전략에 기반하여 이종 그래프를 샘플링하여 메타 경로의 노드 보행 경로 정보를 얻고, 이종 그래프 네트워크 중의 다양한 종류 노드의 이종 분야를 취득할 수 있다.
예시로, 도 3에 도시한 바와 같이, 이종 그래프 네트워크는 세 가지 서로 다른 종류의 노드를 가지며, 각각 A, P, C 세 종류의 노드인데, 예를 들면, A, P, C 세 종류의 노드는 각각 차례로 영화, 연기자 및 감독을 표현할 수 있다, 여기서, 영화 종류인 노드A는 영화a1, 영화a2, 영화a3, 영화a4를 포함하고; 연기자 종류인 노드P는 연기자p1, 연기자p2, 연기자p3, 연기자p4, 연기자p5를 포함하고 감독 종류인 노드C는 감독C1, 감독C2, 감독C3을 포함한다. 이러한 세 종류의 노드에 따라, 서로 다른 메타 경로(meta path)를 구축할 수 있다. 예를 들면, A-P-C-P-A, C-P-C 및 A-P-A를 도 3의 이종 그래프의 메타 경로로 설정할 수 있다. 메타 경로A-P-A(영화-연기자-영화)는 두 영화 간에 같은 연기자가 있다는 연계를 서술하고, C-P-C(영화-감독-영화)는 두 영화가 동일한 감독에 의해 완성된 것이라는 연계를 가리킨다. 이로부터, 서로 다른 메타 경로에 따라, 이종 그래프 중의 노드 간의 관계는 서로 다른 시맨틱을 가질 수 있다는 것을 알 수 있다. 메타 경로는, 이종 그래프의 구조 및 획득해야 할 결과 정보에 따라 구체적으로 설정될 수 있는데, 이에 대해 한정하지 않기로 한다. 메타 경로가 설정된 다음, 각 메타 경로에 대해, 상술한 수행 주체는 그래프에서 메타 경로에서 지정한 노드 종류에 따라 이종 그래프 네트워크 중에서 샘플링을 수행하여 노드 보행 경로 정보를 얻을 수 있다.
예를 들면, 메타 경로A-P-C-P-A에 대하여, 상술한 수행 주체는 노드 보행 경로 a1-p1-c1- p3-a3-p4-c3를 샘플링하여 얻을 수 있고, 메타 경로 A-P-A에 대하여, 상술한 수행 주체는 노드 보행 경로 a1-p1- a2-p3- a3-p4를 샘플링하여 얻을 수 있다.
부연하면, 이종 그래프는 많은 수량의 노드 종류와 간선 종류를 포함하는 이종 그래프일 수 있고, 여기서의 관계는 복잡다단하다. 각 메타 경로에 대해, 상술한 수행 주체는 복수의 노드 보행 경로 정보를 샘플링하여 얻을 수 있는바, 이로써 이종 그래프에 대한 풍부하고 정확한 시맨틱 정보를 획득할 수 있다.
단계(202)에서, 경사 하강 알고리즘에 기반하여, 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻는다.
본 실시예에서, 상술한 수행 주체는 단계(201)에서 취득한 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻을 수 있다. 여기서, 이종 그래프 노드 표현 모델은 이종 그래프 중의 각 종류 노드 및 각 종류 간선에 따라, 이종 그래프 중의 각 노드의 노드 표현 결과를 얻는다.
본 실시예에서, 초기 이종 그래프 노드 표현 모델은 다양한 기계학습 모델을 적용할 수 있는바, 신경망 모델, 심층학습 모델 등을 포함하나 이에 한정되지 않는다. 본 실시예의 일부 대안적인 구현방식에서, 초기 이종 그래프 노드 표현 모델은 스킵-그램(skip-gram) 모델을 적용한다. 상술한 수행 주체는 메타 경로에 기반하는 무작위 보행을 사용하여 이종 그래프 네트워크 중의 다양한 종류 노드의 이종 분야를 획득하고, 스킵-그램(skip-gram) 모델에 의해, 획득된 노드 분야를 처리하여 최종적으로 이종 그래프 중의 각 노드의 네트워크 임베딩 표현을 얻는바, 이종 그래프 네트워크 구조가 보존되는 동시에, 이종 그래프의 시맨틱 상호 관계에 대해 효과적이고 효율적이게 학습할 수 있다.
구체적으로, 훈련 데이터셋 내의 각 훈련 데이터에 대해, 상술한 수행 주체는 당해 훈련 데이터를 바로 전 배치의 훈련 데이터로 훈련된 업데이트 이종 그래프 노드 표현 모델에 입력하고, 업데이트 이종 그래프 노드 표현 모델에 대해 파라미터 업데이트를 수행한다. 훈련 과정에서, 상술한 수행 주체는 모델이 수렴되어 최소화된 손실 함수 및 모델 파라미터 값이 얻어질 때까지, 경사하강법으로 한절차씩 이테레이션하여 해를 구하고, 수렴된 모델을 이종 그래프 노드 표현 모델로 결정한다.
예시로, 이종 그래프는 모바일 광고 생태 시스템에서 사용자, 애플리케이션 및 광고 간의 연관 관계를 특성화하는 이종 그래프 네트워크일 수 있고, 네트워크에 의해 이종 그래프 노드 표현 모델은 각 사용자, 각 애플리케이션 및 각 광고의 노드 표현 결과를 얻을 수 있다. 여기서 노드 레이블링 결과는 벡터, 행렬 등의 방식을 적용하여 표시할 수 있다.
계속하여 도 4를 참조하면, 도 4는 본 실시예에 따른 이종 그래프 노드를 표현하는 모델 생성 방법의 응용 시나리오의 일 개략도이다. 도 4의 응용 시나리오에서, 단말기기(401)에는 이종 그래프 및 서로 다른 메타 경로에 기반하여 이종 그래프를 샘플링하여 얻은 노드 보행 경로 정보가 포함되고, 여기서, 이종 그래프 중의 노드는 모바일 광고 생태 시스템에서 사용자, 애플리케이션 및 광고를 특성화하는 노드이다. 우선, 서버(402)는 단말기기(401)로부터 훈련 데이터셋을 취득하는바, 여기서, 훈련 데이터셋은 서로 다른 메타 경로에 따라 이종 그래프를 샘플링하여 얻은 노드 보행 경로 정보를 포함한다. 다음, 경사 하강 알고리즘에 기반하여, 서버(402)는 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻는다.
본 출원의 기술은 다양한 메타 경로를 서로 결합하는 방식을 적용하는바, 서로 다른 메타 경로의 시맨틱 정보를 취득할 수 있고, 하나의 메타 경로에 기반하는 노드 표현 방법에 따른 이종 그래프의 경로 정보가 유실되는 문제를 해결하고, 이종 그래프의 노드 표현 능력을 강화한다.
계속하여 도 5를 참조하면, 본 출원에 따른 이종 그래프 노드를 표현하는 모델 생성 방법의 다른 실시예의 개략적인 흐름(500)을 도시하는바, 하기 단계를 포함한다.
단계(501)에서, 이종 그래프를 취득한다.
본 실시예에서, 이종 그래프 노드를 표현하는 모델 생성 방법의 수행 주체는, 유선 연결 방식 또는 무선 연결 방식을 통해 원격에서 또는 로컬에서 이종 그래프를 취득할 수 있다.
단계(502)에서, 이종 그래프 중의 각 종류 노드 및 각 종류 노드 간의 연계를 결정한다.
본 실시예에서, 상술한 수행 주체는 이종 그래프 중의 각 종류 노드 및 각 종류 노드 간의 연계를 결정할 수 있다.
부연하면, 본 실시예는 이종 그래프 네트워크, 이종 그래프 네트워크 중의 각 종류 노드 및 각 종류 노드 간의 연계에 기반하여 후속 단계에서 얻은 이종 그래프 네트워크 노드 표현 모델에 의해 이종 그래프 중의 각 노드의 노드 표현 결과를 얻는다. 본 실시예는 단계(501) 및 단계(502)의 수행 순서를 한정하지 않는다 일부 예시에서, 상술한 수행 주체는 이종 그래프에 따라 이종 그래프 중의 각 종류 노드 및 각 종류 노드 간의 연계를 결정할 수 있다. 다른 일부 예시에서, 상술한 수행 주체는 각 종류 노드 및 각 종류 노드 간의 연계에 따라 대응되는 이종 그래프 네트워크를 결정할 수 있다.
본 실시예에서, 상술한 수행 주체는 이종 그래프 또는 이종 그래프 중의 각 종류 노드 및 각 종류 노드 간의 연계를 훈련 데이터셋을 취득하는 데이터 기초로 하여 처리를 수행하여 훈련 데이터셋을 얻는바, 본 실시예의 실용성을 확장한다.
단계(503)에서, 서로 다른 메타 경로 중의 각 메타 경로에 대하여, 이종 그래프 중의 각 종류 노드 및 각 종류 노드 간의 연계에 따라 이종 그래프를 샘플링하여 당해 메타 경로에 대응되는 노드 보행 경로 정보를 얻는다.
본 실시예에서, 메타 경로의 수량 및 구조는 이종 그래프의 네트워크 구조에 따라 구체적으로 설정할 수 있고, 상술한 수행 주체는 복수의 서로 다른 메타 경로 중의 각 메타 경로에 대하여, 모두 이종 그래프 샘플링을 수행하여, 각 메타 경로에 대응되는 노드 보행 경로 정보를 얻는다.
본 실시예에서, 복수의 서로 다른 메타 경로에 기반하여 복수의 노드 보행 경로 정보를 얻을 수 있다. 하나의 노드 보행 경로 정보는 훈련 데이터셋 내의 하나의 훈련 데이터로 할 수 있고, 복수의 노드 보행 경로 정보는 더 풍부한 이종 그래프의 시맨틱 정보를 포함하는바, 이종 그래프 노드 표현 모델에 더 정확한 훈련 데이터를 제공할 수 있고, 이로써 이종 그래프 노드 표현 모델의 이종 그래프 노드 표현 정확성을 향상할 수 있다.
단계(504)에서, 경사 하강 알고리즘에 기반하여, 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻는다.
본 실시예에서, 단계(504)는 도 2의 대응되는 실시예에서의 단계(202)와 기본적으로 일치하므로, 이에 대한 상세한 설명은 생략하기로 한다.
도 5로부터 알 수 있는바, 도 2에 대응되는 실시예에 비하면, 본 실시예에서의 이종 그래프 노드를 표현하는 모델 생성 방법의 흐름(500)은 훈련 데이터셋을 취득하기 전의 이종 그래프 처리 과정 및 훈련 데이터셋의 취득 과정을 강조하여 설명한다. 이로써, 본 실시예에서 서술하는 방안은 더 좋은 실용성을 가지며 또한, 더 풍부한 이종 그래프 시맨틱 정보를 포함하는 훈련 데이터셋을 취득할 수 있다.
본 실시예의 일부 대안적인 구현방식에서는, 하기 단계를 더 포함할 수 있다.
단계(505)에서, 사전훈련된 이종 그래프 노드 표현 모델에 의해, 처리할 이종 그래프의 노드 표현 결과를 얻는다.
본 실시예에서, 처리할 이종 그래프는 임의의 이종 그래프일 수 있다.
예시로, 상술한 수행 주체는 처리할 이종 그래프에 따라 그 중에서의 각 종류 노드 및 각 종류 노드 간의 연계를 결정하고, 사전훈련된 이종 그래프 노드 표현 모델에 의해, 처리할 이종 그래프의 노드 표현 결과를 얻는다. 이로써, 본 실시예에서 서술하는 방안은 처리할 이종 그래프에 따라 정확한 노드 표현 결과를 얻을 수 있고, 이종 그래프의 노드 표현 결과의 취득 방식을 풍부히 한다.
나아가 도 6을 참조하면, 상술한 각 도면에 도시한 방법에 대한 구현으로, 본 개시는 이종 그래프 노드를 표현하는 모델 생성 장치의 일 실시예를 제공하는바, 당해 장치 실시예는 도 2에 도시한 방법 실시예에 대응되고, 아래 기재한 특징 외에, 당해 장치 실시예는 도 2에 도시한 방법 실시예와 같거나 또는 상응한 특징을 더 포함할 수 있고, 도 2에 도시한 방법 실시예와 같거나 또는 상응한 효과를 발생할 수 있다. 당해 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.
도 6에 도시한 바와 같이, 본 실시예의 이종 그래프 노드를 표현하는 모델 생성 장치는, 훈련 데이터셋을 취득하도록 구성되는 제1 취득 유닛(601) - 여기서, 훈련 데이터셋은 서로 다른 메타 경로에 따라 이종 그래프를 샘플링하여 얻은 노드 보행 경로 정보를 포함함 - ; 경사 하강 알고리즘에 기반하여, 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻도록 구성되는 훈련 유닛(602)을 포함한다.
일부 실시에서, 상술한 모델 생성 장치는, 이종 그래프를 취득도록 구성되는 제2 취득 유닛(미도시); 및 이종 그래프 중의 각 종류 노드 및 각 종류 노드 간의 연계를 결정도록 구성되는 결정 유닛(미도시)을 더 포함한다.
일부 실시에서, 제1 취득 유닛(501)은, 나아가, 서로 다른 메타 경로 중의 각 메타 경로에 대해, 이종 그래프 중의 각 종류 노드 및 각 종류 노드 간의 연계에 따라 이종 그래프를 샘플링하여 당해 메타 경로에 대응되는 노드 보행 경로 정보를 얻도록 구성된다.
일부 실시에서, 상술한 모델 생성 장치는, 사전훈련된 이종 그래프 노드 표현 모델에 의해, 처리할 이종 그래프의 노드 표현 결과를 얻도록 구성되는 노드 표현 유닛(미도시)을 더 포함한다.
일부 실시에서, 초기 이종 그래프 노드 표현 모델은 스킵-그램 모델이다.
본 실시예에서, 이종 그래프 노드를 표현하는 모델 생성 장치는 다양한 메타 경로를 서로 결합하는 방식을 적용하는바, 서로 다른 메타 경로의 시맨틱 정보를 취득할 수 있고, 하나의 메타 경로에 기반하는 노드 표현 방법에 따른 이종 그래프의 경로 정보가 유실되는 문제를 해결하고, 이종 그래프의 노드 표현 능력을 강화한다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독가능 저장 매체를 더 제공한다.
도 7에 도시한 바는, 본 출원의 실시예에 따른 이종 그래프 노드를 표현하는 모델 생성 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 다른 적합한 컴퓨터와 같은 다양한 형식의 디지털 컴퓨터를 가리키고자 하는 것이다. 전자 기기는 또한, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 다른 이와 유사한 컴퓨팅 기기와 같은 다양한 형식의 이동 장치를 가리킬 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 서술한 및/또는 청구하는 본 출원의 구현을 한정하고자 하는 것이 아니다.
도 7에 도시한 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(701), 메모리(702)를 포함하고, 각 부품을 연결하는 인터페이스는 고속 인터페이스와 저속 인터페이스를 포함한다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되고 공통 메인보드에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있는바, 메모리에 저장되어 외부 입력/출력 장치(인터페이스에 커플링된 표시 기기와 같은)에 GUI의 그래픽 정보를 표시하기 위한 명령이 포함된다. 다른 실시 방식에서, 필요하다면 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각 기기는(예를 들어 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서) 일부 필요한 조작을 제공할 수 있다. 도 7은 프로세서(701)를 예시한다.
메모리(702)가 바로 본 출원에 의해 제공되는 비일시적 컴퓨터 판독가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있는바, 상기 적어도 하나의 프로세서에 의해 본 출원에 의해 제공되는 이종 그래프 노드를 표현하는 모델 생성 방법이 수행되도록 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에 의해 제공되는 이종 그래프 노드를 표현하는 모델 생성 방법이 수행되도록 한다.
메모리(702)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예의 이종 그래프 노드를 표현하는 모델 생성 방법에 대응되는 프로그램 명령/모듈(예를 들면, 첨부 도면6에 도시한 제1 취득 유닛(601) 및 훈련 유닛(602))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장할 수 있다. 프로세서(701)는 메모리(702)에 저장되는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 실행하는바, 즉 상술한 방법 실시예에서의 이종 그래프 노드를 표현하는 모델 생성 방법을 구현한다.
메모리(702)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는바, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 이종 그래프 노드를 표현하는 모델 생성 방법의 전자 기기의 사용에 따라 생성되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수도 있고, 비일시적 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 다른 비일시적 고체 상태 저장 디바이스를 더 포함할 수도 있다. 일부 실시에서, 메모리(702)는 대안적으로 프로세서(701) 대비 원격 설치되는 메모리를 포함하는바, 이러한 원격 메모리는 네트워크를 통해 이종 그래프 노드를 표현하는 모델 생성 방법의 전자 기기에 연결된다. 상술한 네트워크의 실제 예는 인터넷, 기업 내부 네트워크, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
이종 그래프 노드를 표현하는 모델 생성 방법의 전자 기기는 입력 장치(703)와 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703)와 출력 장치(704)는 버스 또는 다른 방식으로 연결될 수 있고, 도 7은 버스에 의한 연결을 예시한다.
입력 장치(703)는 입력되는 숫자 또는 문자(character) 정보를 수신하고, 이종 그래프 노드를 표현하는 모델 생성 방법의 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는바, 예를 들면 터치 스크린, 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등의 입력 장치가 있다. 출력 장치(704)는 표시 기기, 보조 조명장치(예를 들어 LED) 및 촉각 피드백 장치(예를 들어 진동 모터) 등을 포함할 수 있다. 당해 표시 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에서 표시 기기는 터치 스크린일 수 있다.
여기서 서술하는 시스템과 기술의 다양한 실시 방식은 디지털 전자회로 시스템, 집적회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램가능 프로세서를 포함하는 프로그램가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 당해 프로그램가능 프로세서는 전용의 또는 범용의 프로그램가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신하고 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램가능 프로세서의 기계 명령을 포함하며, 고급 절차 프로그래밍 언어 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 '기계 판독가능 매체'와 '컴퓨터 판독가능 매체'는 기계 명령 및/또는 데이터를 프로그램가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그램가능 논리 장치(PLD))를 가리키는바, 이는 기계 판독가능 신호로서의 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 '기계 판독가능 신호'는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위해, 여기서 서술하는 시스템과 기술을 컴퓨터에서 실시할 수 있는바, 당해 컴퓨터는 사용자한테 정보를 표시하기 위한 표시 장치(예를 들면 음극선관(CRT) 또는 액정 디스플레이(LCD) 모니터) 및 키보드와 포인팅 장치(예를 들면 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 다른 종류의 장치 또한 사용자와의 인터랙션을 제공하는 데 사용될 수 있는바, 예를 들면 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력이 수신될 수 있다.
여기서 서술하는 시스템과 기술을 백스테이지 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버로서), 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 프론트엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터가 있고, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시 방식과 인터랙션할 수 있음), 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계가 발생한다.
본 출원의 실시예에 따른 기술 방안은, 은 다양한 메타 경로를 서로 결합하는 방식을 적용하는바, 서로 다른 메타 경로의 시맨틱 정보를 취득할 수 있고, 하나의 메타 경로에 기반하는 노드 표현 방법에 따른 이종 그래프의 경로 정보가 유실되는 문제를 해결하고, 이종 그래프의 노드 표현 능력을 강화한다.
위에서 제시한 다양한 형식의 흐름을 적용하여 단계를 재정렬, 증가 또는 삭제할 수 있음을 이해하여야 한다. 예를 들면, 본 출원에 기재된 각 단계는 병렬로 수행될 수도 있고, 순차로 수행될 수도 있고, 서로 다른 순서로 실행될 수도 있는바, 본 출원에서 개시하는 기술 방안에 대한 기대 결과를 구현할 수 있기만 하면 되는 것으로, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 방식은 본 출원의 보호 범위를 한정하지 않는다. 당업자라면, 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 치환이 가능하다는 것을 알아야 할 것이다. 본 출원의 사상과 원칙 내에서 행하는 임의의 수정, 등가적 치환 및 개량 등은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims (13)

  1. 이종 그래프 노드를 표현하는 모델 생성 방법에 있어서,
    훈련 데이터셋을 취득하는 단계 - 상기 훈련 데이터셋은 서로 다른 메타 경로에 따라 이종 그래프를 샘플링하여 얻은 노드 보행 경로 정보를 포함함 - ; 및
    경사 하강 알고리즘에 기반하여, 상기 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 상기 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻는 단계를 포함하는, 이종 그래프 노드를 표현하는 모델 생성 방법.
  2. 제1항에 있어서,
    상기 훈련 데이터셋을 취득하는 단계 전에, 상기 방법은
    상기 이종 그래프를 취득하는 단계; 및
    상기 이종 그래프 중의 각 종류 노드 및 상기 각 종류 노드 간의 연계를 결정하는 단계를 더 포함하는, 이종 그래프 노드를 표현하는 모델 생성 방법.
  3. 제2항에 있어서,
    상기 훈련 데이터셋을 취득하는 단계는,
    상기 서로 다른 메타 경로 중의 각 메타 경로에 대해, 상기 이종 그래프 중의 각 종류 노드 및 상기 각 종류 노드 간의 연계에 따라 상기 이종 그래프를 샘플링하여 당해 메타 경로에 대응되는 노드 보행 경로 정보를 얻는 단계를 포함하는, 이종 그래프 노드를 표현하는 모델 생성 방법.
  4. 제2항에 있어서,
    상기 방법은
    사전훈련된 상기 이종 그래프 노드 표현 모델에 의해, 처리할 이종 그래프의 노드 표현 결과를 얻는 단계를 더 포함하는, 이종 그래프 노드를 표현하는 모델 생성 방법.
  5. 제1항에 있어서,
    상기 초기 이종 그래프 노드 표현 모델은 스킵-그램 모델인, 이종 그래프 노드를 표현하는 모델 생성 방법.
  6. 이종 그래프 노드를 표현하는 모델 생성 장치로서,
    훈련 데이터셋을 취득하도록 구성되는 제1 취득 유닛 - 상기 훈련 데이터셋은 서로 다른 메타 경로에 따라 이종 그래프를 샘플링하여 얻은 노드 보행 경로 정보를 포함함 - ; 및
    경사 하강 알고리즘에 기반하여, 상기 훈련 데이터셋을 초기 이종 그래프 노드 표현 모델의 입력으로 하여 상기 초기 이종 그래프 노드 표현 모델을 훈련하여 이종 그래프 노드 표현 모델을 얻도록 구성되는 훈련 유닛을 포함하는, 이종 그래프 노드를 표현하는 모델 생성 장치.
  7. 제6항에 있어서,
    상기 장치는
    상기 이종 그래프를 취득하도록 구성되는 제2 취득 유닛; 및
    상기 이종 그래프 중의 각 종류 노드 및 상기 각 종류 노드 간의 연계를 결정하도록 구성되는 결정 유닛을 더 포함하는, 이종 그래프 노드를 표현하는 모델 생성 장치.
  8. 제7항에 있어서,
    상기 제1 취득 유닛은 나아가,
    상기 서로 다른 메타 경로 중의 각 메타 경로에 대해, 상기 이종 그래프 중의 각 종류 노드 및 상기 각 종류 노드 간의 연계에 따라 상기 이종 그래프를 샘플링하여 당해 메타 경로에 대응되는 노드 보행 경로 정보를 얻도록 구성되는, 이종 그래프 노드를 표현하는 모델 생성 장치.
  9. 제7항에 있어서,
    상기 장치는
    사전훈련된 상기 이종 그래프 노드 표현 모델에 의해, 처리할 이종 그래프의 노드 표현 결과를 얻도록 구성되는 노드 표현 유닛을 더 포함하는, 이종 그래프 노드를 표현하는 모델 생성 장치.
  10. 제6항에 있어서,
    상기 초기 이종 그래프 노드 표현 모델은 스킵-그램 모델인, 이종 그래프 노드를 표현하는 모델 생성 장치.
  11. 전자 기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행됨으로써 상기 적어도 하나의 프로세서가 제1항 내지 제5항 중 어느 한 항의 방법을 수행하도록 하는, 전자 기기.
  12. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 명령은 상기 컴퓨터에 의해 제1항 내지 제5항 중 어느 한 항의 방법이 수행되도록 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  13. 매체에 저장된 컴퓨터 프로그램으로서,
    상기 프로그램이 프로세서에 의해 실행되는 경우, 제1항 내지 제5항 중 어느 한 항의 방법이 수행되는, 매체에 저장된 컴퓨터 프로그램.
KR1020210032502A 2020-06-19 2021-03-12 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램 KR102484617B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010564132.2 2020-06-19
CN202010564132.2A CN111708922A (zh) 2020-06-19 2020-06-19 用于表示异构图节点的模型生成方法及装置

Publications (2)

Publication Number Publication Date
KR20210035786A true KR20210035786A (ko) 2021-04-01
KR102484617B1 KR102484617B1 (ko) 2023-01-03

Family

ID=72542185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210032502A KR102484617B1 (ko) 2020-06-19 2021-03-12 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램

Country Status (5)

Country Link
US (1) US20210397947A1 (ko)
EP (1) EP3828719A3 (ko)
JP (1) JP2022002079A (ko)
KR (1) KR102484617B1 (ko)
CN (1) CN111708922A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222041A (zh) * 2022-06-22 2022-10-21 北京百度网讯科技有限公司 用于模型训练的图生成方法、装置、电子设备及存储介质
KR102508131B1 (ko) 2021-12-20 2023-03-09 (주)씨어스테크놀로지 지식그래프에 대한 그래프 연결강화 시스템 및 방법
KR102511634B1 (ko) * 2022-07-15 2023-03-20 오더퀸 주식회사 리테일 키오스크를 위한 상황인지 기반 크로스도메인 추천 서비스 제공 시스템
CN116383446A (zh) * 2023-04-06 2023-07-04 哈尔滨工程大学 一种基于异构引文网络的作者分类方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507185B (zh) * 2020-10-22 2022-08-19 复旦大学 用户肖像的确定方法和装置
CN112529621A (zh) * 2020-12-10 2021-03-19 中山大学 一种基于异构图嵌入技术的广告受众基础属性预估方法
CN112508115B (zh) * 2020-12-15 2023-10-24 北京百度网讯科技有限公司 建立节点表示模型的方法、装置、设备和计算机存储介质
CN112580716B (zh) * 2020-12-16 2023-07-11 北京百度网讯科技有限公司 图谱中边类型的识别方法、装置、设备及存储介质
CN112561688A (zh) * 2020-12-21 2021-03-26 第四范式（北京）技术有限公司 基于图嵌入的信用卡逾期预测方法、装置及电子设备
CN113408297B (zh) * 2021-06-30 2023-08-18 北京百度网讯科技有限公司 生成节点表示的方法、装置、电子设备和可读存储介质
CN113553804A (zh) * 2021-07-15 2021-10-26 重庆邮电大学 一种基于异构图transformer的单文档文本摘要系统
CN114282119B (zh) * 2022-03-03 2022-05-24 深圳昊通技术有限公司 一种基于异构信息网络的科技信息资源检索方法及系统
CN114936323B (zh) * 2022-06-07 2023-06-30 北京百度网讯科技有限公司 图表示模型的训练方法、装置及电子设备
CN115455258B (zh) * 2022-09-14 2023-04-18 中国电子科技集团公司第十五研究所 一种网络空间语言描述与分析方法及装置
CN115545822A (zh) * 2022-09-20 2022-12-30 中国电信股份有限公司 产品属性推荐方法和装置、计算机存储介质、电子设备
CN116935252B (zh) * 2023-07-10 2024-02-02 齐鲁工业大学(山东省科学院) 一种基于子图嵌入图神经网络的机械臂碰撞检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144577A (zh) * 2019-12-26 2020-05-12 北京百度网讯科技有限公司 异构图之中节点表示的生成方法、装置和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046698B (zh) * 2019-04-28 2021-07-30 北京邮电大学 异质图神经网络生成方法、装置、电子设备及存储介质
CN110245259B (zh) * 2019-05-21 2021-09-21 北京百度网讯科技有限公司 基于知识图谱的视频打标签方法及装置、计算机可读介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144577A (zh) * 2019-12-26 2020-05-12 北京百度网讯科技有限公司 异构图之中节点表示的生成方法、装置和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102508131B1 (ko) 2021-12-20 2023-03-09 (주)씨어스테크놀로지 지식그래프에 대한 그래프 연결강화 시스템 및 방법
CN115222041A (zh) * 2022-06-22 2022-10-21 北京百度网讯科技有限公司 用于模型训练的图生成方法、装置、电子设备及存储介质
CN115222041B (zh) * 2022-06-22 2023-09-01 北京百度网讯科技有限公司 用于模型训练的图生成方法、装置、电子设备及存储介质
KR102511634B1 (ko) * 2022-07-15 2023-03-20 오더퀸 주식회사 리테일 키오스크를 위한 상황인지 기반 크로스도메인 추천 서비스 제공 시스템
CN116383446A (zh) * 2023-04-06 2023-07-04 哈尔滨工程大学 一种基于异构引文网络的作者分类方法

Also Published As

Publication number Publication date
EP3828719A2 (en) 2021-06-02
EP3828719A3 (en) 2021-11-03
KR102484617B1 (ko) 2023-01-03
US20210397947A1 (en) 2021-12-23
CN111708922A (zh) 2020-09-25
JP2022002079A (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
KR20210035786A (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP7225273B2 (ja) マルチモーダルコンテンツ処理方法、装置、機器及び記憶媒体
EP3923160A1 (en) Method, apparatus, device and storage medium for training model
US20210200947A1 (en) Event argument extraction method and apparatus and electronic device
KR20200109230A (ko) 뉴럴 네트워크 생성 방법 및 장치
KR20210040319A (ko) 엔티티 링킹 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
US11748895B2 (en) Method and apparatus for processing video frame
KR20210040316A (ko) 사용자 상호작용 정보 처리모델 생성방법, 사용자 상호작용 정보 처리방법 및 프로그램
CN111259671B (zh) 文本实体的语义描述处理方法、装置及设备
KR102538467B1 (ko) 모델의 증류 방법, 장치, 전자기기 및 저장매체
US11423907B2 (en) Virtual object image display method and apparatus, electronic device and storage medium
CN111709252B (zh) 基于预训练的语义模型的模型改进方法及装置
US11610389B2 (en) Method and apparatus for positioning key point, device, and storage medium
US20210390254A1 (en) Method, Apparatus and Device for Recognizing Word Slot, and Storage Medium
JP2022505015A (ja) 知識グラフのベクトル表現生成方法、装置及び電子機器
JP7355776B2 (ja) 音声認識方法、音声認識装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
KR20220004807A (ko) 태깅 툴 생성 방법, 태깅 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
JP2022028897A (ja) 文章翻訳方法、装置、電子機器及び記憶媒体
CN111582452B (zh) 生成神经网络模型的方法和装置
KR20220003444A (ko) 옵티마이저 학습 방법, 장치, 전자 기기 및 판독 가능 기록 매체
JP7256857B2 (ja) 対話処理方法、装置、電子機器及び記憶媒体
EP3901905B1 (en) Method and apparatus for processing image
US20220084274A1 (en) Method and apparatus for processing character image data
CN113326746A (zh) 用于人体模型的手语播报方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant