KR102102181B1 - 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치 - Google Patents

부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치 Download PDF

Info

Publication number
KR102102181B1
KR102102181B1 KR1020170149948A KR20170149948A KR102102181B1 KR 102102181 B1 KR102102181 B1 KR 102102181B1 KR 1020170149948 A KR1020170149948 A KR 1020170149948A KR 20170149948 A KR20170149948 A KR 20170149948A KR 102102181 B1 KR102102181 B1 KR 102102181B1
Authority
KR
South Korea
Prior art keywords
network
target pair
node
learning
likelihood
Prior art date
Application number
KR1020170149948A
Other languages
English (en)
Other versions
KR20190040864A (ko
Inventor
강유
김정환
박해규
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of KR20190040864A publication Critical patent/KR20190040864A/ko
Application granted granted Critical
Publication of KR102102181B1 publication Critical patent/KR102102181B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치에 관한 것이다. 본 발명의 제 1 측면에 따르면, 네트워크표현학습장치에 있어서, 네트워크의 시드노드로부터 인접한 노드를 탐색하여 일정한 길이의 노드 순서인 랜덤워크를 생성하는 부호방향수집부 및 상기 랜덤워크를 기초로 네트워크표현을 학습하는 표현학습부를 포함할 수 있다.

Description

부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치{APPARATUS AND METHOD FOR REPRESENTATION LEARNING IN SIGNED DIRECTED NETWORKS}
본 발명은 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치에 관한 것으로, 보다 구체적으로는 부호화된 방향성 네트워크를 저차원(low-dimensional)벡터로 표현하는 네트워크표현방법 및 장치에 관한 것이다.
최근 SNS 이용률이 증가하고, 인터넷상에 저장되는 웹 문서의 양이 증가하면서, SNS 이용자간의 연결 관계 또는 웹 문서들간의 연결 관계를 그래프로 나타낼 수 있다.
이러한 그래프는 연결관계에 따라 긍정(Positive)연결과 부정(Negative)연결이 있다. 특히, 부정연결은 방향성 네트워크에서 연결부호예측, 노드 분류 등과 같은 작업들에서 성능을 높일 수 있는 부가정보를 포함하고 있다.
존재하는 네트워크 임베딩(embedding) 방법들은 기본적인 대칭 그래프에 대한 모델링에 집중되어 있어 부정연결 그리고 연결방향에 대한 부가정보를 활용하지 못하는 문제점이 있다.
네트워크 임베딩 프레임워크(network embedding framework)에서 부호와 방향 모델링은 양 부호의 일관된 해석과 대칭 측정 공간 내에서 비대칭의 표현 그리고 다단계 연결(multi-step connections)에 응용될 수 있어야 한다.
이러한 조건 중 일부를 만족하는 네트워크 임베딩 모델이 있지만, 이러한 모델은 스펙트럼 이론에 따른 제약조건으로 인한 비대칭성을 표현하지 못하는 문제점이 있다.
이와 관련하여, 한국공개특허 제2011-0131094호가 있다. 본 문헌에는 정보 네트워크로부터 하나 이상의 노드들 및 간선들을 수집하고, 수집된 노드들에 랜덤 워크를 수행하여 얻은 시퀀스들을 데이터 베이스에 저장하고, 데이터 베이스를 마이닝하여 정보 네트워크에 존재하는 패턴을 파악하는 내용이 개시되어 있으나 상술된 문제점을 해결하지 못한다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서의 일 실시예는 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치를 제공하는 데에 그 목적이 있다.
본 명세서의 일 실시예는 부호화된 방향성 네트워크에서 근접관계를 압축된 저차원 벡터로 표현할 수 있도록 학습하는 데에 그 목적이 있다.
본 명세서의 일 실시예는 부호화된 방향성 네트워크를 부호 및 방향성을 고려하면서도 정확하고 빠르게 모델링하는 데에 그 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면, 네트워크표현학습장치에 있어서, 네트워크의 시드노드로부터 인접한 노드를 탐색하여 일정한 길이의 노드 순서인 랜덤워크를 생성하는 부호방향수집부 및 상기 랜덤워크를 기초로 네트워크표현을 학습하는 표현학습부를 포함할 수 있다.
본 발명의 제2 측면에 따르면, 네트워크표현학습장치가 네트워크 표현을 학습하는 방법에 있어서, 네트워크의 시드노드로부터 인접한 노드를 탐색하여 일정한 길이의 노드 순서인 랜덤워크를 생성하는 단계 및 상기 랜덤워크를 기초로 네트워크표현을 학습하는 단계를 포함할 수 있다.
본 발명의 제3 측면에 따르면, 네트워크표현학습방법을 수행하기 위한 컴퓨터 프로그램으로서, 네트워크표현학습방법은 네트워크의 시드노드로부터 인접한 노드를 탐색하여 일정한 길이의 노드 순서인 랜덤워크를 생성하는 단계 및 상기 랜덤워크를 기초로 네트워크표현을 학습하는 단계를 포함할 수 있다.
본 발명의 제 4 측면에 따르면, 네트워크표현학습방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체로서, 네트워크표현학습방법은 네트워크의 시드노드로부터 인접한 노드를 탐색하여 일정한 길이의 노드 순서인 랜덤워크를 생성하는 단계 및 상기 랜덤워크를 기초로 네트워크표현을 학습하는 단계를 포함할 수 있다.
전술한 본 명세서의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치를 제시할 수 있다.
또한, 본 명세서의 과제 해결 수단 중 어느 하나에 의하면, 부호화된 방향성 네트워크에서 근접관계를 압축된 저차원 벡터로 표현시킬 수 있다.
그리고 본 명세서의 과제 해결 수단 중 어느 하나에 의하면, 부호화된 방향성 네트워크를 부호 및 방향성을 고려하면서도 정확하고 빠르게 모델링할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 은 본 발명의 일 실시예에 따른 네트워크표현학습장치를 도시한 블럭도이다.
도 2 는 본 발명의 일 실시예에 따른 네트워크표현학습방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
본 발명의 실시예들을 자세히 설명하기에 앞서, 랜덤워크(Random Walk)를 이용한 네트워크 임베딩(network embedding) 공식을 설명하면, 네트워크 임베딩 방법은 각 노드를 벡터에 맵핑하는 것을 학습하고 벡터 공간에서 근접구조로 네트워크 연결구조를 변환할 수 있다.
네트워크 임베딩은 네트워크 위상(network topology) 정보를 보전함으로써 노드분류, 연결예측, 커뮤니티탐지와 같은 네트워크 상의 문제를 해결하는 OTS(Off-The-Shelf) 기계학습(machine learning)알고리즘을 위한 유용한 기능을 제공할 수 있다.
네트워크 임베딩 문제는 아래와 같이 공식화될 수 있다. 노드 V와 간선 E를 가지는 네트워크를 G=<V,E> 라 하면, 네트워크 임베딩 방법은
Figure 112017111983230-pat00001
함수를 학습하는 것이 목표이다. 이때, 네트워크 임베딩 방법이 학습하는 함수는 V에 속하는 각 노드를 d-차원 벡터에 매핑하는 함수이다.
그리고 임베딩 함수는
Figure 112017111983230-pat00002
임베딩 행렬 W에 의해 파라미터화될 수 있으며, 이때 행렬 W는 각 노드의 d-차원 열 벡터로 구성된다.
이러한 랜덤워크 기반 네트워크 임베딩은 언어모델을 이용하여 네트워크 구조를 학습할 수 있다.
그래프 랭킹 기법 중 하나의 기법인 RWR(Random Walk with Restart)은 그래프에 포함된 복수의 노드들 중에서 어느 하나의 노드를 시작 노드(또는 시드 노드 - seed node)로 정하고, 시작 노드로부터 출발하여 이동하는 가상의 인물인 랜덤 서퍼(random surfer)가 다른 노드들에 도달할 확률을 점수로 계산하여 노드(node)와 간선(edge)으로 이루어진 그래프에서 노드들의 중요도를 구하거나 노드들간의 근접도를 구할 수 있다.
예를 들어, 랜덤 서퍼는 시작 노드에서 출발하여 랜덤 워크 또는 재시작 중 어느 하나의 행동을 수행할 수 있고, 간선으로 연결된 이웃 노드들 중 어느 하나의 노드로 이동하는 행동(랜덤 워크)을 수행하거나, 시드 노드로 돌아가는 행동(재시작)을 수행할 수 있다.
이하에서는 네트워크 임베딩을 수행하는 네트워크표현학습장치(100)를 도면을 참조하여 설명한다.
도 1 은 본 명세서의 일 실시예에 따른 네트워크표현학습장치(100)의 구성을 나타내는 블록도이다. 도 1 을 참조하면, 본 발명의 일 실시예에 따른 네트워크표현학습장치(100)는 부호방향수집부(110) 및 표현학습부(120)를 포함할 수 있다.
우선, 부호방향수집부(110)는 RWR기법을 이용하여 네트워크를 이동(walk)함으로써 노드쌍을 샘플링할 수 있다.
이에 앞서 부호방향수집부(110)는 타겟임베딩행렬(target embedding matrix) W, 이웃임베딩행렬(neighborhood embedding matrix) W’ 를 랜덤한 값으로 초기화할 수 있고, 양 진입링크 바이어스
Figure 112017111983230-pat00003
, 음 진입링크 바이어스
Figure 112017111983230-pat00004
, 양 진출링크 바이어스
Figure 112017111983230-pat00005
, 음 진출링크 바이어스
Figure 112017111983230-pat00006
를 0으로 초기화할 수 있다.
이후, 부호방향수집부(110)는 샘플링 과정에서 RWR기법을 적용하여 기 설정된 길이를 만족할 때까지 각 시드노드로부터 방향성 간선을 따라 이동하여 노드 순서(node sequence)인 랜덤워크(random walk)를 생성할 수 있다.
부호방향수집부(110)는 각 이동 단계 마다 간선의 가중치에 비례한 이동 확률에 따라 다음 노드를 선택할 수 있다. 길이가 l인 랜덤워크가 생성될 때까지 네트워크의 위상 순서에 따라 이동할 수 있으며, 기 설정된 길이의 랜덤워크가 생성되기 전에 이동 간선이 없는 노드로 이동하면, 시드 노드에서 이동을 재시작할 수 있다.
이때, 노드 쌍이 높은 가중치와 짧은 경로로 연결되어 있다면, 노드쌍은 랜덤워크 노드 순서에서 상호 적은 이동 단계 내에 존재한다. 결론적으로 짧은 거리 내에 얼마나 많은 노드쌍이 나타나는지 카운트하는 노드쌍의 동시 발생 통계(co-occurrence statistic)는 노드간의 근접도로 표현된다.
한편, 랜덤워크에서 순차적으로 u에서 v로 진행할 수 있으면, 노드쌍인
Figure 112017111983230-pat00007
는 직접 연결된 것으로 정의할 수 있고, 이는 랜덤 워크에서 순차 순서가 네트워크에서 위상 순서에 따르기 때문에 u에서 v까지 직접 경로가 있다는 의미이다. 그러므로 랜덤워크 내의 노드의 순서는 방향성 네트워크의 위상(topological) 순서를 따른다.
이를 통해 얻어진 결과인 이동 순서는 방문된 노드와 노드에 이어진 간선의 부호로 구성될 수 있으며, 부호방향수집부(110)는 이동 순서에서 K-크기의 윈도우(window)내의 노드를 타겟 쌍의 노드로 선택할 수 있다.
그리고 부호방향수집부(110)는 경로를 따라 수집된 정보에 기초하여 각 타겟 쌍에 대한 부호와 방향을 설정할 수 있다.
이때, 노드쌍의 부호는 균형 이론(balance theory)에 따라 경로를 따라 간선 부호의 곱으로 추론될 수 있다. 예를 들어, 경로를 따라 부호가 음인 간선이 홀수이면, 부호가 음이고, 경로를 따라 부호가 음인 간선이 짝수이면, 부호가 양이다.
한편, 표현학습부(120)는 랜덤워크를 기초로 벡터 표현을 학습할 수 있다.
이를 위해, 표현학습부(120)는 자연 언어 모델 특히 SGNS(Skipgram with Negative Sampling)에 따라 벡터 표현을 학습할 수 있다. 그리고 SGNS 는 노드쌍의 공동 발생에 대한 최대 우도(maximum likelihood)로 표현될 수 있다.
이때, 소프트맥스 함수(softmax function)를 이용하여 타겟노드로부터 이웃노드를 직접 예측하는 경우, 각 노드쌍마다 실행불가능할 정도의 파라미터 업데이트를 수행해야 하기 때문에 파라미터 업데이트 횟수를 제한하기 위해 SGNS는 동시 발생(co-occurring) 노드의 직접 예측보다는 이진 분류(binary classification)를 하는 네거티브 샘플링 접근법을 이용한다.
그러므로 SGNS 의 우도 모델은 시뮬레이션된 랜덤워크에서 노드쌍이 동시 발생하는지를 예측한다.
u와 연결된 v 의 우도는 아래와 같이 수식으로 표현할 수 있다.
[수학식 1]
Figure 112017111983230-pat00008
Figure 112017111983230-pat00009
: 시그모이드 함수(sigmoid function)
Figure 112017111983230-pat00010
: 타겟 임베딩 벡터
Figure 112017111983230-pat00011
: 이웃 임베딩 벡터
표현학습부(120)는 우도를 이용하여 노드쌍이 동시 발생인지 아닌지를 이진 분류할 수 있다. 이때 직관적으로 큰 내적 값을 가지는 노드들의 쌍은 동시 발생의 높은 우도를 갖는다.
우선, 네거티브 로그-우도 목적함수(negative log-likelihood objective function)는 아래 수식과 같다.
[수학식 2]
Figure 112017111983230-pat00012
Figure 112017111983230-pat00013
: 랜덤 워크에서 동시 발생된 노드 쌍의 세트
Figure 112017111983230-pat00014
: 랜덤하게 샘플링된 노이즈 노드
부호방향수집부(110)에 의해 샘플링된 동시 발생 노드쌍
Figure 112017111983230-pat00015
각각은 수학식 2 의 첫번째 부분을 최적화하기 위해 경사 하강(gradient descent)의 첫 단계에 사용될 수 있다.
그리고 동시 발생된 예시(u,v)에서 노이즈 예시 쌍은 u에 랜덤하게 매칭된 샘플 노드
Figure 112017111983230-pat00016
로 정의될 수 있고, 노이즈 예시 쌍은 수학식 2 의 두번째 부분을 최적화하기 위해 경사 하강 단계 에서 사용될 수 있다.
그리고 임베딩 벡터와 샘플 쌍의 우도를 연결한 최대 우도 공식을 이용하는 목적 함수는 아래와 같다.
[수학식 3]
Figure 112017111983230-pat00017
여기서
Figure 112017111983230-pat00018
는 부호방향수집부(110)를 통해 수집된 부호 그리고 방향을 포함하는 노드쌍이다.
각 노드쌍
Figure 112017111983230-pat00019
, n 개의 노이즈 샘플
Figure 112017111983230-pat00020
은 노이즈 쌍을 생성하기 위해 랜덤하게 선택될 수 있다.
그리고 목적함수의 마지막 부분은 우도함수(likelihood function)에서 바이어스 항(bias term)을 정규화한다.
수학식 3 에서 우도
Figure 112017111983230-pat00021
는 아래와 같이 정의된다.
[정의 1]
Figure 112017111983230-pat00022
여기서
Figure 112017111983230-pat00023
는 부호방향수집부(110)에서 수집된 부호를 나타낸다.
첫번째, 두번째, 세번째 수식은 양의 쌍, 음의 쌍, 노이즈 쌍 각각의 우도를 정의한다.
이러한 정의 1 은 부호화된 근접 항(proximity term)과 바이어스 항(bias term)으로 나뉘며, 이를 각각 살펴보면 아래와 같다.
상술된 우도함수의 첫번째 구성은 부호화된 내적(inner product) 근접 항인
Figure 112017111983230-pat00024
이다.
이때, 부호가 양으로 연결된 노드는 근접 임베딩 벡터를 가진 것으로 간주하고 부호가 음이거나 또는 노이즈인 노드쌍은 임베딩 공간에서 상호 멀리 떨어진 것으로 것으로 해석된다.
양으로 연결된 노드들에서 내적 항이 증가하면 우도값(likelihood value)이 증가한다. 이와 달리, 부호가 음이거나 노이즈인 노드쌍들은 내적 유사도(similarity)가 낮으면 높은 우도값을 갖는다.
목적함수를 극대화하기 위해, 임베딩 벡터들은 음으로 연결된 노드들에 낮은 유사도 값을 할당하고 양으로 연결된 노드에는 높은 유사도 값이 할당되도록 학습되어야 한다.
그리고 비대칭 모델에 관한 우도 함수의 두번째 구성인 바이어스 항으로
Figure 112017111983230-pat00025
를 이용한다. 이때, 우도함수는 소스 노드의 진출링크 바이어스와 타겟 노드의 진입링크 바이어스로 두 개의 바이어스 항을 포함하고 있다.
즉, 소스 노드와 타겟 노드는 부호방향수집부(110)에서 생성된 랜덤워크내의 노드 순서에 따라 결정되므로, 동일한 노드쌍을 연결하는 두 개의 상반된 간선에 비 대칭 우도 값을 할당할 수 있다.
이때, 연결 형성에 참여한 노드의 부호 그리고 방향은 4가지 타입으로 정의될 수 있으며, 각 노드에 대해 4개의 바이어스 인자를 아래와 같이 정의할 수 있다.
Figure 112017111983230-pat00026
: 양 진입연결,
Figure 112017111983230-pat00027
: 음 진입연결
Figure 112017111983230-pat00028
: 양 진출연결,
Figure 112017111983230-pat00029
: 음 진출연결
그리고 표현학습부(120)는 경사 하강 최적화(gradient descent optimization)을 이용하여 타겟 쌍인
Figure 112017111983230-pat00030
, 두 개의 가중치 벡터
Figure 112017111983230-pat00031
그리고 두 개 바이어스 인자인
Figure 112017111983230-pat00032
와
Figure 112017111983230-pat00033
를 업데이트 할 수 있다.
타겟 쌍인
Figure 112017111983230-pat00034
와 대응되는 목적함수
Figure 112017111983230-pat00035
의 도함수는 아래와 같다.
[수학식 4]
Figure 112017111983230-pat00036
여기서 우도
Figure 112017111983230-pat00037
는 정의 1 에서
Figure 112017111983230-pat00038
에 따라 결정된다.
그리고 바이어스 항에 대한 정규화는 바이어스 값이 발산하는 것을 방지한다. 만약, 바이어스 항의 정규화가 적용되지 않으면, 바이어스에 대한 경사 업데이트는 항상 양의 값을 가져서 발산하게 된다.
이와 달리, 노이즈 쌍
Figure 112017111983230-pat00039
에 대해서는 두 개의 가중치 벡터
Figure 112017111983230-pat00040
만 업데이트될 수 있다. 노이즈 쌍
Figure 112017111983230-pat00041
에 대한 목적함수
Figure 112017111983230-pat00042
의 도함수는 아래와 같다.
[수학식 5]
Figure 112017111983230-pat00043
여기서 우도
Figure 112017111983230-pat00044
는 정의 1 에서 세번째 수식으로 정의된다.
이와 같이 표현학습부(120)는 샘플링된 노드 쌍을 통해 벡터 표현을 학습하는 과정에서 최대 우도 함수의 파라미터의 업데이트 수를 제한함으로써 계산량을 최소화할 수 있다.
한편, 표현학습부(120)는 추가적으로 최적화를 수행할 수 있다. 즉, 표현학습부(120)는 수학식 2 의 계산을 가속화하기 위해 깊이가 1 인 노드를 삭제하거나 고차 노드를 서브샘플링 할 수 있다.
이하에서는 상술한 바와 같은 네트워크표현학습장치(100)를 이용한 네트워크표현학습방법을 설명한다. 도 2는 본 발명의 일 실시예에 따른 네트워크표현학습방법을 설명하기 위한 순서도이다.
도 2 에 도시된 실시예에 따른 네트워크표현학습방법은 도 1 에 도시된 네트워크표현학습장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 에 도시된 네트워크표현학습장치(100)에 관하여 이상에서 기술한 내용은 도 2 에 도시된 실시예에 따른 네트워크표현학습방법에 적용될 수도 있다.
도 2 를 참조하면, 네트워크표현학습장치(100)는 네트워크에 랜덤워크를 수행하여 노드의 부호와 간선의 방향을 수집할 수 있다(S2001).
그리고 네트워크표현학습장치(100)은 임베딩 행렬 및 바이어스 상수를 초기화할 수 있다(S2002).
이후, 네트워크표현학습장치(100)는 네트워크의 시드노드에서 출발하는 길이 l의 랜덤워크를 생성할 수 있다(S2003).
그리고 네트워크표현학습장치(100)는 랜덤워크에서 K 거리 안에 있는 모든 노드 쌍에 대해 경사하강법으로 임베딩 행렬과 바이어스 상수를 학습시킬 수 있다(S2004).
이후, 네트워크표현학습장치(100)는 학습된 임베딩 행렬과 바이어스 상수를 출력할 수 있다(S2005).
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
또한 본 발명의 일실시예에 따르는 네트워크표현학습방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 상품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 발명의 일실시예에 따르는 네트워크표현학습방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 네트워크표현학습 장치
110: 부호방향수집부
120: 표현학습부

Claims (14)

  1. 네트워크표현학습장치에 있어서,
    네트워크의 시드노드로부터 인접한 노드를 탐색하여 일정한 길이의 노드 순서인 랜덤워크를 생성하되, 상기 랜덤워크에서 기 설정된 크기의 윈도우 내에 위치한 노드를 네트워크표현의 학습에 이용되는 타겟쌍의 노드로 선택하는 부호방향수집부; 및
    상기 타겟쌍의 노드에 연결된 간선의 방향 및 부호를 나타내는 바이어스 항을 포함하는 상기 타겟쌍에 대한 우도(likelihood)에 기초하여 상기 네트워크표현을 학습하는 표현학습부를 포함하는 네트워크표현학습장치.
  2. 제 1 항에 있어서,
    상기 부호방향수집부는,
    상기 네트워크의 경로를 따라 수집된 정보에 기초하여 상기 타겟쌍의 부호를 설정하는, 네트워크표현학습장치.
  3. 제 2 항에 있어서,
    상기 부호방향수집부는,
    균형 이론에 기초하여 상기 타겟쌍의 노드 간 경로내의 간선 부호의 곱으로 상기 타겟쌍의 부호를 설정하는, 네트워크표현학습장치.
  4. 제 1 항에 있어서,
    상기 표현학습부는,
    상기 우도 및 상기 바이어스 항으로 구성된 목적함수가 극대화되도록 상기 우도 및 상기 바이어스 항을 최적화시키는, 네트워크표현학습장치.
  5. 제 4 항에 있어서,
    상기 표현학습부는,
    상기 타겟쌍의 부호에 기초하여 상기 타겟쌍에 대한 우도를 결정하는, 네트워크표현학습장치.
  6. 제 4 항에 있어서,
    상기 표현학습부는,
    경사 하강 최적화(gradient descent optimization)를 이용하여 상기 우도 산출시 이용되는 상기 타겟쌍의 노드에 대한 임베딩 벡터 및 상기 바이어스 항을 업데이트하는, 네트워크표현학습장치.
  7. 네트워크표현학습장치가 네트워크 표현을 학습하는 방법에 있어서,
    네트워크의 시드노드로부터 인접한 노드를 탐색하여 일정한 길이의 노드 순서인 랜덤워크를 생성하는 단계;
    상기 랜덤워크에서 기 설정된 크기의 윈도우 내에 위치한 노드를 상기 네트워크표현의 학습에 이용되는 타겟쌍의 노드로 선택하는 단계; 및
    상기 타겟쌍의 노드에 연결된 간선의 방향 및 부호를 나타내는 바이어스 항을 포함하는 상기 타겟쌍에 대한 우도(likelihood)에 기초하여 상기 네트워크표현을 학습하는 단계를 포함하는 네트워크표현학습방법.
  8. 제 7 항에 있어서,
    상기 네트워크표현학습방법은,
    상기 네트워크의 경로를 따라 수집된 정보에 기초하여 상기 타겟쌍의 부호를 설정하는 단계를 더 포함하는, 네트워크표현학습방법.
  9. 제 8 항에 있어서,
    상기 타겟쌍의 부호를 설정하는 단계는,
    균형 이론에 기초하여 상기 타겟쌍의 노드 간 경로내의 간선 부호의 곱으로 상기 타겟쌍의 부호를 설정하는 단계를 포함하는, 네트워크표현학습방법.
  10. 제 7 항에 있어서,
    상기 네트워크표현을 학습하는 단계는,
    상기 우도 및 상기 바이어스 항으로 구성된 목적함수가 극대화되도록 상기 우도 및 상기 바이어스 항을 최적화시키는 단계를 포함하는, 네트워크표현학습방법.
  11. 제 10 항에 있어서,
    상기 우도 및 상기 바이어스 항을 최적화시키는 단계는,
    상기 타겟쌍의 부호에 기초하여 상기 타겟쌍에 대한 우도를 결정하는 단계를 포함하는, 네트워크표현학습방법.
  12. 제 10 항에 있어서,
    상기 우도 및 상기 바이어스 항을 최적화시키는 단계는,
    경사 하강 최적화(gradient descent optimization)를 이용하여 상기 우도 산출시 이용되는 상기 타겟쌍의 노드에 대한 임베딩 벡터 및 상기 바이어스 항을 업데이트하는 단계를 포함하는, 네트워크표현학습방법.
  13. 네트워크표현학습장치에 의해 수행되며, 제7항에 기재된 방법을 수행시키기 위해 매체에 저장된 컴퓨터 프로그램.
  14. 제7항에 기재된 방법을 수행시키기 위한 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
KR1020170149948A 2017-10-11 2017-11-10 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치 KR102102181B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170130914 2017-10-11
KR1020170130914 2017-10-11

Publications (2)

Publication Number Publication Date
KR20190040864A KR20190040864A (ko) 2019-04-19
KR102102181B1 true KR102102181B1 (ko) 2020-05-29

Family

ID=66283365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170149948A KR102102181B1 (ko) 2017-10-11 2017-11-10 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102102181B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570529B1 (ko) * 2021-05-06 2023-08-24 한양대학교 산학협력단 가상 부정 엣지 기반 유방향 네트워크 임베딩 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185812A (ja) 2011-03-03 2012-09-27 Xerox Corp マルチリレーショナル環境において項目を推薦するためのシステム及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396855B2 (en) * 2010-05-28 2013-03-12 International Business Machines Corporation Identifying communities in an information network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185812A (ja) 2011-03-03 2012-09-27 Xerox Corp マルチリレーショナル環境において項目を推薦するためのシステム及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shuhan Yuan 외 2명. SNE: Signed Network Embedding. 2017년 3월
Suhang Wang 외 4명. Signed Network Embedding in Social Media. 2017년 4월

Also Published As

Publication number Publication date
KR20190040864A (ko) 2019-04-19

Similar Documents

Publication Publication Date Title
US11341424B2 (en) Method, apparatus and system for estimating causality among observed variables
WO2022121289A1 (en) Methods and systems for mining minority-class data samples for training neural network
Park et al. Sequential random k-nearest neighbor feature selection for high-dimensional data
CN111279391B (zh) 一种构建移动设备运动模型的方法及相关系统
US20210081798A1 (en) Neural network method and apparatus
CN100383812C (zh) 信息处理装置和方法
Tran et al. Improved PSO for feature selection on high-dimensional datasets
WO2021088365A1 (zh) 确定神经网络的方法和装置
Okuda et al. Community detection using restrained random-walk similarity
JP2015203946A (ja) ヒストグラムの重心を計算する方法
Venturelli et al. A Kriging-assisted multiobjective evolutionary algorithm
CN113393474A (zh) 一种基于特征融合的三维点云的分类和分割方法
CN110502659B (zh) 图像特征提取及网络的训练方法、装置和设备
CN109582960B (zh) 基于结构化关联语义嵌入的零示例学习方法
US20220036232A1 (en) Technology for optimizing artificial intelligence pipelines
Panja et al. A hybrid tuple selection pipeline for smartphone based Human Activity Recognition
Goel et al. Learning procedural abstractions and evaluating discrete latent temporal structure
Yang et al. Geometry and uncertainty-aware 3d point cloud class-incremental semantic segmentation
KR102102181B1 (ko) 부호화된 방향성 네트워크에서의 표현 학습 방법 및 장치
KR20190105147A (ko) 반딧불 알고리즘을 이용한 데이터 클러스터링 방법 및 시스템
Touska et al. Graph-based data association in multiple object tracking: A survey
CN104463864A (zh) 多级并行关键帧云提取方法及系统
Arifuzzaman et al. An Advanced Decision Tree-B ased Deep Neural Network in Nonlinear Data Classification. Technologies 2023, 11, 24
Klemmer et al. Sxl: Spatially explicit learning of geographic processes with auxiliary tasks
Garcia-Espinosa et al. Automatic annotation for weakly supervised pedestrian detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant