KR102342604B1 - 뉴럴 네트워크 생성 방법 및 장치 - Google Patents

뉴럴 네트워크 생성 방법 및 장치 Download PDF

Info

Publication number
KR102342604B1
KR102342604B1 KR1020190137976A KR20190137976A KR102342604B1 KR 102342604 B1 KR102342604 B1 KR 102342604B1 KR 1020190137976 A KR1020190137976 A KR 1020190137976A KR 20190137976 A KR20190137976 A KR 20190137976A KR 102342604 B1 KR102342604 B1 KR 102342604B1
Authority
KR
South Korea
Prior art keywords
neural network
sample
training
entity
target
Prior art date
Application number
KR1020190137976A
Other languages
English (en)
Other versions
KR20200109230A (ko
Inventor
지안휘 황
민 차오
지판 펑
핑핑 황
용 주
야주안 뤼
잉 리
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20200109230A publication Critical patent/KR20200109230A/ko
Application granted granted Critical
Publication of KR102342604B1 publication Critical patent/KR102342604B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 뉴럴 네트워크 생성 방법 및 장치를 공개한다. 상기 방법의 일 구체적인 실시형태는 타겟 뉴럴 네트워크를 획득하는 단계 - 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 상기 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함함 - ; 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하는 단계; 및 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하는 단계를 포함한다. 상기 실시형태는 뉴럴 네트워크의 복잡도를 감소시킬 수 있으며, 뉴럴 네트워크를 이용하여 정보 처리를 진행할 경우 CPU의 소모를 감소시키고 정보 처리의 효율을 향상시키는데 유용하다.

Description

뉴럴 네트워크 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING NEURAL NETWORK}
본 발명의 실시예는 컴퓨터 기술 분야에 관한 것으로, 특히 뉴럴 네트워크 생성 방법 및 장치에 관한 것이다.
지식 그래프(Knowledge Graph)는 대량의 구조화 3항으로 구성된 네트워크로, 네트워크 중의 노드는 엔티티(entity)를 대표하고 노드 사이의 가장자리는 엔터티 사이의 연관 관계를 대표한다.
현재, 지식 그래프는 정보 검색, 정보 추천 등 각종 분야에 응용될 수 있다. 지식 그래프를 이용하여 어느 하나의 정보와 대응되는 엔티티 관련의 다른 엔티티를 얻을 수 있으며, 따라서 상기 정보와 관련되는 다른 정보를 얻을 수 있다.
본 발명의 실시예는 뉴럴 네트워크 생성 방법 및 장치, 및 지식 그래프 업데이트 방법 및 장치를 제출한다.
제1 양태에 따르면, 본 발명의 실시예는 타겟 뉴럴 네트워크를 획득하는 단계 - 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 상기 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함함 - ; 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하는 단계; 및 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하는 단계를 포함하는 뉴럴 네트워크 생성 방법을 제공한다.
일부 실시예에 있어서, 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하는 단계는, 기설정된 연관 관계에 대해 트레이닝 샘플 세트를 획득하는 단계 - 트레이닝 샘플 세트는 포지티브 트레이닝 샘플 및 네거티브 트레이닝 샘플을 포함하고, 트레이닝 샘플은 2개의 샘플 엔티티 벡터를 포함하며, 샘플 엔티티 벡터는 샘플 엔티티를 나타내기 위한 것이고, 포지티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 기설정된 연관 관계이며, 네거티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 기설정된 연관 관계가 아님 - ; 및 트레이닝 샘플 세트로부터 트레이닝 샘플을 선택하고, 선택된 트레이닝 샘플을 이용하여 후보 뉴럴 네트워크를 트레이닝하는 단계; 후보 뉴럴 네트워크가 트레이닝이 완료되었는지 여부를 확정하는 단계; 및 트레이닝이 완료된 결정에 응답하여, 트레이닝이 완료된 후보 뉴럴 네트워크를 결과 뉴럴 네트워크로 결정하는 단계를 포함하는 트레이닝 단계를 수행하는 단계를 포함한다.
일부 실시예에 있어서, 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하는 단계는, 트레이닝이 완료되지 않은 결정에 응답하여, 트레이닝 샘플 세트에 포함된 선택되지 못한 트레이닝 샘플로부터 트레이닝 샘플을 다시 선택하여, 후보 뉴럴 네트워크의 파라미터를 조정하고, 마지막으로 선택된 트레이닝 샘플 및 마지막으로 조정된 후보 뉴럴 네트워크를 사용하여 트레이닝 단계를 계속하여 수행하는 단계를 더 포함한다.
일부 실시예에 있어서, 기설정된 연관 관계에 대해 트레이닝 샘플 세트를 획득하는 단계는, 기설정된 연관 관계에 대해 포지티브 트레이닝 샘플 세트를 획득하는 단계; 포지티브 트레이닝 샘플 세트 중의 포지티브 트레이닝 샘플에 대해, 상기 포지티브 트레이닝 샘플로부터 보류될 샘플 엔티티 벡터 및 교체될 샘플 엔티티 벡터를 결정하는 단계; 교체될 샘플 엔티티 벡터에 대해, 교체용 샘플 엔티티 벡터를 획득하는 단계 - 교체용 샘플 엔티티 벡터에 대응되는 샘플 엔티티와 교체될 샘플 엔티티 벡터에 대응되는 샘플 엔티티는 상이함 - ; 교체용 샘플 엔티티 벡터 및 보류될 샘플 엔티티 벡터를 이용하여, 상기 포지티브 트레이닝 샘플에 대응되는 네거티브 트레이닝 샘플을 구성하는 단계; 및 포지티브 트레이닝 샘플 세트 및 구성된 네거티브 트레이닝 샘플을 이용하여 트레이닝 샘플 세트를 구성하는 단계를 포함한다.
일부 실시예에 있어서, 상기 뉴럴 네트워크 생성 방법은 결과 뉴럴 네트워크를 저장하는 단계를 더 포함한다.
제2 양태에 따르면, 본 발명의 실시예는 2개의 연관될 엔티티 벡터 및 미리 생성된 결과 뉴럴 네트워크를 획득하는 단계 - 연관될 엔티티 벡터는 타겟 지식 그래프 중의 연관될 엔티티를 나타내기 위한 것이고, 결과 뉴럴 네트워크는 제1 양태에 따른 방법 중 어느 일 실시예의 방법을 이용하여 생성된 것임 - ; 획득된 2개의 연관될 엔티티 벡터를 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 상기 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성하는 단계; 및 연관 결과가 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여, 타겟 지식 그래프를 업데이트하는 단계를 포함하는 지식 그래프 업데이트 방법을 제공한다.
일부 실시예에 있어서, 상기 지식 그래프 업데이트 방법은, 업데이트된 타겟 지식 그래프를 디스플레이하는 단계를 더 포함한다.
제3 양태에 따르면, 본 발명의 실시예는 타겟 뉴럴 네트워크를 획득하도록 구성된 제1 획득 유닛 - 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 상기 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함함 - ; 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하도록 구성된 텐서 전환 유닛; 및 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하도록 구성된 네트워크 생성 유닛을 포함하는 뉴럴 네트워크 생성 장치를 제공한다.
일부 실시예에 있어서, 네트워크 생성 유닛은 기설정된 연관 관계에 대해 트레이닝 샘플 세트를 획득하도록 구성된 샘플 획득 모듈 - 트레이닝 샘플 세트는 포지티브 트레이닝 샘플 및 네거티브 트레이닝 샘플을 포함하고, 트레이닝 샘플은 2개의 샘플 엔티티 벡터를 포함하며, 샘플 엔티티 벡터는 샘플 엔티티를 나타내기 위한 것이고, 포지티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 기설정된 연관 관계이며, 네거티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 기설정된 연관 관계가 아님 - ; 및 트레이닝 샘플 세트로부터 트레이닝 샘플을 선택하고, 선택된 트레이닝 샘플을 이용하여 후보 뉴럴 네트워크를 트레이닝하는 단계; 후보 뉴럴 네트워크가 트레이닝이 완료되었는지 여부를 확정하는 단계; 및 트레이닝이 완료된 결정에 응답하여, 트레이닝이 완료된 후보 뉴럴 네트워크를 결과 뉴럴 네트워크로 결정하는 단계를 포함하는 트레이닝 단계를 수행하도록 구성된 제1 트레이닝 모듈을 포함한다.
일부 실시예에 있어서, 네트워크 생성 유닛은 트레이닝이 완료되지 않은 결정에 응답하여, 트레이닝 샘플 세트에 포함된 선택되지 못한 트레이닝 샘플로부터 트레이닝 샘플을 다시 선택하여, 후보 뉴럴 네트워크의 파라미터를 조정하고, 마지막으로 선택된 트레이닝 샘플 및 마지막으로 조정된 후보 뉴럴 네트워크를 사용하여 트레이닝 단계를 계속하여 수행하도록 구성된 제2 트레이닝 모듈을 더 포함한다.
일부 실시예에 있어서, 샘플 획득 모듈은 또한, 기설정된 연관 관계에 대해 포지티브 트레이닝 샘플 세트를 획득하도록 구성되고; 포지티브 트레이닝 샘플 세트 중의 포지티브 트레이닝 샘플에 대해, 포지티브 트레이닝 샘플로부터 보류될 샘플 엔티티 벡터 및 교체될 샘플 엔티티 벡터를 결정하도록 구성되며; 교체될 샘플 엔티티 벡터에 대해, 교체용 샘플 엔티티 벡터를 획득하도록 구성되되, 여기서 교체용 샘플 엔티티 벡터에 대응되는 샘플 엔티티와 교체될 샘플 엔티티 벡터에 대응되는 샘플 엔티티는 상이하고; 교체용 샘플 엔티티 벡터 및 보류될 샘플 엔티티 벡터를 이용하여, 상기 포지티브 트레이닝 샘플에 대응되는 네거티브 트레이닝 샘플을 구성하도록 구성되며; 및 포지티브 트레이닝 샘플 세트 및 구성된 네거티브 트레이닝 샘플을 이용하여 트레이닝 샘플 세트를 구성하도록 구성된다.
일부 실시예에 있어서, 상기 뉴럴 네트워크 생성 장치는, 결과 뉴럴 네트워크를 저장하도록 구성된 네트워크 저장 모듈을 더 포함한다.
제4 양태에 따르면, 본 발명의 실시예는 2개의 연관될 엔티티 벡터 및 미리 생성된 결과 뉴럴 네트워크를 획득하도록 구성된 제2 획득 유닛 - 연관될 엔티티 벡터는 타겟 지식 그래프 중의 연관될 엔티티를 나타내기 위한 것이고, 결과 뉴럴 네트워크는 제1 양태에 따른 방법 중 어느 일 실시예를 이용하여 생성된 것임 - ; 획득된 2개의 연관될 엔티티 벡터를 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성하도록 구성된 결과 생성 유닛; 및 연관 결과가 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여, 타겟 지식 그래프를 업데이트하도록 구성된 그래프 업데이트 유닛을 포함하는 지식 그래프 업데이트 장치를 제공한다.
일부 실시예에 있어서, 상기 지식 그래프 업데이트 장치는, 업데이트된 타겟 지식 그래프를 디스플레이하도록 구성된 그래프 디스플레이 유닛을 더 포함한다.
제5 양태에 따르면, 본 발명의 실시예는 하나 또는 복수의 프로세서; 및 하나 또는 복수의 프로그램이 저장된 저장 장치를 포함하는 전자기기에 있어서, 하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행될 경우, 하나 또는 복수의 프로세서가 제1 양태 및 제2 양태에 따른 방법 중 어느 일 실시예의 방법을 구현하도록 하는 전자기기를 제공한다.
제6 양태에 따르면, 본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 매체에 있어서, 상기 프로그램이 프로세서에 의해 실행될 경우, 제1 양태 및 제2 양태에 따른 방법 중 어느 일 실시예의 방법을 구현하도록 하는 컴퓨터 판독 가능 매체를 제공한다.
본 발명의 실시예에 의해 제공된 뉴럴 네트워크 생성 방법 및 장치에 있어서, 타겟 뉴럴 네트워크를 획득하되, 여기서 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함하고, 그 후 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하며, 마지막에 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성함으로써, 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여 뉴럴 네트워크 중 파라미터의 개수를 감소시킬 수 있고, 따라서 뉴럴 네트워크의 복잡도를 감소시킬 수 있으며, 뉴럴 네트워크를 이용하여 정보 처리를 진행할 경우, CPU의 소모를 감소시키고 정보 처리의 효율을 향상시키는데 유용하다.
아래 첨부 도면에 도시된 비제한적인 실시예의 상세한 설명에 대한 열독 및 참조를 통해 본 발명의 다른 특징, 목적 및 이점이 보다 명백해질 것이다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크 생성 방법에 응용될 수 있는 예시적인 시스템 구조도이다.
도 2는 본 발명에 따른 뉴럴 네트워크 생성 방법의 일 실시예의 흐름도이다.
도 3은 본 발명의 실시예에 따른 뉴럴 네트워크 생성 방법의 일 응용 상황의 모식도이다.
도 4는 본 발명에 따른 지식 그래프 업데이트 방법의 일 실시예의 흐름도이다.
도 5는 본 발명에 따른 뉴럴 네트워크 생성 장치의 일 실시예의 구조 모식도이다.
도 6은 본 발명에 따른 지식 그래프 업데이트 장치의 일 실시예의 구조 모식도이다.
도 7은 본 발명의 실시예의 전자기기를 구현하기 위해 적용되는 컴퓨터 시스템의 구조 모식도이다.
이하, 도면 및 실시예를 결부하여 본 발명을 보다 더 상세하게 설명한다. 여기서 설명된 구체적인 실시예는 단지 관련 발명을 해석하기 위한 것일 뿐 해당 발명에 대한 한정이 아님을 이해할 수 있다. 이밖에 더 설명해야 할 것은 설명의 편의를 위해 도면에서 관련 발명과 관련되는 부분만 도시한다.
설명해야 할 것은, 본 발명에 따른 실시예 및 실시예의 특징은 모순되지 않는 한 서로 조합될 수 있다. 이하 첨부된 도면을 참조하고 실시예를 결부하여 본 발명을 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 뉴럴 네트워크 생성 방법, 뉴럴 네트워크 생성 장치, 지식 그래프 업데이트 방법 또는 지식 그래프 업데이트 장치에 응용될 수 있는 실시예의 예시적인 시스템 구조(100)를 나타낸다.
도 1에 도시된 바와 같이, 시스템 구조(100)는 단말기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말기기(101, 102, 103)와 서버(105) 사이에 통신 링크를 제공하기 위한 매체로서 사용된다. 네트워크(104)는 다양한 연결 타입 예를 들어 유선 통신 링크, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.
사용자는 단말기기(101, 102, 103)를 사용하여 네트워크(104)에 의해 정보를 수신 또는 송신하도록 서버(105)와 상호 작용한다. 단말기기(101, 102, 103)에는 다양한 통신 클라이언트 애플리케이션 예를 들어, 웹 브라우저 애플리케이션, 쇼핑 애플리케이션, 검색 애플리케이션, 인스턴트 메시지 툴, 이메일 클라이언트, 소셜 플랫폼 소프트웨어 등이 장착될 수 있다.
단말기기(101, 102, 103)는 하드웨어일 수 있고 소프트웨어일 수도 있다. 단말기기(101, 102, 103)가 하드웨어일 경우, 다양한 전자기기일 수 있으며 스마트폰, 태블릿 PC, 전자책 리더, MP3(Moving Picture Experts Group Audio Layer III, 동영상 전문가 압축 표준 오디오 레이어3) 플레이어, MP4(Moving Picture Experts Group Audio Layer IV, 동영상 전문가 압축 표준 오디오 레이어4) 플레이어, 랩톱컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되지 않는다. 단말기기(101, 102, 103)가 소프트웨어일 경우, 이상 열거된 전자기기에 설치될 수 있다. 단말기기(101, 102, 103)는 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들어, 분산형 서비스 제공에 사용되는 복수의 소프트웨어 또는 소프트웨어 모듈)로 구현될 수 있고 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서 구체적으로 한정하지 않는다.
서버(105)는 다양한 서비스를 제공하는 서버일 수 있으며, 예를 들어 단말기기(101, 102, 103)에 의해 송신된 타겟 뉴럴 네트워크에 대해 처리하는 네트워크 처리 서버일 수 있다. 네트워크 처리 서버는 수신된 타겟 뉴럴 네트워크 등 데이터에 대해 분석과 같은 처리를 수행할 수 있으며, 처리(예를 들어, 결과 뉴럴 네트워크)를 획득한다.
설명해야 할 것은, 본 발명의 실시예에 의해 제공된 뉴럴 네트워크 생성 방법은 단말기기(101, 102, 103)에 의해 수행될 수 있고, 서버(105)에 의해 수행될 수도 있으며, 상응하게, 뉴럴 네트워크 생성 장치는 단말기기(101, 102, 103)에 설치될 수 있고, 서버(105) 내에 설치될 수도 있다. 이밖에, 본 발명의 실시예에 의해 제공된 지식 그래프 업데이트 방법은 단말기기(101, 102, 103)에 의해 수행될 수 있고, 서버(105)에 의해 수행될 수도 있으며, 상응하게, 지식 그래프 업데이트 장치는 단말기기(101, 102, 103)에 설치될 수 있고, 서버(105) 내에 설치될 수도 있다.
설명해야 할 것은, 서버는 하드웨어일 수 있고 소프트웨어일 수도 있다. 서버가 하드웨어일 경우, 복수의 서버로 이루어진 분산형 서버 그룹으로 구현될 수 있고 하나의 서버로 구현될 수도 있다. 서버가 소프트웨어일 경우 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들어, 분산형 서비스 제공에 사용되는 복수의 소프트웨어 또는 소프트웨어 모듈)로 구현될 수 있고 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서 구체적으로 한정하지 않는다.
이해해야 할 것은, 도 1의 단말기기, 네트워크 및 서버의 개수는 단지 예시적이다. 구현 필요에 따라 임의의 개수의 단말기기, 네트워크 및 서버가 구비될 수 있다. 결과 뉴럴 네트워크의 생성 또는 타겟 지식 그래프에 대해 업데이트하는 과정에서 사용되는 데이터가 원격으로 획득될 필요가 없는 경우, 상기 시스템 구조는 네트워크를 포함하지 않고 단말기기 또는 서버만을 포함할 수 있다.
계속하여 도 2를 참조하면, 본 발명에 따른 뉴럴 네트워크 생성 방법의 일 실시예의 흐름(200)을 나타낸다. 상기 뉴럴 네트워크 생성 방법은 하기와 같은 단계를 포함한다.
단계(201)에서, 타겟 뉴럴 네트워크를 획득한다.
본 실시예에서, 뉴럴 네트워크 생성 방법의 수행 주체(예를 들어, 도 1에 도시된 서버)는 유선 연결 방식 또는 무선 연결 방식을 통하여 원격 또는 현지로부터 타겟 뉴럴 네트워크를 획득할 수 있다. 여기서, 타겟 뉴럴 네트워크는 조정될 뉴럴 네트워크이다. 구체적으로, 타겟 뉴럴 네트워크는 트레이닝을 거치지 않은 뉴럴 네트워크일 수 있고, 트레이닝이 완료된 뉴럴 네트워크일 수도 있다. 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되며, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이다.
타겟 지식 그래프는 그중의 엔티티 사이의 연관 관계에 대해 보완될 지식 그래프이다. 타겟 지식 그래프는 상기 수행 주체에 저장될 수 있고, 상기 수행 주체와 통신 연결되는 다른 전자기기에 저장될 수도 있다. 일반적으로, 지식 그래프 중의 엔티티는 어느 사물 또는 개념(예를 들어, 인물, 장소, 시간, 정보 등을 나타냄)을 나타내기 위한 것일 수 있다. 엔티티의 형태는 디지털, 문자, 부호 중 적어도 하나를 포함할 수 있다. 지식 그래프 중의 연관 관계는 엔티티 사이의 연결선에 의해 나타낼 수 있고, 2개의 관련된 엔티티에 대응되는 연관 관계의 구체적인 콘텐츠는 상기 연관 관계에 대해 미리 결정한 관련 정보에 의해 나타낼 수 있다. 관련 정보는 디지털, 문자, 부호 중 적어도 하나를 포함할 수 있다.
예시로서, 타겟 지식 그래프는 엔티티 “베이징” 및 엔티티 “중국”을 포함하며, 양자 사이에 양자가 연관 관계를 갖는 연결선이 포함될 수 있고, 또한 양자의 연관 관계의 구체적인 콘텐츠를 나타내는 관련 정보도 포함될 수 있으며, 예를 들어 문자 “수도”이다.
타겟 지식 그래프 중의 엔티티는 엔티티 벡터에 대응될 수 있다. 엔티티 벡터는 엔티티의 특징을 나타내기 위한 것일 수 있다. 실천 과정에서, 엔티티 벡터는 다양한 방식에 의해 얻을 수 있으며, 예를 들어 초기화 방식으로 얻거나 미리 트레이닝된 기계 학습 모델에 의해 얻을 수 있다.
기설정된 연관 관계는 기술자가 미리 결정한 부자 관계, 포함 관계 등과 같은 다양한 연관 관계일 수 있다. 타겟 뉴럴 네트워크는, 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함한다. 관계 텐서는, 기설정된 연관 관계의 특징을 나타내기 위한 것일 수 있다.
실천 과정에서, 텐서(tensor)는 하나의 다차원 데이터 저장 유닛이고, 데이터의 차원을 텐서 랭크라고 한다. 이를 다차원 공간에서 벡터와 행렬의 일반화로 간주할 수 있으며, 벡터는 1차원 텐서로, 행렬은 2차원 텐서로 간주할 수 있다. 일반적으로, 텐서를 연구할 경우, 텐서를 복수의 2차원 절편으로 간주할 수 있다. 각각의 절편을 하나의 행렬로 간주할 수 있다.
구체적으로, 상기 수행 주체 또는 다른 전자기기는 다양한 방법을 이용하여, 기설정된 연관 관계에 대응되는 관계 텐서를 결정할 수 있다. 예를 들어, 기존의 다양한 초기화 파라미터 방법(예를 들어, 임의의 초기화 또는 Glove 알고리즘 등)을 이용하여 기설정된 연관 관계에 대응되는 관계 텐서를 결정할 수 있다. 또는 미리 트레이닝한, 연관 관계와 관계 텐서의 대응관계를 나타내기 위한 모델을 이용하여, 기설정된 연관 관계에 대응되는 관계 텐서를 결정할 수 있다.
본 실시예에서, 관계 텐서는 타겟 지식 그래프 중의 2개의 엔티티의 엔티티 벡터와 연산하기 위한 것이며, 이에 따라 타겟 지식 그래프 중의 2개의 엔티티의 연관 관계가 관계 텐서에 대응되는 기설정된 연관 관계인지 여부를 확정한다. 이해할 수 있는 것은, 행렬 또는 벡터에 비해, 관계 텐서의 차원은 비교적 크며, 따라서 관계 텐서를 이용하여 기설정된 연관 관계의 특징을 나타내기 위한 특징 데이터를 보다 많이 저장할 수 있다. 그러나, 실천 과정에서, 뉴럴 네트워크가 포함하는 파라미터가 많을수록 뉴럴 네트워크는 점점 복잡해지며, 이는 뉴럴 네트워크의 저장 및 계산에 불리하다.
단계(202)에서, 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성한다.
본 실시예에서, 단계(201)에서 획득한 타겟 뉴럴 네트워크에 기반하여, 상기 수행 주체는 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성할 수 있다.
여기서, 관계 행렬은 기설정된 전환 방법을 이용하여 관계 텐서에 대해 전환한 후 획득한 행렬이다. 타겟수는 기설정된 전환 방법에 기반하여 결정한 수이다. 이해할 수 있는 것은, 실천 과정에서, 고차원의 행렬을 저차원의 벡터의 곱으로 전환할 경우, 전환된 벡터가 포함하는 요소의 수는 행렬이 포함하는 요소의 수보다 일반적으로 작다. 예를 들어, 행렬A: [1 1 1; 1 1 1; 1 1 1]에 대하여, 이것을 벡터b: [1 1 1]T와 벡터c: [1 1 1]의 곱으로 전환할 수 있다. 여기서, 자모 “T”는 벡터의 전치를 나타내기 위한 것이다. 보다시피, 행렬A는 9개의 요소를 포함하고, 전환된 2개의 벡터가 포함하는 요소의 합은 6이며, 즉 행렬A 중의 요소 개수는 전환된 벡터b 및 벡터c가 포함하는 요소 개수보다 작다. 따라서, 유사하게 고차원의 관계 텐서를 저차원의 타겟 개수의 관계 행렬의 곱으로 전환할 경우, 기설정된 연관 관계에 대응되는 파라미터의 수를 감소시킬 수 있으며, 따라서 뉴럴 네트워크의 복잡도를 감소시킨다.
구체적으로, 상기 수행 주체는 다양한 방법을 이용하여 관계 텐서에 대해 전환하여 타겟 개수의 관계 행렬을 획득할 수 있다. 예를 들어, 상기 수행 주체는 우선 관계 텐서의 각각의 절편에 대응되는 행렬에 대해 중합하여, 관계 텐서를 하나의 절편 행렬로 구성한다. 다음, 절편 행렬을 타겟 개수의 관계 행렬의 곱으로 분해한다. 여기서, 다양한 방법을 이용하여 절편 행렬을 분해할 수 있으며, 예를 들어 삼각분해법(Triangular Factorization), QR분해법(QR Factorization) 또는 특이값 분해법(Singular Value Decomposition) 등을 이용하여 분해할 수 있다. 설명해야 할 것은, 사용된 분해 방법이 상이하면, 최종 획득한 관계 행렬의 수(즉 타겟 개수)는 상이할 수 있다. 예를 들어, 삼각분해법을 이용하여 2개의 관계 행렬로 분해할 수 있다. 특이값 분해법을 이용하여 3개의 관계 행렬로 분해할 수 있다.
이밖에, 상기 수행 주체는 다른 방법을 이용하여 관계 텐서를 전환할 수도 있다. 예시로서, 관계 텐서W는 각각 W1, W2, W3 3개의 절편을 포함한다. 상기 수행 주체는 우선 관계 텐서W를 절편 행렬W’=[W1, W2, W3]로 구성할 수 있고, 다음 절편 행렬 중의 각각의 행렬 요소(즉 Wi, 여기서 i=1, 2, 3)를 2개의 벡터의 곱으로 전환하며, 즉 W1을 U1 T*V1로 전환하고, W2를 U2 T*V2로 전환하며, W3을 U3 T*V3으로 전환한다. 따라서 하기와 같이 유추할 수 있다.
W=W’=[U1 T*V1, U2 T*V2, U3 T*V3]=[U1, U2, U3]T*[V1, V2, V3]
여기서, 행렬[U1, U2, U3]T 및 행렬[V1, V2, V3]은 전환된 2개의 관계 행렬이다.
상기 예시에 대하여, Wi가 3×3차원의 행렬이라고 가설하면, Wi는 9개의 파라미터를 포함하고, 따라서 관계 텐서W는 27(27=9×3)개의 파라미터를 포함한다. 전환된, Wi에 대응되는 Ui T는 3차원 열 벡터이고 3개의 파라미터를 포함하며, Vi는 3차원 행 벡터이고 3개의 파라미터를 포함한다. 따라서, 전환된 관계 행렬[U1, U2, U3]T는 9개의 파라미터를 포함하고, 전환된 관계 행렬[V1, V2, V3]도 9개의 파라미터를 포함하며, 즉 관계 텐서를 관계 행렬로 전환한 후, 파라미터 수는 18(18=9+9)로 되며 관계 텐서가 포함하는 파라미터의 수 27보다 작고, 이에 따라 뉴럴 네트워크 중의 파라미터의 수를 감소시키는 목적에 달성한다.
본 실시예에서, 후보 뉴럴 네트워크는 관계 텐서를 전환된 타겟 개수의 관계 행렬의 곱으로 교체한 후의 타겟 뉴럴 네트워크이다.
단계(203)에서, 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성한다.
본 실시예에서, 단계(202)에서 획득한 후보 뉴럴 네트워크에 기반하여, 상기 수행 주체는 결과 뉴럴 네트워크를 생성할 수 있다. 여기서, 결과 뉴럴 네트워크는 조정 후의 뉴럴 네트워크이다.
구체적으로, 상기 수행 주체는 후보 뉴럴 네트워크를 직접 결과 뉴럴 네트워크로 결정할 수 있다. 또는, 후보 뉴럴 네트워크에 대해 계속하여 조정하여, 조정한 후의 후보 뉴럴 네트워크를 결과 뉴럴 네트워크로 결정할 수도 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 후보 뉴럴 네트워크를 이용하여, 상기 수행 주체는 하기와 같은 단계에 의해 결과 뉴럴 네트워크를 생성할 수 있다.
단계(2031)에서, 기설정된 연관 관계에 대해, 트레이닝 샘플 세트를 획득한다.
여기서, 트레이닝 샘플 세트는 포지티브 트레이닝 샘플 및 네거티브 트레이닝 샘플을 포함한다. 트레이닝 샘플은 2개의 샘플 엔티티 벡터를 포함한다. 샘플 엔티티 벡터는 샘플 엔티티를 나타내기 위한 것이다. 포지티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 기설정된 연관 관계이다. 네거티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 기설정된 연관 관계가 아니다. 예를 들어, 기설정된 연관 관계는 포함 관계이다. 포함 관계에 대하여, 포지티브 트레이닝 샘플은 샘플 엔티티 “중국” 및 샘플 엔티티 “베이징”에 대응되는 2개의 샘플 엔티티 벡터일 수 있다. 네거티브 트레이닝 샘플은 샘플 엔티티 “톈진” 및 샘플 엔티티 “베이징”에 대응되는 2개의 샘플 엔티티 벡터일 수 있다.
구체적으로, 상기 수행 주체는 다양한 방법을 이용하여 트레이닝 샘플 세트를 획득할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 상기 수행 주체는, 하기와 같은 단계에 의해 트레이닝 샘플 세트를 획득한다.
우선, 기설정된 연관 관계에 대하여, 상기 수행 주체는 포지티브 트레이닝 샘플 세트를 획득할 수 있다.
여기서, 다양한 방법을 이용하여 포지티브 트레이닝 샘플을 획득할 수 있으며, 예를 들어 미리 결정한 샘플 지식 그래프에서, 기설정된 연관 관계에 대응되는 2개의 엔티티를 검색하여 샘플 엔티티로 사용할 수 있다. 다음, 검색한 2개의 엔티티의 엔티티 벡터를 샘플 엔티티 벡터로 결정한다. 마지막에 결정한 2개의 샘플 엔티티 벡터로 포지티브 트레이닝 샘플을 구성한다.
다음, 포지티브 트레이닝 샘플 세트 중의 포지티브 트레이닝 샘플에 대하여, 상기 포지티브 트레이닝 샘플로부터 보류될 샘플 엔티티 벡터 및 교체될 샘플 엔티티 벡터를 결정하는 단계; 교체될 샘플 엔티티 벡터에 대해 교체용 샘플 엔티티 벡터를 획득하는 단계 - 교체용 샘플 엔티티 벡터에 대응되는 샘플 엔티티와 교체될 샘플 엔티티 벡터에 대응되는 샘플 엔티티는 상이함 - ; 교체용 샘플 엔티티 벡터 및 보류될 샘플 엔티티 벡터를 이용하여, 상기 포지티브 트레이닝 샘플에 대응되는 네거티브 트레이닝 샘플을 구성하는 단계를 수행한다.
마지막에, 포지티브 트레이닝 샘플 세트 및 구성된 네거티브 트레이닝 샘플을 이용하여 트레이닝 샘플 세트를 구성한다.
본 실시형태에서, 포지티브 트레이닝 샘플 중의 교체될 샘플 엔티티 벡터를 교체하여 네거티브 트레이닝 샘플을 획득함으로써, 트레이닝 샘플 세트의 획득 단계를 간소화할 수 있고, 따라서 결과 생성 네트워크의 생성 효율을 향상시키는데 유용하다.
단계(2032)에서, 트레이닝 샘플 세트로부터 트레이닝 샘플을 선택하고, 선택된 트레이닝 샘플을 이용하여 후보 뉴럴 네트워크를 트레이닝하는 단계; 후보 뉴럴 네트워크가 트레이닝이 완료되었는지 여부를 확정하는 단계; 및 트레이닝이 완료된 결정에 응답하여, 트레이닝이 완료된 후보 뉴럴 네트워크를 결과 뉴럴 네트워크로 결정하는 단계를 포함하는 트레이닝 단계를 수행한다.
구체적으로, 상기 수행 주체는 기계 학습 방법을 이용할 수 있고, 선택된 트레이닝 샘플을 이용하여 후보 뉴럴 네트워크를 트레이닝한다.
여기서, 후보 뉴럴 네트워크가 트레이닝이 완료되었는지 여부는, 미리 결정한 완료 조건에 의해 결정될 수 있다. 상기 완료 조건을 만족할 경우, 후보 뉴럴 네트워크의 트레이닝이 완료되었음을 결정할 수 있다. 여기서, 완료 조건은 트레이닝 시간이 기설정된 시간을 초과한 경우, 트레이닝 횟수가 기설정된 횟수를 초과한 경우, 손실 함수로 계산하여 얻은 손실값이 기설정된 손실 임계값보다 작은 경우 중 적어도 한 경우를 포함할 수 있으나 이에 한정되지 않는다.
본 실시형태에서, 후보 뉴럴 네트워크에 대해 트레이닝하여 결과 뉴럴 네트워크를 획득함으로써 획득한 결과 뉴럴 네트워크의 정밀도를 향상시킬 수 있으며, 결과 뉴럴 네트워크를 이용하여 예측하는 정확도를 향상시키는데 유용하다.
본 실시예의 일부 선택 가능한 실시형태에서, 상기 수행 주체는, 후보 뉴럴 네트워크가 트레이닝이 완료되지 않은 결정에 응답하여, 트레이닝 샘플 세트에 포함된 선택되지 못한 트레이닝 샘플로부터 트레이닝 샘플을 다시 선택하여, 후보 뉴럴 네트워크의 파라미터를 조정하고, 마지막으로 선택된 트레이닝 샘플 및 마지막으로 조정된 후보 뉴럴 네트워크를 사용하여 트레이닝 단계를 계속하여 수행할 수 있다.
구체적으로, 상기 수행 주체는 후보 뉴럴 네트워크가 트레이닝이 완료되지 않은 결정에 응답하고, 계산하여 얻은 차이에 기반하여, 후보 뉴럴 네트워크의 파라미터를 조정할 수 있다. 여기서, 계산하여 얻은 차이에 기반한 다양한 실시형태를 이용하여, 후보 뉴럴 네트워크의 파라미터를 조정할 수 있다. 예를 들어, 역전파(Back Propagation, BP) 알고리즘 또는 확률적 기울기 하강(Stochastic Gradient Descent, SGD) 알고리즘을 이용하여 후보 뉴럴 네트워크의 파라미터를 조정할 수 있다.
본 실시형태는 후보 뉴럴 네트워크에 대한 다수의 트레이닝을 구현할 수 있으며, 이에 따라 결과 뉴럴 네트워크의 정밀도를 보다 더 향상시킬 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 상기 수행 주체는 결과 뉴럴 네트워크를 저장할 수 있다. 여기서, 결과 뉴럴 네트워크가 타겟 뉴럴 네트워크에 비하여 포함된 파라미터의 수가 감소되여, 따라서 결과 뉴럴 네트워크를 저장할 경우, 뉴럴 네트워크가 차지하는 저장 공간을 감소시키고 저장 리소스를 절약할 수 있다.
계속하여 도 3을 참조하면, 도 3은 본 실시예에 따른 뉴럴 네트워크 생성 방법의 응용 상황의 일 모식도이다. 도 3의 응용 상황에 있어서, 서버(301)는 우선 타겟 뉴럴 네트워크(302)를 획득하되, 여기서 타겟 뉴럴 네트워크(302)는 기설정된 연관 관계(예를 들어, 부자 관계)에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크(302)는 기설정된 연관 관계애 대해 미리 결정한 관계 텐서(303)를 포함한다. 다음, 서버(301)는 타겟 뉴럴 네트워크(302) 중의 관계 텐서(303)를 관계 행렬(304)과 관계 행렬(305)의 곱으로 전환하여, 전환된 관계 행렬(304) 및 관계 행렬(305)을 포함하는 후보 뉴럴 네트워크(306)로 생성할 수 있다. 마지막에, 서버(301)는 후보 뉴럴 네트워크(306)를 이용하여 결과 뉴럴 네트워크(307)를 생성할 수 있다.
본 발명의 상기 실시예에 의해 제공된 뉴럴 네트워크 생성 방법에 있어서, 타겟 뉴럴 네트워크를 획득하되, 여기서 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함하고, 이후 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하며, 마지막에 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성함으로써, 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여 뉴럴 네트워크 중 파라미터의 개수를 감소시킬 수 있고, 따라서 뉴럴 네트워크의 복잡도를 감소시킬 수 있으며, 뉴럴 네트워크를 이용하여 정보 처리를 진행할 경우 CPU의 소모를 감소시키고 정보 처리의 효율을 향상시키는데 유용하다.
또한 도 4를 참조하면, 지식 그래프 업데이트 방법의 일 실시예의 흐름(400)을 나타낸다. 상기 지식 그래프 업데이트 방법의 흐름(400)은 하기와 같은 단계를 포함한다.
단계(401)에서, 2개의 연관될 엔티티 벡터 및 미리 생성된 결과 뉴럴 네트워크를 획득한다.
본 실시예에서, 지식 그래프 업데이트 방법의 수행 주체(예를 들어, 도 1에 도시된 단말기기)는 유선 연결 방식 또는 무선 연결 방식을 통하여 원격 또는 현지로부터 2개의 연관될 엔티티 벡터 및 미리 생성된 결과 뉴럴 네트워크를 획득할 수 있다. 여기서, 연관될 엔티티 벡터는 타겟 지식 그래프 중의 연관될 엔티티를 나타내기 위한 것이다. 구체적으로, 상기 수행 주체는 우선 타겟 지식 그래프로부터 2개의 연관될 엔티티를 추출한 다음, 추출한 2개의 연관될 엔티티의 연관될 엔티티 벡터를 결정할 수 있다. 연관될 엔티티에 대응되는 연관될 엔티티 벡터를 구체적으로 결정하는 방법은, 도 2에 설명한, 엔티티 벡터를 결정하기 위한 방법을 참조할 수 있다.
본 실시예에서, 결과 뉴럴 네트워크는, 상기 도 2에 대응되는 실시예에서 설명한 방법에 따라 생성된 것이며, 구체적으로 도 2에 대응되는 실시예에서 설명한 각 단계를 참조할 수 있다.
단계(402)에서, 획득한 2개의 연관될 엔티티 벡터를 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성한다.
본 실시예에서, 단계(401)에서 획득한 2개의 연관될 엔티티 벡터 및 결과 뉴럴 네트워크에 기반하여, 상기 수행 주체는 획득된 2개의 연관될 엔티티 벡터를 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성할 수 있다. 연관 결과는 문자, 디지털, 부호 중 적어도 하나를 포함할 수 있으나 이에 한정되지 않는다. 예를 들어, 연관 결과는 문자 “예” 및 문자 “아니오”를 포함할 수 있으며, 여기서 문자 “예”는 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 나타내기 위한 것일 수 있다. 문자 “아니오”는 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계가 아님을 나타내기 위한 것일 수 있다.
단계(403)에서, 연관 결과가 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여, 타겟 지식 그래프를 업데이트한다.
본 실시예에서, 연관 결과를 생성한 후, 상기 수행 주체는, 연관 결과가 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여, 타겟 지식 그래프를 업데이트할 수 있다.
구체적으로, 상기 수행 주체는, 관련 정보를 연관될 엔티티 사이에 추가하여, 2개의 연관될 엔티티의 연관 관계의 콘텐츠를 나타낼 수 있다.
특히, 타겟 지식 그래프를 업데이트할 경우, 타겟 지식 그래프 중의 2개의 연관될 엔티티 사이에 2개의 연관될 엔티티의 연관 관계의 콘텐츠를 나타내기 위한 초기 관련 정보가 포함되면, 상기 수행 주체는, 기설정된 연관 관계에 대응되는 관련 정보로 초기 관련 정보를 교체하여, 타겟 지식 그래프에 대한 업데이트를 구현할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 타겟 지식 그래프를 업데이트한 후, 상기 수행 주체는 업데이트된 타겟 지식 그래프를 디스플레이할 수 있다. 이에 따라 업데이트된 타겟 지식 그래프를 직관적으로 나타낼 수 있다.
본 발명의 상기 실시예에 의해 제공된 뉴럴 네트워크 생성 방법은, 도 2에 대응되는 실시예에서 설명한 방법으로 생성한 결과 뉴럴 네트워크를 이용하여 타겟 지식 그래프에 대해 업데이트할 수 있으며, 결과 생성 네트워크가 선행 기술에서의 지식 그래프를 업데이트하기 위한 텐서 뉴럴 네트워크에 비해, 보다 적은 파라미터를 포함하므로, 결과 생성 네트워크를 이용하여 계산의 복잡도를 감소시킬 수 있고, 따라서 CPU의 소모를 감소시키며 지식 그래프의 업데이트 효율을 향상시킨다.
또한, 도 5를 참조하면, 상기 도 2에 도시된 방법에 대한 구현으로서, 본 발명은 뉴럴 네트워크 생성 장치의 일 실시예를 제공하며, 상기 장치 실시예는 도 2에 도시된 방법의 실시예에 대응되고, 상기 장치는 구체적으로 다양한 전자기기에 응용될 수 있다.
도 5에 도시된 바와 같이, 본 실시예에 따른 뉴럴 네트워크 생성 장치(500)는 제1 획득 유닛(501), 텐서 전환 유닛(502) 및 네트워크 생성 유닛(503)을 포함한다. 여기서, 제1 획득 유닛(501)은 타겟 뉴럴 네트워크를 획득하도록 구성되고, 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 상기 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함한다. 텐서 전환 유닛(502)은 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하도록 구성된다. 네트워크 생성 유닛(503)은 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하도록 구성된다.
본 실시예에서, 뉴럴 네트워크 생성 장치의 제1 획득 유닛(501)은 유선 연결 방식 또는 무선 연결 방식을 통하여 원격 또는 현지로부터 타겟 뉴럴 네트워크를 획득할 수 있다. 여기서, 타겟 뉴럴 네트워크는 조정될 뉴럴 네트워크이다. 구체적으로, 타겟 뉴럴 네트워크는 트레이닝을 거치지 않은 뉴럴 네트워크일 수 있고, 트레이닝이 완료된 뉴럴 네트워크일 수도 있다. 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되며, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이다.
기설정된 연관 관계는 기술자가 미리 결정한 부자 관계, 포함 관계 등과 같은 다양한 연관 관계일 수 있다. 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함한다. 관계 텐서는 기설정된 연관 관계의 특징을 나타내기 위한 것일 수 있다.
본 실시예에서, 제1 획득 유닛(501)에 의해 획득한 타겟 뉴럴 네트워크에 기반하여, 텐서 전환 유닛(502)은 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성할 수 있다. 여기서, 관계 행렬은 기설정된 전환 방법을 이용하여 관계 텐서에 대해 전환한 후 획득한 행렬이다. 타겟수는 기설정된 전환 방법에 기반하여 결정한 수이다.
본 실시예에서, 후보 뉴럴 네트워크는 관계 텐서를 전환된 타겟 개수의 관계 행렬의 곱으로 교체한 후의 타겟 뉴럴 네트워크이다.
본 실시예에서, 텐서 전환 유닛(502)에 의해 획득한 후보 뉴럴 네트워크에 기반하여, 네트워크 생성 유닛(503)은 결과 뉴럴 네트워크를 생성할 수 있다. 여기서, 결과 뉴럴 네트워크는 조정 후의 뉴럴 네트워크이다.
본 실시예의 일부 선택 가능한 실시형태에서, 네트워크 생성 유닛(503)은, 기설정된 연관 관계에 대해 트레이닝 샘플 세트를 획득하도록 구성된 샘플 획득 모듈(미도시) - 트레이닝 샘플 세트는 포지티브 트레이닝 샘플 및 네거티브 트레이닝 샘플을 포함하고, 트레이닝 샘플은 2개의 샘플 엔티티 벡터를 포함하며, 샘플 엔티티 벡터는 샘플 엔티티를 나타내기 위한 것이고, 포지티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 기설정된 연관 관계이며, 네거티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 기설정된 연관 관계가 아님 - ; 및 트레이닝 샘플 세트로부터 트레이닝 샘플을 선택하고, 선택된 트레이닝 샘플을 이용하여 후보 뉴럴 네트워크를 트레이닝하는 단계; 후보 뉴럴 네트워크가 트레이닝이 완료되었는지 여부를 확정하는 단계; 및 트레이닝이 완료된 결정에 응답하여, 트레이닝이 완료된 후보 뉴럴 네트워크를 결과 뉴럴 네트워크로 결정하는 단계를 포함하는 트레이닝 단계를 수행하도록 구성된 제1 트레이닝 모듈(미도시)을 포함할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 네트워크 생성 유닛(503)은, 트레이닝이 완료되지 않은 결정에 응답하여, 트레이닝 샘플 세트에 포함된 선택되지 못한 트레이닝 샘플로부터 트레이닝 샘플을 다시 선택하여, 후보 뉴럴 네트워크의 파라미터를 조정하고, 마지막으로 선택된 트레이닝 샘플 및 마지막으로 조정된 후보 뉴럴 네트워크를 사용하여 트레이닝 단계를 계속하여 수행하도록 구성된 제2 트레이닝 모듈(미도시)을 더 포함할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 샘플 획득 모듈은 또한, 기설정된 연관 관계에 대해 포지티브 트레이닝 샘플 세트를 획득하도록 구성될 수 있고; 포지티브 트레이닝 샘플 세트 중의 포지티브 트레이닝 샘플에 대해, 포지티브 트레이닝 샘플로부터 보류될 샘플 엔티티 벡터 및 교체될 샘플 엔티티 벡터를 결정하도록 구성될 수 있으며; 교체될 샘플 엔티티 벡터에 대해, 교체용 샘플 엔티티 벡터를 획득하도록 구성되되, 여기서 교체용 샘플 엔티티 벡터에 대응되는 샘플 엔티티와 교체될 샘플 엔티티 벡터에 대응되는 샘플 엔티티는 상이하고; 교체용 샘플 엔티티 벡터 및 보류될 샘플 엔티티 벡터를 이용하여, 상기 포지티브 트레이닝 샘플에 대응되는 네거티브 트레이닝 샘플을 구성하도록 구성될 수 있으며; 및 포지티브 트레이닝 샘플 세트 및 구성된 네거티브 트레이닝 샘플을 이용하여 트레이닝 샘플 세트를 구성하도록 구성될 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 뉴럴 네트워크 생성 장치(500)는 결과 뉴럴 네트워크를 저장하도록 구성된 네트워크 저장 유닛(미도시)을 더 포함할 수 있다.
이해할 수 있는 것은, 상기 뉴럴 네트워크 생성 장치(500)에 기재된 여러 유닛은, 도 2를 참조하여 설명된 방법 중의 각각의 단계와 서로 대응된다. 이로부터, 상술한 방법에 대해 설명된 동작, 특징 및 생성된 유익한 효과는 마찬가지로 뉴럴 네트워크 생성 장치(500) 및 그에 포함된 유닛에 적용되며, 여기서 더이상 설명하지 않는다.
본 발명의 상기 실시예에 의해 제공된 뉴럴 네트워크 생성 장치(500)에 있어서, 타겟 뉴럴 네트워크를 획득하도록 구성되되, 여기서 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함하고, 이후 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하며, 마지막에 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성함으로써, 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여 뉴럴 네트워크 중 파라미터의 개수를 감소시킬 수 있고, 따라서 뉴럴 네트워크의 복잡도를 감소시킬 수 있으며, 뉴럴 네트워크를 이용하여 정보 처리를 진행할 경우 CPU의 소모를 감소시키고 정보 처리의 효율을 향상시키는데 유용하다.
또한 도 6을 참조하면, 상기 도 4에 도시된 방법에 대한 구현으로서, 본 발명은 지식 그래프 업데이트 장치의 일 실시예를 제공하며, 상기 실시예는 도 4에 도시된 방법의 실시예에 대응되고, 상기 장치는 구체적으로 다양한 전자기기에 응용될 수 있다.
도 6에 도시된 바와 같이, 본 실시예의 지식 그래프 업데이트 장치(600)는 제2 획득 유닛(601), 결과 생성 유닛(602) 및 그래프 업데이트 유닛(603)을 포함한다. 여기서, 제2 획득 유닛(601)은, 2개의 연관될 엔티티 벡터 및 미리 생성된 결과 뉴럴 네트워크를 획득하도록 구성되되, 여기서 연관될 엔티티 벡터는 타겟 지식 그래프 중의 연관될 엔티티를 나타내기 위한 것이고, 결과 뉴럴 네트워크는 도 2에 대응되는 실시예에서 설명한 방법을 이용하여 생성된 것이다. 결과 생성 유닛(602)은, 획득된 2개의 연관될 엔티티 벡터를 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성하도록 구성된다. 그래프 업데이트 유닛(603)은, 연관 결과가 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여, 타겟 지식 그래프를 업데이트하도록 구성된다.
본 실시예에서, 지식 그래프 업데이트 장치(600)의 제2 획득 유닛(601)은, 유선 연결 방식 또는 무선 연결 방식을 통하여 원격 또는 현지로부터 2개의 연관될 엔티티 벡터 및 미리 생성한 결과 뉴럴 네트워크를 획득할 수 있다. 여기서, 연관될 엔티티 벡터는 타겟 지식 그래프 중의 연관될 엔티티를 나타내기 위한 것이다.
본 실시예에서, 결과 뉴럴 네트워크는 상기 도 2에 대응되는 실시예에서 설명한 방법에 따라 생성된 것이며, 구체적으로 도 2에 대응되는 실시예에서 설명한 각 단계를 참조할 수 있다.
본 실시예에서, 제2 획득 유닛(601)에 의해 획득한 2개의 연관될 엔티티 벡터 및 결과 뉴럴 네트워크에 기반하여, 결과 생성 유닛(602)은 획득된 2개의 연관될 엔티티 벡터를 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성할 수 있다. 연관 결과는 문자, 디지털, 부호 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다.
본 실시예에서, 그래프 업데이트 유닛(603)은, 연관 결과가 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여 타겟 지식 그래프를 업데이트할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 지식 그래프 업데이트 장치(600)는, 업데이트된 타겟 지식 그래프를 디스플레이하도록 구성된 그래프 디스플레이 유닛(미도시)을 더 포함할 수 있다.
이해할 수 있는 것은, 상기 지식 그래프 업데이트 장치(600)에 기재된 여러 유닛은 도 4를 참조하여 설명된 방법 중의 각각의 단계와 서로 대응된다. 이로부터, 상술한 방법에 대해 설명된 동작, 특징 및 생성된 유익한 효과는 마찬가지로 지식 그래프 업데이트 장치(600) 및 그에 포함된 유닛에 적용되며, 여기서 더이상 설명하지 않는다.
본 발명의 상기 실시예에 의해 제공된 지식 그래프 업데이트 장치(600)는, 도 2에 대응되는 실시예에서 설명한 방법으로 생성한 결과 뉴럴 네트워크를 이용하여 타겟 지식 그래프에 대해 업데이트할 수 있으며, 결과 생성 네트워크가 선행 기술에서의 지식 그래프를 업데이트하기 위한 텐서 뉴럴 네트워크에 비해, 보다 적은 파라미터를 포함하므로, 결과 생성 네트워크를 이용하여 계산의 복잡도를 감소시킬 수 있고, 따라서 CPU의 소모를 감소시키며 지식 그래프의 업데이트 효율을 향상시킨다.
아래에서 도 7을 참조하면, 본 발명의 실시예의 전자기기(예를 들어, 도 1 중의 단말기기 또는 서버)(700)를 구현하기 위해 적용되는 구조 모식도이다.
본 발명의 실시예의 단말기기는 휴대 전화, 노트북 컴퓨터, 디지털 방송 수신기, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA), 태블릿 PC(PAD), 휴대용 멀티미디어 플레이어(Portable Multimedia Player, PMP), 차량용 단말기(예를 들어, 차량용 네비게이션 단말기) 등과 같은 이동 단말기 및 디지털 TV, 데스크톱 컴퓨터 등과 같은 고정 단말기를 포함할 수 있지만 이에 한정되지 않는다. 도 7에 도시된 전자기기는 단지 하나의 예일 뿐, 본 발명의 실시예의 기능 및 사용 범위에 대해 어떠한 한정도 해서는 안된다.
도 7에 도시된 바와 같이, 전자기기(700)는 판독 전용 메모리(ROM)(702)에 저장된 프로그램 또는 저장 장치(708)로부터 랜덤 액세스 메모리(RAM)(703)로 로딩된 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있는 처리 장치(예를 들어, 중앙 처리 장치, 그래픽 처리 장치 등)(701)를 포함할 수 있다. RAM(703)에는 또한 전자기기(700)의 조작에 필요한 다양한 프로그램 및 데이터가 저장된다. 처리 장치(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(705) 역시 버스(704)에 연결된다.
일반적으로, 예를 들어 터치 스크린, 터치 패드, 키보드, 마우스, 카메라, 마이크, 가속도계, 자이로스코프 등을 포함하는 입력 장치(706); 예를 들어 액정 디스플레이(LCD), 스피커, 진동기 등을 포함하는 출력 장치(707); 예를 들어 자기 테이프, 하드 디스크 등을 포함하는 저장 장치(708); 및 통신 장치(709)는 I/O 인터페이스(705)에 연결될 수 있다. 통신 장치(709)는 전자기기(700)가 무선 또는 유선으로 다른 기기와 통신하여 데이터를 교환하도록 허용할 수 있다. 비록 도 7에서 다양한 장치를 갖는 전자기기(700)를 나타냈지만, 모든 도시된 장치를 실시하거나 구비할 필요는 없음을 이해해야 한다. 보다 많거나 보다 적은 장치를 대안적으로 실시하거나 구비할 수 있다.
특히, 본 발명의 실시예에 따르면, 상기에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 발명의 실시예는 컴퓨터 판독 가능 매체에 베어링된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 실시 예에서, 상기 컴퓨터 프로그램은 통신 장치(709)를 통해 네트워크로부터 다운로드 및 설치될 수 있거나 및/또는 저장 장치(708)로부터 설치될 수 있거나 ROM(702)으로부터 설치될 수 있다. 상기 컴퓨터 프로그램이 처리 장치(701)에 의해 실행될 때, 본 발명의 실시예의 방법에 한정된 상기 기능들이 수행된다.
설명해야 할 것은, 본 발명에 기재된 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 매체 또는 이 양자의 임의의 조합일 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 소자, 또는 이들의 임의의 조합일 수 있지만, 이에 한정되지는 않는다. 컴퓨터 판독 가능 매체의 보다 구체적인 예는 하나 또는 복수의 와이어를 갖는 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 판독 전용 메모리(PROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적절한 조합을 포함할 수 있지만, 이에 한정되지는 않는다. 본 발명에서, 컴퓨터 판독 가능 매체는 명령 실행 시스템, 장치 또는 소자 또는 이들과 결합되어 사용될 수 있는 프로그램을 포함하거나 저장할 수 있는 임의의 타입의 매체일 수 있다. 본 발명에서, 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 프로그램 코드를 베어링하는 베이스 밴드 또는 캐리어의 일부로 전파되는 데이터 신호를 포함할 수 있다. 이러한 전파된 데이터 신호는 전자기 신호, 광학 신호, 또는 상기 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 다양한 형태를 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 또한 명령 실행 시스템, 장치 또는 소자에 사용되거나 이와 결합하여 사용하기 위한 프로그램을 전송, 전파 또는 수송할 수있는 컴퓨터 판독 가능 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 전기선, 광섬유 케이블, 무선주파수(RF) 등, 또는 상기의 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 임의의 적절한 매체에 의해 전송될 수 있다.
상기 컴퓨터 판독 가능 매체는 상기 전자기기에 포함된 것일 수 있고, 독립적으로 존재하여 상기 전자기기에 조립되지 않은 것일 수도 있다. 상기 컴퓨터 판독 가능 매체는 하나 또는 복수의 프로그램을 베어링하며, 상기 하나 또는 복수의 프로그램이 상기 전자기기에 의해 실행될 경우, 상기 전자기기가 타겟 뉴럴 네트워크를 획득하도록 하되, 여기서, 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함하며; 타겟 뉴럴 네트워크 중의 관계 텐서를 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하도록 하고; 또한 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하도록 한다.
이밖에, 상기 하나 또는 복수의 프로그램이 상기 전자기기에 의해 실행될 경우, 상기 전자기기가 2개의 연관될 엔티티 벡터 및 미리 생성한 결과 뉴럴 네트워크를 획득하도록 하되, 여기서 연관될 엔티티 벡터는 타겟 지식 그래프 중의 연관될 엔티티를 나타내기 위한 것이고, 결과 뉴럴 네트워크는 도 2에 대응되는 실시예 중 어느 일 실시예에 따른 방법을 이용하여 생성된 것이며; 획득된 2개의 연관될 엔티티 벡터를 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성하도록 하고; 연관 결과가 2개의 연관될 엔티티의 연관 관계가 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여 타겟 지식 그래프를 업데이트하도록 할 수 있다.
본 발명의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 하나 또는 하나 이상의 프로그래밍 언어, 또는 그들의 조합으로 작성될 수 있고 상기 프로그래밍 언어는 Java, Smalltalk, C++를 비롯한 객체 지향 프로그래밍 언어와 "C" 언어 또는 유사한 프로그래밍 언어를 비롯한 기존 절차적 프로그래밍 언어를 포함한다. 프로그램 코드는 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우 원격 컴퓨터는 구내 정보 통신망(LAN) 또는 광역 통신망(WAN)을 포함한 모든 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결).
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 또는 하나 이상의 실행 가능한 명령을 포함하는 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 마크업된 기능은 또한 도면에 도시된 것과 다른 순서로 발생할 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬로 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령어를 조합하여 구현할 수도 있음에 유의해야 한다.
도면 중 흐름도 및 블록도는 본 출원의 각 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품에 따라 구현 가능한 아키텍처, 기능 및 작동을 도시한다. 이 점에 있어서, 흐름도 또는 블록도 중 각 블록은 하나의 모듈, 프로그램대 또는 코드의 일부를 대표할 수 있으며, 상기 모듈, 프로그램대 또는 코드의 일부는 하나 또는 복수의 일정한 로직 기능을 구현하기 위한 실행 가능한 명령을 포함한다. 주의해야 할 점은, 일부 교체용 구현에 있어서, 블록에 표시된 기능도 도면에 표시된 순서와 달리 발생할 수 있다. 예를 들어, 2개의 연속적으로 표시되는 블록은 실질적으로 병렬로 수행될 수 있고 역순서에 따라 실행될 수도 있으며 이는 관련된 기능에 따라 정해진다. 또한 주의해야 할 점은, 블록도 및/또는 흐름도 중 각 블록 및 블록도 및/또는 흐름도 중 블록의 조합은 일정한 기능 또는 작동을 수행하기 위한 전용 하드웨어 기반 시스템에 의해 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령의 조합에 의해 구현될 수 있다.
본 발명의 실시예들에 설명된 유닛들은 소프트웨어 또는 하드웨어에 의해 구현될 수 있다. 여기서 이들 유닛의 명칭은 경우에 따라서는 유닛 자체로 한정되지 않으며, 예를 들어, 제1 획득 유닛은 “타겟 뉴럴 네트워크를 획득하는 유닛”으로 기술될 수도 있다.
상기 설명은 본 발명의 비교적 바람직한 실시예 및 적용된 기술의 원리에 대한 설명일 뿐이다. 본 발명이 속하는 기술분야의 통상의 기술자들은 본 발명에 언급된 본 발명의 범위는 상기 기술적 특징의 특정 조합에 따른 기술적 해결수단에 한정되지 않으며, 동시에 본 발명의 사상을 벗어나지 않으면서 상기 기술적 특징 또는 그 균등한 특징에 대해 임의로 조합하여 형성된 다른 기술적 해결수단, 예를 들어, 상기 특징과 본 발명에 공개된(단 이에 한정되지 않음) 유사한 기능을 구비하는 기술적 특징을 서로 교체하여 형성된 기술적 해결수단을 포함함을 이해하여야 한다.

Claims (16)

  1. 컴퓨터에 의해 실현되는 뉴럴 네트워크 생성 장치에 의해 실행되는 뉴럴 네트워크 생성 방법에 있어서,
    제1 획득 유닛이 타겟 뉴럴 네트워크를 획득하는 단계 - 상기 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 상기 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 상기 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함함 - ;
    텐서 전환 유닛이 상기 타겟 뉴럴 네트워크 중의 관계 텐서를 기설정된 전환 방법을 이용하여 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하는 단계 - 상기 타겟 개수는 기설정된 전환 방법에 기반하여 결정한 개수임; 및
    네트워크 생성 유닛이 상기 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하는 단계
    를 포함하고,
    상기 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하는 단계는,
    상기 기설정된 연관 관계에 대해 트레이닝 샘플 세트를 획득하는 단계 - 트레이닝 샘플 세트는 포지티브 트레이닝 샘플 및 네거티브 트레이닝 샘플을 포함하고, 트레이닝 샘플은 2개의 샘플 엔티티 벡터를 포함하며, 샘플 엔티티 벡터는 샘플 엔티티를 나타내기 위한 것이고, 포지티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 상기 기설정된 연관 관계이며, 네거티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 상기 기설정된 연관 관계가 아님 - ; 및
    상기 트레이닝 샘플 세트로부터 트레이닝 샘플을 선택하고, 선택된 트레이닝 샘플을 이용하여 후보 뉴럴 네트워크를 트레이닝하는 단계; 후보 뉴럴 네트워크가 트레이닝이 완료되었는지 여부를 확정하는 단계; 및 트레이닝이 완료된 결정에 응답하여, 트레이닝이 완료된 후보 뉴럴 네트워크를 결과 뉴럴 네트워크로 결정하는 단계를 포함하는 트레이닝 단계를 수행하는 단계
    를 포함하는 뉴럴 네트워크 생성 방법.
  2. 제1항에 있어서,
    상기 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하는 단계는,
    트레이닝이 완료되지 않은 결정에 응답하여, 상기 트레이닝 샘플 세트에 포함된 선택되지 못한 트레이닝 샘플로부터 트레이닝 샘플을 다시 선택하여, 후보 뉴럴 네트워크의 파라미터를 조정하고, 마지막으로 선택된 트레이닝 샘플 및 마지막으로 조정된 후보 뉴럴 네트워크를 사용하여 상기 트레이닝 단계를 계속하여 수행하는 단계
    를 더 포함하는 뉴럴 네트워크 생성 방법.
  3. 제1항에 있어서,
    상기 기설정된 연관 관계에 대해 트레이닝 샘플 세트를 획득하는 단계는,
    상기 기설정된 연관 관계에 대해 포지티브 트레이닝 샘플 세트를 획득하는 단계;
    상기 포지티브 트레이닝 샘플 세트 중의 포지티브 트레이닝 샘플에 대해, 상기 포지티브 트레이닝 샘플로부터 보류될 샘플 엔티티 벡터 및 교체될 샘플 엔티티 벡터를 결정하는 단계;
    교체될 샘플 엔티티 벡터에 대해, 교체용 샘플 엔티티 벡터를 획득하는 단계 - 교체용 샘플 엔티티 벡터에 대응되는 샘플 엔티티와 교체될 샘플 엔티티 벡터에 대응되는 샘플 엔티티는 상이함 - ;
    교체용 샘플 엔티티 벡터 및 보류될 샘플 엔티티 벡터를 이용하여, 상기 포지티브 트레이닝 샘플에 대응되는 네거티브 트레이닝 샘플을 구성하는 단계; 및
    상기 포지티브 트레이닝 샘플 세트 및 구성된 네거티브 트레이닝 샘플을 이용하여 트레이닝 샘플 세트를 구성하는 단계
    를 포함하는 뉴럴 네트워크 생성 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 뉴럴 네트워크 생성 방법은, 상기 결과 뉴럴 네트워크를 저장하는 단계를 더 포함하는 뉴럴 네트워크 생성 방법.
  5. 컴퓨터에 의해 실현되는 지식 그래프 업데이트 장치에 의해 실행되는 지식 그래프 업데이트 방법에 있어서,
    제2 획득 유닛이 2개의 연관될 엔티티 벡터 및 미리 생성된 결과 뉴럴 네트워크를 획득하는 단계 - 연관될 엔티티 벡터는 타겟 지식 그래프 중의 연관될 엔티티를 나타내기 위한 것이고, 상기 결과 뉴럴 네트워크는 제1항 내지 제3항 중 어느 한 항에 따른 뉴럴 네트워크 생성 방법을 이용하여 생성된 것임 - ;
    결과 생성 유닛이 획득된 2개의 연관될 엔티티 벡터를 상기 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 상기 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성하는 단계; 및
    그래프 업데이트 유닛이 상기 연관 결과가 2개의 연관될 엔티티의 연관 관계가 상기 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 상기 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여, 상기 타겟 지식 그래프를 업데이트하는 단계
    를 포함하는 지식 그래프 업데이트 방법.
  6. 제5항에 있어서,
    상기 지식 그래프 업데이트 방법은,
    업데이트된 타겟 지식 그래프를 디스플레이하는 단계를 더 포함하는 지식 그래프 업데이트 방법.
  7. 뉴럴 네트워크 생성 장치에 있어서,
    타겟 뉴럴 네트워크를 획득하도록 구성된 제1 획득 유닛 - 상기 타겟 뉴럴 네트워크는 기설정된 연관 관계에 대응되고, 타겟 지식 그래프 중의 2개의 엔티티에 대응되는 2개의 엔티티 벡터를 입력하여, 입력된 2개의 엔티티 벡터에 대응되는 2개의 엔티티의 연관 관계가 상기 기설정된 연관 관계인지 여부를 확정하기 위한 것이며, 타겟 뉴럴 네트워크는 상기 기설정된 연관 관계에 대해 미리 결정한 관계 텐서를 포함함 - ;
    상기 타겟 뉴럴 네트워크 중의 관계 텐서를 기설정된 전환 방법을 이용하여 타겟 개수의 관계 행렬의 곱으로 전환하여, 전환된 타겟 개수의 관계 행렬을 포함하는 후보 뉴럴 네트워크를 생성하도록 구성된 텐서 전환 유닛 - 상기 타겟 개수는 기설정된 전환 방법에 기반하여 결정한 개수임; 및
    상기 후보 뉴럴 네트워크를 이용하여 결과 뉴럴 네트워크를 생성하도록 구성된 네트워크 생성 유닛
    을 포함하고,
    상기 네트워크 생성 유닛은,
    상기 기설정된 연관 관계에 대해 트레이닝 샘플 세트를 획득하도록 구성된 샘플 획득 모듈 - 트레이닝 샘플 세트는 포지티브 트레이닝 샘플 및 네거티브 트레이닝 샘플을 포함하고, 트레이닝 샘플은 2개의 샘플 엔티티 벡터를 포함하며, 샘플 엔티티 벡터는 샘플 엔티티를 나타내기 위한 것이고, 포지티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 상기 기설정된 연관 관계이며, 네거티브 트레이닝 샘플에 대응되는 2개의 엔티티의 연관 관계는 상기 기설정된 연관 관계가 아님 - ; 및
    상기 트레이닝 샘플 세트로부터 트레이닝 샘플을 선택하고, 선택된 트레이닝 샘플을 이용하여 후보 뉴럴 네트워크를 트레이닝하는 단계; 후보 뉴럴 네트워크가 트레이닝이 완료되었는지 여부를 확정하는 단계; 및 트레이닝이 완료된 결정에 응답하여, 트레이닝이 완료된 후보 뉴럴 네트워크를 결과 뉴럴 네트워크로 결정하는 단계를 포함하는 트레이닝 단계를 수행하도록 구성된 제1 트레이닝 모듈
    을 포함하는 뉴럴 네트워크 생성 장치.
  8. 제7항에 있어서,
    상기 네트워크 생성 유닛은,
    트레이닝이 완료되지 않은 결정에 응답하여, 상기 트레이닝 샘플 세트에 포함된 선택되지 못한 트레이닝 샘플로부터 트레이닝 샘플을 다시 선택하여, 후보 뉴럴 네트워크의 파라미터를 조정하고, 마지막으로 선택된 트레이닝 샘플 및 마지막으로 조정된 후보 뉴럴 네트워크를 사용하여, 상기 트레이닝 단계를 계속하여 수행하도록 구성된 제2 트레이닝 모듈을 더 포함하는 뉴럴 네트워크 생성 장치.
  9. 제7항에 있어서,
    상기 샘플 획득 모듈은 또한,
    상기 기설정된 연관 관계에 대해 포지티브 트레이닝 샘플 세트를 획득하도록 구성되고;
    상기 포지티브 트레이닝 샘플 세트 중의 포지티브 트레이닝 샘플에 대해, 상기 포지티브 트레이닝 샘플로부터 보류될 샘플 엔티티 벡터 및 교체될 샘플 엔티티 벡터를 결정하도록 구성되며;
    교체될 샘플 엔티티 벡터에 대해, 교체용 샘플 엔티티 벡터를 획득하도록 구성되되, 교체용 샘플 엔티티 벡터에 대응되는 샘플 엔티티와 교체될 샘플 엔티티 벡터에 대응되는 샘플 엔티티는 상이하고;
    교체용 샘플 엔티티 벡터 및 보류될 샘플 엔티티 벡터를 이용하여, 상기 포지티브 트레이닝 샘플에 대응되는 네거티브 트레이닝 샘플을 구성하도록 구성되며;
    상기 포지티브 트레이닝 샘플 세트 및 구성된 네거티브 트레이닝 샘플을 이용하여 트레이닝 샘플 세트를 구성하도록 구성된 뉴럴 네트워크 생성 장치.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 뉴럴 네트워크 생성 장치는,
    상기 결과 뉴럴 네트워크를 저장하도록 구성된 네트워크 저장 모듈을 더 포함하는 뉴럴 네트워크 생성 장치.
  11. 지식 그래프 업데이트 장치에 있어서,
    2개의 연관될 엔티티 벡터 및 미리 생성된 결과 뉴럴 네트워크를 획득하도록 구성된 제2 획득 유닛 - 연관될 엔티티 벡터는 타겟 지식 그래프 중의 연관될 엔티티를 나타내기 위한 것이고, 상기 결과 뉴럴 네트워크는 제1항 내지 제3항 중 어느 한 항에 따른 뉴럴 네트워크 생성 방법을 이용하여 생성된 것임 - ;
    획득된 2개의 연관될 엔티티 벡터를 상기 결과 뉴럴 네트워크에 입력하여, 2개의 연관될 엔티티의 연관 관계가 상기 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계인지 여부를 나타내기 위한 연관 결과를 생성하도록 구성된 결과 생성 유닛; 및
    상기 연관 결과가 2개의 연관될 엔티티의 연관 관계가 상기 결과 뉴럴 네트워크에 대응되는 기설정된 연관 관계임을 표시하는 결정에 응답하여, 상기 기설정된 연관 관계에 대해 미리 설정한, 지식 그래프 중에 추가하기 위한 관련 정보를 이용하여, 상기 타겟 지식 그래프를 업데이트하도록 구성된 그래프 업데이트 유닛
    을 포함하는 지식 그래프 업데이트 장치.
  12. 제11항에 있어서,
    상기 지식 그래프 업데이트 장치는,
    업데이트된 타겟 지식 그래프를 디스플레이하도록 구성된 그래프 디스플레이 유닛을 더 포함하는 지식 그래프 업데이트 장치.
  13. 전자기기에 있어서,
    하나 또는 복수의 프로세서; 및
    하나 또는 복수의 프로그램이 저장된 저장 장치를 포함하고,
    상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수의 프로세서가 제1항 내지 제3항 중 어느 한 항에 따른 뉴럴 네트워크 생성 방법을 구현하도록 하는 전자기기.
  14. 컴퓨터 판독 가능 매체에 있어서,
    컴퓨터 프로그램이 저장되고, 상기 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제3항 중 어느 한 항에 따른 뉴럴 네트워크 생성 방법을 구현하도록 하는 컴퓨터 판독 가능 매체.
  15. 삭제
  16. 삭제
KR1020190137976A 2019-03-12 2019-10-31 뉴럴 네트워크 생성 방법 및 장치 KR102342604B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910184509.9 2019-03-12
CN201910184509.9A CN109902186B (zh) 2019-03-12 2019-03-12 用于生成神经网络的方法和装置

Publications (2)

Publication Number Publication Date
KR20200109230A KR20200109230A (ko) 2020-09-22
KR102342604B1 true KR102342604B1 (ko) 2021-12-24

Family

ID=66947083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137976A KR102342604B1 (ko) 2019-03-12 2019-10-31 뉴럴 네트워크 생성 방법 및 장치

Country Status (5)

Country Link
US (1) US11620532B2 (ko)
EP (1) EP3709223A1 (ko)
JP (1) JP7009433B2 (ko)
KR (1) KR102342604B1 (ko)
CN (1) CN109902186B (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
CN108229647A (zh) 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11455467B2 (en) * 2020-01-30 2022-09-27 Tencent America LLC Relation extraction using full dependency forests
CN113873539A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 获取神经网络的方法和装置
CN111737546B (zh) * 2020-07-24 2020-12-01 支付宝(杭州)信息技术有限公司 确定实体业务属性的方法及装置
US11954611B2 (en) * 2020-08-27 2024-04-09 International Business Machines Corporation Tensor comparison across a distributed machine learning environment
CN112202510B (zh) * 2020-09-27 2022-09-16 广州大学 基于正则化流神经网络的信号检测方法
JP7497664B2 (ja) 2020-10-09 2024-06-11 富士通株式会社 機械学習プログラム、機械学習装置、及び、機械学習方法
CN112069249A (zh) * 2020-10-14 2020-12-11 中国平安人寿保险股份有限公司 知识图谱关系挖掘方法、装置、计算机设备及存储介质
CN112270179B (zh) * 2020-10-15 2021-11-09 和美（深圳）信息技术股份有限公司 一种实体识别方法、装置及电子设备
CN113220895B (zh) * 2021-04-23 2024-02-02 北京大数医达科技有限公司 基于强化学习的信息处理方法、装置、终端设备
CN113220866B (zh) * 2021-04-28 2023-01-06 西安电子科技大学 基于用户社交网络和产品相似度的推荐方法
JP2023068865A (ja) 2021-11-04 2023-05-18 富士通株式会社 機械学習プログラム、機械学習方法及び機械学習装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107662617A (zh) * 2017-09-25 2018-02-06 重庆邮电大学 基于深度学习的车载交互控制算法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127297B (zh) * 2016-06-02 2019-07-12 中国科学院自动化研究所 基于张量分解的深度卷积神经网络的加速与压缩方法
CN106295796B (zh) * 2016-07-22 2018-12-25 浙江大学 基于深度学习的实体链接方法
CN106776711B (zh) * 2016-11-14 2020-04-07 浙江大学 一种基于深度学习的中文医学知识图谱构建方法
CN106855853A (zh) * 2016-12-28 2017-06-16 成都数联铭品科技有限公司 基于深度神经网络的实体关系抽取系统
US10878309B2 (en) * 2017-01-03 2020-12-29 International Business Machines Corporation Determining context-aware distances using deep neural networks
JP6663881B2 (ja) 2017-04-13 2020-03-13 日本電信電話株式会社 並列句解析装置、並列句解析モデル学習装置、方法、及びプログラム
KR101983455B1 (ko) * 2017-09-21 2019-05-28 숭실대학교산학협력단 지식베이스 구축 방법 및 그 서버
CN107729497B (zh) * 2017-10-20 2020-08-14 同济大学 一种基于知识图谱的词嵌入深度学习方法
CN107944559B (zh) * 2017-11-24 2021-04-27 国家计算机网络与信息安全管理中心 一种实体关系自动识别方法及系统
CN108280061B (zh) * 2018-01-17 2021-10-26 北京百度网讯科技有限公司 基于歧义实体词的文本处理方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107662617A (zh) * 2017-09-25 2018-02-06 重庆邮电大学 基于深度学习的车载交互控制算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yaming Sun et al., "Modeling Mention, Context and Entity with Neural Networks for Entity Disambiguation," IJCAI 2015 (2015.07.25.)*

Also Published As

Publication number Publication date
EP3709223A1 (en) 2020-09-16
KR20200109230A (ko) 2020-09-22
CN109902186B (zh) 2021-05-11
US20200293905A1 (en) 2020-09-17
US11620532B2 (en) 2023-04-04
CN109902186A (zh) 2019-06-18
JP2020149663A (ja) 2020-09-17
JP7009433B2 (ja) 2022-01-25

Similar Documents

Publication Publication Date Title
KR102342604B1 (ko) 뉴럴 네트워크 생성 방법 및 장치
CN109947919B (zh) 用于生成文本匹配模型的方法和装置
JP7208952B2 (ja) 対話モデルを生成するための方法及び装置
CN111666416B (zh) 用于生成语义匹配模型的方法和装置
CN110619078B (zh) 用于推送信息的方法和装置
CN111104599B (zh) 用于输出信息的方法和装置
CN111738010B (zh) 用于生成语义匹配模型的方法和装置
CN110457325B (zh) 用于输出信息的方法和装置
CN114693934A (zh) 语义分割模型的训练方法、视频语义分割方法及装置
US20230367972A1 (en) Method and apparatus for processing model data, electronic device, and computer readable medium
WO2020088048A1 (zh) 处理信息的方法和装置
CN111008213A (zh) 用于生成语言转换模型的方法和装置
CN113468344A (zh) 实体关系抽取方法、装置、电子设备和计算机可读介质
CN111898338B (zh) 文本生成方法、装置和电子设备
JP7504192B2 (ja) 画像を検索するための方法及び装置
CN110009101B (zh) 用于生成量化神经网络的方法和装置
CN112182255A (zh) 用于存储媒体文件和用于检索媒体文件的方法和装置
CN111709784B (zh) 用于生成用户留存时间的方法、装置、设备和介质
CN116416018A (zh) 内容输出方法、装置、计算机可读介质及电子设备
CN109857838B (zh) 用于生成信息的方法和装置
CN112395490B (zh) 用于生成信息的方法和装置
CN111353585A (zh) 神经网络模型的结构搜索方法和装置
CN111522887B (zh) 用于输出信息的方法和装置
CN114912585A (zh) 神经网络的生成方法和装置
CN111526054B (zh) 用于获取网络的方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant