KR20190123540A - 뉴럴 기억 컴퓨팅 시스템 및 방법 - Google Patents
뉴럴 기억 컴퓨팅 시스템 및 방법 Download PDFInfo
- Publication number
- KR20190123540A KR20190123540A KR1020180047371A KR20180047371A KR20190123540A KR 20190123540 A KR20190123540 A KR 20190123540A KR 1020180047371 A KR1020180047371 A KR 1020180047371A KR 20180047371 A KR20180047371 A KR 20180047371A KR 20190123540 A KR20190123540 A KR 20190123540A
- Authority
- KR
- South Korea
- Prior art keywords
- semantic
- learning
- neural network
- deep neural
- input
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000015654 memory Effects 0.000 title claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 31
- 230000001537 neural effect Effects 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241001112258 Moca Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
본 발명에 따른 뉴럴 기억 컴퓨팅 시스템은 데이터베이스에 저장된 의미파악 멀티모달 학습데이터에 기초하여 의미파악 과정을 학습하고, 상기 멀티모달을 입력받아 상기 학습 결과에 기초하여 의미파악 결과를 출력하는 제 1 프로세서 및 상기 제 1 프로세서의 의미파악 과정의 학습을 위한 지식성장을 위해 의미파악 학습 세트를 생성하여 상기 제 1 프로세서로 제공하는 제 2 프로세서를 포함한다.
Description
본 발명은 뉴럴 기억 컴퓨팅 시스템 및 방법에 관한 것이다.
현재의 심층신경망 기술은 각종 모달리티의 명칭을 인식하는데 매우 효과적인 구조를 가지고 있으나, 명칭 인식을 넘어서 의미를 파악하기에는 효과적이지 않다.
즉, 다양한 모달리티 입력에 대한 의미정보를 출력으로 구성하여 심층신경망을 학습하는 구조로 의미파악을 위한 학습이 가능하지만, 대량의 의미파악용 학습데이터가 구비되어야 하는 문제가 있다.
이러한 문제를 해결하기 위해서는 다양한 모달리티 입력에 대한 의미를 파악하는 과정을 학습할 수 있어야만 미지의 입력에 대한 의미파악을 유추할 수 있어, 이러한 기술이 필요한 실정이다.
본 발명의 실시예는 복합 모달리티 입력에 대한 의미파악 과정을 학습할 수 있고, 기본적인 의미파악 멀티모달 학습데이터를 생성할 수 있는 뉴럴 기억 컴퓨팅 시스템 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 시스템은 데이터베이스에 저장된 의미파악 멀티모달 학습데이터에 기초하여 의미파악 과정을 학습하고, 상기 멀티모달을 입력받아 상기 학습 결과에 기초하여 의미파악 결과를 출력하는 제 1 프로세서 및 상기 제 1 프로세서의 의미파악 과정의 학습을 위한 지식성장을 위해 의미파악 학습 세트를 생성하여 상기 제 1 프로세서로 제공하는 제 2 프로세서를 포함한다.
상기 제 1 프로세서는 상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터 단위로 임베딩하고, 상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성할 수 있다.
상기 제 1 프로세서는 심층 신경망을 이용하여 상기 의미파악 멀티모달 학습데이터 중 청각 및 시각에 대응하는 학습데이터에 대한 특징 추출 과정을 학습하고, 상기 청각 및 시각에 대응하는 학습데이터에 대한 상기 심층 신경망의 최종 은닉층값을 출력하여 상기 벡터로 임베딩할 수 있다.
상기 제 1 프로세서는 상기 멀티모달 학습데이터 중 텍스트에 대응하는 학습 데이터의 경우, 미리 준비된 텍스트 코퍼스를 이용하여 심층 신경망 기반의 단어벡터 공간을 학습한 후, 상기 텍스트에 대한 단어 벡터값을 출력하여 상기 벡터로 임베딩할 수 있다.
상기 제 1 프로세서는 의미파악을 위한 질의응답에 대응되는 연관정보가 기억공간 상에 저장되어 있지 않은 경우, 상기 연관정보를 상기 기억공간 상에 쓰기 위한 태깅을 수행하고, 상기 질의응답에 대해서는 입력 질의에 의미파악 학습용 입력 및 의미파악 학습용 출력 태깅을 수행하여 상기 의미파악 학습 세트를 생성할 수 있다.
상기 제 1 프로세서는 상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 쓰기 태깅이 수행된 입력은 텍스트 모달리티, 시각 모달리티 및 청각 모달리티로 구별하여 상기 기억공간 상에 저장할 수 있다.
상기 제 1 프로세서는 상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 의미파악 학습용 입력 태깅된 모달리티를 심층신경망의 입력으로 설정하고, 상기 의미파악 학습용 출력 태깅된 모달리티를 심층신경망의 출력으로 설정하여 상기 심층신경망을 학습할 수 있다.
상기 제 1 프로세서는 상기 입력된 질의 및 연관정보를 포함하는 멀티모달에 대하여 기 설정된 크기의 벡터 단위로 임베딩하고, 상기 임베딩된 질의 및 연관정보를 포함하는 멀티모달을 심층신경망에 반복적으로 입력하여 의미파악 결과를 출력할 수 있다.
상기 제 1 프로세서는 의미파악을 위한 질의응답에 대응되는 연관정보가 저장된 기억공간 내의 데이터 중 상기 의미파악 결과가 상기 연관정보와 관련된 데이터를 상기 심층신경망에서 출력된 가중치를 이용하여 갱신할 수 있다.
상기 제 2 프로세서는 도메인 정보를 샘플링하고, 상기 샘플링된 도메인 정보에 기초하여 구축된 도메인 질의응답 세트를 이용하여 상기 의미파악 학습 세트를 생성하는 질의생성 심층신경망을 학습할 수 있다.
상게 제 2 프로세서는 응답에 대응하는 텍스트 입력 및 상기 텍스트 입력과 연관정보로 관련된 모달리티 정보를 호출하여 벡터로 변환한 뒤 상기 질의생성 심층신경망의 입력으로 설정하고, 질의에 해당하는 벡터로 변환된 텍스트를 상기 질의생성 심층신경망의 출력으로 설정하여 상기 질의생성 심층신경망을 학습할 수 있다.
또한, 본 발명의 제 2 측면에 따른 입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 방법은 데이터베이스에 저장된 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계; 상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하는 단계; 상기 생성된 의미파악 학습 세트에 포함된 멀티모달에 기초하여 심층신경망을 학습하는 단계 및 상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계를 포함한다.
상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계는, 상기 심층 신경망을 이용하여 상기 의미파악 멀티모달 학습데이터 중 청각 및 시각에 대응하는 학습데이터에 대한 특징 추출 과정을 학습하고, 상기 청각 및 시각에 대응하는 학습데이터에 대한 상기 심층 신경망의 최종 은닉층값을 출력하여 상기 벡터로 임베딩할 수 있다.
상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계는, 상기 의미파악 멀티모달 학습데이터 중 텍스트에 대응하는 학습 데이터의 경우, 미리 준비된 텍스트 코퍼스를 이용하여 심층 신경망 기반의 단어벡터 공간을 학습한 후, 상기 텍스트에 대한 단어 벡터값을 출력하여 상기 벡터로 임베딩할 수 있다.
상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하는 단계는, 의미파악을 위한 질의응답에 대응되는 연관정보가 기억공간 상에 저장되어 있는지 여부를 확인하는 단계; 상기 확인 결과 상기 기억공간 상에 저장되지 않은 경우, 상기 연관정보를 상기 기억공간 상에 쓰기 위한 태깅을 수행하는 단계 및 상기 질의응답에 대해 입력 질의에 의미파악 학습용 입력 및 의미파악 학습용 출력 태깅을 수행하여 상기 의미파악 학습 세트를 생성하는 단계를 포함할 수 있다.
상기 생성된 의미파악 학습 세트에 포함된 멀티모달에 기초하여 심층신경망을 학습하는 단계는, 상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 쓰기 태깅이 수행된 입력은 텍스트 모달리티, 시각 모달리티 및 청각 모달리티로 구별하여 상기 기억공간 상에 저장하는 단계; 상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 의미파악 학습용 입력 태깅된 모달리티를 심층신경망의 입력으로 설정하는 단계 및 상기 의미파악 학습용 출력 태깅된 모달리티를 심층신경망의 출력으로 설정하여 상기 심층신경망을 학습하는 단계를 포함할 수 있다.
상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계는, 상기 입력된 질의 및 연관정보를 포함하는 멀티모달에 대하여 기 설정된 크기의 벡터 단위로 임베딩하는 단계 및 상기 임베딩된 질의 및 연관정보를 포함하는 멀티모달을 심층신경망에 반복적으로 입력하여 의미파악 결과를 출력하는 단계를 포함할 수 있다.
상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계는, 의미파악을 위한 질의응답에 대응되는 연관정보가 저장된 기억공간 내의 데이터 중 상기 의미파악 결과가 상기 연관정보와 관련된 데이터를 상기 심층신경망에서 출력된 가중치를 이용하여 갱신하는 단계를 더 포함할 수 있다.
또한, 본 발명의 제 3 측면에 따른 입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 방법은 도메인 정보를 샘플링하는 단계; 상기 샘플링된 도메인 정보에 기초하여 구축된 도메인 질의응답 세트를 이용하여, 질의생성 심층신경망을 학습하는 단계 및 상기 질의생성 심층신경망에 기초하여 의미파악 학습 세트를 생성하는 단계를 포함한다. 이때, 상기 질의생성 심층신경망을 생성하는 단계는, 텍스트 입력 및 상기 텍스트 입력과 연관정보로 관련된 모달리티 정보를 호출하여 벡터로 변환한 뒤 상기 질의생성 심층신경망의 입력으로 설정하고, 질의에 해당하는 벡터로 변환된 텍스트를 상기 질의생성 심층신경망의 출력으로 설정하여 상기 질의생성 심층신경망을 학습한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 다양한 모달리티로 이루어진 정보를 기억하고 의미파악용 질의응답 학습세트를 통해 기억된 정보를 호출하여 의미파악 과정을 학습할 수 있다. 이를 통해 본 발명의 일 실시예는 미지의 정보와 질의에 대한 의미파악을 유추할 수 있다.
또한, 본 발명의 일 실시예는 각각의 의미파악을 위해 방대한 데이터가 없는 경우에도 다양한 모달리티로 구성된 입력에 대한 의미를 파악할 수 있다.
또한, 본 발명의 일 실시예는 의미파악을 위한 학습 세트 생성 방법의 학습을 통해, 다양한 도메인으로 확장되더라도 의미파악 지식을 스스로 성장시킬 수 있어 인공지능의 기반 기술로의 적용이 가능하다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 컴퓨팅 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 컴퓨팅 시스템의 기능을 설명하기 위한 도면이다.
도 3은 질의응답 및 연관정보를 설명하기 위한 도면이다.
도 4는 질의생성 심층신경망과 의미파악 학습 세트를 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 뉴럴 기억 컴퓨팅 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 컴퓨팅 시스템의 기능을 설명하기 위한 도면이다.
도 3은 질의응답 및 연관정보를 설명하기 위한 도면이다.
도 4는 질의생성 심층신경망과 의미파악 학습 세트를 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 뉴럴 기억 컴퓨팅 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 시스템(100) 및 방법에 관한 것이다.
최근 심층 신경회로망 기반의 머신러닝 기술이 발전함에 따라 인공지능 기술이 다양한 분야에서 주목받고 있다. 이러한 인공지능 기술은 음성인식, 영상인식, 자동번역 등 다양한 분야에서 기존 기술을 뛰어넘는 성능을 보이고 있다.
한편, 심층 신경회로망 기술은 입력에 대해 원하는 출력을 정의하여 입-출력 쌍을 표현할 수 있는 모델을 학습해낼 수 있다. 이러한 심층 신경회로망 기술은 각종 모달리티 입력에 대한 명칭을 인식하기에는 명확한 구조이나, 입력된 다양한 모달리티의 의미정보를 알아내는 데에는 한계가 있다.
즉, 학습한 입-출력 쌍이 아닌 미지의 입력에 대해 의미를 바로 알아내는 것은 불가능하며, 의미를 파악하는 과정을 학습할 수 있어야만 미지의 입력에 대한 의미를 파악할 수 있게 된다.
또한, 의미를 파악하는 과정을 학습해냄으로써 방대한 데이터의 학습을 통하지 않고도 유사한 입력 문제에 대해 의미를 파악할 수 있는 자율성장형 인공지능 구현이 가능하게 된다.
이를 위해, 본 발명의 일 실시예는 복합 모달리티 입력에 대한 의미파악 과정을 학습할 수 있고, 기본적인 의미파악 멀티모달 학습데이터를 생성할 수 있는 뉴럴 기억 컴퓨팅 시스템(100) 및 방법을 제공할 수 있다.
이하에서는 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 뉴럴 기억 컴퓨팅 시스템(100)을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 컴퓨팅 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 뉴럴 기억 컴퓨팅 시스템(100)은 제 1 프로세서(110) 및 제 2 프로세서(120)를 포함한다.
이때, 본 발명의 제 1 및 제 2 프로세서(110, 120)는 각각 독립적인 프로세서로 구성될 수 있으며, 하나의 프로세서로 구성되어 각각 기능을 달리하여 구동될 수 있다. 또한, 후술하는 도 2의 기능 블록 중 제 1 및 제 2 프로세서(110, 120)에 대응되지 않은 구성이라 하더라도, 이는 하드웨어 구성인 제 1 및 제 2 프로세서(110, 120) 중 어느 하나에 의해 구동되거나 또는 하나의 프로세서로 구성되는 경우 해당 프로세서에 의해 구동되는 것은 통상의 기술자에게 자명한 사항이라 할 것이다.
제 1 프로세서(110)는 메모리(140) 상의 데이터베이스(210)에 저장된 의미파악 멀티모달 학습데이터에 기초하여 의미파악 과정을 학습하고, 멀티모달을 입력받아 상기 학습 결과에 기초하여 의미파악 결과를 출력한다.
제 2 프로세서(120)는 의미파악 과정을 위한 지식성장을 위해 의미파악 학습 세트를 생성하여 제 1 프로세서(110)로 제공한다.
한편, 본 발명의 일 실시예는 제 1 및 제 2 프로세서(110, 120)간의 데이터를 송수신하거나, 외부로부터 멀티모달을 입력받기 위해 통신모듈(130)을 더 포함할 수 있다.
여기에서, 통신모듈(130)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
또한, 본 발명의 일 실시예는 텍스트 모달리티, 시각 모달리티 및 청각 모달리티를 각각 저장하는 기억공간(237, 238, 239)을 포함할 수 있으며, 이러한 기억공간(237, 238, 239)이나 상술한 데이터베이스(210)는 메모리(140) 상에 각각 구별되거나 별도의 독립된 메모리로 구성될 수 있다. 이때, 메모리(140)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(140)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
이하에서는 도 2 내지 도 4를 참조하여 도 1의 구성에 따른 제 1 및 제 2 프로세서(110, 120)에 의해 수행되는 세부적인 기능에 대해 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 컴퓨팅 시스템(100)의 기능을 설명하기 위한 도면이다. 도 3은 질의응답 및 연관정보를 설명하기 위한 도면이다. 도 4는 질의생성 심층신경망과 의미파악 학습 세트를 설명하기 위한 도면이다.
이때, 설명의 편의를 위하여 제 1 프로세서(110)는 학습 에이전트(230)로, 제 2 프로세서(120)는 교사 에이전트(240)로 그 용어를 정의하여 설명하도록 한다.
본 발명의 일 실시예에 따른 뉴럴 기억 컴퓨팅 시스템(100)은 멀티모달을 입력받아 의미파악 과정을 학습하는 학습 에이전트(230)와, 학습 에이전트(230)의 지식성장을 위해 의미파악 학습 세트를 생성하는 교사 에이전트(240)를 포함한다. 그밖에 의미파악 멀티모달 학습데이터가 저장된 데이터베이스(210)와 모달리티 임베딩부(220)를 더 포함한다.
본 발명의 일 실시예에서 학습 에이전트(230)는 기본적인 의미파악을 위해서는 의미파악 학습 세트를 이용하며, 이후 성장을 위해서는 도메인별 의미파악 학습 세트를 교사 에이전트(240)가 생성하여 학습 에이전트(230)에 전달함으로써, 학습 에이전트(230)는 의미파악 지식 성장을 위한 학습을 수행하게 된다.
먼저, 본 발명의 일 실시예에서 오프라인 모드에서 학습 에이전트(230)에 의해 수행되는 내용에 대해 설명하도록 한다. 이때, 오프라인 모드에서 수행된다 함은 온라인 상태를 배제하는 것이 아니며, 온라인 상태에서도 수행될 수 있음은 물론이고, 온라인 상태가 아닌 경우에도 수행이 가능함을 의미하는 것이다. 또한, 설명의 편의상 도 2에서 점선은 오프라인 모드를, 실선은 온라인 모드에서의 데이터의 송수신 과정을 나타내는 것으로 정의하도록 한다.
학습 에이전트(230)는 의미파악 전처리부(231), 의미파악 제어부(232), 쓰기부(233), 읽기부(234), 통계적 쓰기부(235), 통계적 읽기부(236), 텍스트 기억공간(237), 시각 기억공간(238) 및 청각 기억공간(239)을 포함한다.
학습 에이전트(230)는 오프라인 모드에서 의미파악 과정을 학습하게 되는데, 우선 데이터베이스(210)에 저장된 의미파악 멀티모달 학습데이터를 이용하여 모달리티 임베딩부(220)에서 벡터 형태로 변환한다.
의미파악 멀티모달 학습데이터는 텍스트, 시각 및 청각 등의 다양한 모달리티의 원시데이터로 되어 있는데, 이를 한번에 처리하기 위해서는 기 설정된 크기의 벡터 단위로 변환하는 것이 필요하며, 바람직하게는 동일한 크기로 변환될 수 있다.
모달리티 임베딩부(220)는 심층신경망을 이용하여 의미파악 멀티모달 학습데이터 중 청각 및 시각에 대응하는 학습데이터에 대한 특징 추출 과정을 학습하고, 청각 및 시각에 대응하는 학습데이터에 대한 심층신경망의 최종 은닉값을 출력함으로써 벡터 단위로 임베딩을 수행할 수 있다.
또한, 모달리티 임베딩부(220)는 멀티모달 학습데이터 중 텍스트에 대응하는 학습데이터의 경우 미리 준비된 대량의 텍스트 코퍼스를 이용하여 심층신경망 기반의 단어벡터 공간을 학습한 후, 텍스트에 대한 단어 벡터값을 출력함으로써 벡터 단위로 임베딩을 수행할 수 있다.
모달리티 임베딩부(220)를 통해 각 모달리티의 벡터 출력을 획득하고 나면, 의미파악 학습 전처리부(231)는 의미파악 학습 세트를 생성하여 준비하는 과정을 수행한다. 이때, 의미파악 학습 세트는 의미파악을 위한 질의응답, 그리고 질의응답에 대응되는 연관정보를 포함하도록 구성된다.
의미파악 학습 전처리부(231)는 의미파악을 위한 질의응답에 대응되는 연관정보가 기억공간(237, 238, 239) 상에 저장되어 있는지 여부를 먼저 확인하고, 확인 결과 질의응답에 대응되는 연관정보가 저장되어 있지 않은 경우, 연관정보를 기억공간(237, 238, 239) 상에 쓰기 위한 태깅을 수행한다. 그리고 질의응답에 대해서는 입력 질의에 의미파악 학습용 입력 태깅 및 의미파악 학습용 출력 태깅을 수행하여 의미파악 제어부(232)로 전달하게 된다.
예를 들어 도 3을 참조하면, 연관정보(P1)로 ‘우유컵을 잡았다’라는 텍스트와 ‘사과를 들고 있는’ 이미지를 통해 ‘가지다’라는 질의 및 응답(P2, P3)에 대한 의미를 파악할 수 있으며, 객체는 다르지만 유사한 텍스트나 이미지를 대상으로 동일한 의미를 파악할 수 있게 된다. 또한, 이미지뿐만 아니라 비디오 정보를 혼합할 경우 이미지, 동영상 등 다양한 시각 입력의 의미를 파악할 수도 있다.
다시 도 2를 참조하면, 의미파악 제어부(232)는 의미파악 학습 전처리부(231)에서 준비한 의미파악 학습 세트에 포함된 멀티모달 중 쓰기 태깅이 수행된 입력은 텍스트 모달리티, 시각 모달리티 및 청각 모달리티로 구별하여 각각 기억공간(237, 238, 239) 상에 벡터 단위로 저장할 수 있다.
그 후 의미파악 제어부(232)는 의미파악 학습 세트에 포함된 멀티모달 중 의미파악 학습용 입력 태깅된 모달리티를 심층신경망의 입력으로 설정하고, 의미파악 학습용 출력 태깅된 모달리티를 심층신경망의 출력으로 설정하여 심층신경망을 학습할 수 있다.
즉, 의미파악 제어부(232)는 의미파악 학습 세트를 구성하는 입력 및 출력 데이터를 이용하여 심층신경망을 학습할 수 있으며, 이 과정에서 기억공간(237, 238, 239)에서 관련 데이터들을 독출하여 독출된 개수만큼 반복적으로 심층신경망의 입력으로 설정하여 심층신경망을 학습하게 된다.
이때, 기억공간(237, 238, 239)에서 독출되는 데이터는 심층신경망을 학습하는 과정에서 의미파악 학습 세트에서의 질의응답을 위해 주목해야 하는 정보를 나타내는 것으로, 질의응답에 필요한 정보를 자동으로 주목하는 방법을 학습하는 과정에서 의미파악 방법을 효과적으로 학습하게 된다.
또한, 의미파악 제어부(232)는 기억공간(237, 238, 239)에서 주목해야하는 데이터를 어느 정도로 독출할 것인지와, 질의응답 쌍과 관련된 기억공간 데이터를 어느 정도로 변경할 것인지를 심층신경망을 통해 학습할 수 있다.
기억공간 데이터를 읽고 쓰는 과정에서 텍스트는 하나의 언어적 의미를 표현하는데 비해, 시각과 청각 기억 데이터는 질의응답 과정에서 상황별로 다양한 의미를 가질 수 있다.
이로 인해, 학습 대상인 질의응답 쌍에 관련된 시각 및 청각 기억 데이터는 다양한 의미표현 가운데 확률적으로 가능성이 높은 의미를 가지는 데이터가 읽기 과정에서 의미파악 제어부(232)로 제공된다는 점과, 쓰기 과정에서 의미파악 제어부(232)로부터 현재의 의미와 부합되는 확률값만큼 갱신되는 점에서 텍스트를 기억하는 과정과 차이가 있다.
다음으로, 본 발명의 일 실시예에서 온라인 모드에서의 내용을 설명하면 다음과 같다.
온라인 모드에서 의미파악 제어부(232)는 입력된 질의 및 연관정보를 포함하는 임의의 멀티모달 입력(I)에 대하여 기 설정된 크기의 벡터 단위로 임베딩 과정을 수행하고, 연관정보 및 기억공간(237, 238, 239)에서의 관련 데이터를 독출하여 심층신경망에 질의와 함께 반복적으로 입력하여 의미파악 결과를 출력(I)으로 제공한다.
이때, 의미파악 제어부(232)는 출력(I) 결과와 관련된 기억공간(237, 238, 239) 내의 데이터 중, 상기 의미파악 결과가 연관정보와 관련된 데이터를 심층신경망에서 출력된 가중치를 이용하여 갱신할 수 있다. 예를 들어, 텍스트 데이터는 가중치만큼 갱신할 수 있으며, 시각 및 청각 기억 데이터는 의미 결과와의 부합되는 확률값을 이용하여 갱신할 수 있다.
한편, 본 발명의 일 실시예에 따른 뉴럴 기억 컴퓨팅 시스템(100)은 학습 에이전트(230)와 더불어 도메인 지식 전처리부(241) 및 의미파악 세트 생성부(242)를 포함하는 교사 에이전트(240)를 포함한다.
이때, 본 발명의 일 실시예의 경우 교사 에이전트(240)와 학습 에이전트(230) 간의 상호 협업을 통한 의미파악 지식성장을 위해, 학습 에이전트(230)는 오프라인 모드와 동일하게 수행될 수 있다.
다만, 이 경우 데이터베이스(210)에 저장된 의미파악 멀티모달 학습데이터가 학습 에이전트(230)로 제공되는 것이 아니라, 교사 에이전트(240)가 의미파악 멀티모달 학습데이터에 대응되는 의미파악 학습 세트를 생성하여 제공하게 된다.
이를 위해, 교사 에이전트(240)는 도메인 지식 전처리부(241)에서 도메인 정보를 샘플링하여 의미파악 학습세트 생성부(242)로 전달한다. 그리고 의미파악 학습세트 생성부(242)는 샘플링된 도메인 정보에 기초하여 기 구축된 도메인 질의응답 세트를 이용하여, 응답에 대한 다양한 질의를 생성하기 위한 의미파악 학습세트를 생성하는 질의생성 심층신경망을 학습할 수 있다. 즉, 교사 에이전트(240)는 도메인 정보를 이용하여 질의응답 및 연관정보 세트를 생성하는 질의생성 심층신경망을 학습한다.
예를 들어 도 4를 참조하면, 교사 에이전트(240)는 도메인 정보를 통해 기 구축된 연관정보(P4) 및 질의응답 데이터(P5, P6)를 이용하여 질의생성 심층신경망을 학습하게 된다.
즉, 교사 에이전트(240)는 응답에 대응하는 텍스트 입력, 그리고 텍스트 입력과 연관정보로 관련된 텍스트, 시각 및 청각 모달리티 정보를 모달리티 임베딩부로부터 호출하여 벡터로 변환한 뒤 질의생성 심층신경망의 입력으로 설정하고, 질의에 해당하는 벡터로 변환된 텍스트를 질의생성 심층신경망의 출력으로 설정하여 질의를 생성하는 과정을 학습함으로써 질의생성 심층신경망을 학습할 수 있다.
이에 따라, 교사 에이전트(240)는 유사한 연관정보(P4)가 주어지면 임의의 단어를 응답(P6)으로 설정한 후 응답(P6)과 연관정보(P4)를 포함하는 질의(P5)를 생성할 수 있게 된다.
참고로, 본 발명의 실시예에 따른 도 1 및 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 5a 및 도 5b를 참조하여, 본 발명의 일 실시예에 따른 뉴럴 기억 컴퓨팅 방법에 대해 설명하도록 한다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 뉴럴 기억 컴퓨팅 방법의 순서도이다.
학습 에이전트(230)에 의해 수행되는 내용을 도 5a를 통해 설명하면, 먼저 데이터베이스에 저장된 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩한다(S110).
다음으로, 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하고(S120), 생성된 의미파악 학습 세트에 포함된 멀티모달에 기초하여 심층신경망을 학습한다(S130).
이후, 임의의 멀티모달이 입력되면 학습된 심층신경망에 기초하여 입력에 대한 의미파악 결과를 출력한다(S140).
한편, 교사 에이전트(240)는 도 5b에 도시된 바와 같이, 먼저 도메인 정보를 샘플링한다(S210).
다음으로, 샘플링된 도메인 정보에 기초하여 구축된 도메인 질의응답 세트를 이용하여 질의생성 심층신경망을 학습하고(S220), 학습된 질의생성 심층신경망에 기초하여 의미파악 학습 세트를 생성한다(S230).
이때, 질의생성 심층신경망은 텍스트 입력 및 텍스트 입력과 연관정보로 관련된 모달리티 정보를 호출하여 벡터로 변환한 뒤 질의생성 심층신경망의 입력으로 설정하고, 질의에 해당하는 벡터로 변환된 텍스트를 질의생성 심층신경망의 출력으로 설정하여 학습될 수 있다.
상술한 설명에서, 단계 S110 내지 S230은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 4에서의 뉴럴 기억 컴퓨팅 시스템(100)에 관하여 이미 기술된 내용은 도 5a 및 도 5b의 뉴럴 기억 컴퓨팅 방법에도 적용된다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 뉴럴 기억 컴퓨팅 시스템
110: 제 1 프로세서
120: 제 2 프로세서 130: 통신모듈
140: 메모리
210: 데이터베이스 220: 모달리티 임베딩부
230: 학습 에이전트 231: 의미파악 학습 전처리부
232: 의미파악 제어부 233: 쓰기부
234: 읽기부 235: 통계적 쓰기부
236: 통계적 읽기부 237: 텍스트 기억공간
238: 시각 기억공간 239: 청각 기억공간
240: 교사 에이전트 241: 도메인 지식 전처리부
242: 의미파악 학습세트 생성부
120: 제 2 프로세서 130: 통신모듈
140: 메모리
210: 데이터베이스 220: 모달리티 임베딩부
230: 학습 에이전트 231: 의미파악 학습 전처리부
232: 의미파악 제어부 233: 쓰기부
234: 읽기부 235: 통계적 쓰기부
236: 통계적 읽기부 237: 텍스트 기억공간
238: 시각 기억공간 239: 청각 기억공간
240: 교사 에이전트 241: 도메인 지식 전처리부
242: 의미파악 학습세트 생성부
Claims (19)
- 입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 시스템에 있어서,
데이터베이스에 저장된 의미파악 멀티모달 학습데이터에 기초하여 의미파악 과정을 학습하고, 상기 멀티모달을 입력받아 상기 학습 결과에 기초하여 의미파악 결과를 출력하는 제 1 프로세서 및
상기 제 1 프로세서의 의미파악 과정의 학습을 위한 지식성장을 위해 의미파악 학습 세트를 생성하여 상기 제 1 프로세서로 제공하는 제 2 프로세서를 포함하는 뉴럴 기억 컴퓨팅 시스템. - 제 1 항에 있어서,
상기 제 1 프로세서는 상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터 단위로 임베딩하고, 상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 2 항에 있어서,
상기 제 1 프로세서는 심층 신경망을 이용하여 상기 의미파악 멀티모달 학습데이터 중 청각 및 시각에 대응하는 학습데이터에 대한 특징 추출 과정을 학습하고, 상기 청각 및 시각에 대응하는 학습데이터에 대한 상기 심층 신경망의 최종 은닉층값을 출력하여 상기 벡터로 임베딩하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 2 항에 있어서,
상기 제 1 프로세서는 상기 멀티모달 학습데이터 중 텍스트에 대응하는 학습 데이터의 경우, 미리 준비된 텍스트 코퍼스를 이용하여 심층 신경망 기반의 단어벡터 공간을 학습한 후, 상기 텍스트에 대한 단어 벡터값을 출력하여 상기 벡터로 임베딩하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 2 항에 있어서,
상기 제 1 프로세서는 의미파악을 위한 질의응답에 대응되는 연관정보가 기억공간 상에 저장되어 있지 않은 경우, 상기 연관정보를 상기 기억공간 상에 쓰기 위한 태깅을 수행하고, 상기 질의응답에 대해서는 입력 질의에 의미파악 학습용 입력 및 의미파악 학습용 출력 태깅을 수행하여 상기 의미파악 학습 세트를 생성하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 5 항에 있어서,
상기 제 1 프로세서는 상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 쓰기 태깅이 수행된 입력은 텍스트 모달리티, 시각 모달리티 및 청각 모달리티로 구별하여 상기 기억공간 상에 저장하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 6 항에 있어서,
상기 제 1 프로세서는 상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 의미파악 학습용 입력 태깅된 모달리티를 심층신경망의 입력으로 설정하고, 상기 의미파악 학습용 출력 태깅된 모달리티를 심층신경망의 출력으로 설정하여 상기 심층신경망을 학습하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 1 항에 있어서,
상기 제 1 프로세서는 상기 입력된 질의 및 연관정보를 포함하는 멀티모달에 대하여 기 설정된 크기의 벡터 단위로 임베딩하고, 상기 임베딩된 질의 및 연관정보를 포함하는 멀티모달을 심층신경망에 반복적으로 입력하여 의미파악 결과를 출력하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 8 항에 있어서,
상기 제 1 프로세서는 의미파악을 위한 질의응답에 대응되는 연관정보가 저장된 기억공간 내의 데이터 중 상기 의미파악 결과가 상기 연관정보와 관련된 데이터를 상기 심층신경망에서 출력된 가중치를 이용하여 갱신하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 1 항에 있어서,
상기 제 2 프로세서는 도메인 정보를 샘플링하고, 상기 샘플링된 도메인 정보에 기초하여 구축된 도메인 질의응답 세트를 이용하여 상기 의미파악 학습 세트를 생성하는 질의생성 심층신경망을 학습하는 것인 뉴럴 기억 컴퓨팅 시스템. - 제 10 항에 있어서,
상게 제 2 프로세서는 응답에 대응하는 텍스트 입력 및 상기 텍스트 입력과 연관정보로 관련된 모달리티 정보를 호출하여 벡터로 변환한 뒤 상기 질의생성 심층신경망의 입력으로 설정하고, 질의에 해당하는 벡터로 변환된 텍스트를 상기 질의생성 심층신경망의 출력으로 설정하여 상기 질의생성 심층신경망을 학습하는 것인 뉴럴 기억 컴퓨팅 시스템. - 입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 방법에 있어서,
데이터베이스에 저장된 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계;
상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하는 단계 및
상기 생성된 의미파악 학습 세트에 포함된 멀티모달에 기초하여 심층신경망을 학습하는 단계;
상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계를 포함하는 뉴럴 기억 컴퓨팅 방법. - 제 12 항에 있어서,
상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계는,
상기 심층 신경망을 이용하여 상기 의미파악 멀티모달 학습데이터 중 청각 및 시각에 대응하는 학습데이터에 대한 특징 추출 과정을 학습하고, 상기 청각 및 시각에 대응하는 학습데이터에 대한 상기 심층 신경망의 최종 은닉층값을 출력하여 상기 벡터로 임베딩하는 것인 뉴럴 기억 컴퓨팅 방법. - 제 12 항에 있어서,
상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계는,
상기 의미파악 멀티모달 학습데이터 중 텍스트에 대응하는 학습 데이터의 경우, 미리 준비된 텍스트 코퍼스를 이용하여 심층 신경망 기반의 단어벡터 공간을 학습한 후, 상기 텍스트에 대한 단어 벡터값을 출력하여 상기 벡터로 임베딩하는 것인 뉴럴 기억 컴퓨팅 방법. - 제 14 항에 있어서,
상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하는 단계는,
의미파악을 위한 질의응답에 대응되는 연관정보가 기억공간 상에 저장되어 있는지 여부를 확인하는 단계;
상기 확인 결과 상기 기억공간 상에 저장되지 않은 경우, 상기 연관정보를 상기 기억공간 상에 쓰기 위한 태깅을 수행하는 단계 및
상기 질의응답에 대해 입력 질의에 의미파악 학습용 입력 및 의미파악 학습용 출력 태깅을 수행하여 상기 의미파악 학습 세트를 생성하는 단계를 포함하는 뉴럴 기억 컴퓨팅 방법. - 제 15 항에 있어서,
상기 생성된 의미파악 학습 세트에 포함된 멀티모달에 기초하여 심층신경망을 학습하는 단계는,
상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 쓰기 태깅이 수행된 입력은 텍스트 모달리티, 시각 모달리티 및 청각 모달리티로 구별하여 상기 기억공간 상에 저장하는 단계;
상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 의미파악 학습용 입력 태깅된 모달리티를 심층신경망의 입력으로 설정하는 단계 및
상기 의미파악 학습용 출력 태깅된 모달리티를 심층신경망의 출력으로 설정하여 상기 심층신경망을 학습하는 단계를 포함하는 뉴럴 기억 컴퓨팅 방법. - 제 12 항에 있어서,
상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계는,
상기 입력된 질의 및 연관정보를 포함하는 멀티모달에 대하여 기 설정된 크기의 벡터 단위로 임베딩하는 단계 및
상기 임베딩된 질의 및 연관정보를 포함하는 멀티모달을 심층신경망에 반복적으로 입력하여 의미파악 결과를 출력하는 단계를 포함하는 뉴럴 기억 컴퓨팅 방법. - 제 17 항에 있어서,
상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계는,
의미파악을 위한 질의응답에 대응되는 연관정보가 저장된 기억공간 내의 데이터 중 상기 의미파악 결과가 상기 연관정보와 관련된 데이터를 상기 심층신경망에서 출력된 가중치를 이용하여 갱신하는 단계를 더 포함하는 뉴럴 기억 컴퓨팅 방법. - 입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 방법에 있어서,
도메인 정보를 샘플링하는 단계;
상기 샘플링된 도메인 정보에 기초하여 구축된 도메인 질의응답 세트를 이용하여, 질의생성 심층신경망을 학습하는 단계 및
상기 질의생성 심층신경망에 기초하여 의미파악 학습 세트를 생성하는 단계를 포함하되,
상기 질의생성 심층신경망을 생성하는 단계는,
텍스트 입력 및 상기 텍스트 입력과 연관정보로 관련된 모달리티 정보를 호출하여 벡터로 변환한 뒤 상기 질의생성 심층신경망의 입력으로 설정하고, 질의에 해당하는 벡터로 변환된 텍스트를 상기 질의생성 심층신경망의 출력으로 설정하여 상기 질의생성 심층신경망을 학습하는 것인 뉴럴 기억 컴퓨팅 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180047371A KR20190123540A (ko) | 2018-04-24 | 2018-04-24 | 뉴럴 기억 컴퓨팅 시스템 및 방법 |
| US16/217,804 US10929612B2 (en) | 2018-04-24 | 2018-12-12 | Neural network memory computing system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180047371A KR20190123540A (ko) | 2018-04-24 | 2018-04-24 | 뉴럴 기억 컴퓨팅 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190123540A true KR20190123540A (ko) | 2019-11-01 |
Family
ID=68236473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180047371A KR20190123540A (ko) | 2018-04-24 | 2018-04-24 | 뉴럴 기억 컴퓨팅 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10929612B2 (ko) |
| KR (1) | KR20190123540A (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200053886A (ko) | 2018-11-09 | 2020-05-19 | 삼성전자주식회사 | 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템 |
| CN113837390A (zh) * | 2020-06-23 | 2021-12-24 | 华为技术有限公司 | 一种模态信息补全方法、装置及设备 |
| CN113743522A (zh) * | 2021-09-13 | 2021-12-03 | 五八同城信息技术有限公司 | 违规行为的检测方法及装置、电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010053968A1 (en) * | 2000-01-10 | 2001-12-20 | Iaskweb, Inc. | System, method, and computer program product for responding to natural language queries |
| KR102094934B1 (ko) | 2014-11-19 | 2020-03-31 | 한국전자통신연구원 | 자연어 질의 응답 시스템 및 방법 |
| KR102444712B1 (ko) | 2016-01-12 | 2022-09-20 | 한국전자통신연구원 | 다중-모달리티 특징 융합을 통한 퍼스널 미디어 자동 재창작 시스템 및 그 동작 방법 |
| US11010664B2 (en) | 2016-02-05 | 2021-05-18 | Deepmind Technologies Limited | Augmenting neural networks with hierarchical external memory |
| CN109313720B (zh) | 2016-02-05 | 2023-07-18 | 渊慧科技有限公司 | 具有稀疏访问的外部存储器的增强神经网络 |
| WO2017161233A1 (en) * | 2016-03-17 | 2017-09-21 | Sri International | Deep multi-task representation learning |
-
2018
- 2018-04-24 KR KR1020180047371A patent/KR20190123540A/ko active IP Right Grant
- 2018-12-12 US US16/217,804 patent/US10929612B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20190325025A1 (en) | 2019-10-24 |
| US10929612B2 (en) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110795543B (zh) | 基于深度学习的非结构化数据抽取方法、装置及存储介质 | |
| CN111967266B (zh) | 中文命名实体识别系统、模型构建方法和应用及相关设备 | |
| US11176456B2 (en) | Pre-training neural networks using data clusters | |
| CN112164391B (zh) | 语句处理方法、装置、电子设备及存储介质 | |
| US11222281B2 (en) | Cloud sharing and selection of machine learning models for service use | |
| CN113066484A (zh) | 用于神经网络模型的分布式训练的系统和方法 | |
| CA3022998A1 (en) | Method and device for generative adversarial network training | |
| US20230394245A1 (en) | Adversarial Bootstrapping for Multi-Turn Dialogue Model Training | |
| US20200342306A1 (en) | Autonomous modification of data | |
| US20210034981A1 (en) | Method and apparatus for training image caption model, and storage medium | |
| WO2016092406A1 (en) | Inferred facts discovered through knowledge graph derived contextual overlays | |
| KR20190123540A (ko) | 뉴럴 기억 컴퓨팅 시스템 및 방법 | |
| US10796203B2 (en) | Out-of-sample generating few-shot classification networks | |
| US20200125996A1 (en) | Automated software selection using a vector-trained deep learning model | |
| CN111737432A (zh) | 一种基于联合训练模型的自动对话方法和系统 | |
| US20160124952A1 (en) | Using Synthetic Events to Identify Complex Relation Lookups | |
| US20220058444A1 (en) | Asymmetric adversarial learning framework for multi-turn dialogue response generation | |
| CN112015896B (zh) | 基于人工智能的情感分类方法、以及装置 | |
| Collinaszy et al. | Implementation of intelligent software using IBM Watson and Bluemix | |
| CN115914148A (zh) | 具有两侧建模的对话智能体 | |
| CN110852071B (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
| US11893990B2 (en) | Audio file annotation | |
| CN111177328B (zh) | 问答匹配系统和方法及问答处理设备和介质 | |
| CN110727783B (zh) | 一种基于对话系统对用户问句提出反问的方法和装置 | |
| CN112861474B (zh) | 一种信息标注方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |