KR20190071527A - 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법 - Google Patents

발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20190071527A
KR20190071527A KR1020170172637A KR20170172637A KR20190071527A KR 20190071527 A KR20190071527 A KR 20190071527A KR 1020170172637 A KR1020170172637 A KR 1020170172637A KR 20170172637 A KR20170172637 A KR 20170172637A KR 20190071527 A KR20190071527 A KR 20190071527A
Authority
KR
South Korea
Prior art keywords
key
neural network
layer
data
rnn
Prior art date
Application number
KR1020170172637A
Other languages
English (en)
Other versions
KR102462426B1 (ko
Inventor
김준성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170172637A priority Critical patent/KR102462426B1/ko
Priority to PCT/KR2018/013416 priority patent/WO2019117466A1/ko
Priority to EP18889592.4A priority patent/EP3726525A4/en
Priority to US16/954,019 priority patent/US11482212B2/en
Publication of KR20190071527A publication Critical patent/KR20190071527A/ko
Application granted granted Critical
Publication of KR102462426B1 publication Critical patent/KR102462426B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

다양한 실시 예들에 따른 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하도록 설정된 메모리, 및 상기 메모리와 연결되고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하고, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션을 획득하도록 설정되는 적어도 하나의 프로세서를 포함할 수 있다.

Description

발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE AND METHOD FOR ANALYZING MEANING OF SPEECH}
다양한 실시 예들은 인공 신경망을 이용하여 발화의 의미를 분석하기 위한 방법 및 전자 장치에 관한 것이다.
디지털 기술의 발달과 함께, 사람의 언어를 이해하기 위한 전자 장치(예: 서버) 및 상기 전자 장치와 연계되고, 사용자 단말에서 실행하기 위한 어플리케이션(예: 음성 인식 어플리케이션)이 발달하고 있다. 사람의 언어를 이해하기 위한 전자 장치는, 텍스트 데이터 형태로 입력된 문장으로부터 사용자의 의도(intent)를 획득할 수 있고, 상기 의도를 표현하는데 필요한 파라미터(parameter)(예: 슬롯(slot))를 획득할 수 있다. 상기 전자 장치는, 사용자의 의도 및 상기 의도를 표현하는데 필요한 파라미터를 획득하기 위해, 인공 신경망(neural network)을 이용할 수 있다. 상기 전자 장치는, 사람의 언어를 이해하기 위한 인공 신경망이 구현된 메모리를 포함할 수 있다.
문장 내에서 단어(word)의 역할이나 의미는, 문장 내의 얼마나 긴 부분에 초점을 두는지에 따라 달라질 수 있다. 즉, 문장 내에서 단어(word)의 역할이나 의미는, 문장 내에서 단어의 역할이나 의미를 해석하기 위해 고려되는 부분의 길이에 따라 달라질 수 있다. 그런데, 인공 신경망을 이용하여 발화 의미를 분석하는 경우, 현재 분석 위치로부터 가까운 정보는 비중 있게 고려되고, 멀리 있는 정보는 고려되기 어려울 수 있다. 또는, 노이즈나 의미 없는 중간 입력이 있는 경우, 정확한 발화 의미를 분석하기 어려울 수 있다. 따라서, 인공 신경망을 이용하여 발화 의미를 분석할 때, 현재 위치로부터 멀리 떨어진 정보도 고려할 수 있는 방안이 요구될 수 있다.
다양한 실시 예들은, 발화 문장 중에서 현재 위치로부터 멀리 있는 정보를 고려하여 발화 의미를 보다 정확하게 분석하기 위한 전자 장치 및 방법을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시 예들에 따른 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하도록 설정된 메모리, 및 상기 메모리와 연결되고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하고, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션을 획득하도록 설정되는 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시 예들에 따른 비일시적 컴퓨터-판독 가능 저장 매체(non-transitory computer-readable storage medium)는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하는 동작과, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하는 동작과, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 어텐션 구조(attention mechanism)에 포함되는 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
다양한 실시 예들에 따른 장치 및 방법은, 발화 의미를 분석하기 위한 어텐션을 획득할 때, 인코더의 인공 신경망에 포함된 복수의 레이어들을 통해 획득된 숨은 표현(hidden representation)을 키(key)로 이용하고, 상기 복수의 레이어들 중 적어도 하나의 레이어를 통해 획득된 숨은 표현(hidden representation)을 키(key) 및 밸류(value)로 이용함으로써, 현재 위치로부터 멀리 있는 정보를 고려하여 발화 의미를 보다 정확하게 분석할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 3은 다양한 실시 예들에 따른 언어 모델, 슬롯 채우기 모델, 및 의도 탐지 모델의 예를 도시한다.
도 4a는, 다양한 실시 예들에 따른 언어 모델의 다른 예를 도시한다.
도 4b는, 다양한 실시 예들에 따른 슬롯 채우기 모델의 다른 예를 도시한다.
도 4c는, 다양한 실시 예들에 따른 의도 탐지 모델의 다른 예를 도시한다.
도 5는 다양한 실시 예들에 따른 전자 장치의 동작의 예를 도시한다.
도 6은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 서버, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리 또는 외장 메모리)에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 지능형 서버(200) 등)를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 발명의 일 실시 예를 서술하기에 앞서, 본 발명의 일 실시 예가 적용될 수 있는 통합 지능화 시스템에 대해 설명한다.
도 1은 본 발명의 다양한 실시 예에 따른 통합 지능화 시스템을 나타낸 도면이다.
도 1을 참조하면, 통합 지능화 시스템(10)은 사용자 단말(100), 지능형 서버(200), 개인화 정보 서버(300) 또는 제안 서버(400)를 포함할 수 있다.
사용자 단말(100)은 사용자 단말(100) 내부에 저장된 앱(app)(또는, 어플리케이션 프로그램(application program))(예: 알람 앱, 메시지 앱, 사진(갤러리) 앱 등)을 통해 사용자에게 필요한 서비스를 제공할 수 있다. 예를 들어, 사용자 단말(100)은 사용자 단말(100) 내부에 저장된 지능형 앱(또는, 음성 인식 앱)을 통해 다른 앱을 실행하고 동작시킬 수 있다. 사용자 단말(100)은 상기 지능형 앱을 통해 상기 다른 앱을 실행하고 동작을 실행시키기 위한 사용자 입력을 수신할 수 있다. 상기 사용자 입력은, 예를 들어, 물리적 버튼, 터치 패드, 음성 입력, 원격 입력 등을 통해 수신될 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 휴대폰, 스마트폰, PDA(personal digital assistant) 또는 노트북 컴퓨터 등 인터넷에 연결 가능한 각종 단말 장치(또는, 전자 장치)가 이에 해당될 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 사용자의 발화를 사용자 입력으로 수신할 수 있다. 사용자 단말(100)은 사용자의 발화를 수신하고, 상기 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 이에 따라, 사용자 단말(100)은 상기 명령을 이용하여 상기 앱을 동작시킬 수 있다.
지능형 서버(200)는 통신망을 통해 사용자 단말(100)로부터 사용자 음성 입력(voice input)을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다른 실시 예에서는, 지능형 서버(200)는 상기 텍스트 데이터에 기초하여 패스 룰(path rule)을 생성(또는, 선택)할 수 있다. 상기 패스 룰은, 앱의 기능을 수행하기 위한 동작(action)(또는, 오퍼레이션(operation))에 대한 정보 또는 상기 동작을 실행하기 위해 필요한 파라미터에 대한 정보를 포함할 수 있다. 또한, 상기 패스 룰은 상기 앱의 상기 동작의 순서를 포함할 수 있다. 사용자 단말(100)은 상기 패스 룰을 수신하고, 상기 패스 룰에 따라 앱을 선택하고, 상기 선택된 앱에서 상기 패스 룰에 포함된 동작을 실행시킬 수 있다.
본 문서의 "패스 룰(path rule)" 이라는 용어는 일반적으로, 전자 장치가 사용자에 의해 요청된 태스크를 수행하기 위한 상태들의 시퀀스를 의미할 수 있지만, 이에 제한되지 않는다. 다시 말해, 패스 룰은 상태들의 시퀀스에 대한 정보를 포함할 수 있다. 상기 태스크는, 예를 들어, 지능형 앱이 제공할 수 있는 어떠한 동작(action)일 수 있다. 상기 태스크는 일정을 생성하거나, 원하는 상대방에게 사진을 전송하거나, 날씨 정보를 제공하는 것을 포함할 수 있다. 사용자 단말(100)은 적어도 하나 이상의 상태(예: 사용자 단말(100)의 동작 상태)를 순차적으로 가짐으로써, 상기 태스크를 수행할 수 있다.
일 실시 예에 따르면, 패스 룰은 인공 지능(artificial intelligent)(AI) 시스템에 의해 제공되거나, 생성될 수 있다. 인공지능 시스템은 룰 베이스 시스템(rule-based system) 일 수도 있고, 신경망 베이스 시스템(neural network-based system)(예: 피드포워드 신경망(feedforward neural network(FNN)), 순환 신경망(recurrent neural network(RNN))) 일 수도 있다. 또는 전술한 것의 조합 또는 이와 다른 인공지능 시스템일 수도 있다. 일 실시 예에 따르면, 패스 룰은 미리 정의된 패스 룰들의 집합에서 선택될 수 있거나, 사용자 요청에 응답하여 실시간으로 생성될 수 있다. 예를 들어, 인공지능 시스템은 미리 정의 된 복수의 패스 룰 중 적어도 패스 룰을 선택하거나, 동적(또는, 실시간)으로 패스 룰을 생성할 수 있다. 또한, 사용자 단말(100)은 패스 룰을 제공하기 위해 하이브리드 시스템을 사용할 수 있다.
일 실시 예에 따르면, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 실행한 사용자 단말(100)의 상태에 대응되는 화면을 디스플레이에 표시할 수 있다. 다른 예를 들어, 사용자 단말(100)은 상기 동작을 실행하고, 동작을 수행한 결과를 디스플레이에 표시하지 않을 수 있다. 사용자 단말(100)은, 예를 들어, 복수의 동작을 실행하고, 상기 복수의 동작의 일부 결과 만을 디스플레이에 표시할 수 있다. 사용자 단말(100)은, 예를 들어, 마지막 순서의 동작을 실행한 결과만을 디스플레이에 표시할 수 있다. 또 다른 예를 들어, 사용자 단말(100)은 사용자의 입력을 수신하여 상기 동작을 실행한 결과를 디스플레이에 표시할 수 있다.
개인화 정보 서버(300)는 사용자 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 개인화 정보 서버(300)는 사용자 단말(100)로부터 사용자 정보(예: 컨텍스트 정보, 앱 실행 등)를 수신하여 상기 데이터베이스에 저장할 수 있다. 지능형 서버(200)는 통신망을 통해 개인화 정보 서버(300)로부터 상기 사용자 정보를 수신하여 사용자 입력에 대한 패스 룰을 생성하는 경우에 이용할 수 있다. 일 실시 예에 따르면, 사용자 단말(100)은 통신망을 통해 개인화 정보 서버(300)로부터 사용자 정보를 수신하여 데이터베이스를 관리하기 위한 정보로 이용할 수 있다.
제안 서버(400)는 단말 내에 기능 혹은 어플리케이션의 소개 또는 제공될 기능에 대한 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 제안 서버(400)는 개인화 정보 서버(300)로부터 사용자 단말기(100)의 사용자 정보를 수신하여 사용자가 사용 할 수 있는 기능에 대한 데이터베이스를 포함 할 수 있다. 사용자 단말(100)은 통신망을 통해 제안 서버(400)로부터 상기 제공될 기능에 대한 정보를 수신하여 사용자에게 정보를 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 통합 지능화 시스템의 지능형 서버를 나타낸 블록도이다.
도 2를 참조하면, 지능형 서버(200)는 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210), 자연어 이해(natural language understanding)(NLU) 모듈(220), 패스 플래너(path planner) 모듈(230), 대화 매니저(dialogue manager)(DM) 모듈(240), 자연어 생성(natural language generator)(NLG) 모듈(250) 또는 텍스트 음성 변환(text to speech)(TTS) 모듈(260)을 포함할 수 있다. 일 실시 예에 따르면, 지능형 서버(200)는 통신 회로, 메모리(예: 메모리(202)) 및 프로세서(예: 프로세서(201))를 포함할 수 있다. 예를 들면, 프로세서(201)는 메모리(202)에 저장된 명령어를 실행하여 자동 음성 인식 모듈(210), 자연어 이해 모듈(220), 패스 플래너 모듈(230), 대화 매니저 모듈(240), 자연어 생성 모듈(250) 및 텍스트 음성 변환 모듈(260)을 구동시킬 수 있다. 지능형 서버(200)는 상기 통신 회로를 통해 외부 전자 장치(예: 사용자 단말(100))와 데이터(또는, 정보)를 송수신할 수 있다.
지능형 서버(200)의 자연어 이해 모듈(220) 또는 패스 플래너 모듈(230)은 패스 룰(path rule)을 생성할 수 있다.
일 실시 예에 따르면, 자동 음성 인식(automatic speech recognition)(ASR) 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다.
일 실시 예에 따르면, 자동 음성 인식 모듈(210)은 사용자 단말(100)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다. 예를 들어, 자동 음성 인식 모듈(210)은 발화 인식 모듈을 포함할 수 있다. 상기 발화 인식 모듈은 음향(acoustic) 모델 및 언어(language) 모델을 포함할 수 있다. 예를 들어, 상기 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 상기 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 상기 발화 인식 모듈은 발성에 관련된 정보 및 단위 음소 정보에 대한 정보를 이용하여 사용자 발화를 텍스트 데이터로 변환할 수 있다. 상기 음향 모델 및 언어 모델에 대한 정보는, 예를 들어, 자동 음성 인식 데이터베이스(automatic speech recognition database)(ASR DB)(211)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자 의도를 파악할 수 있다. 상기 문법적 분석은 사용자 입력을 문법적 단위(예: 단어, 구, 형태소 등)로 나누고, 상기 나누어진 단위가 어떤 문법적인 요소를 갖는지 파악할 수 있다. 상기 의미적 분석은 의미(semantic) 매칭, 룰(rule) 매칭, 포뮬러(formula) 매칭 등을 이용하여 수행할 수 있다. 이에 따라, 자연어 이해 모듈(220)은 사용자 입력이 어느 도메인(domain), 의도(intent) 또는 상기 의도를 표현하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))를 얻을 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 도메인(domain), 의도(intent) 및 상기 의도를 파악하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))로 나누어진 매칭 규칙을 이용하여 사용자의 의도 및 파라미터를 결정할 수 있다. 예를 들어, 상기 하나의 도메인(예: 알람)은 복수의 의도(예: 알람 설정, 알람 해제 등)를 포함할 수 있고, 하나의 의도를 수행하기 위해 복수의 파라미터(예: 시간, 반복 횟수, 알람음 등)가 요구될 수 있다. 복수의 룰은, 예를 들어, 하나 이상의 필수 요소 파라미터를 포함할 수 있다. 상기 매칭 규칙은 자연어 인식 데이터베이스(natural language understanding database)(NLU DB)(221)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(200)은, 규칙 기반의 모델뿐만 아니라, 통계적 모델에 기반할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 도메인, 의도, 파라미터를 결정하기 위해 통계적 모델을 활용할 수 있다. 통계적 모델은 다양한 형태의 기계 학습(machine learning) 모델을 참조할 수 있으며, 예를 들어 신경망 모델(neural network model)도 포함될 수 있다. 예를 들면, 도메인(domaion), 의도(intent), 파라미터(parameter)(또는 슬롯(slot))을 검출하기 위해 서로 다른 신경망 모델이 사용될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 형태소, 구 등의 언어적 특징(예: 문법적 요소)을 이용하여 사용자 입력으로부터 추출된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 도메인 및 의도에 매칭시켜 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 각각의 도메인 및 의도에 사용자 입력에서 추출된 단어가 얼마나 포함되어 있는 지를 계산하여 사용자 의도를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 상기 의도를 파악하는데 기초가 된 단어를 이용하여 사용자 입력의 파라미터를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도를 파악하기 위한 언어적 특징이 저장된 자연어 인식 데이터베이스(221)를 이용하여 사용자의 의도를 결정할 수 있다. 다른 실시 예에 따르면, 자연어 이해 모듈(220)은 개인화 언어 모델(personal language model)(PLM)을 이용하여 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 개인화된 정보(예: 연락처 리스트, 음악 리스트)를 이용하여 사용자의 의도를 결정할 수 있다. 상기 개인화 언어 모델은, 예를 들어, 자연어 인식 데이터베이스(221)에 저장될 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)뿐만 아니라 자동 음성 인식 모듈(210)도 자연어 인식 데이터베이스(221)에 저장된 개인화 언어 모델을 참고하여 사용자의 음성을 인식할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력의 의도에 기초하여 실행될 앱을 선택하고, 상기 선택된 앱에서 수행될 동작을 결정할 수 있다. 상자연어 이해 모듈(220)은 상기 결정된 동작에 대응되는 파라미터를 결정하여 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(220)에 의해 생성된 패스 룰은 실행될 앱, 상기 앱에서 실행될 동작(예: 적어도 하나 이상의 상태(state)) 및 상기 동작을 실행하는데 필요한 파라미터에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터를 기반으로 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 패스 플래너 모듈(230)로부터 사용자 단말(100)에 대응되는 패스 룰 셋을 수신하고, 사용자 입력의 의도 및 파라미터를 상기 수신된 패스 룰 셋에 매핑하여 패스 룰을 결정할 수 있다.
다른 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력의 의도 및 파라미터에 기초하여 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터를 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 단말(100)의 정보를 이용하여 상기 실행될 앱 및 상기 앱에서 실행될 동작을 사용자 입력의 의도에 따라 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 배열하여 패스 룰을 생성할 수 있다. 상기 생성된 패스 룰은, 예를 들어, 패스 플래너 모듈(230)를 통해 패스 룰 데이터베이스(path rule database)(PR DB)(231)에 저장될 수 있다. 상기 생성된 패스 룰은 데이터베이스(231)의 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 생성된 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 상기 복수의 패스 룰 최적의 패스 룰을 선택할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 발화에 기초하여 일부 동작만이 특정된 경우 복수의 패스 룰을 선택할 수 있다. 자연어 이해 모듈(220)은 사용자의 추가 입력에 의해 상기 복수의 패스 룰 중 하나의 패스 룰을 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220)은 사용자 입력에 대한 요청으로 패스 룰을 사용자 단말(100)로 송신할 수 있다. 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 하나의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 다른 예를 들어, 자연어 이해 모듈(220)은 사용자 입력에 대응되는 복수의 패스 룰을 사용자 단말(100)로 송신할 수 있다. 상기 복수의 패스 룰은, 예를 들어, 사용자 발화에 기초하여 일부 동작만이 특정된 경우 자연어 이해 모듈(220)에 의해 생성될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)로 복수의 패스 룰을 포함하는 패스 룰 셋을 전달할 수 있다. 상기 패스 룰 셋의 복수의 패스 룰은 패스 플래너 모듈(230)에 연결된 패스 룰 데이터베이스(231)에 테이블 형태로 저장될 수 있다. 예를 들어, 패스 플래너 모듈(230)은 지능형 에이전트(145)로부터 수신된 사용자 단말(100)의 정보(예: OS 정보, 앱 정보)에 대응되는 패스 룰 셋을 자연어 이해 모듈(220)로 전달할 수 있다. 상기 패스 룰 데이터베이스(231)에 저장된 테이블은, 예를 들어, 도메인 또는 도메인의 버전 별로 저장될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 패스 룰 셋에서 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자의 의도 및 파라미터를 사용자 단말(100) 에 대응되는 패스 룰 셋에 매칭하여 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(220)로 전달할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터를 이용하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 패스 플래너 모듈(230)은 사용자 의도 및 파라미터에 기초하여 실행될 앱 및 상기 앱에서 실행될 동작을 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(230)은 상기 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(230)은 자연어 이해 모듈(220)에서 생성된 패스 룰을 패스 룰 데이터베이스(231)에 저장할 수 있다. 상기 생성된 패스 룰은 패스 룰 데이터베이스(231)에 저장된 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 패스 룰 데이터베이스(231)에 저장된 테이블에는 복수의 패스 룰 또는 복수의 패스 룰 셋을 포함할 수 있다. 복수의 패스 룰 또는 복수의 패스 룰 셋은 각 패스 룰을 수행하는 장치의 종류, 버전, 타입, 또는 특성을 반영할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(240)은 자연어 이해 모듈(220)에 의해 파악된 사용자의 의도가 명확한지 여부를 판단할 수 있다. 예를 들어, 대화 매니저 모듈(240)은 파라미터의 정보가 충분하지 여부에 기초하여 사용자의 의도가 명확한지 여부를 판단할 수 있다. 대화 매니저 모듈(240)은 자연어 이해 모듈(220)에서 파악된 파라미터가 태스크를 수행하는데 충분한지 여부를 판단할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자의 의도가 명확하지 않은 경우 사용자에게 필요한 정보를 요청하는 피드백을 수행할 수 있다. 예를 들어, 대화 매니저 모듈(240)은 사용자의 의도를 파악하기 위한 파라미터에 대한 정보를 요청하는 피드백을 수행할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(240)은 컨텐츠 제공(content provider) 모듈을 포함할 수 있다. 상기 컨텐츠 제공 모듈은 자연어 이해 모듈(220)에서 파악된 의도 및 파라미터에 기초하여 동작을 수행할 수 있는 경우, 사용자 입력에 대응되는 태스크를 수행한 결과를 생성할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(240)은 사용자 입력에 대한 응답으로 상기 컨텐츠 제공 모듈에서 생성된 상기 결과를 사용자 단말(100)로 송신할 수 있다.
일 실시 예에 따르면, 자연어 생성 모듈(NLG)(250)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 상기 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 상기 지정된 정보는, 예를 들어, 추가 입력에 대한 정보, 사용자 입력에 대응되는 동작의 완료를 안내하는 정보 또는 사용자의 추가 입력을 안내하는 정보(예: 사용자 입력에 대한 피드백 정보)일 수 있다. 상기 텍스트 형태로 변경된 정보는 사용자 단말(100)로 송신되어 디스플레이(120)에 표시되거나, 텍스트 음성 변환 모듈(260)로 송신되어 음성 형태로 변경될 수 있다.
일 실시 예에 따르면, 텍스트 음성 변환 모듈(260)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다. 텍스트 음성 변환 모듈(260)은 자연어 생성 모듈(250)로부터 텍스트 형태의 정보를 수신하고, 상기 텍스트 형태의 정보를 음성 형태의 정보로 변경하여 사용자 단말(100)로 송신할 수 있다. 사용자 단말(100)은 상기 음성 형태의 정보를 스피커로 출력할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현될 수 있다. 예를 들어, 자연어 이해 모듈(220), 패스 플래너 모듈(230) 및 대화 매니저 모듈(240)은 하나의 모듈로 구현되어 사용자의 의도 및 파라미터를 결정하고, 상기 결정된 사용자의 의도 및 파라미터에 대응되는 응답(예: 패스 룰)을 생성할 수 있다. 이에 따라, 생성된 응답은 사용자 단말(100)로 송신될 수 있다.
다양한 실시 예들에 따른 인공 신경망 모델에 관한 시스템은, 인공 신경망 모델을 학습하기 위한(for training) 장치 및 학습된 인공 신경망 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220)과 기능적으로 연결된 장치)를 포함할 수 있다. 인공 신경망 모델을 학습하기 위한 장치 및 학습된 인공 신경망 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220)과 연결된 장치)는, 프로세서 기반의 장치일 수 있다. 인공 신경망 모델을 학습하기 위한 장치 및 학습된 인공 신경망 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220)과 연결된 장치)는, 프로세서(예: 프로세서(201)) 및 상기 프로세서와 연결된 메모리(예: 메모리(202))를 포함할 수 있다.
다양한 실시 예들에서, 인공 신경망(예: 순환 인공 신경망(recurrent neural network, RNN))을 이용하여 사람의 언어를 이해(또는 분석)하기 위한 전자 장치 및 방법이 제공될 수 있다. 다양한 실시 예들에 따른 방법은, 지능형 서버(200)또는 자연어 이해 모듈(natural language understanding)(NLU)(220)에 의해 수행될 수 있다. 예를 들면, 상기 방법은, 메모리(202) 또는 자연어 이해 모듈(220)에 구현될 수 있다. 예를 들면, 상기 메모리(202)(또는 자연어 이해 모듈(220))는, 다양한 실시 예들에 따른 사람의 언어를 이해하기 위한 인공 신경망(예: RNN)을 구현(또는 저장)할 수 있다. 다양한 실시 예들에 따른 방법은, 지능형 서버(200)(또는 자연어 이해 모듈(220))에 내장될 인공 신경망 모델을 학습하기 위한(for training) 장치에 의해 수행될 수도 있다.
다양한 실시 예들에 따른 전자 장치는, 예를 들면, 지능형 서버(200), 자연어 이해 모듈(220)에 관련된 장치, 또는 지능형 서버(200)(또는 자연어 이해 모듈(220))에 내장될 인공 신경망 모델을 학습하기 위한(for training) 장치를 포함할 수 있다.
음성 대화 시스템(spoken dialogue system) 또는 목적 지향 대화 시스템(goal-oriented dialogue system)에서, 슬롯 채우기(slot filling)와 의도 탐지(intent detection)는, 주로 사전에 설계된 의미 프레임들(semantic frames)에 기반하여 사용자 발화를 이해하는 동작에 관련될 수 있다. 슬롯 채우기(slot filling)는, 토큰의 시퀀스를 식별하고, 발화에서 의미(semantic) 구성 요소를 추출하는 동작을 나타낼 수 있다. 의도 탐지(intent detection)는, 사용자 발화의 의도를 분류하는 동작을 나타낼 수 있다.
다양한 실시 예들에서, 의도(intent)와 도메인(domain)의 멀티 태스크 학습(multi-task learning)에 있어서, 도메인 스케일링(scaling)과 적응(adaptation) 문제를 포함하는 도메인 분류 문제는, 고려되지 않을 수 있다. 다양한 실시 예들에서는, 의도(intent)와 슬롯(slot)을 공동으로 학습하는 문제만이 고려될 수 있다.
단어(word)의 역할이나 의미는, 문장 내의 얼마나 긴 부분에 초점을 두는지에 따라 달라질 수 있다. 즉, 문장 내에서 단어의 역할이나 의미를 해석하기 위해 고려되는 부분의 길이에 따라, 상기 단어의 역할이나 의미가 달라질 수 있다. 예를 들면, "그에게 오늘 밤에 저녁 식사 어떠냐고 보내(send how about dinner tonight to him)"와 같은 문장에서, '오늘 밤에(tonight)'라는 단어의 의미가 달라질 수 있다. 예를 들면, '오늘 밤에'라는 단어는, "오늘 밤에 저녁 식사 어떠냐(how about dinner tonight)"라는 저녁 식사를 위한 시간을 의미하지만, "그에게 ~ 보내(send ~ to him)"라는 텍스트 본문의 일부일 수도 있다.
상술한 과제를 해결하기 위해, 다양한 실시 예들에 따른 전자 장치 및 방법은, 순환 인공 신경망(recurrent neural network, RNN) 모델에서 장기 기억 어텐션(long-term aware attention, LA)이라는 새로운 어텐션 구조(attention mechanism)를 제공할 수 있다. 장기 기억 어텐션 구조는, RNN의 두 레이어들을 쌓고(stack), 상기 두 레이어들을 단기 기억(short-term) 및 장기 기억(long-term)의 쌍으로써 활용할 수 있다. 상기 두 레이어들 중 제1 레이어(예: 하단의 레이어)는 단기 기억(short-term) 또는 상대적으로 지역적인(local) 정보를 나타낼 수 있다. 상기 두 레이어들 중 제2 레이어(예: 상단의 레이어)는, 장기 기억(long-term) 또는 상대적으로 전역적인(global) 정보를 나타낼 수 있다. 장기 기억 어텐션 구조에서, 제1 레이어는 키(key) 및 밸류(value)를 위해 이용될 수 있고, 제2 레이어는 키를 위해 이용될 수 있다.
다만, 이에 한정되지 않는다. 예를 들면, 장기 기억 어텐션 구조에서 RNN은 복수의 레이어들을 포함할 수 있다. 복수의 레이어들 중 일부 레이어들은 단기 기억(short-term)으로써 키 및 밸류로 이용될 수 있다. 복수의 레이어들 중 다른 일부 레이어들은 장기 기억(long-term)으로써 키로 이용될 수 있다. 예를 들면, 상기 일부 레이어들은, 상기 다른 일부 레이어들보다 RNN에서 하단에 위치될 수 있다.
다양한 실시 예들에서, 장기 기억 어텐션(LA) 구조를 통합한 RNN 모델은, 모델을 학습시키는 동작(training) 및 모델의 성능에 있어서 효과(effectiveness) 및 효율(efficiency)를 증대시킬 수 있다. 상술한 바와 같은 장기 기억 어텐션(LA) 구조를 통합한 RNN 모델은, LA-RNN 모델로 지칭될 수 있다. LA-RNN 모델은, 단어(word)가 아닌 문자(character)에 기반할 수 있다. 다만, 이에 한정되지 않는다.
다양한 실시 예들에서, LA-RNN 모델은, 문자 기반 표현(character-based representation)의 안정성과 유용성을 향상시키기 위해, 가중치 감소(weight-decay) 하이퍼-파라미터(hyper-parameter)를 가지는 문자 기반(character-based) 언어 모델의 멀티 태스크 학습(multi-task learning)으로 학습될(train) 수 있다. 가중치 감소(weight-decay) 하이퍼-파라미터(hyper-parameter)를 가지는 문자 기반(character-based) 언어 모델은, 슬롯 채우기 코스트(slot filling cost) 및 의도 탐지 코스트(intent detection cost)의 관점에서, 정규화자(regularizer)가 될 수 있다.
다양한 실시 예들에서, LA-RNN 모델에서 이용되는 새로운 위치 인코딩은, 라이트 하우스 위치 인코딩(light-house positional encoding)으로 지칭될 수 있다. 라이트 하우스 위치 인코딩은, 현재 위치(current position)와 비교 위치(comparison position) 사이의 상대적 거리(relative distance)를 고려할 수 있다. 라이트 하우스 위치 인코딩은, 위치 별 인코딩(position-wise encoding) 및 고정 인코딩(fixed-encoding)과는 달리, 하나의 학습된 임베딩(embedding)을 정의할 수 있다. 라이트 하우스 위치 인코딩은, 인코더와 디코더의 시작 표현 (starting representation)에 위치되지 않고, 어텐션 계산의 내부에만 위치될 수 있다.
슬롯 채우기(slot filling)는, 시퀀스 레이블링 문제 중 하나일 수 있으며, 의도 탐지(intent detection)는, 여러 출력 레이블들을 가지는 분류 문제로 처리될 수 있다. 예를 들면, 슬롯은, 의도(intent)를 표현하는데 필요한 파라미터(parameter)일 수 있다.
sentence find flights to new york tomorrow
slots O O O B-toloc I-toloc B-date
intent find_flight
sentence text to mary that sad puppy noise
slots O O B-recipient O B-text I-text I-text
intent send_message
예를 들어, 표 1을 참조하면, 비행 도메인(flight domain)은, 의도 리스트로써 항공편 찾기 의도를 나타내는 find_flight, 항공료 찾기 의도를 나타내는 find_airfare, 및 비행 거리 찾기 의도를 나타내는 find_distance를 포함할 수 있다. 또한 비행 도메인(flight domain)은, 슬롯 리스트로써 출발지에 관한 슬롯인 toloc, 도착지에 관한 슬롯인 fromloc, 날짜에 관한 슬롯인 date, 및 항공편 번호에 관한 슬롯인 flight_number를 포함할 수 있다.
슬롯 채우기(slot filling) 태스크는, 슬롯과 주어진 사용자 쿼리(query) 간의 정렬(alignment)을 찾는 것일 수 있다. 의도 탐지(intent detection) 태스크는, 주어진 사용자 쿼리로부터 의도 리스트 중에서 하나 이상의 의도들을 인스턴스화(instantiate)하는 것일 수 있다. 예를 들면, 이는 다음과 같은 수학식으로 나타낼 수 있다.
Figure pat00001
수학식 1을 참조하면,
Figure pat00002
은, 슬롯 채우기에 상응하는 함수일 수 있고,
Figure pat00003
는, 의도 탐지에 상응하는 함수일 수 있다.
Figure pat00004
는, 입력 시퀀스를 나타낼 수 있고,
Figure pat00005
는, 입력 시퀀스의 길이를 나타낼 수 있고,
Figure pat00006
는, 입력 시퀀스에 상응하는 레이블 시퀀스를 나타낼 수 있고,
Figure pat00007
는, 의도(intent) 레이블들을 나타낼 수 있으며, n은, 의도(intent)의 개수를 나타낼 수 있다.
슬롯 채우기를 위한
Figure pat00008
은, 입력 시퀀스
Figure pat00009
를, 상응하는 레이블 시퀀스
Figure pat00010
에 맵핑하는 함수일 수 있다. 다양한 실시 예들에 따른 LA-RNN 모델에 관한 시스템에서, LA-RNN 모델을 학습하기 위한 장치는,
Figure pat00011
을 학습할 수 있다. LA-RNN 모델에 관한 시스템에서, LA-RNN 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220))는,
Figure pat00012
을 이용하여, 입력 시퀀스
Figure pat00013
로부터, 입력 시퀀스에 상응하는 슬롯들을 나타내는 레이블 시퀀스
Figure pat00014
를 획득할 수 있다.
의도 탐지를 위한
Figure pat00015
는, 입력 시퀀스
Figure pat00016
를, 의도 레이블들
Figure pat00017
에 맵핑하는 함수일 수 있다. 다양한 실시 예들에 따른 LA-RNN 모델에 관한 시스템에서, LA-RNN 모델을 학습하기 위한 장치는,
Figure pat00018
을 학습할 수 있다. LA-RNN 모델에 관한 시스템에서, LA-RNN 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220))는,
Figure pat00019
을 이용하여, 입력 시퀀스
Figure pat00020
로부터, 입력 시퀀스에 기반한 의도 레이블들
Figure pat00021
를 획득할 수 있다.
예를 들어, 표 1을 참조하면, 슬롯들의 시퀀스(예:
Figure pat00022
)는, 슬롯의 시작(beginning)으로써 'B', 슬롯의 연속(continuation)으로써 'I', 및 슬롯의 부재(absence)로써 'O'에 상응하는 세 출력들을 가지는 IOB 레이블들의 형태일 수 있다.
도 3은 다양한 실시 예들에 따른 언어 모델, 슬롯 채우기 모델, 및 의도 탐지 모델의 예를 도시한다. 다양한 실시 예들에서, 태스크 모델이라 함은, 슬롯 채우기 모델(320) 및 의도 탐지 모델(330)을 나타낼 수 있다.
도 3을 참조하면, 다양한 실시 예들에 따른 LA-RNN 모델에 관한 시스템(390)에서, LA-RNN 모델을 학습하기 위한 장치는, 멀티 태스크 학습(multi-task learning)을 수행할 수 있다. LA-RNN 모델을 학습하기 위한 장치(예: 프로세서 기반의 장치)는, 언어 모델(language model)(310), 슬롯 채우기 모델(slot filling model)(320), 및 의도 탐지 모델(intent detection model)(330)을 동시에(또는 병렬적으로, 한 번에) 학습할 수 있다. 학습된 슬롯 채우기 모델(320), 및 학습된 의도 탐지 모델(330)은, 지능형 서버(200)의 메모리(202)(또는 자연어 이해 모듈(220))에 구현 또는 저장될 수 있다.
일 실시 예에 따르면, 슬롯 채우기 모델(320) 및 의도 탐지 모델(330)은, 지도 학습(supervised learning)으로 학습될 수 있다. 예를 들면, 슬롯 채우기 모델(320) 및 의도 탐지 모델(330)은, 지정된 레이블(label)에 기반하여 학습될 수 있다. 일 실시 예에 따르면, 언어 모델(310)은, 비지도 학습(unsupervised learning)으로 학습될 수 있다. 예를 들면, 언어 모델(310)은, 지정된 레이블이 존재하지 않은 상태에서 학습될 수 있다. 언어 모델(310)은, 레이블 없이, 입력 시퀀스(예: 문장)만 주어진 상태에서 학습될 수 있다.
다양한 실시 예들에서, 언어 모델(310), 슬롯 채우기 모델(320), 및 의도 탐지 모델(330)은, 인코더와 디코더를 포함할 수 있다. 인코더와 디코더는, 적어도 하나의 RNN 레이어를 포함할 수 있다. 예를 들면, 도 3에서 인코더 RNN는, 복수의 레이어들(예: 303, 301, 302)을 포함할 수 있다. 인코더는, 입력으로부터 RNN을 통해 숨은 표현(hidden representation)들을 구성할 수 있다. 예를 들면, 인코더는, 문장의 구성 요소(예: 단어)가 나타내는 의미에 관한 정보를, 숨은 표현들로써 저장할 수 있다. 디코더는, 인코더에서 최종적으로 구성된 숨은 표현들(예: 도 3에서
Figure pat00023
,
Figure pat00024
등)을 이용하여, 필요한 정보(예: 슬롯에 관한 정보, 의도에 관한 정보)를 획득할 수 있다.
다양한 실시 예들에서, 멀티 태스크 학습을 위해, 언어 모델(310)의 훈련 동작(training), 슬롯 채우기 모델(320)의 훈련 동작, 및 의도 탐지 모델(330)의 훈련 동작은, 일정 부분을 공유할 수 있다. 세 가지 모델(310, 320, 330)의 훈련 동작(training)은, 하나 이상의 파라미터들을 공유할(share) 수 있다.
세 가지 모델(310, 320, 330)의 훈련 동작(training)은, 인코더 RNN에서, 입력 시퀀스와 관련된 레이어(303) 또는 레이어(303)로부터 획득된 표현들(representations)(예:
Figure pat00025
)를 공유할 수 있다. 태스크 모델(예: 슬롯 채우기 모델(320), 의도 탐지 모델(330))의 훈련 동작은, 인코더 RNN에 포함된 복수의 레이어들 중에서, 제1 레이어(301) 및 제2 레이어(302), 또는 제1 레이어(301)로부터 획득된 숨은 표현(hidden representation)(예:
Figure pat00026
) 및 제2 레이어(302)로부터 획득된 숨은 표현(예:
Figure pat00027
)을 공유할 수 있다. 인덱스에 관한 상세한 설명은 도 4에서 후술된다.
다양한 실시 예들에서, 멀티 태스크 학습(multi-task learning) 방법으로 학습된 슬롯 채우기 모델(320) 및 의도 탐지 모델(330)은, LA-RNN 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220))에 저장(또는 구현)될 수 있다.
다양한 실시 예들에서, 입력 시퀀스로부터 인코더 RNN의 레이어(303)을 통해, 표현(representation)들
Figure pat00028
이 구성될 수 있다. 예를 들면,
Figure pat00029
은, 단어(word)를 나타내는 표현(representation)일 수 있다. 예를 들면,
Figure pat00030
은, 레이어(303)에 대한 최종적인 출력(output)일 수 있다.
Figure pat00031
은, 인코더 RNN의 제1 레이어(301)의 입력으로 이용될 수 있다.
Figure pat00032
으로부터 제1 레이어(301)을 통해, 숨은 표현(hidden representation)들
Figure pat00033
이 구성될 수 있다.
Figure pat00034
은, 주변(예: 주변의 단어들)에 관한 단기 기억(short-term)에 대한 정보를 저장할 수 있다. 예를 들면,
Figure pat00035
은, 제1 레이어(301)에 대한 최종적인 출력(output)일 수 있다.
Figure pat00036
은, 인코더 RNN의 제2 레이어(302)의 입력으로 이용될 수 있다.
Figure pat00037
으로부터 제2 레이어(302)을 통해, 숨은 표현(hidden representation)들
Figure pat00038
이 구성될 수 있다.
Figure pat00039
은, 전역적인(예: 전역의 단어들)에 관한 장기 기억(long-term)에 대한 정보를 저장할 수 있다. 예를 들면,
Figure pat00040
은, 제2 레이어(302)에 대한 최종적인 출력(output)일 수 있다.
Figure pat00041
,
Figure pat00042
은, 디코더 RNN의 입력으로 이용될 수 있다.
Figure pat00043
,
Figure pat00044
은, 디코더 RNN에서, 필요한 정보(예: 슬롯에 관한 정보, 의도에 관한 정보)를 획득하기 위해 이용될 수 있다.
Figure pat00045
,
Figure pat00046
은, 디코더 RNN에서, 필요한 정보에 관한 어텐션(즉, 장기 기억 어텐션(long-term aware attention, LA))을 구성하기 위해 이용될 수 있다. 예를 들면, 디코더는, 하나 이상의 RNN을 포함할 수 있다. 디코더 RNN은,
Figure pat00047
,
Figure pat00048
로부터, 하나 이상의 디코더 RNN을 통해, 슬롯에 관한 장기 기억 어텐션(LA)을 나타내는
Figure pat00049
,
Figure pat00050
,
Figure pat00051
를 구성할 수 있다. 디코더 RNN은,
Figure pat00052
,
Figure pat00053
로부터, 하나 이상의 디코더 RNN을 통해, 의도(intent)에 관한 장기 기억 어텐션(LA)을 나타내는
Figure pat00054
를 구성할 수 있다.
슬롯 채우기 모델(320)에 대하여, 숨은 표현들로부터 장기 기억 어텐션을 획득하는 방법을 예로 들면, 다음과 같은 수학식으로 나타낼 수 있다.
Figure pat00055
수학식 2를 참조하면, j는 입력(예: 단어(word))의 순차적인 인덱스를 나타내고,
Figure pat00056
는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고,
Figure pat00057
는, 디코딩의 i번째 단계에 관한 어텐션 벡터를 나타내고,
Figure pat00058
는, a 함수에 의해 획득된,
Figure pat00059
에 관한 위치 별 가중치(position-wise weight)를 나타낼 수 있다.
Figure pat00060
는, 인코더 RNN의 제1 레이어의 숨은 표현(hidden representation)을 나타내고,
Figure pat00061
은, 인코더 RNN의 제2 레이어의 숨은 표현을 나타낼 수 있다.
Figure pat00062
는, 디코더 RNN에 위치된 숨은 표현(hidden representation)일 수 있다.
Figure pat00063
는, 현재(즉, i번째 단계)의 출력(output)을 획득하기 위한 디코더 RNN의 처리 동작에서, 현재까지 처리된 정보를 나타낼 수 있다. 다양한 실시 예들에 따른 LA-RNN 모델에서,
Figure pat00064
는, 쿼리(query)로 이용될 수 있다. 즉, 다양한 실시 예들에 따른 LA-RNN 모델에서, 슬롯 채우기 모델(320)은,
Figure pat00065
를 이용하여, 인코더 RNN에 위치된 정보들
Figure pat00066
,
Figure pat00067
에 기반하여, 장기 기억 어텐션을 획득하거나 또는 현재(즉, i번째 단계)의 출력을 획득할 수 있다.
다양한 실시 예들에 따른 LA-RNN 모델(예: 슬롯 채우기 모델(320))은, 인코더 RNN의 숨은 표현들을 이용하여, 장기 기억 어텐션(LA)를 획득할 수 있다. LA-RNN 모델은, 인코더 RNN에 포함된 복수의 레이어들 중, 하단의 레이어(즉, 제1 레이어(301))로부터 구성된 숨은 표현들(즉,
Figure pat00068
)을 키(key) 및 밸류(value)로 이용할 수 있다. LA-RNN 모델은, 인코더 RNN에 포함된 복수의 레이어들 중, 상단의 레이어(즉, 제2 레이어(302))로부터 구성된 숨은 표현들(즉,
Figure pat00069
)을 키(key)로 이용할 수 있다.
수학식 2의
Figure pat00070
를 참조하면, LA-RNN 모델은, 쿼리
Figure pat00071
, 키
Figure pat00072
, 및 키
Figure pat00073
를 이용하여, 가중치(weight)
Figure pat00074
를 획득하기 위한 입력
Figure pat00075
를 획득할 수 있다. 예를 들면, 가중치
Figure pat00076
는, 인코더 RNN의 각각의 정보들(예:
Figure pat00077
,
Figure pat00078
)이 얼마나 비중 있게 고려되는지에 관한 정보를 포함할 수 있다. 즉, 다양한 실시 예들에서, LA-RNN 모델은, 키로써
Figure pat00079
및
Figure pat00080
를 이용할 수 있다.
수학식 2의
Figure pat00081
를 참조하면, LA-RNN 모델은, 각각의 가중치
Figure pat00082
를 각각의 밸류
Figure pat00083
와 곱한 다음 합하는 가중치 합(weighted sum) 연산을 수행함으로써, 장기 기억 어텐션(LA)에 대한 정보를 획득할 수 있다. 즉, 다양한 실시 예들에서, LA-RNN 모델은, 키로써
Figure pat00084
를 이용할 수 있다. LA-RNN 모델은, 상단의 레이어(즉, 제2 레이어(302))로부터 구성된 숨은 표현들(즉,
Figure pat00085
)을 밸류로 이용하지 않을 수 있다.
다양한 실시 예들에서, 제1 레이어(301)의 개수 및 제2 레이어(302)의 개수는 이에 한정되지 않는다. 예를 들면, LA-RNN 모델은, 인코더 RNN에 포함된 5단의 레이어들 중, 하단의 3개 레이어들을 키 및 밸류로 이용하고, 상단의 2개 레이어들을 키로 이용할 수도 있다.
상술한 바와 같이, 다양한 실시 예들에 따른 전자 장치 및 방법은, 인코더 RNN에 포함된 복수의 레이어들 중, 일부 레이어들(예: 하단의 레이어, 제1 레이어(301))을 키 및 밸류로써 이용하고, 다른 일부 레이어들(예: 상단의 레이어, 제2 레이어(302))을 키로써 이용함으로써, 장기 기억(long-term) 또는 상대적으로 전역적인(global) 정보를 더 잘 기억할 수 있다.
다양한 실시 예들에서, 의도 탐지 모델(330)도 상술한 바에 상응하는 동작을 수행할 수 있다.
도 4a는, 다양한 실시 예들에 따른 언어 모델의 다른 예를 도시한다. 도 4a를 참조하면, 언어 모델(410)의 구조는, 임의로 선택된 한 단어(word)를 제외한 문자 기반의(character-based) 입력(411), 하나의 인코딩 레이어(413), 및 위치 어텐션(positional attention)(415)을 포함할 수 있다. 위치 어텐션(415)은, 라이트 하우스 위치 인코딩을 이용하여 구성될 수 있다. 언어 모델의 학습 동작에서, 소프트맥스 근사(softmax approximation)에 관한 정규화(normalization)가 이용될 수 있다.
도 4b는, 다양한 실시 예들에 따른 슬롯 채우기 모델의 다른 예를 도시한다. 도 4b를 참조하면, 슬롯 채우기 모델(420)의 구조는, 문자 기반의 입력(421), 두 개의 인코딩 레이어들(423), 및 장기 기억 어텐션(425)(예:
Figure pat00086
,
Figure pat00087
,
Figure pat00088
)를 포함할 수 있다. 장기 기억 어텐션(425)(예:
Figure pat00089
,
Figure pat00090
,
Figure pat00091
)은, 라이트 하우스 위치 인코딩과 결합될 수 있다.
도 4c는, 다양한 실시 예들에 따른 의도 탐지 모델의 다른 예를 도시한다. 도 4c를 참조하면, 의도 탐지 모델(430)의 구조는, 문자 기반의 입력(431), 두 개의 인코딩 레이어들(433), 및 장기 기억 어텐션(435)(예:
Figure pat00092
)를 포함할 수 있다. 장기 기억 어텐션(435)(예:
Figure pat00093
)은, 마지막 단어의 위치에 기반한 라이트 하우스 위치 인코딩과 결합될 수 있다.
다양한 실시 예들에서. LA-RNN 모델(예: 410, 420, 430)을 학습하기 위한 장치(예: 프로세서 기반의 장치)는, 언어 모델(410), 슬롯 채우기 모델(420), 및 의도 탐지 모델(430)을 동시에(또는 병렬적으로, 한 번에) 학습할 수 있다. 학습된 슬롯 채우기 모델(420) 및 학습된 의도 탐지 모델(430)은, 지능형 서버(200)의 메모리(202)(또는 자연어 이해 모듈(220))에 구현 또는 저장될 수 있다.
도 4a, 4b, 및 4c를 참조하면, 인공 신경망(예: RNN)의 입력은, 문자
Figure pat00094
들의 시퀀스일 수 있다. i는, 단어(word)를 나타내는 인덱스일 수 있다. j는, 단어 안에서 문자를 나타내는 인덱스일 수 있다. 다양한 실시 예들에서, LA-RNN 모델은, 슬롯 채우기 모델(420) 및 의도 탐지 모델(430)을 나타내는 태스크 모델들과, 언어 모델(410)을 포함할 수 있다.
다양한 실시 예들에서, 세 가지 모델들(410, 420, 430)은 문자 임베딩(character embedding)(예: 벡터) 및 단어와 관련된 레이어(예: 411, 421, 431)를 공유할 수 있다. 태스크 모델들(420, 430)은, 문자 임베딩 및 단어와 관련된 레이어(예: 411, 421, 431)뿐 아니라, 두 개의 인코딩 레이어들(예: 423, 433)도 공유할 수 있다.
다양한 실시 예들에서, 인공 신경망(예: RNN)은, 숨은 인코딩 표현(hidden encoding representation)
Figure pat00095
로 구성될 수 있다. k는 레이어들의 인덱스로써, 1, 2, 및
Figure pat00096
일 수 있다. k는, 태스크 모델들(420, 430)의 제1 인코딩 레이어(예: 하단의 레이어)의 인덱스로써 1일 수 있고, 태스크 모델들(420, 430)의 제2 인코딩 레이어(예: 상단의 레이어)의 인덱스로써 2일 수 있으며, 언어 모델(410)의 제1 레이어(413)의 인덱스로써
Figure pat00097
일 수 있다. 또한, 슬롯 채우기 모델(420)은, 순차적인 출력을, 슬롯 레이블 임베딩(예: 벡터)들
Figure pat00098
의 형태로, 다음 디코더의 입력으로써 이용할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 방법은, 언어 모델(410)의 위치 어텐션(positional attention)(415)과 태스크 모델들(420, 430)의 어텐션 벡터(425, 435)를 제공할 수 있다. 다양한 실시 예들은, RNN으로써 양방향(bi-directional) GRU(gated recurrent unit)(Chung et al., 2014)를 이용할 수 있다. 다양한 실시 예들은, 문자 임베딩들(character embeddings)로부터 단어 표현(word representation)(예: 411, 421, 431)을 구성하기 위해, 순방향 RNN 및 역방향 RNN의 최종 상태들의 합 연산을 이용할 수 있다. 다양한 실시 예들은, 순방향 RNN 및 역방향 RNN의 상태들 각각을 연결할(concatenate) 수 있다. 드롭 아웃(dropout)(Srivastava et al., 2014) 및 배치 정규화(batch normalization)(Ioffe and Szegedy, 2015)의 위치, 활성 함수(activation function)의 선택, 디코더의 입력들에 관한 연결은, 실험으로부터 획득될 수 있다.
다양한 실시 예들에서, 문자 기반 입력(character-based input)이 이용될 수 있다. 단어 임베딩을 이용하면, 많은 어휘 작업에 대해, 단어 임베딩들의 사이즈가 나머지 파라미터들의 수를 훨씬 초과할 수 있다. 또한, 문자 기반의(character-based) 접근 방식은, 단어 기반의(word-based) 접근 방식보다, 알려지지 않거나 희소한 단어에 대해 더 안정적인 처리를 수행할 수 있다. 문자 임베딩에 기반한 단어 표현(word representation)은, 철자 형태와 의미적 기능을 탐지하는 데 유용할 수 있다. 문자 임베딩에 기반한 단어 표현(word representation)은, 단어 임베딩보다, 접두어(prefixes)나 접미사(suffixes)와 같은 형태소들을 구별하는 데 유용할 수 있다. 다만, 이에 한정되지 않으며, 단어 기반 입력(word-based input)이 이용될 수도 있다.
정렬 기반의(alignment-based) RNN 모델의 어텐션 메커니즘은, 예를 들면, 다음과 같이 나타낼 수 있다(Mnih et al., 2014; Bahdanau et al., 2015; Firat et al., 2016).
Figure pat00099
수학식 3을 참조하면, j는 단어(word)의 순차적인 인덱스를 나타내고,
Figure pat00100
는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고,
Figure pat00101
는, 디코딩의 i번째 단계에 관한 어텐션 벡터를 나타내고,
Figure pat00102
는, f 함수에 의해 획득된,
Figure pat00103
에 관한 위치 별 가중치(position-wise weight)를 나타낼 수 있다.
수학식 3에서, 어텐션의 쿼리(query)는 현재 디코더 상태
Figure pat00104
일 수 있고, 어텐션의 키(key)와 밸류(value)는, 각각의
Figure pat00105
일 수 있다. 어텐션 가중치(weight)
Figure pat00106
는, 예를 들면, 쿼리와 키에 기반한 신경망 f 및 소프트맥스(softmax)에 기반하여 획득될 수 있다. 최종 어텐션(final attention)
Figure pat00107
는, 어텐션 가중치들(즉,
Figure pat00108
)과 밸류들(values)의 가중치 합(weighted sum)으로 획득될 수 있다.
단어(word)의 역할이나 의미는, 문장 내의 얼마나 긴 부분에 초점을 두는지에 따라 달라질 수 있는 점에 착안하여, 다양한 실시 예들에 따른 장기 기억 어텐션(LA) 구조를 가지는 RNN 모델(즉, LA-RNN 모델(예: 420, 430))은, 인코더에 RNN의 두 레이어들을 쌓고(stack), 상기 두 레이어들을 단기 기억(short-term) 및 장기 기억(long-term)의 쌍으로써 활용할 수 있다. 상기 두 개의 인코더 RNN 레이어들 중 제1 레이어(예: 하단의 레이어)는 단기 기억(short-term) 또는 상대적으로 지역적인(local) 정보를 나타낼 수 있다. 상기 두 레이어들 중 제2 레이어(예: 상단의 레이어)는, 장기 기억(long-term) 또는 상대적으로 전역적인(global) 정보를 나타낼 수 있다. 장기 기억 어텐션(LA) 구조에서, 인코더 RNN의 제1 레이어는 키(key) 및 밸류(value)로 이용될 수 있고, 인코더 RNN의 제2 레이어는 키로 이용될 수 있다. 인코더 RNN의 제2 레이어의 숨은 표현(hidden representation)의 양 끝은, 쿼리 정보를 만들기 위해 이용될 수 있다. 예를 들면, 이는 다음과 같은 수학식으로 나타낼 수 있다.
Figure pat00109
수학식 4를 참조하면,
Figure pat00110
은, 디코딩의 i번째 단계에 관한 어텐션 벡터를 나타내고,
Figure pat00111
는, 인코더 RNN의 제1 레이어의 숨은 표현(hidden representation)을 나타내고,
Figure pat00112
은, 인코더 RNN의 제2 레이어의 숨은 표현을 나타낼 수 있다.
수학식 4와 같은 계산을 통해, 장기 기억 어텐션(LA) 구조는, 단어(word)의 구체적인 의미를 나타내기 위한 단기 기억(short-term) 정보를 유지할 수 있다. 장기 기억 어텐션(LA) 구조는, 상기 단기 기억 정보를, 문장에서 실질적인 의미 또는 역할을 나타내기 위해, 추가적인 문장 수준 정보(sentence-level information)를 이용하여 결합할 수 있다.
f 함수는, 완전 연결(fully connected) 신경망에 의해 가중치(weight)를 계산하기 위해 이용되도록 구성될 수 있다. 예를 들면, f 함수는 다음과 같은 수학식으로 나타낼 수 있다.
Figure pat00113
수학식 5에서, FC는 함수 또는 방법론으로써, 완전 연결(fully connected) 신경망 레이어를 나타낼 수 있다.
다양한 실시 예들에 따른 전자 장치 및 방법은, 디코더에 추가적인 RNN을 구성할 수 있다. 전자 장치 및 방법은, 획득된 장기 기억 어텐션(LA)에 기반하여, 추가적인 디코더 RNN을 통해 슬롯(slot) 또는 의도(intent)를 추출할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 방법은, LA-RNN 모델에서 이용되는 새로운 위치 인코딩으로써, 라이트 하우스 위치 인코딩(light-house positional encoding)을 제공할 수 있다. 라이트 하우스 위치 인코딩은, 현재 위치(current position)와 비교 위치(comparison position) 사이의 상대적 거리(relative distance)를 고려할 수 있다. 라이트 하우스 위치 인코딩은, 위치 별 인코딩(position-wise encoding) 및 고정 인코딩(fixed-encoding)과는 달리, 하나의 학습된 임베딩(embedding)을 정의할 수 있다. 라이트 하우스 위치 인코딩은, 인코더와 디코더의 시작 표현 (starting representation)에 위치되지 않고, 어텐션 계산의 내부에만 위치될 수 있다. 예를 들면, 이는 다음과 같은 수학식으로 나타낼 수 있다.
Figure pat00114
수학식 6을 참조하면, i는 단어(word)의 순차적인 인덱스를 나타내고, b는, 현재 위치 인덱스를 나타내고,
Figure pat00115
는, 차원 d를 가지는, 거리 임베딩(distance embedding)을 나타내고,
Figure pat00116
는, 거리에 따라 증가된 인코딩의 놈(norm)을 제어하는 파라미터를 나타낼 수 있다.
라이트 하우스 위치 인코딩은, 정현파 형(sinusoid type)과 같이 고정된 인코딩(fixed encoding) 또는 각각의 위치에 대해 독립적으로 설정된 학습된 위치 별 인코딩(position-wise encoding)과는 달리, 하나의 거리 임베딩(distance embedding)을 정의할 수 있다. 라이트 하우스 위치 인코딩은, 상기 하나의 거리 임베딩(distance embedding)에 파라미터
Figure pat00117
및 현재 위치 b를 기준으로 한 절대적 거리를 곱함으로써, 각각의 단어 위치 i에 대한 위치 인코딩
Figure pat00118
를 구성할 수 있다. 따라서, 라이트 하우스 위치 인코딩은, 위치 별 인코딩(position-wise encoding)에 비하여, 더 적은 개수의 위치 관련(position-related) 파라미터를 가질 수 있다. 또한, 비교 위치와의 거리가 멀어질수록, 위치 인코딩의 놈(norm)이 커질 수 있다. 따라서, 깊은 레이어에 대하여, 가중치 및 인코딩의 양음(positive and negative)로부터, 거리 관련(distance-related) 정보가 효과적으로 고려될 수 있다.
일 실시 예에 따르면,
Figure pat00119
는, 문장의 평균 길이에 관련된 하이퍼-파라미터(hyper-parameter)일 수 있다. 예를 들면,
Figure pat00120
는 1로 설정될 수 있을 것이다. 다른 실시 예에 따르면,
Figure pat00121
는, 학습되는 파라미터일 수도 있다.
다양한 실시 예들에 따른 LA-RNN 모델에서, 라이트 하우스 위치 인코딩은, 인코더와 디코더의 시작 표현(starting representation)에 삽입되지 않고, 어텐션을 계산하기 위한 함수 (예: 수학식 2의 a, 수학식 5의 f)의 내부에 삽입될 수 있다.
예를 들면, 어텐션을 계산하기 위한 함수 a에 삽입된 라이트 하우스 위치 인코딩은, 다음과 같은 수학식으로 나타낼 수 있다.
Figure pat00122
수학식 7을 참조하면, a는, 수학식 2에서 장기 기억 어텐션을 획득하기 위해 이용되는 함수일 수 있다. 라이트 하우스 위치 인코딩
Figure pat00123
는, 장기 기억 어텐션을 획득하기 위해, 가중치(weight)
Figure pat00124
를 획득하기 위한 키(key)로써 이용될 수 있다. 다양한 실시 예들에서, LA-RNN 모델은, 인코더 RNN에 포함된 복수의 레이어들(예: 423, 433)로부터 구성된 숨은 표현들(예:
Figure pat00125
,
Figure pat00126
)에 라이트 하우스 위치 인코딩
Figure pat00127
를 결합할 수 있다. 예를 들면, LA-RNN 모델은, 숨은 표현들(예:
Figure pat00128
,
Figure pat00129
)에 라이트 하우스 위치 인코딩
Figure pat00130
가 결합된 새로운 키
Figure pat00131
,
Figure pat00132
를 구성할 수 있다. LA-RNN 모델은, 라이트 하우스 위치 인코딩
Figure pat00133
가 결합된 키
Figure pat00134
,
Figure pat00135
를 이용하여 장기 기억 어텐션을 획득할 수 있다.
예를 들면, 어텐션을 계산하기 위한 함수 f에 삽입된 라이트 하우스 위치 인코딩은, 다음과 같은 수학식으로 나타낼 수 있다.
Figure pat00136
수학식 8에서, 연산 [a, b]는, a와 b의 결합 벡터(concatenating)를 나타낼 수 있다. 일 실시 예에 따르면, LA-RNN 모델은, 상술한 바와 같이 어텐션 계산 내부에 라이트 하우스 위치 인코딩을 삽입함으로써, 필요한 경우에만 위치 인코딩을 사용할 수 있다.
다양한 실시 예들에 따른 LA-RNN 모델에 관한 시스템(예: 시스템(390))에서, LA-RNN 모델을 학습하기 위한 장치는, 멀티 태스크 학습(multi-task learning)을 수행할 수 있다. LA-RNN 모델을 학습하기 위한 장치는, 언어 모델(310 또는 410), 슬롯 채우기 모델(320 또는 420), 및 의도 탐지 모델(330 또는 430)을 동시에(또는 병렬적으로, 한 번에) 학습할 수 있다. 이하, 도 4를 참조하여 설명한다.
다양한 실시 예들에 따른 멀티 태스크 학습 동작에서, LA-RNN 모델을 학습하기 위한 장치 및 방법은, 언어 모델(410)에 대한 코스트에 가중치 감소(weight-decay) 항(term)을 곱함으로써, 멀티 태스크 학습에 대한 코스트(cost)를 구성할 수 있다.
예를 들면, 세 모델(410, 420, 430)의 태스크 각각에 대한 코스트는, 동등하게 적용되지 않을 수 있다. 언어 모델(410)에 대한 코스트에 가중치 감소(weight-decay) 항(term)이 곱해진 항은, 정규화자(regularizer)로써 이용될 수 있다. 예를 들면, 언어 모델(410)은, 정규화자(regularizer)로써, 태스크 모델들(420, 430)의 학습에 도움을 주기 위한 도구로 이용될 수 있다. 예를 들면, 언어 모델(410)에 대한 코스트에 가중치 감소(weight-decay) 항(term)을 곱함으로써, 태스크 모델(420, 430)의 학습에 제약을 줄 수 있다. 따라서, 슬롯 채우기 모델(420) 및 의도 탐지 모델(430)은, 정규화자(regularizer)에 기반하여 학습될 수 있다.
일 실시 예에 따르면, LA-RNN 모델을 학습하기 위한 장치 및 방법은, 멀티 태스크 학습에 대한 코스트(cost)를 구성하기 위해, 슬롯 채우기 모델(420)에 대한 코스트 및 의도 탐지 모델(430)에 대한 코스트에 대하여, 동등한 합 연산을 수행할 수 있다. LA-RNN 모델을 학습하기 위한 장치 및 방법은, 멀티 태스크 학습에 대한 코스트(cost)를 구성하기 위해, 언어 모델(410)에 대한 코스트에 대하여, 가중치 감소(weight-decay) 항(term)을 곱할 수 있다. 예를 들어, 언어 모델(410)의 태스크는, 메인 태스크가 아닌 하위(sub) 태스크로써, 슬롯 채우기 모델(420) 및 의도 탐지 모델(430)의 학습에 기여할 수 있다. 가중치 감소(weight-decay) 항(term)은, 예를 들면, 하이퍼-파라미터(hyper-parameter)로써, 모델을 학습하기 이전에 결정될 수 있다. 예를 들면, 가중치 감소(weight-decay) 항(term)은, 사전 학습에 의해 결정될 수 있다.
다양한 실시 예들에서, 세 가지 모델들(즉, 슬롯 채우기 모델, 의도 탐지 모델, 언어 모델) 및 그 코스트들은, 멀티 태스크 학습을 통해, 안정적으로(stably) 학습할 수 있으며 빠르게 수렴할(converge) 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른, 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델(예: LA-RNN 모델, 320, 330, 420, 430)을 이용하는 전자 장치(예: 지능형 서버(200))는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들(예: 301, 302, 303, 421, 423, 431, 433)을 포함하는 정보를 저장하도록 설정된 메모리(예: 메모리(202)), 및 상기 메모리와 연결되고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어(예: 301)를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)(예:
Figure pat00137
,
Figure pat00138
)을 제1 키(key) 및 밸류(value)로 설정하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어(예: 302)를 통해 획득된 적어도 하나의 제2 숨은 표현(예:
Figure pat00139
,
Figure pat00140
)을 제2 키로 설정하고, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션(예:
Figure pat00141
,
Figure pat00142
,
Figure pat00143
,
Figure pat00144
,
Figure pat00145
)을 획득하도록 설정되는 적어도 하나의 프로세서(예: 프로세서(201))를 포함할 수 있다.
다양한 실시 예들에서, 상기 인공 신경망(예: LA-RNN, 320, 330, 420, 430) 내에서, 상기 적어도 하나의 제1 레이어(예: 301)는, 상기 적어도 하나의 제2 레이어(예: 302)보다 하단에 위치되고, 상기 적어도 하나의 프로세서(예: 프로세서(201))는, 상기 적어도 하나의 제1 숨은 표현(예:
Figure pat00146
,
Figure pat00147
)으로부터 상기 적어도 하나의 제2 레이어(예: 302)를 통해 상기 적어도 하나의 제2 숨은 표현(예:
Figure pat00148
,
Figure pat00149
)을 획득하도록 설정될 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 상기 어텐션으로부터, 상기 복수의 순환 인공 신경망 레이어들 중 상기 적어도 하나의 제2 레이어보다 상단(예: 디코더 RNN)에 위치된 적어도 하나의 제3 레이어를 통해, 슬롯(slot)에 관한 데이터 또는 의도(intent)에 관한 데이터를 획득하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서(예: 프로세서(201))는, 상기 제1 키(예:
Figure pat00150
)에 대한 데이터 및 상기 제2 키(예:
Figure pat00151
)에 대한 데이터에 기반하여, 상기 제1 키 및 상기 제2 키 각각에 관한 가중치(예:
Figure pat00152
)에 대한 데이터를 획득하고, 상기 가중치(예:
Figure pat00153
)에 대한 데이터와 상기 밸류(예:
Figure pat00154
)에 대한 데이터의 가중치 합(weighted sum)에 기반하여 상기 어텐션(예:
Figure pat00155
,
Figure pat00156
)을 획득하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 적어도 하나의 프로세서(예: 프로세서(201))는, 하기 수식에 기반하여 상기 어텐션(예:
Figure pat00157
)을 획득하도록 설정되고,
Figure pat00158
상기 수식에서, i는, 디코딩의 단계를 나타내고, j는, 상기 순환 인공 신경망에 대한 입력에 관한 인덱스를 나타내고,
Figure pat00159
는, 입력 시퀀스의 길이를 나타내고,
Figure pat00160
는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고,
Figure pat00161
는, 디코딩의 i번째 단계에 관한 어텐션을 나타내고, a는 신경망(neural network)를 나타내고,
Figure pat00162
는, a에 의해 획득된,
Figure pat00163
에 관한 가중치(weight)를 나타내고,
Figure pat00164
는, 상기 적어도 하나의 제1 숨은 표현(hidden representation)을 나타내고,
Figure pat00165
은, 상기 적어도 하나의 제2 숨은 표현을 나타낼 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 제1 숨은 표현에 위치 인코딩(positional encoding)(예:
Figure pat00166
)이 적용된 제3 키(예:
Figure pat00167
)에 대한 데이터를 획득하고, 상기 적어도 하나의 제2 숨은 표현에 상기 위치 인코딩(예:
Figure pat00168
)이 적용된 제4 키(예:
Figure pat00169
)에 대한 데이터를 획득하고, 상기 제3 키, 상기 제4 키에 적어도 기반하여 상기 어텐션(예:
Figure pat00170
)을 획득하도록 설정될 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 하기 수식에 기반하여 상기 a를 획득하도록 설정되고,
Figure pat00171
상기 수식에서,
Figure pat00172
는, 상기 디코딩의 i번째 단계에서 상기 순환 인공 신경망에 대한 i번째 입력에 대한 위치 인코딩(positional encoding)을 나타내고,
Figure pat00173
,
Figure pat00174
,
Figure pat00175
, 및
Figure pat00176
는, 함수 또는 인공 신경망을 나타낼 수 있다.
다양한 실시 예들에서, 상기 순환 인공 신경망(예: LA-RNN)에 관한 언어 모델(language model)(예: 310, 410)을 학습하는 동작, 상기 순환 인공 신경망에 관한 슬롯 채우기 모델(slot filling model)(예: 320, 420)을 학습하는 동작, 및 상기 순환 인공 신경망에 관한 의도 탐지 모델(intent detection model)(예: 330, 430)을 학습하는 동작은, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어(예: 301, 302, 303), 상기 적어도 하나의 제1 숨은 표현(예:
Figure pat00177
), 또는 상기 적어도 하나의 제2 숨은 표현(예:
Figure pat00178
) 중 적어도 하나를 공유할 수 있다.
예를 들면, 상기 순환 인공 신경망(예: LA-RNN)에 대한 코스트는, 상기 언어 모델(예: 310, 410)에 대한 코스트를 나타내는 데이터에 가중치 감소 항(weight-decay term)을 곱하는 것에 적어도 기반하여 획득될 수 있다.
다양한 실시 예들에서, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어는 양방향 순환 인공 신경망(bi-directional RNN) 레이어를 포함할 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 비일시적 컴퓨터-판독 가능 저장 매체(non-transitory computer-readable storage medium)는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들(예: 301, 302, 303, 421, 423, 431, 433)을 포함하는 정보를 저장하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어(예: 301)를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)(예:
Figure pat00179
,
Figure pat00180
)을 제1 키(key) 및 밸류(value)로 설정하는 동작과, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어(예: 302)를 통해 획득된 적어도 하나의 제2 숨은 표현(예:
Figure pat00181
,
Figure pat00182
)을 제2 키로 설정하는 동작과, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 어텐션 구조(attention mechanism)에 포함되는 어텐션(예:
Figure pat00183
,
Figure pat00184
,
Figure pat00185
,
Figure pat00186
,
Figure pat00187
)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.
다양한 실시 예들에서, 상기 인공 신경망(예: LA-RNN, 320, 330, 420, 430) 내에서, 상기 적어도 하나의 제1 레이어(예: 301)는, 상기 적어도 하나의 제2 레이어(예: 302)보다 하단에 위치되고, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 상기 적어도 하나의 제1 숨은 표현(예:
Figure pat00188
,
Figure pat00189
)으로부터 상기 적어도 하나의 제2 레이어(예: 302)를 통해 상기 적어도 하나의 제2 숨은 표현(예:
Figure pat00190
,
Figure pat00191
)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장할 수 있다.
예를 들면, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 상기 어텐션으로부터, 상기 복수의 순환 인공 신경망 레이어들 중 상기 적어도 하나의 제2 레이어보다 상단(예: 디코더 RNN)에 위치된 적어도 하나의 제3 레이어를 통해, 슬롯(slot)에 관한 데이터 또는 의도(intent)에 관한 데이터를 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장할 수 있다.
다양한 실시 예들에서, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 상기 제1 키(예:
Figure pat00192
)에 대한 데이터 및 상기 제2 키(예:
Figure pat00193
)에 대한 데이터에 기반하여, 상기 제1 키 및 상기 제2 키 각각에 관한 가중치(예:
Figure pat00194
)에 대한 데이터를 획득하는 동작과, 상기 가중치(예:
Figure pat00195
)에 대한 데이터와 상기 밸류(예:
Figure pat00196
)에 대한 데이터의 가중치 합(weighted sum)에 기반하여 상기 어텐션(예:
Figure pat00197
,
Figure pat00198
)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장할 수 있다.
다양한 실시 예들에서, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 하기 수식에 기반하여 상기 어텐션(예:
Figure pat00199
)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하고,
Figure pat00200
상기 수식에서, i는, 디코딩의 단계를 나타내고, j는, 상기 순환 인공 신경망에 대한 입력에 관한 인덱스를 나타내고,
Figure pat00201
는, 입력 시퀀스의 길이를 나타내고,
Figure pat00202
는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고,
Figure pat00203
는, 디코딩의 i번째 단계에 관한 어텐션을 나타내고, a는 신경망(neural network)를 나타내고,
Figure pat00204
는, a에 의해 획득된,
Figure pat00205
에 관한 가중치(weight)를 나타내고,
Figure pat00206
는, 상기 적어도 하나의 제1 숨은 표현(hidden representation)을 나타내고,
Figure pat00207
은, 상기 적어도 하나의 제2 숨은 표현을 나타낼 수 있다.
예를 들면, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 상기 적어도 하나의 제1 숨은 표현에 위치 인코딩(positional encoding)(예:
Figure pat00208
)이 적용된 제3 키(예:
Figure pat00209
)에 대한 데이터를 획득하는 동작과, 상기 적어도 하나의 제2 숨은 표현에 상기 위치 인코딩(예:
Figure pat00210
)이 적용된 제4 키(예:
Figure pat00211
)에 대한 데이터를 획득하는 동작과, 상기 제3 키, 상기 제4 키에 적어도 기반하여 상기 어텐션(예:
Figure pat00212
)을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장할 수 있다.
예를 들면, 상기 비일시적 컴퓨터-판독 가능 저장 매체는, 하기 수식에 기반하여 상기 a를 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하고,
Figure pat00213
상기 수식에서,
Figure pat00214
는, 상기 디코딩의 i번째 단계에서 상기 순환 인공 신경망에 대한 i번째 입력에 대한 위치 인코딩(positional encoding)을 나타내고,
Figure pat00215
,
Figure pat00216
,
Figure pat00217
, 및
Figure pat00218
는, 함수 또는 인공 신경망을 나타낼 수 있다.
다양한 실시 예들에서, 상기 순환 인공 신경망(예: LA-RNN)에 관한 언어 모델(language model)(예: 310, 410)을 학습하는 동작, 상기 순환 인공 신경망에 관한 슬롯 채우기 모델(slot filling model)(예: 320, 420)을 학습하는 동작, 및 상기 순환 인공 신경망에 관한 의도 탐지 모델(intent detection model)(예: 330, 430)을 학습하는 동작은, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어(예: 301, 302, 303), 상기 적어도 하나의 제1 숨은 표현(예:
Figure pat00219
), 또는 상기 적어도 하나의 제2 숨은 표현(예:
Figure pat00220
) 중 적어도 하나를 공유할 수 있다.
예를 들면, 상기 순환 인공 신경망(예: LA-RNN)에 대한 코스트는, 상기 언어 모델(예: 310, 410)에 대한 코스트를 나타내는 데이터에 가중치 감소 항(weight-decay term)을 곱하는 것에 적어도 기반하여 획득될 수 있다.
표 2 내지 표 6을 통해, 다양한 실시 예들에 따른 LA-RNN 모델의 성능 향상이 기술될 수 있다. 그러나 이는 예시일 뿐, 다양한 실시 예들은, 표 2 내지 표 6에 기재된 수치적 특징에 한정되지 않는다.
표 2는, 다양한 실시 예들에 따른 LA-RNN 모델의 성능 향상을 실험하기 위해 이용된 데이터셋을 나타낼 수 있다. 표 3 내지 표 6은, 다양한 실시 예들에 따른 LA-RNN 모델의 성능 향상을 나타낼 수 있다.
ATIS(air travel information system) 코퍼스(corpus)(또는 말뭉치) (Hemphill et al., 1990)는, 언어 이해에 관한 연구에 보편적으로 이용되는 데이터셋(dataset)일 수 있다. 예를 들면, 상기 데이터셋(dataset)은, 항공편 예약을 하는 사람들의 문장으로 구성될 수 있다. 표 3 내지 표 6은, Hakkani-Tur et al. (2016)에서 이용된 ATIS 코퍼스를 이용한 실험 결과를 나타낼 수 있다. 표 3 내지 표 6은, 삼성 빅스비의 5개 도메인들의 데이터셋(dataset) 및 ATIS 데이터셋에 대한 실험 결과를 나타낼 수 있다. 표 2는, 삼성 빅스비의 5개 도메인들의 데이터셋을 나타낼 수 있다.
Domains # of train # of test # of slot labels # of intent types
Calculator 3401 680 10 2
Calendar 9062 1812 70 24
Camera 9425 1885 63 61
Gallery 61885 12377 54 197
Messages 18571 3714 49 74
표 2를 참조하면, 훈련 셋(training)의 수, 테스트 셋의 수, 슬롯 레이블들(slot labels)의 수, 의도 유형들(intent types)의 수를 나타낼 수 있다
표 3은, ATIS에 대하여, 다른 모델들에 비해 LA-RNN 모델의 슬롯 채우기 성능(예: F1-score)이 향상됨을 나타낼 수 있다.
Model Best F1 score
RNN with Label Sampling (Liu and Lane, 2015) 94.89
Hybrid RNN (Mesnil et al., 2015) 95.06
Deep LSTM (Yao et al., 2014) 95.08
RNN-EM (Peng et al., 2015) 95.25
bLSTM (Hakkani-Tur et al, 2016) 95.48
Encoder-labeler Deep LSTM (Kurata et al., 2016) 95.66
Attention Encoder-Decoder NN (Slot only) (Liu and Lane, 2016) 95.78
Attention BiRNN (Slot only) (Liu and Lane, 2016) 95.75
Attention Encoder-Decoder NN (Joint) (Liu and Lane, 2016) 95.87
Attention BiRNN (Joint) (Liu and Lane, 2016) 95.98
LA-RNN (Slot only) 96.06
LA-RNN (Joint) 96.09
표 4는, ATIS에 대하여, 다른 모델들에 비해 LA-RNN 모델의 의도 탐지 성능이 향상됨(예: error rate이 감소됨)을 나타낼 수 있다.
Model Best error rate
Word embeddings updated and bLSTM (Kim et al., 2015) 2.69
LSTM (Ravuri and Stolcke, 2015a) 2.45
Attention BiRNN (Joint) (Liu and Lane, 2016) 1.79
Attention Encoder-Decoder NN (Joint) (Liu and Lane, 2016) 1.57
LA-RNN (Joint) 1.46
표 3 및 표 4을 참조하면, "공동(joint)" 학습 및 "슬롯만(slot only)"학습에 대한 LA-RNN 모델이, 다른 모델들에 비해, 슬롯 채우기 및 의도 탐지에 있어서, 향상된 성능을 가질 수 있다. 특히, "공동(joint)" 학습에 대한 RNN 모델은, 슬롯 채우기에 대해 최고 성능인 96.09 F1-score과, 의도 탐지에 대해 최저 오류율(error rate)인 1.46을 제공할 수 있다. 따라서, 슬롯 채우기 모델을 의도 정보와 함께 학습하는 동작은, 슬롯 채우기의 성능도 향상시킬 수 있다.
표 5는, 삼성 빅스비의 5개 도메인들에 대하여, 다른 모델들에 비해 LA-RNN 모델의 슬롯 채우기 성능(예: F1-score)이 향상됨을 나타낼 수 있다.
Model Gallery Calculator Calendar Messages Camera
Hybrid RNN (Mesnil et al., 2015) 88.41 97.18 71.57 74.17 87.44
Encoder-labeler Deep LSTM (Kurata et al., 2016) 94.03 98.2 87.34 88.42 93.51
Attention BiRNN (Slot only) (Liu and Lane, 2016) 98.4 97.93 94.00 91.95 98.47
Attention BiRNN (Joint) (Liu and Lane, 2016) 97.28 97.98 92.71 91.11 98.38
LA-RNN (Slot only) 99.30 99.93 97.03 96.91 99.81
LA-RNN (Joint) 99.35 99.92 97.33 97.31 99.72
표 5를 참조하면, 슬롯 채우기에 대하여, ATIS 데이터셋보다 삼성 빅스비의 5개 도메인들의 데이터셋의 경우, LA-RNN 모델과 다른 모델들 간의 성능 차이가 더 벌어질 수 있다. 특히, 일정(calendar) 도메인과 메시지(message) 도메인과 같은 복잡도가 높은 데이터셋들의 경우, LA-RNN 모델이 다른 모델들보다 약 5% 이상의 성능 향상을 가질 수 있다. 표 5에서, "슬롯만(slot only)" 학습 모델과 "공동(joint)" 학습 모델은 모두, 다른 모델들보다 높은 F1-score를 가질 수 있다. LA-RNN의 "공동(joint)" 학습 모델은, 대부분 "슬롯만(slot only)" 학습 모델보다 더 성능이 좋으므로, 공동 훈련(joint training)이 더 유리한 효과를 가질 수 있다.
표 6은, 삼성 빅스비의 5개 도메인들에 대하여, 다른 모델들에 비해 LA-RNN 모델의 의도 탐지 성능이 향상됨(예: 오류율(error rate)이 감소됨)을 나타낼 수 있다.
Model Gallery Calculator Calendar Messages Camera
Attention BiRNN (Joint) (Liu and Lane, 2016) 1.35 0.00 3.20 2.53 0.53
LA-RNN (Joint) 1.32 0.00 2.76 1.46 0.53
표 6을 참조하면, 삼성 빅스비의 5개 도메인들의 데이터셋에 대한 의도 탐지에 대하여, LA-RNN 모델이 다른 모델들보다 더 작은 오류율(error rate)을 가질 수 있다. 일정(calendar) 도메인과 메시지(message) 도메인과 같은 복잡도가 높은 데이터셋들에서, LA-RNN 모델은, 더 감소된 오류율을 가질 수 있다. 표 2 내지 표 6은, 다양한 실시 예들을 한정하려는 목적이 아니다.
도 5는 다양한 실시 예들에 따른 전자 장치의 동작의 예를 도시한다. 도 5의 동작들은, LA-RNN 모델을 학습하기 위한(for training) 장치 또는 학습된 LA-RNN 모델이 구현된 장치(예: 지능형 서버(200) 또는 자연어 이해 모듈(220))에 의해 수행될 수 있다. 이하, 전자 장치는, LA-RNN 모델을 학습하기 위한(for training) 장치 또는 학습된 LA-RNN 모델이 구현된 장치를 나타낼 수 있다. 전자 장치는, 복수의 레이어들을 포함하는 RNN(또는 RNN에 대한 정보)을 메모리에 저장할 수 있다.
도 5를 참조하면, 동작 501에서, 전자 장치는, 상기 복수의 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정할 수 있다.
예를 들면, 전자 장치의 메모리에 저장된 순환 RNN은, 인코더 부분과 디코더 부분을 포함할 수 있다. 인코더 RNN은, 입력(예: 문자 기반의 문장, 단어 기반의 문장 등)을 나타내는 시퀀스로부터, 디코더 RNN에서 이용되기 위한 숨은 표현(hidden representation)들을 구성(또는 획득)할 수 있다. 전자 장치는 인코더 RNN에서, 입력 시퀀스로부터, 적어도 하나의 제1 레이어를 이용하여, 제1 숨은 표현을 획득할 수 있다. 전자 장치는 디코더 RNN에서, 제1 숨은 표현을, 어텐션을 획득하기 위한 제1 키 및 밸류로써 이용할 수 있다.
동작 503에서, 전자 장치는, 상기 복수의 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현(hidden representation)을 제2 키(key)로 설정할 수 있다. 전자 장치는 인코더 RNN에서, 적어도 하나의 제2 레이어를 이용하여, 제2 숨은 표현을 획득할 수 있다. 예를 들면, 전자 장치는 인코더 RNN에서, 제1 숨은 표현으로부터, 적어도 하나의 제2 레이어를 이용하여, 제2 숨은 표현을 획득할 수 있다. 따라서, 제2 레이어는 제1 레이어보다 상단에 위치될 수 있다. 전자 장치는 디코더 RNN에서, 제2 숨은 표현을, 어텐션을 획득하기 위한 제2 키로써 이용할 수 있다. 전자 장치는 디코더 RNN에서, 제2 숨은 표현을 밸류로 이용하지 않을 수 있다.
적어도 하나의 제1 레이어는, 단기 기억(short-term)에 대한 정보와 관련될 수 있다. 적어도 하나의 제2 레이어는, 장기 기억(long-term)에 대한 정보와 관련될 수 있다. 예를 들면, RNN의 입력 시퀀스 중에서, 상기 제2 숨은 표현에 기여하는 입력 시퀀스의 부분은, 제1 숨은 표현에 기여하는 입력 시퀀스의 부분보다 더 넓을 수 있다.
동작 505에서, 전자 장치는, 디코더 RNN에서 제1 키, 제2 키, 밸류에 기반하여 어텐션을 획득할 수 있다. 예를 들면, 전자 장치는 디코더 RNN에서, 상기 어텐션으로부터, 추가 레이어를 이용하여, 슬롯(slot)에 관한 정보 또는 의도(intent)에 관한 정보를 획득할 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치(예: 지능형 서버(200))의 동작 방법에 있어서, 상기 전자 장치는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들(예: 301, 302, 303, 421, 423, 431, 433)을 포함하는 정보를 저장하고, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어(예: 301)를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)(예:
Figure pat00221
,
Figure pat00222
)을 제1 키(key) 및 밸류(value)로 설정하는 동작과, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어(예: 302)를 통해 획득된 적어도 하나의 제2 숨은 표현(예:
Figure pat00223
,
Figure pat00224
)을 제2 키로 설정하는 동작과, 상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션(예:
Figure pat00225
,
Figure pat00226
,
Figure pat00227
,
Figure pat00228
,
Figure pat00229
)을 획득하는 동작을 포함할 수 있다.
도 6은 다양한 실시예들에 따른, 네트워크 환경(600) 내의 전자 장치(601)의 블럭도이다. 도 6을 참조하면, 네트워크 환경(600)에서 전자 장치(601)는 제 1 네트워크(698)(예: 근거리 무선 통신)를 통하여 전자 장치(602)와 통신하거나, 또는 제 2 네트워크(699)(예: 원거리 무선 통신)를 통하여 전자 장치(604) 또는 서버(608)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(601)는 서버(608)를 통하여 전자 장치(604)와 통신할 수 있다.
예를 들면, 서버(608)는, 도 2의 지능형 서버(200), 개인화 정보 서버(300), 제안 서버(400)를 포함할 수 있다. 서버(608)(예: 지능형 서버(200))는, 다른 서버(예: 개인화 정보 서버(300), 제안 서버(400))와 통신할 수 있다. 다른 예를 들면, 전자 장치(601)는, 서버(예: 지능형 서버(200), 개인화 정보 서버(300), 제안 서버(400))에 상응할 수 있다. 전자 장치(601)가 지능형 서버(200)에 상응하는 경우, 프로세서(620)는 프로세서(201)에 상응할 수 있고, 메모리(630)는, 메모리(202)에 상응할 수 있다.
일실시예에 따르면, 전자 장치(601)는 프로세서(620), 메모리(630), 입력 장치(650), 음향 출력 장치(655), 표시 장치(660), 오디오 모듈(670), 센서 모듈(676), 인터페이스(677), 햅틱 모듈(679), 카메라 모듈(680), 전력 관리 모듈(688), 배터리(689), 통신 모듈(690), 가입자 식별 모듈(696), 및 안테나 모듈(697)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(601)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(660) 또는 카메라 모듈(680))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(660)(예: 디스플레이)에 임베디드된 센서 모듈(676)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(620)는, 예를 들면, 소프트웨어(예: 프로그램(640))를 구동하여 프로세서(620)에 연결된 전자 장치(601)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(620)는 다른 구성요소(예: 센서 모듈(676) 또는 통신 모듈(690))로부터 수신된 명령 또는 데이터를 휘발성 메모리(632)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(634)에 저장할 수 있다. 일실시예에 따르면, 프로세서(620)는 메인 프로세서(621)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(621)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(623)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(623)는 메인 프로세서(621)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(623)는, 예를 들면, 메인 프로세서(621)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(621)를 대신하여, 또는 메인 프로세서(621)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(621)와 함께, 전자 장치(601)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(660), 센서 모듈(676), 또는 통신 모듈(690))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(623)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(680) 또는 통신 모듈(690))의 일부 구성 요소로서 구현될 수 있다. 메모리(630)는, 전자 장치(601)의 적어도 하나의 구성요소(예: 프로세서(620) 또는 센서모듈(676))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(640)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(630)는, 휘발성 메모리(632) 또는 비휘발성 메모리(634)를 포함할 수 있다.
프로그램(640)은 메모리(630)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(642), 미들 웨어(644) 또는 어플리케이션(646)을 포함할 수 있다.
입력 장치(650)는, 전자 장치(601)의 구성요소(예: 프로세서(620))에 사용될 명령 또는 데이터를 전자 장치(601)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(655)는 음향 신호를 전자 장치(601)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(660)는 전자 장치(601)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(660)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(670)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(670)은, 입력 장치(650) 를 통해 소리를 획득하거나, 음향 출력 장치(655), 또는 전자 장치(601)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(602)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(676)은 전자 장치(601)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(676)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(677)는 외부 전자 장치(예: 전자 장치(602))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(677)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(678)는 전자 장치(601)와 외부 전자 장치(예: 전자 장치(602))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(679)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(679)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(680)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(680)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(688)은 전자 장치(601)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(689)는 전자 장치(601)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(690)은 전자 장치(601)와 외부 전자 장치(예: 전자 장치(602), 전자 장치(604), 또는 서버(608))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(690)은 프로세서(620)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(690)은 무선 통신 모듈(692)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(694)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(698)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(699)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(690)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(692)은 가입자 식별 모듈(696)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(601)를 구별 및 인증할 수 있다.
안테나 모듈(697)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(690)(예: 무선 통신 모듈(692))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(699)에 연결된 서버(608)를 통해서 전자 장치(601)와 외부의 전자 장치(604)간에 송신 또는 수신될 수 있다. 전자 장치(602, 604) 각각은 전자 장치(601)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(601)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(601)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(601)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(601)로 전달할 수 있다. 전자 장치(601)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
하기의 문서들이 본 문서에 통합되어 적용된다.
(1) Ankur Bapna, Gokhan Tur, Dilek Hakkani-Tur, and Larry Heck. 2017. Towards Zero-Shot Frame Semantic Parsing for Domain Scaling. in Proc. Interspeech.
(2) Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention Is All You Need. arXiv preprint arXiv:1706.03762.
(3) Baolin Peng, Kaisheng Yao, Li Jing, and Kam-Fai Wong. 2015. Recurrent Neural Networks with External Memory for Spoken Language Understanding. Natural Language Processing and Chinese Computing, pp. 25-35, Springer.
(4) Bing Liu and Ian Lane. 2015. Recurrent Neural Network Structured Output Prediction for Spoken Language Understanding. in Proc. NIPS.
(5) Bing Liu and Ian Lane. 2016. Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling. in Proc. Interspeech.
(6) Charles T. Hemphill, John J. Godfrey, and George R. Doddington.1990. The ATIS Spoken Language Systems Pilot Corpus. in Proc. DARPA Speech and natural language workshop.
(7) Dilek Hakkani-Tur, Gokhan Tur, Asli Celikyilmaz, Yun-Nung Chen, Jianfeng Gao, Li Deng, and Ye-Yi Wang. 2016. Multi-Domain Joint Semantic Frame Parsing using Bi-directional RNN-LSTM. in Proc. Interspeech.
(8) Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 2015. Neural Machine Translation by jointly learning to align and translate. in ICLR.
(9) Felix A. Gers and Jurgen Schmidhuber. 2000. Recurrent Nets that Time and Count. In Neural Networks. in Proc. IJCNN.
(10) Gabor Melis, Chris Dyer, and Phil Blunsom. 2017. On the state of the art of evaluation in neural language models. arXiv preprint arXiv:1707.05589.
(11) Gakuto Kurata, Bing Xiang, Bowen Zhou, and Mo Yu. 2016. Leveraging Sentence-level Information with Encoder LSTM for Natural Language Understanding. arXiv preprint arXiv:1601.01530.
(12) Gregoire Mesnil, Yann Dauphin, Kaisheng Yao, Yoshua Bengio, Li Deng, Dilek Hakkani-Tur, Xiaodong He, Larry Heck, Gokhan Tur, Dong Yu, and Geoffrey Zweig. 2015. Using Recurrent Neural Networks for Slot Filling in Spoken Language Understanding. in Proc. IEEE/ACM.
(13) Jacob Andreas and Dan Klein. 2014. When and why are log-linear models self-normalizing? in Proc. NAACL.
(14) Jason PC Chiu and Eric Nichols. 2015. Named Entity Recognition with Bidirectional LSTM-CNNs. arXiv preprint arXiv:1511.08308.
(15) Jonas Gehring, Michael Auli, David Grangier, and Yann N. Dauphin. 2016. A Convolutional Encoder Model for Neural Machine Translation. arXiv preprint arXiv:1611.02344.
(16) Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, and Yann N. Dauphin. 2017. Convolutional Sequence to Sequence Learning. arXiv preprint arXiv:1705.03122.
(17) Joo-Kyung Kim, Gokhan Tur, Asli Celikyilmaz, Bin Cao, and Ye-Yi Wang. 2016. Intent detection using semantically enriched word embeddings. in Proc. IEEE SLT.
(18) Junyoung Chung, Caglar Gulcehre, KyungHyun Cho, and Yoshua Bengio. 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. in Proc. NIPS.
(19) Kaisheng Yao, Baolin Peng, Yu Zhang, Dong Yu, Geoffrey Zweig, and Yangyang Shi. 2014. Spoken Language Understanding using Long Short-Term Memory Neural Networks. in Proc. IEEE SLT.
(20) Lyan Verwimp, Joris Pelemans, Hugo Van hamme, and Patrick Wambacq. 2017. Character-Word LSTM Language Models. in Proc. EACL.
(21) Matthew D. Zeiler. 2012. ADADELTA: An adaptive learning rate method. arXiv preprint arXiv:1212.5701.
(22) Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. 2014. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. JMLR, 15:1929-1958.
(23) Orhan Firat, Kyunghyun Cho, and Yoshua Bengio. 2016. Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism. in Proc. NAACL.
(24) Sergey Ioffe and Christian Szegedy. 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. in Proc. ICML.
(25) Stephen Merity, Nitish Shirish Keskar, and Richard Socher. 2017. Regularizing and Optimizing LSTM Language Models. arXiv preprint arXiv:1708.02182.
(26) Suman Ravuri and Andreas Stolcke. 2015a. A comparative study of neural network models for lexical intent classification. in Proc. IEEE ASRU.
(27) Suman Ravuri and Andreas Stolcke. 2015b. Recurrent Neural Network and LSTM Models for Lexical Utterance Classification. in Proc. Interspeech.
(28) Volodymyr Mnih, Nicolas Heess, Alex Graves, and Koray Kavukcuoglu. 2014. Recurrent Models of Visual Attention. in Proc. NIPS.
(29) Yangyang Shi, Kaisheng Yao, Hu Chen, Yi-Cheng Pan, Mei-Yuh Hwang, and Baolin Peng. 2015. Contextual spoken language understanding using recurrent neural networks. in Proc. ICASSP.
(30) Yarin Gal and Zoubin Ghahramani. 2016. A Theoretically Grounded Application of Dropout in Recurrent Neural Networks. in Proc. NIPS.
(31) Yoon Kim, Yacine Jernite, David Sontag, and Alexander M. Rush. 2016. Character-Aware Neural Language Models. in Proc. AAAI.
(32) Zhiheng Huang, Wei Xu, and Kai Yu. 2015. Bidirectional LSTM-CRF Models for Sequence Tagging. arXiv preprint arXiv:1508.01991.

Claims (20)

  1. 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치에 있어서,
    복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하도록 설정된 메모리; 및
    상기 메모리와 연결되고,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하고,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하고,
    상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션을 획득하도록 설정되는 적어도 하나의 프로세서를 포함하는 전자 장치.
  2. 청구항 1에 있어서,
    상기 인공 신경망 내에서, 상기 적어도 하나의 제1 레이어는, 상기 적어도 하나의 제2 레이어보다 하단에 위치되고,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 제1 숨은 표현으로부터 상기 적어도 하나의 제2 레이어를 통해 상기 적어도 하나의 제2 숨은 표현을 획득하도록 설정된 전자 장치.
  3. 청구항 2에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 어텐션으로부터, 상기 복수의 순환 인공 신경망 레이어들 중 상기 적어도 하나의 제2 레이어보다 상단에 위치된 적어도 하나의 제3 레이어를 통해, 슬롯(slot)에 관한 데이터 또는 의도(intent)에 관한 데이터를 획득하도록 설정되는 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 키에 대한 데이터 및 상기 제2 키에 대한 데이터에 기반하여, 상기 제1 키 및 상기 제2 키 각각에 관한 가중치에 대한 데이터를 획득하고,
    상기 가중치에 대한 데이터와 상기 밸류에 대한 데이터의 가중치 합(weighted sum)에 기반하여 상기 어텐션을 획득하도록 설정되는 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    하기 수식에 기반하여 상기 어텐션을 획득하도록 설정되고,
    Figure pat00230

    상기 수식에서, i는, 디코딩의 단계를 나타내고, j는, 상기 순환 인공 신경망에 대한 입력에 관한 인덱스를 나타내고,
    Figure pat00231
    는, 입력 시퀀스의 길이를 나타내고,
    Figure pat00232
    는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고,
    Figure pat00233
    는, 디코딩의 i번째 단계에 관한 어텐션을 나타내고, a는 신경망(neural network)를 나타내고,
    Figure pat00234
    는, a에 의해 획득된,
    Figure pat00235
    에 관한 가중치(weight)를 나타내고,
    Figure pat00236
    는, 상기 적어도 하나의 제1 숨은 표현(hidden representation)을 나타내고,
    Figure pat00237
    은, 상기 적어도 하나의 제2 숨은 표현을 나타내는 전자 장치.
  6. 청구항 5에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 제1 숨은 표현에 위치 인코딩(positional encoding)이 적용된 제3 키에 대한 데이터를 획득하고,
    상기 적어도 하나의 제2 숨은 표현에 상기 위치 인코딩이 적용된 제4 키에 대한 데이터를 획득하고,
    상기 제3 키, 상기 제4 키에 적어도 기반하여 상기 어텐션을 획득하도록 설정되는 전자 장치.
  7. 청구항 5에 있어서,
    상기 적어도 하나의 프로세서는,
    하기 수식에 기반하여 상기 a를 획득하도록 설정되고,
    Figure pat00238

    상기 수식에서,
    Figure pat00239
    는, 상기 디코딩의 i번째 단계에서 상기 순환 인공 신경망에 대한 i번째 입력에 대한 위치 인코딩(positional encoding)을 나타내고,
    Figure pat00240
    ,
    Figure pat00241
    ,
    Figure pat00242
    , 및
    Figure pat00243
    는, 함수 또는 인공 신경망을 나타내는 전자 장치.
  8. 청구항 1에 있어서,
    상기 순환 인공 신경망에 관한 언어 모델(language model)을 학습하는 동작, 상기 순환 인공 신경망에 관한 슬롯 채우기 모델(slot filling model)을 학습하는 동작, 및 상기 순환 인공 신경망에 관한 의도 탐지 모델(intent detection model)을 학습하는 동작은, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어, 상기 적어도 하나의 제1 숨은 표현, 또는 상기 적어도 하나의 제2 숨은 표현 중 적어도 하나를 공유하는 전자 장치.
  9. 청구항 8에 있어서,
    상기 순환 인공 신경망에 대한 코스트는,
    상기 언어 모델에 대한 코스트를 나타내는 데이터에 가중치 감소 치(weight-decay term)을 곱하는 것에 적어도 기반하여 획득되는 전자 장치.
  10. 청구항 1에 있어서,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어는 양방향 순환 인공 신경망(bi-directional RNN) 레이어를 포함하는 전자 장치.
  11. 비일시적 컴퓨터-판독 가능 저장 매체(non-transitory computer-readable storage medium)에 있어서,
    상기 비일시적 컴퓨터-판독 가능 저장 매체는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장하고,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하는 동작과,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하는 동작과,
    상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 어텐션 구조(attention mechanism)에 포함되는 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  12. 청구항 11에 있어서,
    상기 인공 신경망 내에서, 상기 적어도 하나의 제1 레이어는, 상기 적어도 하나의 제2 레이어보다 하단에 위치되고,
    상기 적어도 하나의 제1 숨은 표현으로부터 상기 적어도 하나의 제2 레이어를 통해 상기 적어도 하나의 제2 숨은 표현을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  13. 청구항 12에 있어서,
    상기 어텐션으로부터, 상기 복수의 순환 인공 신경망 레이어들 중 상기 적어도 하나의 제2 레이어보다 상단에 위치된 적어도 하나의 제3 레이어를 통해, 슬롯(slot)에 관한 데이터 또는 의도(intent)에 관한 데이터를 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  14. 청구항 11에 있어서,
    상기 제1 키에 대한 데이터 및 상기 제2 키에 대한 데이터에 기반하여, 상기 제1 키 및 상기 제2 키 각각에 관한 가중치에 대한 데이터를 획득하는 동작과,
    상기 가중치에 대한 데이터와 상기 밸류에 대한 데이터의 가중치 합(weighted sum)에 기반하여 상기 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  15. 청구항 11에 있어서,
    하기 수식에 기반하여 상기 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하고,
    Figure pat00244

    상기 수식에서, i는, 디코딩의 단계를 나타내고, j는, 상기 순환 인공 신경망에 대한 입력에 관한 인덱스를 나타내고,
    Figure pat00245
    는, 입력 시퀀스의 길이를 나타내고,
    Figure pat00246
    는, 디코딩의 i번째 단계에서의 디코더 상태(decoder state)를 나타내고,
    Figure pat00247
    는, 디코딩의 i번째 단계에 관한 어텐션을 나타내고, a는 신경망(neural network)를 나타내고,
    Figure pat00248
    는, a에 의해 획득된,
    Figure pat00249
    에 관한 가중치(weight)를 나타내고,
    Figure pat00250
    는, 상기 적어도 하나의 제1 숨은 표현(hidden representation)을 나타내고,
    Figure pat00251
    은, 상기 적어도 하나의 제2 숨은 표현을 나타내는 비일시적 컴퓨터-판독 가능 저장 매체.
  16. 청구항 15에 있어서,
    상기 적어도 하나의 제1 숨은 표현에 위치 인코딩(positional encoding)이 적용된 제3 키에 대한 데이터를 획득하는 동작과,
    상기 적어도 하나의 제2 숨은 표현에 상기 위치 인코딩이 적용된 제4 키에 대한 데이터를 획득하는 동작과,
    상기 제3 키, 상기 제4 키에 적어도 기반하여 상기 어텐션을 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하기 위한 비일시적 컴퓨터-판독 가능 저장 매체.
  17. 청구항 15에 있어서,
    하기 수식에 기반하여 상기 a를 획득하는 동작을 실행하기 위한 하나 이상의 프로그램들을 더 저장하고,
    Figure pat00252

    상기 수식에서,
    Figure pat00253
    는, 상기 디코딩의 i번째 단계에서 상기 순환 인공 신경망에 대한 i번째 입력에 대한 위치 인코딩(positional encoding)을 나타내고,
    Figure pat00254
    ,
    Figure pat00255
    ,
    Figure pat00256
    , 및
    Figure pat00257
    는, 함수 또는 인공 신경망을 나타내는 비일시적 컴퓨터-판독 가능 저장 매체.
  18. 청구항 11에 있어서,
    상기 순환 인공 신경망에 관한 언어 모델(language model)을 학습하는 동작, 상기 순환 인공 신경망에 관한 슬롯 채우기 모델(slot filling model)을 학습하는 동작, 및 상기 순환 인공 신경망에 관한 의도 탐지 모델(intent detection model)을 학습하는 동작은, 상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 레이어, 상기 적어도 하나의 제1 숨은 표현, 또는 상기 적어도 하나의 제2 숨은 표현 중 적어도 하나를 공유하는 비일시적 컴퓨터-판독 가능 저장 매체.
  19. 청구항 18에 있어서,
    상기 순환 인공 신경망에 대한 코스트는,
    상기 언어 모델에 대한 코스트를 나타내는 데이터에 가중치 감소치(weight-decay term)을 곱하는 것에 적어도 기반하여 획득되는 비일시적 컴퓨터-판독 가능 저장 매체.
  20. 어텐션 구조(attention mechanism)을 포함하는 인공 신경망 모델을 이용하는 전자 장치의 동작 방법에 있어서,
    상기 전자 장치는, 복수의 순환 인공 신경망(recurrent neural network, RNN) 레이어들을 포함하는 정보를 저장를 저장하고,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제1 레이어를 통해 획득된 적어도 하나의 제1 숨은 표현(hidden representation)을 제1 키(key) 및 밸류(value)로 설정하는 동작과,
    상기 복수의 순환 인공 신경망 레이어들 중 적어도 하나의 제2 레이어를 통해 획득된 적어도 하나의 제2 숨은 표현을 제2 키로 설정하는 동작과,
    상기 제1 키에 대한 데이터, 상기 제2 키에 대한 데이터, 또는 상기 밸류에 대한 데이터에 적어도 기반하여, 상기 어텐션 구조에 포함되는 어텐션을 획득하는 동작을 포함하는 방법.
KR1020170172637A 2017-12-14 2017-12-14 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법 KR102462426B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170172637A KR102462426B1 (ko) 2017-12-14 2017-12-14 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
PCT/KR2018/013416 WO2019117466A1 (ko) 2017-12-14 2018-11-07 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
EP18889592.4A EP3726525A4 (en) 2017-12-14 2018-11-07 ELECTRONIC DEVICE FOR LANGUAGE MEANING ANALYSIS AND OPERATING PROCEDURES FOR IT
US16/954,019 US11482212B2 (en) 2017-12-14 2018-11-07 Electronic device for analyzing meaning of speech, and operation method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170172637A KR102462426B1 (ko) 2017-12-14 2017-12-14 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20190071527A true KR20190071527A (ko) 2019-06-24
KR102462426B1 KR102462426B1 (ko) 2022-11-03

Family

ID=66819408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170172637A KR102462426B1 (ko) 2017-12-14 2017-12-14 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법

Country Status (4)

Country Link
US (1) US11482212B2 (ko)
EP (1) EP3726525A4 (ko)
KR (1) KR102462426B1 (ko)
WO (1) WO2019117466A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158040A1 (ko) * 2020-02-06 2021-08-12 삼성전자 주식회사 대화의 맥락에 대응하는 발화를 제공하는 전자 장치 및 이의 동작 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462426B1 (ko) * 2017-12-14 2022-11-03 삼성전자주식회사 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
KR102608469B1 (ko) * 2017-12-22 2023-12-01 삼성전자주식회사 자연어 생성 방법 및 장치
JP6969443B2 (ja) * 2018-02-27 2021-11-24 日本電信電話株式会社 学習品質推定装置、方法、及びプログラム
US10978051B2 (en) * 2018-09-28 2021-04-13 Capital One Services, Llc Adversarial learning framework for persona-based dialogue modeling
WO2020198319A1 (en) * 2019-03-25 2020-10-01 Jpmorgan Chase Bank, N.A. Method and system for implementing a natural language interface to data stores using deep learning
KR20210014949A (ko) * 2019-07-31 2021-02-10 삼성전자주식회사 음성 인식을 위한 인공신경망에서의 디코딩 방법 및 장치
US11749281B2 (en) * 2019-12-04 2023-09-05 Soundhound Ai Ip, Llc Neural speech-to-meaning
US11308938B2 (en) 2019-12-05 2022-04-19 Soundhound, Inc. Synthesizing speech recognition training data
US11880411B2 (en) * 2020-02-12 2024-01-23 Home Depot Product Authority, Llc Named entity recognition in search queries
CN111354345B (zh) * 2020-03-11 2021-08-31 北京字节跳动网络技术有限公司 生成语音模型和语音识别的方法、装置、设备以及介质
CN112199953B (zh) * 2020-08-24 2024-06-28 广州九四智能科技有限公司 一种电话通话中信息提取方法、装置及计算机设备
CN112133304B (zh) * 2020-09-18 2022-05-06 中科极限元(杭州)智能科技股份有限公司 基于前馈神经网络的低延时语音识别模型及训练方法
CN112487305B (zh) * 2020-12-01 2022-06-03 重庆邮电大学 一种基于gcn的动态社交用户对齐方法
US20230317066A1 (en) * 2022-03-09 2023-10-05 Amazon Technologies, Inc. Shared encoder for natural language understanding processing
CN117391051B (zh) * 2023-12-12 2024-03-08 江西师范大学 一种融合情感的共同注意网络多模态虚假新闻检测方法
CN117617911B (zh) * 2024-01-25 2024-03-26 长春理工大学 一种睡眠阶段分期方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148431A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc End-to-end speech recognition

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263036B1 (en) 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
US20150310862A1 (en) 2014-04-24 2015-10-29 Microsoft Corporation Deep learning for semantic parsing including semantic utterance classification
US10127901B2 (en) 2014-06-13 2018-11-13 Microsoft Technology Licensing, Llc Hyper-structure recurrent neural networks for text-to-speech
US10572447B2 (en) 2015-03-26 2020-02-25 Nokia Technologies Oy Generating using a bidirectional RNN variations to music
US20160350653A1 (en) * 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
KR102313028B1 (ko) 2015-10-29 2021-10-13 삼성에스디에스 주식회사 음성 인식 시스템 및 방법
KR20170095582A (ko) * 2016-02-15 2017-08-23 한국전자통신연구원 뉴럴 네트워크를 이용한 오디오 인식 장치 및 방법
US20170262996A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Action localization in sequential data with attention proposals from a recurrent network
CN107220231A (zh) * 2016-03-22 2017-09-29 索尼公司 用于自然语言处理的电子设备和方法以及训练方法
US20170294091A1 (en) 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Video-based action recognition security system
US9858263B2 (en) 2016-05-05 2018-01-02 Conduent Business Services, Llc Semantic parsing using deep neural networks for predicting canonical forms
WO2017192522A1 (en) 2016-05-06 2017-11-09 Ebay Inc. Using meta-information in neural machine translation
US9959272B1 (en) * 2017-07-21 2018-05-01 Memsource a.s. Automatic classification and translation of written segments
US20190156220A1 (en) * 2017-11-22 2019-05-23 Microsoft Technology Licensing, Llc Using machine comprehension to answer a question
KR102462426B1 (ko) * 2017-12-14 2022-11-03 삼성전자주식회사 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148431A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc End-to-end speech recognition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bing Liu et al, Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling, arXiv:1609.01454v1(2016.09.06.) *
Yuhao Zhang et al, Position-aware Attention and Supervised Data Improve Slot Filling, 2017 EMNLP(2017.09.07.) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158040A1 (ko) * 2020-02-06 2021-08-12 삼성전자 주식회사 대화의 맥락에 대응하는 발화를 제공하는 전자 장치 및 이의 동작 방법

Also Published As

Publication number Publication date
US11482212B2 (en) 2022-10-25
EP3726525A4 (en) 2021-01-06
KR102462426B1 (ko) 2022-11-03
WO2019117466A1 (ko) 2019-06-20
US20210082406A1 (en) 2021-03-18
EP3726525A1 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
KR102462426B1 (ko) 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
EP3652734B1 (en) Voice data processing method and electronic device supporting the same
EP3824462B1 (en) Electronic apparatus for processing user utterance and controlling method thereof
CN111428042B (zh) 对话服务中的实体级澄清
US11861318B2 (en) Method for providing sentences on basis of persona, and electronic device supporting same
KR20180121758A (ko) 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
KR20200113105A (ko) 응답을 제공하는 전자 장치와 이의 동작 방법
KR102701868B1 (ko) 전자 장치 및 전자 장치의 제어 방법
KR102701423B1 (ko) 음성 인식을 수행하는 전자 장치 및 전자 장치의 동작 방법
US11532301B1 (en) Natural language processing
EP3550449A1 (en) Search method and electronic device using the method
CN113822076A (zh) 文本生成方法、装置、计算机设备及存储介质
KR20210022819A (ko) 전자 장치 및 딥 러닝 기반 대화형 메신저 운영 방법
CN116235246A (zh) 基于个性化词汇和用户简档的语音响应系统-个性化语言学ai引擎
KR20200140171A (ko) 전자 장치 및 이의 제어 방법
US11626107B1 (en) Natural language processing
US11455992B2 (en) Electronic device and system for processing user input and method thereof
CN116913278A (zh) 语音处理方法、装置、设备和存储介质
KR20190021136A (ko) Tts 모델을 생성하는 시스템 및 전자 장치
Skorikov et al. Voice-controlled intelligent personal assistant
KR102519635B1 (ko) 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
KR20190134107A (ko) 사용자의 음성을 처리하는 전자 장치를 포함하는 시스템 및 전자 장치의 음성 인식 제어 방법
KR20220119219A (ko) 온디바이스 인공지능 서비스를 제공하는 전자 장치 및 방법
US20240121206A1 (en) Electronic device for identifying image combined with text in multimedia content and method thereof
US20240135925A1 (en) Electronic device for performing speech recognition and operation method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right