KR102565673B1

KR102565673B1 - 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체

Info

Publication number: KR102565673B1
Application number: KR1020210075540A
Authority: KR
Inventors: 쒀환 왕; 쓰위 딩; 위 쑨
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-06-22
Filing date: 2021-06-10
Publication date: 2023-08-10
Also published as: EP3822842A2; CN111950291B; CN111950291A; EP3822842A3; KR20210081309A; US20210248484A1; JP2021184255A

Abstract

본 출원은 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체를 개시하엿고, 자연어 처리, 딥 러닝기술 분야에 관한 것이다. 구체적인 구현 방안은, 획득한 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하는 단계; 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하고, 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하는 단계; 마지막으로, 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하는 단계;를 포함한다. 이로하여, 지식 단위 비순차 모델링의 방식으로, 최초 텍스트의 단어 및 엔티티 등을 모델링하여, 모델이 진실 세계의 지식을 학습하게 하고, 모델의 효과를 증강한다.

Description

시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체{METHOD AND APPARATUS FOR GENERATING SEMANTIC REPRESENTATION MODEL,AND STORAGE MEDIUM}

본 출원은 인공지능 기술 분야에 관한 것으로, 구체적으로 자연어 처리, 딥 러닝 기술 분야에 관한 것이고, 특히 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.

현재, NLP (Natural Language Processing, 자연어 처리)는 인공지능 분야의 중요한 연구 방향이다. 관련 기술에서, NLP에 대해, 주로 XLNet(Permutation Language Model, 퍼뮤테이션 언어 모델)로 시멘틱 분석을 한다. XLNet는 글자를 단위로, 글자의 순서를 섞어 모델링하고 시멘틱 분석을 한다.

그러나, 상기 기술에서, XLNet는 글자를 단위로 모델링하고, 완정한 단어와 엔티티를 모델링할 수 없고, 모델 효과가 제한된다.

시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체를 제공한다.

제1 측면에 따르면, 시멘틱 표현 모델의 생성 방법을 제공하고, 당해 방법은 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하고, 분할 후의 최초 텍스트를 비순차 처리하여, 비순차 텍스트를 획득하고, 비순차 텍스트 중의 캐릭터 속성에 따라 초기 시멘틱 모델을 훈련한다. 이로하여, 지식 단위 비순차 모델링의 방식으로, 최초 텍스트의 단어 및 엔티티 등을 모델링하여, 모델이 진실 세계의 지식을 학습하게 하고, 모델의 효과를 증강한다.

본 출원의 제2 측면에 따르면, 시멘틱 표현 모델의 생성 장치를 제공한다.

본 출원의 제3 측면에 따르면, 전자 기기를 제공한다.

본 출원의 제4 측면에 따르면, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다.

본 출원의 제1 측면의 실시예는 시멘틱 표현 모델의 생성 방법을 제공하는 바, 당해 단계는, 최초 텍스트를 포함하는 최초 텍스트 집합을 획득하는 단계; 상기 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 상기 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하는 단계; 상기 최초 텍스트 중의 상기 지식 단위 및 상기 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하는 단계; 상기 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하는 단계 - 상기 캐릭터의 속성은 상기 최초 텍스트에서의 상기 캐릭터의 최초 위치 및 현재 위치를 포함함 - ; 상기 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하는 단계; 상기 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성하는 단계;를 포함한다.

본 출원의 실시예의 시멘틱 표현 모델의 생성 방법은, 최초 텍스트를 포함하는 최초 텍스트 집합을 획득하는 단계; 상기 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 상기 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하는 단계; 상기 최초 텍스트 중의 상기 지식 단위 및 상기 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하는 단계; 상기 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하는 단계 - 상기 캐릭터의 속성은 상기 최초 텍스트에서의 상기 캐릭터의 최초 위치 및 현재 위치를 포함함 - ; 상기 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하는 단계; 상기 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성하는 단계;를 포함한다. 당해 방법은 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하고, 분할 후의 최초 텍스트를 비순차 처리하여, 비순차 텍스트를 획득하고, 비순차 텍스트 중의 캐릭터 속성에 따라 초기 시멘틱 모델을 훈련한다. 이로하여, 지식 단위 비순차 모델링의 방식으로, 최초 텍스트의 단어 및 엔티티 등을 모델링하여, 모델이 진실 세계의 지식을 학습하게 하고, 모델의 효과를 증강한다.

본 출원의 제2 측면의 실시예는 시멘틱 표현 모델의 생성 장치를 제공하는 바, 당해 장치는, 최초 텍스트를 포함하는 최초 텍스트 집합을 획득하는데 사용되는 제1 획득 모듈; 상기 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 상기 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하는데 사용되는 인식 분할 모듈; 상기 최초 텍스트 중의 상기 지식 단위 및 상기 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하는데 사용되는 처리 모듈; 상기 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하는데 사용되는 제1 생성모듈 - 상기 캐릭터의 속성은 상기 최초 텍스트에서의 상기 캐릭터의 최초 위치 및 현재 위치를 포함함 - ; 상기 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하는데 사용되는 제2 생성모듈; 상기 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성하는데 사용되는 훈련 모듈;을 포함한다.

본 출원의 제3 측면의 실시예는 전자 기기를 제공하고, 당해 전자 기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리;를 포함하고, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 본 출원의 임의의 실시예의 시멘틱 표현 모델의 생성 방법을 수행하도록 한다.

본 출원의 제4 측면의 실시예는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터가 본 출원의 임의의 실시예의 시멘틱 표현 모델의 생성 방법을 수행하도록 한다.

본 출원의 제5 측면의 실시예는 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 본 출원의 임의의 실시예의 시멘틱 표현 모델의 생성 방법이 실행된다.

이해해야할 것은, 본 발명의 내용 부분에서 설명하는 내용은 본 발명 실시예의 관건 또는 중요한 특징을 식별하기 위한 것이 아니고, 본 발명의 범위를 한정하기 위한 것도 아니다. 본 발명의 기타 특징은 이하의 명세서를 통해 용이하게 이해된다.

도면은 본 기술적 수단을 더 잘 이해하는데 사용되고, 본 출원을 한정하려는 것은 아니다
도1은 본 출원의 제1 실시예에 따른 개략도이다.
도2는 본 출원의 실시예에 따른 시멘틱 표현 모델 계층화 비순차 모델링 및 훈련의 개략도이다.
도3은 본 출원의 제2 실시예에 따른 개략도이다.
도4는 본 출원의 제3 실시예에 따른 개략도이다.
도5는 본 출원의 실시예에 따른 태스크 장면에서 시멘틱 표현 모델의 생성 방법의 개략도이다.
도6은 본 출원의 제4 실시예에 따른 개략도이다.
도7은 본 출원의 제5 실시예에 따른 개략도이다.
도8은 본 출원의 실시예의 시멘틱 표현 모델의 생성 방법을 구현하는데 사용되는 전자 기기의 블록도이다.

하기의 도면과 결합하여 본 출원의 예시적인 실시예를 설명한다. 여기에는 이해를 돕기 위해 본 출원의 실시예의 복수의 세부 사항을 포함하고, 실시예들은 단지 예시적인 것으로 간주되어야 한다. 때문에 이 발명에 속하는 기술 분야의 통상의 기술자는 본 출원의 범위 및 사상을 벗어나지 않고 실시예에 여러가지 변경과 수정을 할 수 있다는 것을 인식해야 한다. 동시에 정확성과 간결성을 위해 하기의 설명에서는 공지 기능과 구조에 대한 설명은 생략한다.

아래는 도면을 참조하여 본 출원의 실시예의 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체를 설명한다.

도1은 본 출원의 제1 실시예에 따른 개략도이다. 설명해야할 것은, 본 출원의 실시예의 수행 주체는 시멘틱 표현 모델의 생성 장치이고, 시멘틱 표현 모델의 생성 장치는 구체적으로 하드웨어 기기 또는 하드웨어 기기 중의 소프트웨어 등일 수 있다.

도1에 도시한 바와 같이, 시멘틱 표현 모델의 생성 방법의 구체적인 구현 과정은 단계101 내지 단계106을 포함한다.

단계101에서, 최초 텍스트를 포함하는 최초 텍스트 집합을 획득한다.

본 출원의 실시예에서, 시멘틱 표현 모델 장치는 복수의 최초 텍스트를 미리 설정하고, 복수의 최초 텍스트를 최초 텍스트 집합으로 조합할 수 있다. 최초 텍스트는 문장, 구절, 단어 등을 포함하나 이에 한정되지 않는다. 예를 들면, 최초 텍스트는 "탁구()", "청명상하도()", "하얼빈은 헤이룽장의 성도이고, 국제 빙설 문화의 유명한 도시이고, 유라시아 대륙교의 명주로 불리운다(, , )" 등일 수 있다.

단계102, 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득한다.

텍스트의 계층화 모델링을 구현하기 위해, 선택적으로, 최초 텍스트에 대해 제1 등급 지식 단위의 인식 및 분할을 수행하여, 제1 등급 지식 단위 및 비지식 단위를 획득하고; 제1 등급 지식 단위에 대해 제2 등급 지식 단위의 인식 및 분할을 수행하여, 제2 등급 지식 단위 및 비지식 단위를 획득한다. 설명해야 할 것은, 제1 등급은 문장 등급일 수 있고, 제2 등급은 단어 등급일 수 있다.

즉, 최초 텍스트가 문장, 단어 등을 포함할 수 있으나 이에 한정되지 않으므로, 본 출원의 실시예에서, 최초 텍스트의 부동한 유형에 따라 부동한 분할 방법을 사용할 수 있다. 일 예시적인 실시예로서, 최초 텍스트가 복수의 문장을 포함할 경우, 최초 텍스트의 복수의 문장을 인식 및 분할을 수행하고, 최초 텍스트를 복수의 문장으로 분할할 수 있고; 계속하여, 각 문장에 대해 단어의 인식 및 분할을 수행하고, 문장을 복수의 단어 및 단어 사이의 접속사로 분할한다. 설명해야 할 것은, 단어는 명명 엔티티를 포함할 수 있다.

예를 들면, "하얼빈은 헤이룽장의 성도이고, 국제 빙설 문화의 유명한 도시이고, 유라시아 대륙교의 명주로 불리운다(, , )"는 텍스트를 최초 텍스트로 예를 들어, 당해 최초 텍스트를 "하얼빈은 헤이룽장의 성도()", "국제 빙설 문화의 유명한 도시()" 및 "유라시아 대륙교의 명주로 불리운다()"는 3개 문장으로 분할할 수 있고, 계속하여, "하얼빈은 헤이룽장의 성도()", "국제 빙설 문화의 유명한 도시()" 및 "유라시아 대륙교의 명주로 불리운다()" 3개 문장에 대해 단어 및 명명 엔티티의 인식 및 분할을 한다. 예를 들면, "하얼빈은 헤이룽장의 성도"는 단어 "()", "하얼빈()", "헤이룽장()" 및 접속사 "는()", "의()"로 분할할 수 있고, 분할한 단어에 대해 명명 엔티티 인식하여, 명명 엔티티를 "하얼빈()", "헤이룽장()"으로 결정할 수 있다.

다른 하나의 예시로서, 최초 텍스트가 하나의 문장을 포함할 경우, 최초 텍스트의 문장에 대해 단어의 인식 및 분할을 수행하고, 문장을 복수의 단어 및 단어 사이의 접속사로 분할할 수 있다.

또 다른 하나의 예시로서, 최초 텍스트가 하나 또는 복수의 구절을 포함할 경우, 최초 텍스트 중의 각 구절에 대해 단어 인식 및 분할을 할 수 있다. 예를 들면, 최초 텍스트가 "내일은 더욱 좋아질 것이다()"일 경우, 최초 텍스트에 대해 단어 및 명명 엔티티 인식 및 분할한 후, 단어 "내일()", "더욱 좋아()" 및 접속사 "질 것이다()"로 분할할 수 있다.

단계103, 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득한다.

모델이 전체 텍스트를 예측할 수 있도록, 지식의 모델링과 모델 장거리의 의존 관계를 강화해야 하고, 직접 글자를 단위로 순서를 섞지 않고, 계층화의 방식으로 순서를 섞으며, 본 출원의 실시예에서, 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 비순차 처리하여, 비순차 텍스트를 획득할 수 있다. 예를 들면, 최초 텍스트에서의 지식 단위 및 비지식 단위의 순서를 섞어 놓고, 비순차 텍스트를 획득한다.

텍스트의 계층화 모델링을 더 구현하기 위해, 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 하여, 비순차 텍스트를 획득한 후, 지식 단위에 포함된 캐릭터에 대해 비순차 처리를 할 수 있다.

단계104, 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하고, 캐릭터의 속성은 최초 텍스트에서의 캐릭터의 최초 위치 및 현재 위치를 포함한다.

일 예시로서, 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 하기 전에, 최초 텍스트 중의 각 캐릭터에 대해 0부터 N(N은 0보다 큼)까지의 순서로 제1 위치 태그를 붙일 수 있다. 당해 제1 위치 태그가 기록한 캐릭터의 위치는 최초 텍스트에서의 캐릭터의 최초 위치이고; 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하고, 지식 단위에 포함된 복수의 캐릭터에 대해 캐릭터 레벨의 비순차 처리한 후, 비순차 텍스트 중의 각 캐릭터를 0부터 N(N은 0보다 큼)까지의 순서로 제2 위치 태그를 붙인다. 당해 제2 위치 태그가 기록한 캐릭터의 위치는 캐릭터의 현재 위치다.

단계105, 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성한다.

단계106, 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성한다.

모델의 사전 훈련과 미조정 사이의 편차를 제거하기 위해, 본 출원의 실시예에서, 캐릭터의 속성에 따라 단방향 모델링의 방식을 결정할 수 있다. 또한, 딥 러닝은 기타 기계 합습 방법이 빅체이터 세트에서의 표현보다 더 좋다. 따라서, 본 출원의 실시예에서, 딥 러닝의 방식으로 초기의 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성할 수 있다. 설명해야 할 것은, 초기 시멘틱 표현 모델은 자기 회귀 모델(AutoRegressive model, AR모델)일 수도 있다.

일 예시로서, 비순차 텍스트 중의 캐릭터 속성에 따라, 현재 캐릭터가 현재 위치에 있기 전에 각 위치에서의 캐릭터를 결정할 수 있어, 현재 캐릭터의 캐릭터 예측 결과를 획득한다. 현재 캐릭터 및 현재 캐릭터의 예측 결과에 따라, 시멘틱 표현 모델의 계수를 조정함으로, 시멘틱 표현 모델을 생성한다. 상세한 내용은 후속 실시예의 설명을 참조한다.

당업자가 본 출원을 더 뚜렷하게 이해할 수 있도록, 예를 들어 설명한다.

예를 들면, 도2에 도시한 바와 같이, "하얼빈은 헤이룽장의 성도, 국제 빙설 문화의 유명한 도시, 유라시아 대륙교의 명주로 불리운다"는 텍스트를 최초 텍스트로 예를 들어, 당해 최초 텍스트를 "하얼빈은 헤이룽장의 성도", "국제 빙설 문화의 유명한 도시" 및 "유라시아 대륙교의 명주로 불리운다"는 3개 문장으로 분할을 수행하고, 당해 3개 문장에 대히 비순차 처리하고; 계속하여, 각 문장에 대해 단어 인식 및 분할 하고, 각 문장에서 분할한 단어에 대해 비순차 처리를 하고; 마지막으로, 각 문장에서 분할한 단어에 대해 캐릭터 분할을 수행하고, 각 단어 내부의 캐릭터에 대해 비순차 처리를 한다. 순서를 섞은 후, 왼쪽부터 우쪽까지의 어텐션 메커니즘으로, 순서대고 각 글자를 예측한다. 즉, ERNIE (Knowledge Masking Bi-direction Language Model, 지식 마스킹 양방향 언어 모델)의 정신으로, AutoRegressive의 모델에 인입한다. 이로하여, 비순차 텍스트에 따라 사용한 계층화 비순차 모델링의 방식은, 완정한 단어와 엔티티를 모델링할 수 있어, 모델이 진실 세계의 지식을 학습하게 하고, 모델의 효과를 증강한다. 동시에, 캐릭터의 속성에 따라 결정한 단방향 모델링의 방식은 모델 사전 훈련과 미조정 사이의 편차를 제거한다.

상기에 기재된 바와 같이, 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하고, 분할 후의 최초 텍스트에 대해 비순차 처리하여, 비순차 텍스트를 획득하며, 비순차 텍스트 중의 캐릭터 속성에 따라 초기 시멘틱 모델를 훈련한다. 이로하여, 지식 단위의 계층화의 비순차 모델링의 방식은, 최초 텍스트의 단어 및 엔티티에 대해 모델링할 수 있어, 모델이 진실 세계의 지식을 학습하게 하고, 모델의 효과를 증강한다. 동시에, 캐릭터의 속성에 따라 결정한 단방향 모델링의 방식은 모델 사전 훈련과 미조정 사이의 편차를 제거한다.

모델 사전 훈련과 미조정 사이의 편차를 제거하기 위해, 본 출원의 실시예에서, 도3에 도시한 바와 같이, 도3은 본 출원의 제2 실시예에 따른 개략도이고, 캐릭터의 속성에 따라 단방향 모델링의 방식을 결정할 수 있고, 딥 러닝의 방식으로 초기의 시멘틱 표현 모델을 훈련하고, 도1의 상기 실시예의 단계106은 단계301 내지 304를 더 포함한다.

단계301, 훈련 텍스트 집합의 비순차 텍스트의 현재 캐릭터를 획득한다.

일 예시로서, 왼쪽부터 오른쪽까지의 어텐션 메커니즘으로, 비순차 텍스트 중의 캐릭터를 왼쪽부터 오른쪽까지 차례로 비순차 텍스트의 현재 캐릭터로 한다.

단계302, 비순차 텍스트 캐릭터의 캐릭터 속성에 따라, 제1 캐릭터를 결정하고, 제1 캐릭터는 비순차 텍스트의 현재 캐릭터가 있는 현재 위치 앞의 각 위치에서의 캐릭터다.

본 출원의 실시예에서, 비순차 텍스트 중의 캐릭터 위치 태그에 따라, 비순차 텍스트에서 현재 캐릭터의 위치를 결정할 수 있고, 당해 현재 캐릭터가 비순차 텍스트의 위치에 있기 전에 각 위치에서의 캐릭터를 제1 캐릭터로 한다. 예를 들면, 비순차 텍스트가 "은얼하빈의도성룽헤이장()"이고, 현재 캐릭터가 "룽()"일 경우, 제1 캐릭터는 "은()", "얼()", "하()", "빈()", "의()", "도()", "성()"이다.

단계303, 제1 캐릭터, 제1 캐릭터의 캐릭터 속성 및 현재 캐릭터의 캐릭터 속성을 시멘틱 표현 모델에 입력하여, 현재 위치에서 시멘틱 표현 모델이 현재 캐릭터에 대한 캐릭터 예측 결과를 획득한다.

일 예시로서, 제1 캐릭터, 제1 캐릭터의 각 캐릭터의 캐릭터 속성 및 현재 캐릭터의 캐릭터 속성을 시멘틱 표현 모델에 입력할 수 있고, 시멘틱 표현 모델은 제1 캐릭터, 제1 캐릭터의 캐릭터 속성 및 현재 캐릭터의 캐릭터 속성에 따라, 현재 위치에서 현재 캐릭터의 캐릭터 예측 결과를 예측해 낼 수 있다. 제1 캐릭터의 캐릭터 속성은 비순차 텍스트에서 제1 캐릭터의 각 캐릭터의 위치이고, 최초 텍스트에서의 최초 위치이다.

예를 들면, 비순차 텍스트가 "은얼하빈의도성룽헤이장()"이고, 현재 캐릭터가 "룽()"일 경우, 제1 캐릭터는 "은()", "얼()", "하()", "빈()", "의()", "도()", "성()"이고, 당해 제1 캐릭터, 제1 캐릭터의 각 캐릭터의 캐릭터 속성 및 현재 캐릭터의 캐릭터 속성을 초기 시멘틱 표현 모델에 입력할 수 있고, 초기 시멘틱 표현 모델은 현재 위치에서 현재 캐릭터의 캐릭터 예측 결과를 예측해 낼 수 있다.

설명해야 할 것은, 비순차 텍스트에서 현재 캐릭터의 위치가 0, 즉, 비순차 텍스트에서 현재 캐릭터의 위치가 제1 위일 경우, 현재 캐릭터에 대응하는 제1 캐릭터는 비워 있는 것이고, 시멘틱 표현 모델은 랜덤 모델을 사용하여 현재 위치의 캐릭터를 예측할 수 있다.

단계304, 현재 캐릭터 및 캐릭터 예측 결과에 따라, 손실함수 값을 계산하고 시멘틱 표현 모델의 계수를 조정하여, 시멘틱 표현 모델을 생성한다.

본 출원의 실시예에서, 현재 캐릭터와 캐릭터 예측 결과를 비교하여, 현재 캐릭터와 캐릭터 예측 결과의 차이를 손실함수로 할 수 있고, 초기 시멘틱 표현 모델의 계수를 조정하여 손실함수 값이 가장 작도록 하고, 손실함수 값이 가장 작을 경우의 초기 시멘틱 표현 모델을 시멘틱 표현 모델로 한다. 즉, 손실함수 값이 가장 작을 경우, 현재 캐릭터의 예측 결과와 현재 캐릭터는 가장 가깝고, 손실함수 값이 가장 작을 경우, 대응하는 초기 시멘틱 표현 모델을 시멘틱 표현 모델로 한다.

상기에 기재된 바와 같이, 비순차 텍스트 중의 캐릭터 속성에 따라 단방향 모델링 방식을 결정하고, 딥 러닝의 방식으로 초기 시멘틱 표현 모델을 훈련하여, 모델 사전 훈련과 미조정 사이의 편차를 제거할 수 있다.

본 출원의 실시예의 가용성 및 실행 가능성을 향상시키기 위해, 본 출원의 실시예에서, 도4에 도시한 바와 같이, 도4는 본 출원의 제3 실시예에 따른 개략도이고, 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성한 후, 시멘틱 표현 모델에 대해 태스크 장면의 훈련을 하고, 태스크 장면에서의 시멘틱 표현 모델을 생성하여, 태스크 장면에서의 시멘틱 표현 모델이 태스크 장면의 분석 및 예측을 완성하도록 한다. 도1의 상기 실시예의 단계106이후 단계401 내지 403을 더 포함한다.

단계401, 시멘틱 표현 모델의 태스크 장면을 결정한다.

본 출원의 실시예에서, 태스크 장면은 자연어 처리 기술 분야의 텍스트 유사도 예측, 지능 문답, 정감 분석, 자연어 추정 등을 포함하나 이에 한정되지 않고, 태스크 장면 중의 임의 장면을 시멘틱 표현 모델의 태스크 장면으로 할 수 있다.

단계402, 태스크 장면에서의 훈련 데이터를 획득하고, 훈련 데이터는 훈련 텍스트 및 대응되는 태스크 타겟을 포함한다.

본 출원의 실시예에서, 훈련 데이터의 훈련 텍스트는 태스크와 관련되는 소량의 라벨링 데이터일 수 있고, 당해 훈련 텍스트에 대응하는 태스크 타겟은 태스크와 관련되는 소량의 라벨링 데이터의 라벨링 결과다.

예를 들면, 태스크 장면이 정감 분석인 경우를 예로 들어, 태스크 타겟은 정감을 결정하는 정향 점수 및 음향 점수, 또는 정감의 정향 확률 및 음향 확률이고, 정감 분석과 관련되는 소량의 라벨링 데이터는 "맛이 아주 괜찮다", "가성비가 낮다" 또는 "환경이 매우 깨끗하다. 추천"등 일 수 있고, 훈련 데이터는 "맛이 아주 괜찮다"일 수 있으며, 대응되는 태스크 타겟은 정감 정향이고, 정감 정향의 확률은 90%이고, 정감 음향의 확률은 10%이며, "가성비가 낮다"에 대응하는 태스크 타겟은 정감 음향이고, 정감 음향의 확률은 90%이고, 정감 정향의 확률은 10%이며, "환경이 매우 깨끗하다. 추천"에 대응하는 태스크 타겟은 정감 점향이고, 정감 정향의 확률은 95%이고, 정감 음향의 확률은 5%이다.

단계403, 훈련 텍스트 및 대응되는 태스크 타겟을 사용하여 시멘틱 표현 모델을 훈련하여, 태스크 장면에서의 시멘틱 표현 모델을 생성한다.

일 예시로서, 훈련 데이터의 훈련 텍스트를 시멘틱 표현 모델의 입력으로 하고, 대응되는 태스크 타겟을 시멘틱 표현 모델의 출력으로 함으로, 시멘틱 표현 모델의 훈련을 구현하고, 태스크 장면에서의 시멘틱 표현 모델을 생성한다.

예를 들면, 도5에 도시한 바와 같이, 도5의 태스크 모델은 태스크 장면에서의 시멘틱 표현 모델을 나타낼 수 있고, 통용적인 시멘틱 표현은 시멘틱 표현 모델을 나타낼 수 있어, 태스크 장면이 정감 분석인 경우를 예로 들어, 태스크와 관련 없는 대량의 텍스트가 초기 시멘틱 표현 모델을 훈련하여 시멘틱 표현 모델을 획득할 수 있고, 시멘틱 표현 모델에 대해 소량의 태스크와 관련되는 소량의 라벨링 데이터로 훈련하여, 태스크 장면에서의 시멘틱 표현 모델을 획득할 수 있고, 텍스트를 태스크 장면에서의 시멘틱 표현 모델에 입력하여, 대응되는 태스크 타겟을 획득할 수 있다. 예를 들면, 텍스트 "이 식당은 다시 올만 하다"를 태스크 장면에서의 시멘틱 표현 모델에 입력하여, 획득할 수 있는 대응되는 정감 정향의 확률은 87%이고, 정감 음향의 확률은 13%이다. 이로하여, 대량의 텍스트를 통해 초기 시멘틱 표현 모델을 훈련한 후, 시멘틱 표현 모델을 생성하고, 태스크 장면에서의 훈련 데이터로 시멘틱 표현 모델을 훈련한 후, 생성한 태스크 장면에서의 시멘틱 표현 모델은 태스크 장면의 분석 및 예측을 완성할 수 있다.

상기에 기재된 바와 같이, 시멘틱 표현 모델을 결정하는 태스크 장면을 통해, 태스크 장면에서의 훈련 데이터를 획득하고, 훈련 데이터로 시멘틱 표현 모델을 훈련하여, 태스크 장면에서의 시멘틱 표현 모델을 생성함으로, 태스크 장면에서의 시멘틱 표현 모델이 태스크 장면의 분석 및 예측을 완성하도록 한다.

본 출원의 실시예의 시멘틱 표현 모델의 생성 방법은, 최초 텍스트를 포함하는 최초 텍스트 집합을 획득하는 단계; 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하는 단계; 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하는 단계; 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하는 단계 - 캐릭터의 속성은 최초 텍스트에서의 캐릭터의 최초 위치 및 현재 위치를 포함함 - ; 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하는 단계; 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성하는 단계;를 포함한다. 당해 방법은 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하고, 분할 후의 최초 텍스트를 비순차 처리하여, 비순차 텍스트를 획득하고, 비순차 텍스트 중의 캐릭터 속성에 따라 초기 시멘틱 모델을 훈련한다. 이로하여, 지식 단위의 계층화 비순차 모델링의 방식으로, 최초 텍스트의 단어 및 엔티티 등에 대해 모델링할 수 있어, 모델이 진실 세계의 지식을 학습하게 하고, 모델의 효과를 증강한다. 동시에, 캐릭터의 속성에 따라 결정한 단방향 모델링의 방식은 모델 사전 훈련과 미조정 사이의 편차를 제거한다.

상기 실시예를 구현하기 위해, 본 출원의 실시예는 시멘틱 표현 모델의 생성 장치를 더 제공한다.

도6은 본 출원의 제4 실시예에 따른 개략도이다. 도6에 도시한 바와 같이, 당해 시멘틱 표현 모델의 생성 장치(600)는, 제1 획득 모듈(610), 인식 분할 모듈(620), 처리 모듈(630), 제1 생성모듈(640), 제2 생성모듈(650), 및 훈련모듈(660)을 포함한다.

제1 획득 모듈(610)은, 최초 텍스트를 포함하는 최초 텍스트 집합을 획득하는데 사용되고; 인식 분할 모듈(620)은, 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하는데 사용되고; 처리 모듈(630)은, 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하는데 사용되며; 제1 생성모듈(640)은, 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하는데 사용되고, 캐릭터의 속성은 최초 텍스트에서의 캐릭터의 최초 위치 및 현재 위치를 포함하고; 제2 생성모듈(650)은, 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하는데 사용되며; 훈련모듈(660)은, 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성하는데 사용된다.

본 출원의 실시예의 구현 가능한 방식으로서, 인식 분할 모듈(620)은 구체적으로, 최초 텍스트에 대해 제1 등급 지식 단위의 인식 및 분할을 수행하여, 제1 등급 지식 단위 및 비지식 단위를 획득하고; 제1 등급 지식 단위에 대해 제2 등급 지식 단위의 인식 및 분할을 수행하여, 제2 등급 지식 단위 및 비지식 단위를 획득하는데 사용된다.

본 출원의 실시예의 구현 가능한 방식으로서, 제1 등급은 문장 등급이고, 제2 등급은 단어 등급이다.

본 출원의 실시예의 구현 가능한 방식으로서, 훈련모듈(660)은 구체적으로, 상기 훈련 텍스트 집합의 비순차 텍스트의 현재 캐릭터를 획득하고; 비순차 텍스트 캐릭터의 캐릭터 속성에 따라, 제1 캐릭터를 결정하고, 제1 캐릭터는 비순차 텍스트의 현재 캐릭터가 있는 현재 위치 앞의 각 위치에서의 캐릭터이며; 제1 캐릭터, 제1 캐릭터의 캐릭터 속성 및 현재 캐릭터의 캐릭터 속성을 시멘틱 표현 모델에 입력하여, 현재 위치에서 시멘틱 표현 모델이 현재 캐릭터에 대한 캐릭터 예측 결과를 획득하고; 현재 캐릭터 및 캐릭터 예측 결과에 따라, 손실함수 값을 계산하고 시멘틱 표현 모델의 계수를 조정하여, 시멘틱 표현 모델을 생성하는데 사용된다.

본 출원의 실시예의 구현 가능한 방식으로서, 처리 모듈(630)은, 지식 단위에 포함된 복수의 캐릭터에 대해 캐릭터 레벨의 비순차 처리를 수행하는데 더 사용된다.

본 출원의 실시예의 구현 가능한 방식으로서, 도7에 도시한 바와 같이, 도6에 도시한 기반에서, 시멘틱 표현 모델의 생성 장치(600)는, 결정 모듈(670), 제2 획득 모듈(680), 및 태스크 훈련 모듈(690)을 더 포함한다.

결정 모듈(670)은, 시멘틱 표현 모델의 태스크 장면을 결정하는데 사용되고; 제2 획득 모듈(680)은, 태스크 장면에서의 훈련 데이터를 획득하는데 사용되고, 훈련 데이터는 훈련 텍스트 및 대응되는 태스크 타겟을 포함하고; 태스크 훈련 모듈(690)은, 훈련 텍스트 및 대응되는 태스크 타겟을 사용하여 시멘틱 표현 모델을 훈련하여, 태스크 장면에서의 시멘틱 표현 모델을 생성하는데 사용된다.

본 출원의 실시예의 시멘틱 표현 모델의 생성 장치는, 최초 텍스트를 포함하는 최초 텍스트 집합을 획득하고; 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하고; 최초 텍스트 중의 지식 단위 및 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하며; 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하고, 캐릭터의 속성은 최초 텍스트에서의 캐릭터의 최초 위치 및 현재 위치를 포함하고; 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하며; 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성한다. 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하고, 분할 후의 최초 텍스트를 비순차 처리하여, 비순차 텍스트를 획득하고, 비순차 텍스트 중의 캐릭터 속성에 따라 초기 시멘틱 모델을 훈련하도록 구현할 수 있다. 이로하여, 지식 단위의 계층화 비순차 모델링의 방식으로, 최초 텍스트의 단어 및 엔티티 등에 대해 모델링할 수 있어, 모델이 진실 세계의 지식을 학습하게 하고, 모델의 효과를 증강한다. 동시에, 캐릭터의 속성에 따라 결정한 단방향 모델링의 방식은 모델 사전 훈련과 미조정 사이의 편차를 제거한다.

본 출원의 실시예에 따라, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다. 본 출원의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램중의 명령이 실행될 경우, 본 출원의 임의의 실시예의 시멘틱 표현 모델의 생성 방법이 수행된다.

도8은 본 출원의 실시예의 시멘틱 표현 모델의 생성 방법를 구현하는데 사용되는 전자 기기의 블록도이다. 전자 기기는 복수 형식의 디지털 컴퓨터를 나타낸다. 예를 들면, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인 정보 단말(PAD), 서버, 블레이드 서버, 메인 프레임 및 기타 적합한 컴퓨터일 수 있다. 전자 기기는 복수 형식의 모바일 장치를 나타낸다. 예를 들면 개인 정보 단말(PAD), 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치일 수 있다. 본 출원에 나타난 컴포넌트, 이들의 연결와 관계, 및 기능은 단지 예시적인 것 뿐이며, 본 출원에서 설명 및/또는 요구한 본 출원의 구현을 한정하려는 것은 아니다.

도8에 도시된 바와 같이, 당해 전자 기기는, 하나 또는 복수의 프로세서(801), 메모리(802) 및 각 컴포넌트를 연결하기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각 컴포넌트는 서로 다른 버스를 이용하여 서로 연결되고, 공동 메인보드에 장착될 수 있고 수요에 의해 기타 방식으로 장착될 수도 있다. 프로세서는 메모리 또는 메모리 상에 저장되어 외부의 입력 / 출력 장치 (예를 들면, 인터페이스에 결합된 디스플레이 기기)에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한, 전자 기기 내에서 실행 가능한 명령을 처리할 수 있다. 기타 실시 방식에서, 필요에 따라, 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 같이 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각 전자 기기는 일부 필요한 동작 (예를 들면, 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티 프로세서 시스템) 을 제공한다. 도8에서는 하나의 프로세서(801)를 예로 든다.

메모리(802)는 본 출원에서 제공하는 비 일시적 컴퓨터 판독 가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 적어도 하나의 프로세서가 본 출원에서 제공하는 시멘틱 표현 모델의 생성 방법을 실행할 수 있게 한다. 본 출원의 비 일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터 명령이 저장되어 있고, 당해 컴퓨터 명령은 컴퓨터가 본 출원에서 제공하는 시멘틱 표현 모델의 생성 방법을 실행하게 한다.

메모리(802)는 비 일시적 컴퓨터 판독 가능 저장 매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능한 프로그램 및 모듈을 저장하는데 사용된다. 예를 들면, 본 출원의 실시예 중의 시멘틱 표현 모델의 생성 방법에 대응하는 프로그램 명령/모듈(예를 들면, 도6에 도시된 바와 같은, 제1 획득 모듈(610), 인식 분할 모듈(620), 처리 모듈(630), 제1 생성모듈(640), 제2 생성모듈(650), 훈련모듈(660))을 저장할 수 있다. 프로세서(801)는 메모리(802)에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 작동시켜, 서버의 복수의 기능 응용 및 데이터 처리를 실행한다. 즉 상기 방법 실시예의 시멘틱 표현 모델의 생성 방법을 구현한다.

메모리(802)는 프로그램 저장영역과 데이터 저장영역을 포함할 수 있고, 프로그램 저장영역은 운영체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고, 데이터 저장 영역은 시멘틱 표현 모델의 생성에 따른 전자 기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 이 외에, 메모리(802)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비 일시적 메모리, 예를 들면 적어도 하나의 자기 디스크 메모리, 플래시 메모리 또는 기타 비 일시적 솔리드 스테이트 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(802)는 선택적으로 프로세서(801)에 대해 원격으로 설치되는 메모리를 포함하고, 이러한 원격 메모리는 네트워크를 통해 본 출원의 실시예의 시멘틱 표현 모델의 생성 방법을 구현하기 위한 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하나 이에 한정되지 않는다.

시멘틱 표현 모델의 생성 방법의 전자 기기는 입력 장치(803) 및 출력 장치(804)를 더 포함할 수 있다. 프로세서(801), 메모리(802), 입력 장치(803) 및 출력 장치(804)는 버스 또는 기타 방식을 통해 연결될 수 있고, 도 7에서는 버스를 통해 연결되는 것을 예로 한다.

입력 장치(803)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 본 출원의 실시예의 시멘틱 표현 모델의 생성 방법을 구현하기 위한 전자 기기의 사용자 설정 및 기능 제어와 관련되는 키 신호 입력을 생성할 수 있고, 예를 들어, 터치 스크린, 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치이다. 출력 장치(804)는 디스플레이 기기, 보조 조명 장치(예를 들면, LED) 및 촉각 피드백 장치(예를 들면, 진동 모터)이다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시예에서, 디스플레이 기기는 터치 스크린일 수 있다.

여기서 설명하는 시스템과 기술의 여러 가지 실시형태는 디지털 전자회로 시스템, 집적회로 시스템, 전용ASIC (전용 직접 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현될 수 있다. 이러한 여러 가지 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석되며, 당해 프로그래밍 가능 프로세서는 전용 또는 일반 프로그래밍 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에서 데이터와 명령을 수신할 수 있고, 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 전송할 수 있다.

이러한 컴퓨팅 프로그램(즉, 프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드)은, 프로그래밍 가능 프로세서의 기계 명령을 포함하고, 고급 절차 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 용어 "기계 판독 가능 매체"와 "컴퓨터 판독 가능 매체"는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들면, 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 로직 장치(PLD))를 가리키고, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하는 임의의 신호를 가리킨다.

사용자와의 대화를 제공하기 위해, 여기서 설명된 시스템 및 기술은 컴퓨터 상에서 구현할 수 있으며, 당해 컴퓨터는 사용자에게 정보를 디스플레이하는 디스플레이 장치(예를 들면, CRT (음극선관) 또는 LCD (액정 모니터)); 및 키보드와 지향 장치(예를 들면, 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 지향 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치도 사용자와의 대화에 사용될 수 있는 바, 예를 들면 사용자에게 제공된 피드백은 임의의 형식의 감각 피드백(예를 들면, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고, 임의의 형식(음향 입력, 음성 입력 또는 촉각 입력)에 의해 사용자로부터의 입력을 수신할 수 있다.

여기서 설명한 시스템과 기술을, 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면, 애플리케이션 서버), 또는 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터에서 실시될 수 있고, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 설명한 시스템과 기술의 실시형태와 대화할 수 있음), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면, 통신 네트워크)를 통해 시스템의 컴포넌트를 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망 (LAN), 광역 통신망 (WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며, 통신 네트워크를 통해 서로 대화한다. 대응하는 컴퓨터에서 운행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계를 생성한다.

이해해야 할 것은, 상기 복수 형식의 흐름에 의해, 단계를 재정열, 추가 또는 삭제할 수 있다. 예를 들면, 본 출원에 기재한 각 단계는 병행하여 또는 순차적으로 실행할 수도 있고, 서로 다른 순서로 실행할 수도 있다. 본 출원에서 개시한 기술적 수단이 원하는 결과만 구현할 수 있으면 본 출원에서는 이에 대해 한정하지 않는다.

상기 구체적인 실시 방식은 본 출원의 보호 범위를 한정하지 않는다. 본 발명이 속하는 기술 분야의 통상의 기술자는 설계 요구 및 기타 요소에 의해 여러가지 수정, 조합, 서브 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 본 출원 보호 범위에 포함된다.

Claims

시멘틱 표현 모델의 생성 장치에 의해 실행되는 시멘틱 표현 모델의 생성 방법에 있어서,
최초 텍스트를 포함하는 최초 텍스트 집합을 획득하는 단계;
상기 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 상기 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하는 단계;
상기 최초 텍스트 중의 상기 지식 단위 및 상기 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하는 단계;
상기 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하는 단계 - 상기 캐릭터의 속성은 상기 최초 텍스트에서의 상기 캐릭터의 최초 위치 및 현재 위치를 포함함 - ;
상기 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하는 단계; 및
상기 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성하는 단계;를 포함하고,
상기 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하는 단계는,
상기 훈련 텍스트 집합의 비순차 텍스트의 현재 캐릭터를 획득하는 단계;
비순차 텍스트 캐릭터의 캐릭터 속성에 따라, 제1 캐릭터를 결정하는 단계 - 상기 제1 캐릭터는 상기 비순차 텍스트의 상기 현재 캐릭터가 있는 현재 위치 앞의 각 위치에서의 캐릭터임 - ;
상기 제1 캐릭터, 상기 제1 캐릭터의 캐릭터 속성 및 상기 현재 캐릭터의 캐릭터 속성을 상기 시멘틱 표현 모델에 입력하여, 현재 위치에서 상기 시멘틱 표현 모델이 상기 현재 캐릭터에 대한 캐릭터 예측 결과를 획득하는 단계; 및
상기 현재 캐릭터 및 상기 캐릭터 예측 결과에 따라, 손실함수 값을 계산하고 상기 시멘틱 표현 모델의 계수를 조정하여, 시멘틱 표현 모델을 생성하는 단계;를 포함하는,
것을 특징으로 하는 시멘틱 표현 모델의 생성 방법.
제1항에 있어서,
상기 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하는 단계는,
상기 최초 텍스트에 대해 제1 등급 지식 단위의 인식 및 분할을 수행하여, 상기 제1 등급 지식 단위 및 비지식 단위를 획득하는 단계; 및
상기 제1 등급 지식 단위에 대해 제2 등급 지식 단위의 인식 및 분할을 수행하여, 상기 제2 등급 지식 단위 및 비지식 단위를 획득하는 단계;를 포함하는,
것을 특징으로 하는 시멘틱 표현 모델의 생성 방법.
제2항에 있어서,
상기 제1 등급은 문장 등급이고, 상기 제2 등급은 단어 등급인,
것을 특징으로 하는 시멘틱 표현 모델의 생성 방법.
제1항에 있어서,
상기 최초 텍스트 중의 상기 지식 단위 및 상기 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하는 단계 이후에,
지식 단위에 포함된 복수의 캐릭터에 대해 캐릭터 레벨의 비순차 처리를 수행하는 단계를 더 포함하는,
것을 특징으로 하는 시멘틱 표현 모델의 생성 방법.
제1항에 있어서,
상기 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성하는 단계 이후에,
상기 시멘틱 표현 모델의 태스크 장면을 결정하는 단계;
상기 태스크 장면에서의 훈련 데이터를 획득하는 단계 - 훈련 데이터는 훈련 텍스트 및 대응되는 태스크 타겟을 포함함 - ; 및,
상기 훈련 텍스트 및 대응되는 태스크 타겟을 사용하여 상기 시멘틱 표현 모델을 훈련하여, 상기 태스크 장면에서의 시멘틱 표현 모델을 생성하는 단계;를 더 포함하는,
것을 특징으로 하는 시멘틱 표현 모델의 생성 방법.
시멘틱 표현 모델의 생성 장치에 있어서,
최초 텍스트를 포함하는 최초 텍스트 집합을 획득하는데 사용되는 제1 획득 모듈;
상기 최초 텍스트에 대해 지식 단위의 인식 및 분할을 수행하여, 상기 최초 텍스트 중의 지식 단위 및 비지식 단위를 획득하는데 사용되는 인식 분할 모듈;
상기 최초 텍스트 중의 상기 지식 단위 및 상기 비지식 단위에 대해 지식 단위 레벨 비순차 처리를 수행하여, 비순차 텍스트를 획득하는데 사용되는 처리 모듈;
상기 비순차 텍스트 중의 각 캐릭터의 캐릭터 속성을 생성하는데 사용되는 제1 생성모듈 - 상기 캐릭터의 속성은 상기 최초 텍스트에서의 상기 캐릭터의 최초 위치 및 현재 위치를 포함함 - ;
상기 비순차 텍스트 중의 캐릭터의 캐릭터 속성에 따라 훈련 텍스트 집합을 생성하는데 사용되는 제2 생성모듈; 및
상기 훈련 텍스트 집합을 사용하여 초기 시멘틱 표현 모델을 훈련하여, 시멘틱 표현 모델을 생성하는데 사용되는 훈련 모듈;을 포함하고,
상기 훈련 모듈은 구체적으로,
상기 훈련 텍스트 집합의 비순차 텍스트의 현재 캐릭터를 획득하고;
상기 비순차 텍스트 캐릭터의 캐릭터 속성에 따라, 제1 캐릭터를 결정하고, 상기 제1 캐릭터는 상기 비순차 텍스트의 상기 현재 캐릭터가 있는 현재 위치 앞의 각 위치에서의 캐릭터이며;
상기 제1 캐릭터, 상기 제1 캐릭터의 캐릭터 속성 및 상기 현재 캐릭터의 캐릭터 속성을 상기 시멘틱 표현 모델에 입력하여, 상기 현재 위치에서 상기 시멘틱 표현 모델이 현재 캐릭터에 대한 캐릭터 예측 결과를 획득하고;
상기 현재 캐릭터 및 상기 캐릭터 예측 결과에 따라, 손실함수 값을 계산하고 상기 시멘틱 표현 모델의 계수를 조정하여, 시멘틱 표현 모델을 생성하는데 사용되는,
것을 특징으로 하는 시멘틱 표현 모델의 생성 장치.
제6항에 있어서,
상기 인식 분할 모듈은, 구체적으로,
상기 최초 텍스트에 대해 제1 등급 지식 단위의 인식 및 분할을 수행하여, 상기 제1 등급 지식 단위 및 비지식 단위를 획득하고;
상기 제1 등급 지식 단위에 대해 제2 등급 지식 단위의 인식 및 분할을 수행하여, 상기 제2 등급 지식 단위 및 비지식 단위를 획득하는데 사용되는,
것을 특징으로 하는 시멘틱 표현 모델의 생성 장치.
제7항에 있어서,
제1 등급은 문장 등급이고, 제2 등급은 단어 등급인,
것을 특징으로 하는 시멘틱 표현 모델의 생성 장치.
제6항에 있어서,
상기 처리 모듈은,
상기 지식 단위에 포함된 복수의 캐릭터에 대해 캐릭터 레벨의 비순차 처리를 수행하는데 더 사용되는,
것을 특징으로 하는 시멘틱 표현 모델의 생성 장치.
제6항에 있어서,
상기 장치는,
상기 시멘틱 표현 모델의 태스크 장면을 결정하는데 사용되는 결정 모듈;
상기 태스크 장면에서의 훈련 데이터를 획득하는데 사용되는 제2 획득 모듈 - 상기 훈련 데이터는 훈련 텍스트 및 대응되는 태스크 타겟을 포함함 - ; 및
상기 훈련 텍스트 및 대응되는 태스크 타겟을 사용하여 상기 시멘틱 표현 모델을 훈련하여, 상기 태스크 장면에서의 시멘틱 표현 모델을 생성하는데 사용되는 태스크 훈련 모듈;을 더 포함하는,
것을 특징으로 하는 시멘틱 표현 모델의 생성 장치.
전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리;를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제5항 중 어느 한 항의 시멘틱 표현 모델의 생성 방법을 수행하도록 하는,
것을 특징으로 하는 전자 기기.
컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 컴퓨터가 제1항 내지 제5항 중 어느 한 항의 시멘틱 표현 모델의 생성 방법을 수행하도록 하는,
것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항 내지 제5항 중 어느 한 항의 시멘틱 표현 모델의 생성 방법이 실행되는,
것을 특징으로 하는 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램.
삭제
삭제