KR102556179B1 - 데이터 프리페치 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 - Google Patents
데이터 프리페치 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 Download PDFInfo
- Publication number
- KR102556179B1 KR102556179B1 KR1020217008287A KR20217008287A KR102556179B1 KR 102556179 B1 KR102556179 B1 KR 102556179B1 KR 1020217008287 A KR1020217008287 A KR 1020217008287A KR 20217008287 A KR20217008287 A KR 20217008287A KR 102556179 B1 KR102556179 B1 KR 102556179B1
- Authority
- KR
- South Korea
- Prior art keywords
- query prefix
- degree
- embarrassment
- prefetch
- query
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 개시는 데이터 프리페치 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체를 공개한다. 구체적인 구현 방안으로는, 사용자가 입력한 쿼리 프리픽스를 획득하고; 미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도를 획득하며; 상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단하고; 상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신한다.
Description
본 개시는 2020년 1월 10일 중국에 제출된 중국 특허 출원 No. 202010024434.0의 우선권을 주장하며, 그 전체 내용을 본 개시에 인용한다.
본 개시는 컴퓨터 기술분야에 관한 것이며, 특히 스마트 검색 기술에 관한 것이다.
검색 프리페치 기능은 사용자가 실제로 검색을 클릭하기 전에 클라이언트를 통해 쿼리 프리픽스에 대한 프리페치 요청을 개시하고, 프리페치 결과를 미리 획득하여 사용자에게 보여줄 수 있어, 사용자에게 더 빠른 검색 속도의 체험을 제공하고 사용자의 놀라움과 기쁨을 증가시킨다.
현재, 프리페치 요청을 발송하는 주요한 방법으로는, 사용자가 입력한 쿼리 프리픽스의 보완 매칭에 근거하여 프리페치 요청을 발송하는 것이다. 예컨대, 사용자가 쿼리 프리픽스 "유덕"을 입력하면, 쿼리 프리픽스 "유덕"을 "유덕화"로 보완한 후 프리페치 요청의 발송을 트리거할 수 있다. 이와 같이, 보완 매칭에 근거하여 프리페치 요청을 발송하는 방법은, 사용자가 쿼리 프리픽스를 입력하는 과정에서 흔히 대량의 프리페치 요청의 발송을 초래하여, 이 부분의 프리페치 성공률이 낮아서 머신 비용을 낭비하는 동시에 시스템 안정성에도 일정한 영향을 미친다 .
본 개시의 실시예는, 데이터 프리페치 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체를 제공한다.
제1 측면에 있어서, 본 개시는 데이터 프리페치 방법을 제공한다. 상기 방법은,
사용자가 입력한 쿼리 프리픽스를 획득하는 단계;
미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도(困惑度)를 획득하는 단계;
상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단하는 단계; 및
상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하는 단계; 를 포함한다.
이와 같이, 쿼리 프리픽스의 당혹도에 대한 판별에 근거하여 프리페치 요청을 송신하여, 기존의 보완 매칭에 근거하여 프리페치 요청을 송신하는 것에 비해, 당혹도가 비교적 높은 프리페치 요청을 직접 필터링할 수 있어, 프리페치의 성공률을 향상시킬 수 있고, 또한 과도한 프리페치 요청으로 인한 백엔드 서버의 머신 비용을 진일보로 감소할 수 있는 동시에, 시스템의 안정성에 영향을 미치고 프리페치 요청의 과도한 전개로 인해 사용자에게 시각적 체험에 간섭을 미치는 것을 피면할 수 있어 사용자의 체험을 향상시킨다.
선택적으로, 상기 쿼리 프리픽스 중에 특수한 문자 부호가 포함될 경우, 상기 방법은,
상기 쿼리 프리픽스의 당혹도 수정 인자를 획득하는 단계를 포함하고,
상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단하는 단계는,
상기 당혹도 수정 인자를 이용하여 상기 당혹도에 대해 수정하는 단계; 및
수정 후의 당혹도가 상기 기설정 임계 값보다 작은지 여부를 판단하는 단계; 를 포함하며,
상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하는 단계는,
상기 수정 후의 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 상기 프리페치 요청을 송신하는 단계를 포함한다.
이와 같이, 당해 수정 과정을 통해, 해당 쿼리 프리픽스의 당혹도에 대한 특수한 문자 부호의 영향을 줄일 수 있어, 프리페치 성공률이 진일보로 향상된다.
선택적으로, 상기 쿼리 프리픽스의 당혹도 수정 인자를 획득하는 단계는,
아래의 공식을 이용하여 상기 쿼리 프리픽스의 당혹도 수정 인자 RE를 계산하는 단계를 포함하고,
여기서, N는 상기 쿼리 프리픽스의 문장 길이를 표시하고, count(sw)는 상기 쿼리 프리픽스 중에 포함된 특수 문자 부호의 개수를 표시하며, f는 기설정 계수를 표시한다.
이와 같이, 특수한 문자 부호의 개수에 의해 해당 당혹도 수정 인자를 계산하여 얻을 수 있어, 쿼리 프리픽스의 당혹도에 대한 최적화를 구현할 수 있다.
선텍적으로, 상기 미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도를 획득하는 단계는,
상기 쿼리 프리픽스에 대해 분할하여 복수 개의 분사를 획득하는 단계;
각 상기 분사를 미리 훈련한 어의 모델 중에 각각 입력하여, 각 상기 분사의 단어 벡터를 생성하고, 각 상기 분사의 단어 벡터에 따라 상기 쿼리 프리픽스의 단어 벡터를 확정하는 단계; 및
상기 쿼리 프리픽스의 단어 벡터를 상기 미리 훈련한 언어 모델 중에 입력하여 상기 쿼리 프리픽스의 당혹도를 획득하는 단계; 를 포함한다.
이와 같이, 미리 훈련한 어의 모델에 의해, 쿼리 프리픽스에 대응하고 보다 강한 중국어 어의 이해를 지닌 단어 벡터를 생성할 수 있으며, 당해 단어 벡터에 근거하여 쿼리 프리픽스의 당혹도를 판별하여 판별 정확도를 향상시킬 수 있다.
선택적으로, 상기 각 상기 분사의 단어 벡터에 따라 상기 쿼리 프리픽스의 단어 벡터를 확정하는 단계는,
각 상기 분사의 단어 벡터에 대해 접합하여 상기 쿼리 프리픽스의 단어 벡터를 획득하는 단계를 포함한다.
선택적으로, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하는 상기 단계 후에, 상기 방법은,
서버가 상기 프리페치 요청에 따라 리턴한 상기 쿼리 프리픽스에 대응하는 프리페치 결과를 수신하는 단계를 포함한다.
이와 같이, 사용자가 쿼리 프리픽스를 입력하는 과정에서, 사용자에게 획득한 프리페치 결과를 보여주어, 사용자에게 보다 빠른 검색 속도의 체험을 제공할 수 있다.
제2 측면에 있어서, 본 개시는 데이터 프레페칭 장치를 제공한다. 상기 장치는,
사용자가 입력한 쿼리 프리픽스를 획득하기 위한 제1 획득 모듈;
미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도를 획득하기 위한 판별 모듈;
상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단하기 위한 판단 모듈; 및
상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하기 위한 송신 모듈; 을 포함한다.
선택적으로, 상기 장치는,
상기 쿼리 프리픽스에 특수한 문자 부호가 포함될 경우, 상기 쿼리 프리픽스의 당혹도 수정 인자를 획득하기 위한 제2 획득 모듈을 더 포함하고,
상기 판단 모듈은,
상기 당혹도 수정 인자를 이용하여 상기 당혹도에 대해 수정하기 위한 수정 유닛; 및
수정 후의 당혹도가 상기 기설정 임계 값보다 작은지 여부를 판단하기 위한 판단 유닛; 을 포함하며,
상기 송신 모듈은 구체적으로, 상기 수정 후의 당혹도가 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하기 위한 것이다.
선택적으로, 상기 제2 획득 모듈은 구체적으로,
아래의 공식을 이용하여 상기 쿼리 프리픽스의 당혹도 수정 인자 RE를 계산하기 위한 것이며,
여기서, N는 상기 쿼리 프리픽스의 문장 길이를 표시하고, count(sw)는 상기 쿼리 프리픽스 중에 포함된 특수 문자 부호의 개수를 표시하며, f는 기설정 계수를 표시한다.
선텍적으로, 상기 판별 모듈은,
상기 쿼리 프리픽스에 대해 분할하여 복수 개의 분사를 획득하기 위한 분할 유닛;
각 상기 분사를 미리 훈련한 어의 모델 중에 각각 입력하여, 각 상기 분사의 단어 벡터를 생성하기 위한 생성 유닛;
각 상기 분사의 단어 벡터에 따라 상기 쿼리 프리픽스의 단어 벡터를 확정하기 위한 확정 유닛; 및
상기 쿼리 프리픽스의 단어 벡터를 상기 미리 훈련한 언어 모델 중에 입력하여 상기 쿼리 프리픽스의 당혹도를 획득하기 위한 판별 유닛; 을 포함한다.
선택적으로, 상기 확정 유닛은 구체적으로,
각 상기 분사의 단어 벡터에 대해 접합하여 상기 쿼리 프리픽스의 단어 벡터를 획득하기 위한 것이다.
선택적으로, 상기 장치는,
서버가 상기 프리페치 요청에 따라 리턴한 상기 쿼리 프리픽스에 대응하는 프리페치 결과를 수신하기 위한 수신 모듈을 더 포함한다.
제3 측면에 있어서, 본 실시예는 전자 기기를 더 제공한다. 상기 전자 기기는,
적어도 하나의 프로세서; 및
적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하고,
여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행되는 명령을 저장하며, 상기 명령은 적어도 하나의 프로세서에 의해 실행되여, 상기 적어도 하나의 프로세서는 상술한 데이터 프리페치 방법을 실시한다.
제 4 측면에 있어서, 본 개시의 실시예는 컴퓨터 명령을 저정하고 있는 비일시적 컴퓨터 판독 가능 저장 매체를 더 제공하며, 여기서, 상기 컴퓨터는 상기 컴퓨터 명령에 의해 상술한 데이터 프리페치 방법을 실시한다.
상술한 선택적인 방식에 구비된 기타 효과에 대해, 아래의 명세서에서 구체적인 실시예에 결부하여 진일보로 설명한다.
도면들은 본 방안을 보다 잘 이해하기 위해 사용하는 것일 뿐, 본 개시를 한정하는 것은 아니다.
도 1은 본 개시의 실시예에 따른 데이터 프리페치 방법의 흐름도이다.
도 2는 본 개시의 실시예에 따른 당혹도의 판별 과정의 흐름도이다.
도 3은 본 개시의 구체적인 실시예에 따른 프리페치 요청 발송의 로직 블록도이다.
도 4는 본 개시의 구체적인 실시예에 따른 데이터 프리페치 방법의 데이터 프리페치 장치의 블록도이다.
도 5는 본 개시의 실시예에 따른 데이터 프레페칭 방법을 구현하는 전자 기기의 블록도이다.
도 1은 본 개시의 실시예에 따른 데이터 프리페치 방법의 흐름도이다.
도 2는 본 개시의 실시예에 따른 당혹도의 판별 과정의 흐름도이다.
도 3은 본 개시의 구체적인 실시예에 따른 프리페치 요청 발송의 로직 블록도이다.
도 4는 본 개시의 구체적인 실시예에 따른 데이터 프리페치 방법의 데이터 프리페치 장치의 블록도이다.
도 5는 본 개시의 실시예에 따른 데이터 프레페칭 방법을 구현하는 전자 기기의 블록도이다.
이하, 도면에 결부하여, 본 개시의 예시적인 실시예들을 설명하되, 여기에 포함된 이해를 돕기위한 본 개시의 실시예들의 다양한 세부 사항들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 당업자들은 여기에 설명된 실시예들에 대해 다양한 변경 및 수정을 수행할 수 있으며, 이는 본 개시의 범위 및 사상을 벗어나지 않음을 인식해야 한다. 마찬가지로, 이하의 설명에서, 명확성과 간결성을 위해 공지의 기능 및 구조에 대한 설명은 생략한다.
본 개시의 실시예는, 보완 매칭에 근거하여 프리페치 요청을 발송하는 방식의 성공률이 낮은 문제점을 극복하기 위하여, 데이터 프리페치 방법을 제공한다. 상기 방법은 미리 훈련한 언어 모델을 인입하여 사용자가 입력한 쿼리 프리픽스에 대해 판별하여, 당해 쿼리 프리픽스의 당혹도를 획득하고, 당해 쿼리 프리픽스의 당혹도가 기설정 임계 값보다 작을 경우, 당해 쿼리 프리픽스에 근거하여 프리페치 요청을 송신한다. 이로써, 쿼리 프리픽스의 당혹도를 프리페치 요청 송신 여부의 중요한 근거로 하여, 당혹도가 비교적 높은 프리페치 요청을 직접 필터링할 수 있어 프리페치의 성공률이 향상된다.
도 1을 참조하면, 본 개시는 전기기기에 적용되는 데이터 프리페치 방법을 제공한다. 도 1에 도시된 바와 같이, 당해 방법은 아래의 단계들을 포함한다.
단계 101: 사용자가 입력한 쿼리 프리픽스를 획득한다.
본 실시예에서, 상술한 쿼리 프리픽스는 사용자가 입력 조작을 수행할 때 전자기기의 검색창에 입력한 것일 수 있고, 사용자의 현재 입력한 쿼리 내용을 표시한다. 예컨대, 유덕화의 영화를 검색할 때, 사용자가 현재 입력한 "유덕화"가 쿼리 프리픽스일 수 있다. 일 실시방식에서, 당해 검색창은 전자기기상에 안착된 클라이언트 애플리케이션의 검색창일 수 있다. 당해 클라이언트 애플리케이션은 검색유형 애플리케이션 또는 검색 기능이 부대된 애플리케이션일 수 있으며, 당해 클라이언트 애플리케이션의 홈페이지에는 일바적으로 검색창과 검색 버튼이 설정되어 있다. 구체적으로, 사용자가 해당 애플리케이션 아이콘을 클릭한 후, 애플리케이션의 홈페이지를 표시할 수 있다. 사용자가 검색창을 클릭한 후에는 검색 창에 쿼리 프리페치를 입력할 수 있다.
본 실시예에서 실시하는 전자기기 바디는 하드웨어 또는 소프트웨어일 수 있음을 이해할 수 있다. 당해 전자기기는 하드웨어일 경우, 예컨대, 스마트 폰, 태블릿 컴퓨터, 전자책 리더, 랩톱, 데스크톱 컴퓨터 등 웹 브라우징 등을 지원하는 다양한 단말 기기일 수 있다. 당해 전자 기기는 소프트웨어일 경우, 상술한 단말 기기에 설치 되어, 복수 개의 소프트웨어 또는 소프트웨어 모듈로 구현되거나, 또는 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있다. 본 실시예에서 실시되는 바디에 대해 여기서 제한하지 않는다.
단계 102: 미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도를 획득한다.
본 실시예에서, 상술한 미리 훈련한 언어 모듈은, 순환 신경망(Recurrent Neural Network, RNN), 장단기 메모리(Long Short-Term Memory, LSTM)네트워크, 게이트 순환 유닛(Gated Recurrent Unit, GRU) 네트워크, BiLSTM 네트워크 중 임의 하나로 선택될 수 있다. 여기서, 당해 GRU 네트워크는 LSTM 네트워크의 매우 효과적인 변체이며, 당해 BiLSTM 네트워크는 순방향 LSTM과 역방향 LSTM의 결합으로 구성된다.
유의해야 할 것은, 당해 언어 모델의 훈련 과정은 관련 방식을 사용할 수 있고, 히스토리 검색 과정에서 입력된 쿼리 프리픽스를 훈련 샘플로 사용하여 훈련할 수 있으며, 본 실시예는 이에 대해 제한하지 않는다. 구체적인 훈련 과정에서, 당혹도(perplexity, ppl)를 사용하여 언어 모델의 우열을 가늠할 수 있고, tensorflow, paddle, PyTorch 등 훈련 플랫폼을 사용할 수 있다. 미리 훈련한 언어 모델을 이용하여 쿼리 프리픽스를 평가할 때, ppl를 당해 쿼리 프리픽스가 통순한지의 여부에 대한 계량화 근거로 사용할 수 있으며, 이는 주요하게 각 단어에 따라 한 마디 생길 확률을 예측하고, 문장 길이로 표준화 처리(normalize)한다. ppl에 관한 공식은 다음과 같다.
여기서, N는 쿼리 프리픽스의 길이를 표시하고,는 제 i 개 단어의 확률을 표시하며, 는 전 i-1 개 단어에 근거하여 계산해낸 제 i 개 단어의 확률을 표시한다. 일반적으로, ppl 값이 작을 수록, 쿼리 프리픽스의 당혹도가 낮아짐을 의미하고, 통순 정도가 높아짐을 대표한다.
단계 103: 상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단한다.
본 실시예에서, 상술한 기설정 임계 값은 실제 정황에 근거하여 기설정 될 수 있다. 쿼리 프리픽스의 당혹도가 기설정 임계 값보다 작을 경우, 당해 쿼리 프리픽스의 통순 정도가 비교적 높음을 표시하고, 당해 쿼리 프리픽스에 근거하여 프리페치 요청을 발기할 수 있다. 당해 쿼리 프리픽스의 당혹도가 기설정 임계 값보다 크거나 같을 경우, 당해 쿼리 프리픽스의 당혹도가 비교적 높고 통순 정도가 비교적 낮음을 표시하며, 이때 당해 쿼리 프리픽스에 근거하여 프리페치 요청을 발기하는 것은 의의가 크지 않으므로 대응하는 프리페치 요청을 직접 필터링할 수 있다.
단계 104: 상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신한다.
본 실시예에서, 상술한 쿼리 프리픽스의 송신은 현재 쿼리 프리픽스에 대응하는 프리페치 결과를 획득하기 위하여 검색 서버 등과 같은 서버에 프리페치 요청을 송신하여 당해 서버의 검색 서비스를 호출하는 것이다.
선택적으로, 상술한 단계 104 이후, 상기 방법은, 서버가 상기 프리페치 요청에 따라 리턴한 상기 쿼리 프리픽스에 대응하는 프리페치 결과를 수신하는 단계를 포함한다. 진일보로, 프리페치 결과를 수신한 후, 전자기기는 프리페치 결과에 대해 디스플레이하여 사용자에게 획득한 프리페치 결과를 전개함으로써, 사용자에게 보다 빠른 검색 속도의 체험을 제공할 수 있다.
본 개시의 실시예의 데이터 프리페치 방법은, 쿼리 프리픽스의 당혹도에 대한 판별에 근거하여 프리페치 요청을 송신하는 것을 통해, 당혹도가 비교적 높은 프리페치 요청을 직접 필터링할 수 있어, 프리페치의 성공률을 향상시킬 수 있고, 과도한 프리페치 요청으로 인한 백엔드 서버의 머신 비용을 진일보로 감소할 수 있는 동시에, 시스템의 안정성에 영향을 미치고 프리페치 요청의 과도한 전개로 인해 사용자에게 시각적 체험에 간섭을 미치는 것을 피면하여 사용자의 체험을 향상시킨다.
구체적인 실제 적용에서, 본 개시의 실시예의 데이터 프리페치 방법은 보완 매칭에 근거하여 프리페치 요청을 발송하는 방식에 비해, 프리페치 성공률을 26.5%부터 45%로 높일 수 있어, 속도 체험 효과가 낮아지지 않는 전제하에 프리페치 트래픽을 40 % 감소하여 발송할 수 있어, 약 1000 대 좌우의 서버 비용이 절약된다.
본 개시의 실시예에서, 쿼리 프리픽스 중에 문장 부호 등과 같은 특수한 문자 부호가 포함될 경우, 당해 특수한 문자 부호는 쿼리 프리픽스의 당혹도에 대해 비교적 큰 영향을 미치므로, 특수한 문자 부호로 인한 영향을 감소하기 위하여, 판별하여 획득한 당혹도에 대해 최적화 할 수 있다.
선택적으로, 상기 쿼리 프리픽스 중에 특수한 문자 부호가 포함될 경우, 상기 방법은, 상기 쿼리 프리픽스의 당혹도 수정 인자를 획득하는 단계를 포함한다. 진일보로, 상술한 단계 103은, 상기 당혹도 수정 인자를 이용하여 상기 당혹도에 대해 수정하는 단계; 및 수정 후의 당혹도가 상기 기설정 임계 값보다 작은지 여부를 판단하는 단계; 를 포함한다. 이후, 상기 수정 후의 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 상기 프리페치 요청을 송신한다. 이와 같이, 당해 수정 과정을 통해, 해당 쿼리 프리픽스의 당혹도에 대한 특수한 문자 부호의 영향을 줄일 수 있어, 프리페치 성공률이 진일보로 향상된다.
여기서, 상술한 당혹도 수정 인자와 특수한 문자 부호의 관계는 기설정할 수 있다. 일 실시 방식에서, 상술한 당혹도 수정 인자는 특수한 문자 부호의 유무와 상관된다. 예컨대, 쿼리 프리픽스 중에 특수한 문자 부호가 포함될 경우, X와 같은 당혹도 수정 인자가 존재하고, 이때, 당해 당혹도 수정 인자 X를 이용하여 판별하여 획득한 당해 쿼리 프리픽스의 당혹도에 대해 수정할 필요가 있다. 쿼리 프리픽스 중에 특수한 문자 부호가 포함되여 있지 않을 경우, 당혹도 수정인자는 존재하지 않으며, 판별하여 획득한 당해 쿼리 프리픽스의 당혹도에 대해 수정할 필요가 없다.
다른 한 실시예에서, 상술한 당혹도 수정 인자는 특수한 문자 부호의 개수, 위치 등과 관련된다. 예컨대, 상술한 당혹도 수정 인자와 특수한 문자 부호의 개수가 관련될 경우, 아래의 공식을 이용하여 상기 쿼리 프리픽스의 당혹도 수정 인자 RE를 계산할 수 있다.
여기서, N는 당해 쿼리 프리픽스의 문장 길이를 표시하고(예컨대, 문자 부호의 길이로 이해할 수 있음), count(sw)는 당해 쿼리 프리픽스 중에 포함된 특수 문자 부호의 개수를 표시하며, f는 기설정 계수를 표시하고, 예컨대 1로 기설정할 수 있다.
이와 같이, 만약 미리 훈련한 언어 모델에 근거하여 쿼리 프리픽스의 당혹도가 ppl0이고 해당 당혹도 수정 인자가 Re' 인 것을 판별하여 획득할 경우, 수정 후의 당혹도 PPL는: PPL=ppl0+Re'이다.
본 개시의 실시예에서, 쿼리 프리픽스에 대한 판별 정확도를 향상시키기 위하여, 미리 훈련한 언어 모델에 근거하여 쿼리 프리픽스에 대해 판별하기 전에, 우선 당해 쿼리 프리픽스를 처리하여, 당해 쿼리 프리픽스에 대응하고 보다 강한 중국어 어의 이해를 지닌 단어 벡터(word embedding)를 생성하고, 당해 단어 벡터에 근거하여 당혹도를 판별할 수 있다.
선택적으로, 도 2에 도시된 바와 같이, 상술한 단계 102는, 우선 획득한 쿼리 프리픽스에 대해 분할하여 복수 개의 분사를 획득하는 단계; 여기서, 당해 분사 방식은 분사에 근거하여 아이템(item)을 분할하는 것과 같은 방식으로 item1, item2, item3 등을 획득하고; 다음, 각 분사를 미리 훈련한 어의 모델 중에 입력하여 각 분사의 단어 벡터를 생성하고, 각 분사의 단어 벡터에 근거하여 당해 쿼리 프리픽스의 단어 벡터를 확정하는 단계; 여기서, 당해 미리 훈련한 어의 모델은 도 2에 도시된 tensor1, tensor2 및 tensor3 등과 같은 EMLo, GPT, BERT, XLNet, ERNIE 등을 사용할 수 있으며; 마지막으로, 당해 쿼리 프리픽스의 단어 벡터를 미리 훈련한 언어 모델 중에 입력하여 당해 쿼리 프리픽스의 당혹도를 획득하는 단계; 를 포함한다. 이와 같이, 쿼리 프리픽스의 단어 벡터에 근거하여 쿼리 프리픽스의 당혹도를 판별하여, 판별 정확도를 향상시킬 수 있다.
일 실시방식에서, 각 분사의 단어 벡터에 따라 당해 쿼리 프리픽스의 단어 벡터를 확정할 경우, 각 분사의 단어 벡터에 대해 접합하여 당해 쿼리 프리픽스의 단어 벡터를 획득할 수 있다.
이하, 도 3에 결합하여 본 개시의 실시예 중 프리페치 요청 발송의 로직에 대해 설명한다.
도 3에 도시 된바와 같이, 본 개시의 구체적인 실시예에서 대응하는 프리페치 요청 발송의 로직은 아래와 같은 경우를 포함할 수 있다.
경우 1: 1->2->3->4; 여기서, "1(mod1)"은 클라이언트가 사용자에 의해 입력된 쿼리 프리픽스를 수신한 후 프리페치 요청 발송을 준비하는 것을 표시하고, "2"는 미리 획득한 언어 모델에 근거하여 쿼리 프리픽스에 대해 판별하고, 판별하여 획득한 당혹도가 기설정 임계 값보다 작은지 여부를 표시하며; "3"은 획득한 판별 결과가 1인 것, 즉 획득한 당혹도가 기설정 임계 값보다 크거나 같음을 표시하고; "4"는 프리페치 요청을 발송하지 않음을 표시한다.
경우 2: 1->2->3->5->6->7; 여기서, "1(mod1)"은 클라이언트가 사용자에 의해 입력된 쿼리 프리픽스를 수신한 후 프리페치 요청 발송을 준비하는 것을 표시하고, "2"는 미리 획득한 언어 모델에 근거하여 쿼리 프리픽스에 대해 판별하고, 판별하여 획득한 당혹도가 기설정 임계 값보다 작은지 여부를 표시하며; "3"은 획득한 판별 결과가 2인 것, 즉 획득한 당혹도가 기설정 임계 값보다 작음을 표시하고; "5"는 서버에 프리페치 요청을 발송하여 서버의 검색 서비스를 호출하는 것을 표시하며; "6과 7"은 서버가 프리페치 결과를 피트백 함을 표시한다.
경우 3: 프리페치 요청 성공 8(mod2), 클라이언트가 서버에 피드백한 프리페치 성공 표시를 표시한다.
경우 4: 프리페치 요청 실패 9->10(mod0), 프리페치를 실패한 후에 사용자가 직접 발기한 검색 요청을 표시한다.
도 4를 참조하면, 본 개시의 실시예는 전자 기기에 적용되는 데이터 프리페치 장치를 제공한다. 도 4에 도시된 바와 같이, 당해 데이터 프리페치 장치(40)는,
사용자가 입력한 쿼리 프리픽스를 획득하기 위한 제1 획득 모듈(41);
미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도를 획득하기 위한 판별 모듈(42);
상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단하기 위한 판단 모듈(43); 및
상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하기 위한 송신 모듈(44); 을 포함한다.
선택적으로, 상기 장치는,
상기 쿼리 프리픽스에 특수한 문자 부호가 포함될 경우, 상기 쿼리 프리픽스의 당혹도 수정 인자를 획득하기 위한 제2 획득 모듈을 더 포함한다.
상기 판단 모듈(43)은,
상기 당혹도 수정 인자를 이용하여 상기 당혹도에 대해 수정하기 위한 수정 유닛; 및
수정 후의 당혹도가 상기 기설정 임계 값보다 작은지 여부를 판단하기 위한 판단 유닛; 을 포함한다.
상기 송신 모듈은 구체적으로, 상기 수정 후의 당혹도가 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하기 위한 것이다.
선택적으로, 상기 제2 획득 모듈은 구체적으로,
아래의 공식을 이용하여 상기 쿼리 프리픽스의 당혹도 수정 인자 를 계산하기 위한 것이며,
여기서, N는 상기 쿼리 프리픽스의 문장 길이를 표시하고, 는 상기 쿼리 프리픽스 중에 포함된 특수 문자 부호의 개수를 표시하며, f는 기설정 계수를 표시한다.
선텍적으로, 상기 판별 모듈(42)은,
상기 쿼리 프리픽스에 대해 분할하여 복수 개의 분사를 획득하기 위한 분할 유닛;
각 상기 분사를 미리 훈련한 어의 모델 중에 각각 입력하여, 각 상기 분사의 단어 벡터를 생성하기 위한 생성 유닛;
각 상기 분사의 단어 벡터에 따라 상기 쿼리 프리픽스의 단어 벡터를 확정하기 위한 확정 유닛; 및
상기 쿼리 프리픽스의 단어 벡터를 상기 미리 훈련한 언어 모델 중에 입력하여 상기 쿼리 프리픽스의 당혹도를 획득하기 위한 판별 유닛; 을 포함한다.
선택적으로, 상기 확정 유닛은 구체적으로,
각 상기 분사의 단어 벡터에 대해 접합하여 상기 쿼리 프리픽스의 단어 벡터를 획득하기 위한 것이다.
선택적으로, 상기 장치는,
서버가 상기 프리페치 요청에 따라 리턴한 상기 쿼리 프리픽스에 대응하는 프리페치 결과를 수신하기 위한 수신 모듈을 더 포함한다.
본 실시예의 데이터 프리페치 장치(40)는, 상술한 도 1에 도시된 실시예에서 실현한 각 과정을 실현할 수 있고 동일한 유익효과를 달성할 수 있으므로, 반복을 피면하기 위하여 여기서 더이상 기술하지 않기로 한다.
본 개시의 실시예에 따라, 본 개시는 전자기기와 판독 가능 자장 메체를 더 제공한다.
도 5에 도시된 바와 같이, 도 5는 본 개시의 실시예에 따른 데이터 프리페치 방법의 전자 기기 블록도이다. 전자 기기는 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 디지털 보조기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터 등과 같은 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자 기기는 예컨대, 개인 디지털 프로세서, 셀룰러 전화, 스마트폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 가리킬 수도 있다. 본 명세서에서 예시된 어셈블리, 이들의 연결과 관계 및 이들의 기능들은 단지 예시적일 뿐, 본 명세서에서 설명 및/또는 청구한 본 개시의 구현을 제한하려는 의도가 아니다.
도 5에 도시된 바와 같이, 당해 전자 기기는, 하나 또는 복수 개의 프로세서(501), 메모리(502) 및 각 어셈블리를 연결하기 위한 인터페이스를 포함하고, 상기 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각 어셈블리는 부동한 버스를 이용하여 서로 연결되며, 공통 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 전자 기기내에서 수행되는 명령을 처리할 수 있고, 상기 명령은 메모리내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 연결된 디스플레이 기기)상에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한다. 다른 실시방식에서, 필요할 경우, 각 프로세서 및/또는 복수의 버스를 복수 개의 메모리 및 복수 개의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수 개의 전자 기기를 연결할 수 있으며, 각 기기는 부분적으로 필요한 운영(예컨대, 서버 어레이, 블레이드 서버 그룹, 또는 다중 프로세서 시스템)을 제공할 수 있다. 도 5에서는 하나의 프로세서(501)로 예를 든다.
메모리(502)는 즉 본 개시에서 제공하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 메모리는 적어도 하나의 프로세서에 의해 수행될 수 있는 명령을 저장하여, 상기 적어도 하나의 프로세서는 본 개시에서 제공되는 데이터 프리페치 방법을 수행한다. 본 개시의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터로 하여금 본 개시에서 제공하는 데이터 프리페치 방법을 수행하도록 한다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장 매체로써, 본 개시의 실시예에서 중의 데이터 프리페치 방법에 대응하는 프로그램 명령/모듈(예컨대, 도 4에 도시된 제1 획득 모듈(41), 판별 모듈(42), 판단 모듈(43) 및 송신 모듈(44))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 수행 가능 프로그램 및 모듈을 저장할 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 수행함으로써, 서버의 다양한 기능적 애플리케이션 및 데이터 처리를 수행하며, 즉 상술한 방법 실시예 중의 데이터 프리페치 방법을 구현한다.
메모리(502)는 저장 프로그램 영역 및 저장 데이터 영역을 포함할 수 있으며, 여기서, 저장 프로그램 영역은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있으며; 저장 데이터 영역은, 전자 기기의 사용으로 인해 설치된 테이터 등을 저장할 수 있다. 이외에, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예컨대, 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비일시적 고체상태 저장 장치와 같은 비일시적 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(502)는 선택적으로 프로세서(301)에 비해 상대적으로 원격설정한 메모리를 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 전자 기기에 연결될 수 있다. 상술한 네트워크의 예시로는 인터넷, 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
데이터 프리페치 방법의 전자 기기는, 입력 장치(503) 및 출력 장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 5에서는 버스에 의해 연결된 것으로 예를 든다.
입력 장치(503)는, 입력된 디지털 또는 문자 정보를 수신할 수 있고, 데이터 프리페치 방법의 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력, 예컨대, 터치 스크린, 미니 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수 개의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치를 생성할 수 있다. 출력 장치(504)는 디스플레이 기기, 보조 조명 장치(예컨대, LED) 및 촉각 피드백 장치 (예컨대, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 제한되지 않는다. 일부 실시예에서, 디스플레이 장치는 터치 스크린일 수 있다.
여기서 기술된 시스템 및 기술의 다양한 실시방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC (주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시방식은, 하나 또는 복수 개의 컴퓨터 프로그램에서 실시되고, 당해 하나 또는 복수 개의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함한 프로그래밍 가능 시스템 상에서 수행 및/또는 해석될 수 있으며, 당해 프로그래밍 가능 프로세서는 전용 또는 범용 프로그래밍 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하며, 데이터 및 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 송신할 수 있는 것을 포함할 수 있다.
이러한 컴퓨팅 프로그램 (또한 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로도 칭함)은 프로그래밍 가능 프로세서의 머신 명령을 포함할수 있고, 하이 레벨 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/머신 언어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 "머신 판독 가능 매체" 및 "컴퓨터 판독 가능 매체" 라는 용어는 머신 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예컨대, 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 논리 장치 (PLD))를 가리키고, 머신 판독 가능 신호로써의 머신 명령을 수신하는 머신 판독 가능 매체를 포함한다. 용어 "머신 판독 가능 신호" 는 머신 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 신호를 가리킨다.
사용자와의 교호를 제공하기 위해, 여기에 기술된 시스템 및 기술은 컴퓨터 상에서 실시될 수 있다. 당해 컴퓨터는, 사용자에게 정보를 표시하기 위한 디스플레이 장치 (예컨대, CRT (음극선 파이프) 또는 LCD (액정 디스플레이) 모니터); 및 키보드 와 포인팅 장치 (예컨대, 마우스 또는 트랙볼) 를 구비한다. 사용자는 당해 키보드 및 당해 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 타입의 장치는 사용자와의 교호를 제공할 수도 있다. 예컨대, 사용자에게 제공되는 피드백은 임의 형태의 센서 피드백 (예컨대, 비전 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있으며; 또한 임의 형식(음향 입력, 음성 입력, 촉각 입력을 포함)으로 사용자로부터의 입력을 수신할 수도 있다.
여기서 기술된 시스템 및 기술은, 백엔드 어셈블리를 포함한 컴퓨팅 시스템(예컨대, 데이터 서버), 또는 미들웨어 어셈블리를 포함한 컴퓨팅 시스템(예컨대, 애플리케이션 서버), 또는 프런트 엔드 어셈블리를 포함한 컴퓨팅 시스템(예컨대, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비한 사용자 컴퓨터이며, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 웹 브라우저를 통해 여기서 기술된 시스템 및 기술의 실시 방식과 교호할 수 있음), 또는 이러한 백엔드 어셈블리, 미들웨어 어셈블리, 또는 프런트 엔드 어셈블리를 포함한 임의의 조합인 컴퓨팅 시스템에서 실시될 수 있다. 시스템의 어셈블리는 임의의 형태 또는 매체인 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 서로 연결될 수 있다. 통신 네트워크의 예시로는, 근거리 통신망(LAN), 광역 네트워크(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템에는 클라이언트 및 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 또한 일반적으로 통신 네트워크를 통해 교호한다. 상응한 컴퓨터에서 수행되며 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 클라이언트와 서버 간의 관계가 생성된다.
본 개시의 실시예의 기술 방안에 따라, 당혹도가 비교적 높은 프리페치 요청을 직접 필터링할 수 있어, 프리페치의 성공률을 향상시킬 수 있고, 또한 과도한 프리페치 요청으로 인한 백엔드 서버의 머신 비용을 진일보로 감소할 수 있는 동시에, 시스템의 안정성에 영향을 미치고 프리페치 요청의 과도한 전개로 인해 사용자에게 시각적 체험에 간섭을 미치는 것을 피면할 수 있어 사용자의 체험을 향상시킨다..
위에서 예시된 다양한 형태의 플로우에 의해, 단계들은 재정렬, 추가 또는 삭제될수 있음을 이해해야 한다. 예컨대, 본 개시에서 기재된 각 단계들은 병렬, 순차적 또는 다른 순서로 수행될 수 있으며, 본 개시에서 개시한 기술방안이 기대하는 결과를 달성할 수 있다면, 본 명세서는 이에 대해 한정하지 않는다.
해당 기술분야에서 통상의 지식을 가진 자들은 상술한 실시예 방법 중의 전부 또는 일부 플로우의 구현은 컴퓨터 프로그램을 통해 관련 하드웨어를 제어함으로써 완성될 수 있음을 이해할 수 있고, 상술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 당해 프로그램이 실행될 때 상술한 각 방법의 실시예의 플로우를 포함할 수 있다. 여기서, 상기 저장 매체는, 예컨대 자기 디스크, 광 디스크, 판독 전용 메모리(Read-Only Memory, ROM) 또는 랜덤 액세스 메모리(Random Access Memory, RAM) 등 이다.
이해해야 할 것은, 본 개시의 실시예에서 설명된 이러한 실시예들은 하드웨어, 소프트웨어, 펌웨어, 중간 소자, 마이크로코드 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 있어서, 모듈, 유닛, 서브 모듈, 서브 유닛 등은 하나 또는 복수 개의 전용 집적 회로(Application Specific Integrated Circuits,ASIC), 디지털 신호 프로세서(Digital Signal Processing,DSP), 디지털 신호 처리 기기(DSP Device,DSPD), 프로그램 가능한 로직 기기(Programmable Logic Device,PLD), 필드 프로그램 가능한 게이트 어레이(Field-Programmable Gate Array,FPGA), 범용 프로세서, 제어기, 마이크로 제어기, 마이크로 프로세서, 본 개시의 상기 기능을 수행하기 위한 기타 전자 유닛들 또는 이들의 조합에서 구현될 수 있다.
소프트웨어 구현은, 본 개시 일부 실시예의 상기 기능의 모듈(예컨대, 과정 또는 함수 등)을 실행하여 본개시의 일부 실시예의 상기 기술을 구현할 수 있다. 소프트웨어 코드는 메모리에 저장될 수 있고 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내에서 또는 프로세서 외부에서 구현될 수 있다.
상술한 구체적인 실시예는, 본 개시의 보호 범위에 대한 제한을 구성하지 않는다. 해당 기술분야에서 통상의 지식을 가진 자들은 설계 요청 및 기타 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 개시의 정신과 원칙 내에서 이루어진 임의 수정, 동등한 대체 및 개진 등은 모두 본 개시의 보호 범위내에 포함된다.
Claims (15)
- 데이터 프리페치 방법에 있어서,
상기 방법은,
사용자가 입력한 쿼리 프리픽스를 획득하는 단계;
미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도(困惑度)를 획득하는 단계;
상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단하는 단계; 및
상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하는 단계; 를 포함하며;
상기 쿼리 프리픽스 중에 특수한 문자 부호가 포함될 경우, 상기 방법은,
상기 쿼리 프리픽스의 당혹도 수정 인자를 획득하는 단계를 더 포함하고,
상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단하는 단계는,
상기 당혹도 수정 인자를 이용하여 상기 당혹도에 대해 수정하는 단계; 및
수정 후의 당혹도가 상기 기설정 임계 값보다 작은지 여부를 판단하는 단계; 를 포함하며,
상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하는 단계는,
상기 수정 후의 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 상기 프리페치 요청을 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 프리페치 방법. - 제1 항에 있어서,
상기 쿼리 프리픽스의 당혹도 수정 인자를 획득하는 단계는,
아래의 공식을 이용하여 상기 쿼리 프리픽스의 당혹도 수정 인자 를 계산하는 단계를 포함하고,
여기서, N는 상기 쿼리 프리픽스의 문장 길이를 표시하고, 는 상기 쿼리 프리픽스 중에 포함된 특수 문자 부호의 개수를 표시하며, f는 기설정 계수를 표시하는 것을 특징으로 하는 데이터 프리페치 방법. - 제1 항에 있어서,
상기 미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도를 획득하는 단계는,
상기 쿼리 프리픽스에 대해 분할하여 복수 개의 분사(segmented words)를 획득하는 단계;
각 상기 분사를 미리 훈련한 어의(linguistic) 모델 중에 각각 입력하여, 각 상기 분사의 단어 벡터를 생성하고, 각 상기 분사의 단어 벡터에 따라 상기 쿼리 프리픽스의 단어 벡터를 확정하는 단계; 및
상기 쿼리 프리픽스의 단어 벡터를 상기 미리 훈련한 언어 모델에 입력하여 상기 쿼리 프리픽스의 당혹도를 획득하는 단계; 를 포함하는 것을 특징으로 하는 데이터 프리페치 방법. - 제3 항에 있어서,
상기 각 상기 분사의 단어 벡터에 따라 상기 쿼리 프리픽스의 단어 벡터를 확정하는 단계는,
각 상기 분사의 단어 벡터에 대해 접합하여 상기 쿼리 프리픽스의 단어 벡터를 획득하는 단계를 포함하는 것을 특징으로 하는 데이터 프리페치 방법. - 제1 항 있어서,
상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하는 상기 단계 후에, 상기 방법은,
서버가 상기 프리페치 요청에 따라 리턴한 상기 쿼리 프리픽스에 대응하는 프리페치 결과를 수신하는 단계를 더 포함하는 것을 특징으로 하는 데이터 프리페치 방법. - 데이터 프리페치 장치에 있어서,
상기 장치는,
사용자가 입력한 쿼리 프리픽스를 획득하기 위한 제1 획득 모듈;
미리 훈련한 언어 모델에 근거하여 상기 쿼리 프리픽스에 대해 판별하여 상기 쿼리 프리픽스의 당혹도를 획득하기 위한 판별 모듈;
상기 당혹도가 기설정 임계 값보다 작은지 여부를 판단하기 위한 판단 모듈; 및
상기 당혹도가 상기 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하기 위한 송신 모듈; 을 포함하며;
상기 장치는,
상기 쿼리 프리픽스에 특수한 문자 부호가 포함될 경우, 상기 쿼리 프리픽스의 당혹도 수정 인자를 획득하기 위한 제2 획득 모듈을 더 포함하고,
상기 판단 모듈은,
상기 당혹도 수정 인자를 이용하여 상기 당혹도에 대해 수정하기 위한 수정 유닛; 및
수정 후의 당혹도가 상기 기설정 임계 값보다 작은지 여부를 판단하기 위한 판단 유닛; 을 포함하며,
상기 송신 모듈은 구체적으로, 상기 수정 후의 당혹도가 기설정 임계 값보다 작을 경우, 상기 쿼리 프리픽스에 근거하여 프리페치 요청을 송신하기 위한 것을 특징으로 하는 데이터 프리페치 장치. - 제6 항에 있어서,
상기 제2 획득 모듈은 구체적으로,
아래의 공식을 이용하여 상기 쿼리 프리픽스의 당혹도 수정 인자 를 계산하기 위한 것이며,
여기서, N는 상기 쿼리 프리픽스의 문장 길이를 표시하고, 는 상기 쿼리 프리픽스 중에 포함된 특수 문자 부호의 개수를 표시하며, f는 기설정 계수를 표시하는 것을 특징으로 하는 데이터 프리페치 장치. - 제6 항에 있어서,
상기 판별 모듈은,
상기 쿼리 프리픽스에 대해 분할하여 복수 개의 분사(segmented words)를 획득하기 위한 분할 유닛;
각 상기 분사를 미리 훈련한 어의(linguistic) 모델 중에 각각 입력하여, 각 상기 분사의 단어 벡터를 생성하기 위한 생성 유닛;
각 상기 분사의 단어 벡터에 따라 상기 쿼리 프리픽스의 단어 벡터를 확정하기 위한 확정 유닛; 및
상기 쿼리 프리픽스의 단어 벡터를 상기 미리 훈련한 언어 모델에 입력하여 상기 쿼리 프리픽스의 당혹도를 획득하기 위한 판별 유닛; 을 포함하는 것을 특징으로 하는 데이터 프리페치 장치. - 제8 항에 있어서,
상기 확정 유닛은 구체적으로,
각 상기 분사의 단어 벡터에 대해 접합하여 상기 쿼리 프리픽스의 단어 벡터를 획득하기 위한 것을 특징으로 하는 데이터 프리페치 장치. - 제6 항 있어서,
상기 장치는,
서버가 상기 프리페치 요청에 따라 리턴한 상기 쿼리 프리픽스에 대응하는 프리페치 결과를 수신하기 위한 수신 모듈을 더 포함하는 것을 특징으로 하는 데이터 프리페치 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결하는 메모리를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 청구항 제1 항 내지 제5 항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 것을 특징으로 하는 전자 기기. - 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능한 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 청구항 제1 항 내지 제5 항 중 어느 한 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능한 저장 매체. - 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 적어도 하나의 프로세서에 의해 실행될 경우, 청구항 제1 항 내지 제5 항 중 어느 한 항에 따른 상기 방법을 구현하는 것인,
컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
- 삭제
- 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010024434.0A CN111241398B (zh) | 2020-01-10 | 2020-01-10 | 数据预取方法、装置、电子设备及计算机可读存储介质 |
CN202010024434.0 | 2020-01-10 | ||
PCT/CN2020/108438 WO2021139154A1 (zh) | 2020-01-10 | 2020-08-11 | 数据预取方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210039485A KR20210039485A (ko) | 2021-04-09 |
KR102556179B1 true KR102556179B1 (ko) | 2023-07-18 |
Family
ID=75468995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020217008287A KR102556179B1 (ko) | 2020-01-10 | 2020-08-11 | 데이터 프리페치 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102556179B1 (ko) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190278870A1 (en) * | 2018-03-12 | 2019-09-12 | Microsoft Technology Licensing, Llc | Machine learning model to preload search results |
-
2020
- 2020-08-11 KR KR1020217008287A patent/KR102556179B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190278870A1 (en) * | 2018-03-12 | 2019-09-12 | Microsoft Technology Licensing, Llc | Machine learning model to preload search results |
Also Published As
Publication number | Publication date |
---|---|
KR20210039485A (ko) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11050685B2 (en) | Method for determining candidate input, input prompting method and electronic device | |
KR101554295B1 (ko) | 범용 언어 입력 | |
US8566095B2 (en) | Segmenting words using scaled probabilities | |
US9043300B2 (en) | Input method editor integration | |
EP3926548A1 (en) | Method and apparatus for pre-training graph neural network | |
KR20210154705A (ko) | 시맨틱 매칭 방법, 장치, 기기 및 저장 매체 | |
WO2008124730A2 (en) | Client input method | |
KR102630243B1 (ko) | 구두점 예측 방법 및 장치 | |
US12079258B2 (en) | Similarity processing method, apparatus, server and storage medium | |
CN112307188B (zh) | 对话生成方法、系统、电子设备和可读存储介质 | |
JP7209433B2 (ja) | データプリフェッチ方法、デバイス、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品 | |
CN111126063B (zh) | 文本质量评估方法及装置 | |
US12079215B2 (en) | Query rewriting method and apparatus, device and storage medium | |
KR102556179B1 (ko) | 데이터 프리페치 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 | |
CN111723318B (zh) | 页面数据处理方法、装置、设备和存储介质 | |
US12124447B2 (en) | Data prefetching method and apparatus, electronic device, and computer-readable storage medium | |
CN114492456B (zh) | 文本生成方法、模型的训练方法、装置、电子设备及介质 | |
US20220358931A1 (en) | Task information management | |
CN112527126B (zh) | 信息获取方法、装置以及电子设备 | |
CN113066498B (zh) | 信息处理方法、设备和介质 | |
CN114518805A (zh) | 文本生成方法、装置、电子设备以及存储介质 | |
CN118410779A (zh) | 文本生成方法、装置、电子设备及存储介质 | |
CN115167737A (zh) | 输入信息控制方法和装置、前端交互方法和装置 | |
CN116304418A (zh) | 一种落地页显示方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |