WO2022057435A1 - 基于搜索的问答方法及存储介质 - Google Patents

基于搜索的问答方法及存储介质 Download PDF

Info

Publication number
WO2022057435A1
WO2022057435A1 PCT/CN2021/107710 CN2021107710W WO2022057435A1 WO 2022057435 A1 WO2022057435 A1 WO 2022057435A1 CN 2021107710 W CN2021107710 W CN 2021107710W WO 2022057435 A1 WO2022057435 A1 WO 2022057435A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
question
multimedia resource
answer
matching
Prior art date
Application number
PCT/CN2021/107710
Other languages
English (en)
French (fr)
Inventor
赵惜墨
Original Assignee
北京达佳互联信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京达佳互联信息技术有限公司 filed Critical 北京达佳互联信息技术有限公司
Publication of WO2022057435A1 publication Critical patent/WO2022057435A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition

Definitions

  • the present disclosure relates to the field of natural language technologies, and in particular, to a search-based question answering method and a storage medium.
  • multimedia resources such as audio or video.
  • more users will search for multimedia resources.
  • the user inputs question information in the search interface, and can obtain multimedia resources matching the question information, and the user can view the searched multimedia resources in the search interface.
  • the present disclosure provides a question-and-answer method and storage medium based on search, which additionally provides answer information on the basis of providing multimedia resources, improves the amount of information, provides a question-and-answer function based on search scenarios, enriches functions, and fully considers
  • the content information of the multimedia resource increases the amount of information considered when obtaining the answer information, thereby improving the accuracy of obtaining the answer information.
  • a search-based question answering method comprising:
  • a search-based question answering method comprising:
  • the answer information matches the question information
  • the target multimedia resource matches the question information
  • the answer information is the content information of the target multimedia resource
  • the target multimedia resource and the answer information are displayed in the search interface.
  • a search-based question answering device comprising:
  • a request receiving unit configured to receive a search request of the terminal, where the search request carries the problem information input in the search interface of the terminal;
  • a search unit configured to perform a search based on the question information to obtain a target multimedia resource matching the question information and answer information matching the question information, and the answer information is content information of the target multimedia resource ;
  • an information sending unit configured to send the target multimedia resource and the answer information to the terminal, where the target multimedia resource and the answer information are used for display in the search interface.
  • a search-based question answering device comprising:
  • an acquisition unit configured to acquire the problem information entered in the search interface
  • a sending unit configured to send a search request carrying the problem information to the server
  • a receiving unit configured to receive answer information from the server and a target multimedia resource, the answer information matches the question information, the target multimedia resource matches the question information, and the answer information is the target multimedia resource Content information of the resource;
  • a display unit configured to display the target multimedia resource and the answer information in the search interface.
  • a server comprising:
  • processors one or more processors
  • volatile or non-volatile memory for storing the one or more processor-executable commands
  • processors are configured to execute the executable instructions to implement the following steps:
  • a terminal comprising:
  • volatile or non-volatile memory for storing the one or more processor-executable commands
  • processors are configured to execute the executable instructions to implement the following steps:
  • the answer information matches the question information
  • the target multimedia resource matches the question information
  • the answer information is the content information of the target multimedia resource
  • the target multimedia resource and the answer information are displayed in the search interface.
  • a non-transitory computer-readable storage medium in the case where program codes in the storage medium are executed by a processor of a server, the server can perform the following steps:
  • a non-transitory computer-readable storage medium in the case where program codes in the storage medium are executed by a processor of a terminal, the terminal can perform the following steps:
  • the answer information matches the question information
  • the target multimedia resource matches the question information
  • the answer information is the content information of the target multimedia resource
  • the target multimedia resource and the answer information are displayed in the search interface.
  • a computer program product where program codes in the computer program product are executed by a processor of a server, enabling the server to perform the following steps:
  • a computer program product in the case where program codes in the computer program product are executed by a processor of a terminal, the terminal can perform the following steps:
  • the target multimedia resource and the answer information are displayed in the search interface.
  • FIG. 1 is a schematic structural diagram of an implementation environment according to an exemplary embodiment.
  • Fig. 2 is a flow chart of a search-based question answering method according to an exemplary embodiment.
  • Fig. 4 is a flow chart of a search-based question answering method according to an exemplary embodiment.
  • Fig. 5 is a flow chart of storing words and multimedia resources to which they belong, according to an exemplary embodiment.
  • Fig. 6 is a flow chart of establishing an inverted index library according to an exemplary embodiment.
  • Fig. 7 is a flow chart of sorting content information according to an exemplary embodiment.
  • Fig. 8 is a flow chart of sorting content information according to an exemplary embodiment.
  • Fig. 10 is a schematic diagram of a search interface according to an exemplary embodiment.
  • Fig. 11 is a schematic diagram of a search interface according to an exemplary embodiment.
  • Fig. 12 is a flowchart of a search-based question answering method according to an exemplary embodiment.
  • Fig. 14 is a schematic structural diagram of another search-based question answering apparatus according to an exemplary embodiment.
  • Fig. 17 is a schematic structural diagram of a server according to an exemplary embodiment.
  • the multimedia resource is a resource in the form of audio, video, image, etc.
  • the multimedia resource is audio, which can be converted into textual information.
  • the multimedia resource is a video, and the audio information in the video can be converted into text information.
  • multimedia resources are also referred to as multimedia information.
  • the question information is information input by the user, and the corresponding answer information can be searched based on the question information.
  • the question information is in the form of an interrogative sentence or a rhetorical question, which can express the user's question.
  • Each question information corresponds to a question type, which includes specified type and non-specified type.
  • the specified type refers to a question type with fixed answer information.
  • the question information is "How old is Zhang San this year"
  • the question information has fixed answer information and belongs to a specified type.
  • the non-specified type is a question type other than the specified type.
  • the question information is "what should I do if I don't eat when I'm sick", the question information has various answer information, and does not have fixed answer information, so the question information belongs to a non-specified type.
  • the method provided by the embodiment of the present disclosure can be applied in a video search scenario.
  • the terminal displays a search interface in the video search application, and the user asks questions by inputting question information in the search interface.
  • the video and the answer information matching the question information are acquired, and then the video and the answer information are displayed in the search interface.
  • the method provided by the embodiment of the present disclosure can be applied in a voice search scenario.
  • the terminal displays a search interface in the audio search application, and the user asks questions by inputting question information in the search interface.
  • the audio information and the answer information matching the question information are acquired, and then the audio information and the answer information are displayed in the search interface.
  • the search-based question answering method provided by the embodiment of the present disclosure is executed by the terminal.
  • the search-based question answering method provided by the embodiment of the present disclosure is executed interactively by the terminal 101 and the server 102 as shown in FIG. 1 .
  • the terminal 101 and the server 102 are connected through a communication network.
  • the terminal 101 is installed with the target application served by the server 102 .
  • the terminal 101 implements functions such as data transmission, search, and question and answer through the target application.
  • the target application is a target application in the operating system of the terminal 101 or a target application provided by a third party.
  • the target application is a video application, an audio application, or other types of applications.
  • the target application is a video application, and the video application has a video sharing function, a video search function, a question-and-answer function based on video search, a video recommendation function, and the like.
  • Server 102 serves any target application.
  • the server 102 has a storage function and can store multimedia resources uploaded by the target application.
  • the server 102 also has a search function, which can search based on the problem information uploaded by the terminal 101 to obtain multimedia resources matching the problem information.
  • the server 102 also has a question-and-answer function, which can determine the answer information based on the question information uploaded by the terminal 101 .
  • the server 102 combines the search function with the question and answer function, and can implement the question and answer function based on the search.
  • the terminal 101 is various types of terminals such as a mobile phone, a tablet computer or a computer, and the server 102 is a server, or a server cluster composed of several servers, or a cloud computing service center.
  • Fig. 2 is a flowchart of a search-based question answering method according to an exemplary embodiment. The method is executed by a server. Referring to Fig. 2, the method includes:
  • Step 201 Receive a search request from a terminal.
  • the search request carries the problem information input in the search interface of the terminal.
  • Step 202 Search based on the question information to obtain a target multimedia resource matching the question information and answer information matching the question information.
  • the answer information is content information of the target multimedia resource.
  • Step 203 Send the target multimedia resource and answer information to the terminal.
  • the target multimedia resource and answer information are used to display in the search interface.
  • the embodiments of the present disclosure provide a question-and-answer method based on search, which can integrate a search scene with an intelligent question-answer scene, and provide a question-and-answer function based on the search scene, so that a user can intuitively view the answer information and multimedia resources corresponding to the question information,
  • the amount of information is improved, the efficiency of human-computer interaction is improved, the search requirements of users are met, the search effect is improved, and the accuracy of the obtained answer information is improved.
  • FIG. 3 is a flowchart of a search-based question answering method according to an exemplary embodiment. The method is executed by a terminal. Referring to FIG. 3 , the method includes:
  • Step 301 Obtain the problem information input in the search interface.
  • Step 302 Send a search request carrying problem information to the server.
  • Step 303 Receive answer information and target multimedia resource from the server, the answer information matches the question information, the target multimedia resource matches the question information, and the answer information is content information of the target multimedia resource.
  • Step 304 Display the target multimedia resource and answer information in the search interface.
  • the embodiments of the present disclosure provide a question-and-answer method based on search, which can integrate a search scene with an intelligent question-answer scene, and provide a question-and-answer function based on the search scene, so that a user can intuitively view the answer information and multimedia resources corresponding to the question information,
  • the amount of information is improved, the efficiency of human-computer interaction is improved, the search requirements of users are met, the search effect is improved, and the accuracy of the obtained answer information is improved.
  • FIG. 4 is a flowchart of a search-based question answering method according to an exemplary embodiment. Referring to FIG. 4 , the method includes:
  • Step 401 The terminal acquires the problem information input in the search interface.
  • the user enters question information in the search interface displayed by the terminal, and the terminal obtains the question information entered by the user in the search interface, and performs a search based on the question information to display target multimedia resources and answers that match the question information. information.
  • the search interface is the interface of the target application.
  • the target application is a video application, an audio application, or other types of applications.
  • the target application has multiple functions, for example, a sharing function, a search function, an intelligent question answering function, a recommendation function, and the like.
  • the terminal logs into the video application based on the user ID, and the user can use any function in the video application.
  • the user identification is the user's mobile phone number, user nickname, user account or other identification.
  • a user shoots a landscape video using a terminal, uploads the landscape video to a video application logged in based on the user ID, and then shares the landscape video to other users.
  • the user needs to watch a fixed type of video, and uses the video search function of the video application to search for a video matching the search information, and then watch the searched video.
  • the user needs to query the answer to a question, and the question-and-answer function based on video search is used to obtain the answer information and target video that match the question information.
  • the video application can also automatically acquire other videos related to the user's interests based on the user's historical playing records, and recommend the acquired videos to the user.
  • the search interface includes a search box, the user inputs question information in the search box, and the terminal obtains the question information input by the user from the search box.
  • the terminal For example, the user inputs voice information in the search box, the terminal performs voice recognition on the voice information, obtains text information corresponding to the voice information, and determines the text information as problem information.
  • the user enters text information in the search box, and the terminal determines the acquired text information as problem information.
  • Step 402 The terminal sends a search request carrying problem information to the server.
  • Step 403 The server receives the search request from the terminal.
  • the search request includes problem information
  • the terminal sends the search request to the server, so that the server can search based on the problem information in the search request.
  • Step 404 The server searches based on the problem information to obtain at least one candidate multimedia resource.
  • the server performs a search based on the question information to obtain a target multimedia resource matching the question information and answer information located in the target multimedia resource, wherein the answer information located in the target multimedia resource is also That is, the answer information belonging to the target multimedia resource, the answer information is the content information of the target multimedia resource, and the answer information matches the question information.
  • the server After acquiring the problem information, the server performs a search based on the problem information, and can obtain at least one candidate multimedia resource matching the problem information.
  • the candidate multimedia resource includes information that matches the problem information, that is, the candidate multimedia resource includes information associated with the problem information, and the candidate multimedia resource matches the problem information means that the candidate multimedia resource includes information associated with the problem information, for example,
  • the matching between the candidate multimedia resource and the question information means that the text information corresponding to the candidate multimedia resource and the question information include the same words.
  • the question information is divided into words to obtain at least one first word; a search is performed based on each first word to obtain multimedia resources stored corresponding to each first word; the at least one multimedia resource obtained by the search is determined. is a candidate multimedia resource. For example, perform word segmentation on the question information to obtain word 1 and word 2; search based on word 1 to obtain multimedia resource A and multimedia resource B stored corresponding to word 1; search based on word 2 to obtain multimedia resources stored corresponding to word 2 resource C, multimedia resource A, multimedia resource B, and multimedia resource C are all candidate multimedia resources.
  • step 404 in order to search for candidate multimedia resources based on question information, it is necessary to store words and multimedia resources in correspondence with each other, and then search for candidate multimedia resources based on the stored words and multimedia resources. That is, before step 404, referring to FIG. 5, the method is executed by the server and further includes steps 501-504:
  • Step 501 Acquire at least one multimedia resource.
  • the multimedia resource is a resource uploaded by the user. Each time any user uploads a multimedia resource, acquire the multimedia resource uploaded by the user. In the case where multiple users upload multimedia resources, multiple multimedia resources are acquired.
  • the multimedia resource is a resource obtained from a database, and the database stores a plurality of multimedia resources, and when the multimedia resource needs to be obtained, at least one multimedia resource is obtained from the database.
  • the multimedia resource is a stored resource, and the terminal obtains and stores multiple multimedia resources, so as to obtain at least one multimedia resource from the stored multiple multimedia resources.
  • Step 502 Perform speech recognition on at least one multimedia resource to obtain text information corresponding to each multimedia resource.
  • each multimedia resource includes audio information, and based on the speech recognition technology, the audio information in each multimedia resource is recognized, and the text information corresponding to each multimedia resource is obtained.
  • the speech recognition technology is ASR (Automatic Speech Recognition, automatic speech recognition) technology
  • the speech recognition technology is based on a method based on phonetics and acoustics, a random model method, a method based on a neural network, or a probabilistic language analysis method. based on.
  • step 502 is an optional step, and is described by taking the speech recognition of multimedia resources as an example.
  • text can also be extracted from each multimedia resource to obtain text information of each multimedia resource.
  • multiple images included in each multimedia resource are acquired, the text in each image is extracted, and text information of each image is obtained, and the text information of each image is also the text information of the multimedia resource to which the image belongs. .
  • Step 503 Perform word segmentation on the text information corresponding to each multimedia resource to obtain at least one second word.
  • the process of word segmentation includes a process of dividing words into text information corresponding to the multimedia resource.
  • the process of word segmentation further includes a process of tagging parts of speech of words.
  • the textual information is segmented based on forward maximum matching, reverse maximum matching, shortest path tokenization, machine learning, or statistical tokenization.
  • Step 504 Correspondingly store each obtained second word and the multimedia resource to which each second word belongs.
  • Performing word segmentation on at least one multimedia resource can obtain at least one second word, further determining the multimedia resource to which each second word belongs, and correspondingly storing each second word and the multimedia resource to which each second word belongs.
  • the text information corresponding to the multimedia resource to which the second word belongs includes the second word, one second word belongs to one or more multimedia resources, and one second word is stored corresponding to the multimedia resource to which the second word belongs.
  • the text information corresponding to multimedia resource A includes word 1 and word 2
  • the text information corresponding to multimedia resource B includes word 2.
  • at least one multimedia resource corresponding to word 1 and word 1 is stored correspondingly, and at least one multimedia resource corresponding to word 1 is stored.
  • the resource includes multimedia resource A; correspondingly, word 2 and at least one multimedia resource corresponding to word 2 are stored, and the at least one multimedia resource corresponding to word 2 includes multimedia resource A and multimedia resource B. After each second word and the multimedia resource to which each second word belongs are correspondingly stored, at least one multimedia resource to which any word belongs can be searched based on the correspondingly stored words and multimedia resources.
  • the server builds an inverted index library, and stores each second word and the multimedia resource to which each second word belongs in the inverted index library.
  • one second word is one index
  • one index corresponds to at least one multimedia resource.
  • the short video is subjected to speech recognition to obtain the text information of each short video, and then the text information of each short video is segmented. , obtain at least one second word, and establish an inverted index library based on the short video to which each second word belongs.
  • the short video is a video whose duration does not exceed a preset duration.
  • the preset duration is set by the terminal, or set by the server, or set by other methods.
  • the preset duration is 20 seconds, 25 seconds, 30 seconds or other values.
  • steps 501-504 can be repeatedly performed to update the corresponding stored words and multimedia resources, so as to ensure that the multimedia resources corresponding to each word are more comprehensive.
  • each word and the multimedia resource to which it belongs are stored correspondingly in advance, and then at least one candidate multimedia resource matching the problem information can be obtained by searching, which improves the obtaining efficiency of the candidate multimedia resource, and, In the process of correspondingly storing each word and the multimedia resource to which it belongs, the text information in the multimedia resource is considered, the amount of information is increased, and the accuracy of subsequent searches can be improved.
  • Step 405 The server obtains the content information of at least one candidate multimedia resource respectively.
  • the content information of the candidate multimedia resource is information extracted from the candidate multimedia resource.
  • the question type to which the question information belongs is acquired, and based on the processing method corresponding to the question type, content information of at least one candidate multimedia resource is acquired respectively.
  • the question type includes a specified type or a non-specified type, and the specified type refers to a question type with fixed answer information.
  • each question information has its own question type, different question information may correspond to different question types. Therefore, first determine the question type to which the question information belongs, and then obtain at least one candidate multimedia resource based on the processing method corresponding to the question type. content information.
  • the question type to which the question information belongs is obtained in the following manner: calling a classification model to classify the question information to obtain the question type to which the question information belongs.
  • the classification model before calling the classification model to obtain the problem type to which the problem information belongs, the classification model is also trained to obtain a trained classification model, and the trained classification model is called to obtain the problem type to which the problem information belongs.
  • the sample problem information and the sample problem type to which the sample problem information belongs are obtained, the sample problem information is input into the classification model, the training problem type of the sample problem information output by the classification model is obtained, and the sample problem information to which the sample problem information belongs is obtained. Based on the comparison results, the classification model is adjusted to obtain the trained classification model.
  • the manners of obtaining content information from candidate multimedia resources include the following two:
  • the question information has non-fixed answer information, that is, the answer information of the question information includes multiple types.
  • the sentence information is spliced to obtain content information, which is the information associated with the problem information. That is, from the text information corresponding to a candidate multimedia resource, obtain the sentence information of a continuous reference quantity, combine the sentence information of the reference quantity, and obtain the content information of the candidate multimedia resource; from the text corresponding to another candidate multimedia resource. In the information, obtain the sentence information of a continuous reference quantity, combine the sentence information of the reference quantity to obtain the content information of the other candidate multimedia resource, and so on.
  • the reference quantity is set by the terminal, or set by the operator, or is a default value, or is set by other methods.
  • the reference number is 2, 3, 4 or other numbers.
  • a reading comprehension technology is used to identify the text information corresponding to the candidate multimedia resource, and the content information of the candidate multimedia resource is obtained.
  • the question type to which the question information belongs is a specified type, it can be further determined whether the question information corresponding to the specified type belongs to an entity specified type or a numerical specified type.
  • the answer information whose numerical designation type is question information is of numerical type, that is, the numerical designation type is used to indicate that the answer information of the question information is a number.
  • the entity-specified type is the answer information of the question information is the type of the entity, that is, the entity-specified type is used to indicate that the answer information of the question information is the entity.
  • the entity includes the name of a person, a place or an organization.
  • the digital extractor is called to identify the text information corresponding to the candidate multimedia resource, and the content information of the candidate multimedia resource is obtained, that is, in the question to which the question information belongs.
  • the type is the specified type of numbers
  • the digital extractor is called to identify the text information corresponding to each candidate multimedia resource, and obtain the content information of each candidate multimedia resource.
  • the entity extractor When the question type to which the question information belongs is the type specified by the entity, the entity extractor is called to identify the text information corresponding to the candidate multimedia resource, and the content information of the candidate multimedia resource is obtained, that is, in the question to which the question information belongs.
  • the type is the entity specified type
  • the entity extractor is called to identify the text information corresponding to each candidate multimedia resource, and obtain the content information of each candidate multimedia resource.
  • the extractor in the embodiment of the present disclosure is an extractor based on reading comprehension technology.
  • Step 406 The server acquires answer information matching the question information from the acquired at least one piece of content information.
  • content information matching the question information is obtained from at least one obtained content information, and the content information is used as the answer information matching the question information.
  • the matching of the content information with the question information means that the content information is an answer for answering the question information; the matching of the answer information with the question information also means that the answer information is an answer for answering the question information.
  • the matching degree between the content information and the question information is obtained, and then based on the matching degree between the content information and the question information, the answer information matching the question information is determined.
  • sorting is performed according to the first degree of matching between each content information and the question information, a preset amount of content information is acquired according to the sorting order, and the preset amount of content information is determined as the answer information matching the question information.
  • the preset number is set by the terminal, or set by the operator, or set by other methods. For example, the preset number is 1, 2, 3 or other values.
  • the answer information is determined based on the first degree of matching between each content information and the question information, and determining the first degree of matching between each content information and the question information includes any one of the following two cases kind:
  • the question type to which the question information belongs is a non-specified type
  • splicing sentence information of a continuous reference number in the text information corresponding to the candidate multimedia resource to obtain content information; obtain each content information and The first matching degree of the question information; according to the first matching degree of each content information and the question information, the content information is sorted to determine the answer information matching the question information.
  • an extractor is determined based on the question type; the extractor is called to perform content extraction, that is, extract the text information corresponding to the candidate multimedia resources
  • the first matching degree of each content information and the question information is determined, and the first matching degree of the content information and the question information is sorted to determine the answer information matching the question information.
  • the steps of acquiring answer information matching the question information are as follows: acquiring a first degree of matching between each content information and the question information; acquiring a corresponding degree of each candidate multimedia resource the second degree of matching between the text information and the question information; based on the first degree of matching corresponding to each content information and the second degree of matching corresponding to each candidate multimedia resource, obtain an answer matching the question information from at least one content information information.
  • the first degree of matching corresponding to a piece of content information refers to the first degree of matching between the content information and the question information; the second degree of matching corresponding to a candidate multimedia resource, that is, the text information corresponding to the candidate multimedia resource and the question The second degree of matching of the information.
  • the step of obtaining answer information matching the question information from at least one content information includes: : Determine the third matching degree corresponding to each content information based on the first matching degree corresponding to each content information and the second matching degree corresponding to the candidate multimedia resource to which each content information belongs; Three matching degrees, from at least one piece of content information, obtain the matching degree answer information with the question information.
  • the third matching degree corresponding to the content information is obtained by determining the product of the first matching degree corresponding to the content information and the second matching degree corresponding to the content information; based on the third matching degree corresponding to each content information degree, from at least one piece of content information, obtain answer information that matches the question information.
  • the third degree of matching between the answer information and the question information is greater than the third degree of matching between the other content information and the question information, and the other content information refers to content information other than the answer information in the at least one content information.
  • the content information is sorted according to the third degree of matching between the content information and the question information, a preset amount of content information is acquired according to the sorting order, and the preset amount of content information is determined as the answer information matching the question information.
  • the preset number is set by the terminal, or set by the operator, or set by other methods. For example, the preset number is 1, 2, 3 or other values.
  • the preset matching degree is set by the terminal, or set by the operator, or set by other methods.
  • the preset matching degree is 0.8, 0.9 or other values.
  • the matching degree between the content information and the problem information is considered, but also the matching degree between the candidate multimedia resources to which the content information belongs and the problem information are considered, and the above two matching degrees are combined to obtain a third matching degree, which can be
  • the third matching degree more accurately represents the matching degree of the multimedia resource and the question information in the search and questioning, and the accuracy of the third matching degree is improved, and the answer information is determined based on the third matching degree, which can improve the accuracy of determining the answer information.
  • the answer information is content information of the multimedia resource, that is, the answer information corresponds to the multimedia resource, and the answer information is the content information of the multimedia resource corresponding to the answer information.
  • the multimedia resource corresponding to the answer information is acquired, and the multimedia resource corresponding to the answer information is determined as the target multimedia resource matching the question information.
  • the target multimedia resource matches the question information, that is, the target multimedia resource includes content information for answering the question information, and the target multimedia resource includes an answer for answering the question information.
  • Step 408 The server sends the target multimedia resource and answer information to the terminal.
  • Step 409 The terminal receives the target multimedia resource and answer information of the server.
  • the target multimedia resource matches the question information
  • the answer information matches the question information
  • the answer information is content information of the target multimedia resource.
  • Step 410 The terminal displays the target multimedia resource and answer information in the search interface.
  • the terminal can receive the target multimedia resource and answer information sent by the server, and both the target multimedia resource and the answer information match the question information. After receiving the target multimedia resource and answer information corresponding to the question information, the target multimedia resource is displayed in the search interface. and answer information.
  • the answer information is the content information of the target multimedia resource, that is, the target multimedia resource and the answer information are in a corresponding relationship, and correspondingly, in the search interface, the target multimedia resource and the answer information are displayed correspondingly.
  • target multimedia resources are displayed, and in each target multimedia resource, answer information matching the question information is displayed.
  • answer information matching the question information is displayed.
  • a search box is also displayed at the top of the search interface, and the question information input by the user is displayed in the search box.
  • a floating frame is also displayed on the target multimedia resource, and answer information is displayed in the floating frame to inform the user of the answer information that matches the question information, and can also For users to view the target multimedia resources that match the problem information.
  • target multimedia resource A and target multimedia resource B are displayed in the search interface, and the upper layer of target multimedia resource A is suspended and displayed with answer information, and the upper layer of target multimedia resource B is also suspended and displayed with answer information.
  • the steps of displaying the target multimedia resource and the answer information in the search interface are as follows: in the introduction area of the target multimedia resource, display the answer information.
  • the target multimedia resource is displayed in the search interface, and the search interface further includes an introduction area of the target multimedia resource.
  • answer information is displayed, so as to display the answer information while displaying the target multimedia resource.
  • the introduction area includes introduction information of the target multimedia resource.
  • the introduction area includes the title of the target multimedia resource, the content summary of the target multimedia resource, the answer information of the question information, and the like.
  • the target multimedia resource A and the target multimedia resource B are displayed in the search interface, and an introduction area 1 is displayed above the target multimedia resource A, the answer information is displayed in the introduction area 1, and the target An introduction area 2 is displayed above the multimedia resource B, and answer information is displayed in the introduction area 2 .
  • the server can also perform a search based on the question information to obtain the target multimedia resource matching the question information and the first answer information matching the question information; obtain the subject information of the question information, and combine the subject information and the first answer information to obtain the second answer information; the server sends the target multimedia resource and the second answer information to the terminal; the terminal receives the target multimedia resource and the second answer information, and displays the target multimedia resource and the second answer information in the search interface.
  • the first answer information is content information of the target multimedia resource, and the subject information is used to indicate the subject part and the predicate part of the question information. For example, if the question information is "How old is Zhang San this year” and the first answer information is "22 years old", then the main information of the question information and the first answer information are spliced to obtain the second answer information: Zhang San is 22 years old this year.
  • the embodiments of the present disclosure provide a question-and-answer method based on search, which can integrate a search scene with an intelligent question-answer scene, provides a question-and-answer function based on the search scene, improves the amount of information, improves the efficiency of human-computer interaction, and satisfies the needs of users.
  • the search requirements are improved, the search effect is improved, and the accuracy of the obtained answer information is improved.
  • the embodiment of the present disclosure fully considers each multimedia resource associated with the question information, improves the degree of association between the resource on which the answer information is obtained and the question information, and increases the amount of information on which the answer information is selected, thereby improving the In order to obtain the accuracy of answer information and target multimedia resources.
  • Fig. 13 is a schematic structural diagram of a search-based question answering apparatus according to an exemplary embodiment.
  • the device includes:
  • the request receiving unit 1301 is configured to receive a search request of the terminal, and the search request carries the problem information input in the search interface of the terminal;
  • the search unit 1302 is configured to perform a search based on the question information to obtain a target multimedia resource matching the question information and an answer information matching the question information, and the answer information is the content information of the target multimedia resource;
  • the information sending unit 1303 is configured to send the target multimedia resource and answer information to the terminal, where the target multimedia resource and the answer information are used for display in the search interface.
  • the embodiments of the present disclosure provide a question-answering device based on search, which can integrate a search scene with an intelligent question-answer scene, and provide a question-and-answer function based on the search scene, so that a user can intuitively view the answer information and multimedia resources corresponding to the question information,
  • the amount of information is improved, the efficiency of human-computer interaction is improved, the search requirements of users are met, the search effect is improved, and the accuracy of the obtained answer information is improved.
  • the search unit 1302 includes:
  • the search subunit 13021 is configured to search based on the problem information to obtain at least one candidate multimedia resource
  • the content obtaining subunit 13022 is configured to obtain content information of at least one candidate multimedia resource respectively;
  • the answer acquisition subunit 13023 is configured to acquire answer information matching the question information from the acquired at least one piece of content information
  • the determining subunit 13024 is configured to determine the multimedia resource corresponding to the answer information as the target multimedia resource matching the question information.
  • the search subunit 13021 is configured to: perform word segmentation on the question information to obtain at least one first word; perform a search based on each first word to obtain candidate multimedia resources stored corresponding to each first word .
  • the apparatus further includes:
  • the identification unit 1304 is configured to perform speech recognition on at least one multimedia resource to obtain text information corresponding to each multimedia resource;
  • the word segmentation unit 1305 is configured to perform word segmentation on the text information corresponding to each multimedia resource to obtain at least one second word;
  • the storage unit 1306 is configured to store each obtained second word and the multimedia resource to which each second word belongs correspondingly.
  • the answer obtaining subunit 13023 is configured to: obtain a first degree of matching between the question information and each content information; , to get the answer information that matches the question information.
  • the answer obtaining subunit 13023 is configured to: obtain a first degree of matching between the question information and each content information; obtain a second degree of matching between the text information corresponding to each candidate multimedia resource and the question information; based on The first matching degree corresponding to each content information and the second matching degree corresponding to each candidate multimedia resource are obtained from at least one content information, answer information matching the question information.
  • the answer obtaining subunit 13023 is configured to: determine each content information based on the first matching degree corresponding to each content information and the second matching degree corresponding to the candidate multimedia resource to which each content information belongs. Corresponding third matching degree; based on the third matching degree corresponding to each content information, obtain answer information matching the question information from at least one content information
  • the content obtaining subunit 13022 is further configured to: obtain the question type to which the question information belongs, the question type includes a specified type or a non-specified type, and the specified type refers to a question type with fixed answer information; based on the question type In a corresponding processing manner, content information of at least one candidate multimedia resource is obtained respectively.
  • the content acquisition subunit 13022 is configured to call a classification model to classify the question information, and obtain the question type to which the question information belongs.
  • the content acquisition subunit 13022 is configured to: in the case that the question type to which the question information belongs is a non-specified type, obtain a continuous reference number of sentences from the text information corresponding to each candidate multimedia resource information, and combine the sentence information of the reference number to obtain the content information of each candidate multimedia resource.
  • the content acquisition subunit 13022 is configured to: in the case that the question type to which the question information belongs is a specified type, identify the text information corresponding to each candidate multimedia resource, and obtain the information of each candidate multimedia resource. content information.
  • the specified type includes a numerical specified type, and the numerical specified type is used to indicate that the answer information of the question information is a number;
  • the content acquisition subunit 13022 is configured to: when the question type to which the question information belongs is a numerical specified type Next, the digital extractor is called to identify the text information corresponding to each candidate multimedia resource, and obtain the content information of each candidate multimedia resource.
  • the specified type includes an entity specified type, and the entity specified type is used to indicate that the answer information of the question information is an entity;
  • the content acquisition subunit 13022 is configured to: when the question type to which the question information belongs is the entity specified type Next, the entity extractor is called to identify the text information corresponding to each candidate multimedia resource, and obtain the content information of each candidate multimedia resource.
  • the search unit 1302 is configured to: perform a search based on the question information to obtain a target multimedia resource matching the question information and first answer information matching the question information, where the first answer information is the content of the target multimedia resource information; obtain the subject information of the question information, the subject information is used to indicate the subject part and the predicate part of the question information; combine the subject information and the first answer information to obtain the second answer information;
  • the information sending unit 1303 is configured to send the target multimedia resource and the second answer information to the terminal.
  • Fig. 15 is a schematic structural diagram of a search-based question answering apparatus according to an exemplary embodiment.
  • the device includes:
  • the obtaining unit 1501 is configured to obtain the question information input in the search interface
  • the sending unit 1502 is configured to send a search request carrying problem information to the server;
  • the receiving unit 1503 is configured to receive the answer information of the server and the target multimedia resource, the answer information matches the question information, the target multimedia resource matches the question information, and the answer information is the content information of the target multimedia resource;
  • the display unit 1504 is configured to display the target multimedia resource and answer information in the search interface.
  • the display unit 1504 is configured to display the answer information in a suspended manner on the upper layer of the target multimedia resource; or,
  • the display unit 1504 is configured to display the answer information in the introduction area of the target multimedia resource.
  • Fig. 16 is a block diagram of a terminal according to an exemplary embodiment.
  • the terminal 1600 is a portable mobile terminal, such as: a smart phone, a tablet computer, an MP3 player (Moving Picture Experts Group Audio Layer III, moving picture expert compression standard audio layer 3), MP4 (Moving Picture Experts Group Audio Layer IV, moving picture Expert Compression Standard Audio Layer 4) Player, Laptop or Desktop.
  • Terminal 1600 may also be called user equipment, portable terminal, laptop terminal, desktop terminal, and the like by other names.
  • the terminal 1600 includes: one or more processors 1601 and one or more memories 1602 .
  • the processor 1601 is integrated with a GPU (Graphics Processing Unit, data recommender), and the GPU is used for rendering and drawing the content that needs to be displayed on the display screen.
  • the processor 1601 further includes an AI (Artificial Intelligence, artificial intelligence) processor, where the AI processor is used to process computing operations related to machine learning.
  • AI Artificial Intelligence, artificial intelligence
  • Memory 1602 includes one or more computer-readable storage media, which, in some embodiments, are non-transitory. In some embodiments, memory 1602 also includes volatile memory or non-volatile memory, such as one or more disk storage devices, flash storage devices. In some embodiments, a non-transitory computer-readable storage medium in the memory 1602 is used to store at least one program code for being possessed by the processor 1601 to implement the methods provided by the method embodiments of the present disclosure. A search-based question answering approach.
  • the terminal 1600 may also optionally include: a peripheral device interface 1603 and at least one peripheral device.
  • the processor 1601, the memory 1602 and the peripheral device interface 1603 are connected through a bus or a signal line.
  • Each peripheral device is connected to the peripheral device interface 1603 through a bus, a signal line or a circuit board.
  • the peripheral device includes at least one of a radio frequency circuit 1604 , a display screen 1605 , a camera assembly 1606 , an audio circuit 1607 , a positioning assembly 1608 and a power supply 1609 .
  • the peripheral device interface 1603 may be used to connect at least one peripheral device related to I/O (Input/Output) to the processor 1601 and the memory 1602 .
  • processor 1601, memory 1602, and peripherals interface 1603 are integrated on the same chip or circuit board; in some other embodiments, any one of processor 1601, memory 1602, and peripherals interface 1603 or The two are implemented on a separate chip or circuit board, which is not limited in this embodiment of the present disclosure.
  • the radio frequency circuit 1604 is used for receiving and transmitting RF (Radio Frequency, radio frequency) signals, also called electromagnetic signals.
  • the radio frequency circuit 1604 communicates with communication networks and other communication devices via electromagnetic signals.
  • the radio frequency circuit 1604 converts electrical signals into electromagnetic signals for transmission, or converts received electromagnetic signals into electrical signals.
  • radio frequency circuitry 1604 includes: an antenna system, an RF transceiver, one or more amplifiers, tuners, oscillators, digital signal processors, codec chipsets, subscriber identity module cards, and the like.
  • Radio frequency circuitry 1604 communicates with other terminals via at least one wireless communication protocol.
  • the wireless communication protocols include, but are not limited to, metropolitan area networks, mobile communication networks of various generations (2G, 3G, 4G and 5G), wireless local area networks and/or WiFi (Wireless Fidelity, wireless fidelity) networks.
  • the radio frequency circuit 1604 further includes a circuit related to NFC (Near Field Communication, short-range wireless communication), which is not limited in the present disclosure.
  • the display screen 1605 is used for displaying UI (User Interface, user interface).
  • the UI includes graphics, text, icons, video, and any combination thereof.
  • display screen 1605 is a touch display screen, and display screen 1605 also has the ability to acquire touch signals on or over the surface of display screen 1605 .
  • the touch signal is input to the processor 1601 as a control signal for processing.
  • the display screen 1605 is also used to provide virtual buttons and/or virtual keyboards, also referred to as soft buttons and/or soft keyboards.
  • the display screen 1605 there is one display screen 1605, which is provided on the front panel of the terminal 1600; in other embodiments, there are at least two display screens 1605, which are respectively arranged on different surfaces of the terminal 1600 or in a folded design;
  • the display screen 1605 is a flexible display screen and is disposed on a curved surface or a folding surface of the terminal 1600 . Even, the display screen 1605 can also be set as a non-rectangular irregular figure, that is, a special-shaped screen.
  • the display screen 1605 is made of materials such as LCD (Liquid Crystal Display, liquid crystal display), OLED (Organic Light-Emitting Diode, organic light-emitting diode).
  • the camera assembly 1606 is used to capture images or video.
  • camera assembly 1606 includes a front-facing camera and a rear-facing camera.
  • the front camera is arranged on the front panel of the terminal, and the rear camera is arranged on the back of the terminal.
  • there are at least two rear cameras which are any one of a main camera, a depth-of-field camera, a wide-angle camera, and a telephoto camera, so as to realize the fusion of the main camera and the depth-of-field camera to realize the background blur function, the main camera It is integrated with the wide-angle camera to achieve panoramic shooting and VR (Virtual Reality, virtual reality) shooting functions or other integrated shooting functions.
  • the camera assembly 1606 also includes a flash.
  • the flash is a single color temperature flash or a dual color temperature flash. Dual color temperature flash refers to the combination of warm light flash and cold light flash, which is used for light compensation under different color temperatures.
  • Audio circuit 1607 includes a microphone and a speaker.
  • the microphone is used to collect the sound waves of the user and the environment, convert the sound waves into electrical signals and input them to the processor 1601 for processing, or to the radio frequency circuit 1604 to realize voice communication.
  • the microphones are array microphones or omnidirectional acquisition microphones.
  • the speaker is used to convert the electrical signal from the processor 1601 or the radio frequency circuit 1604 into sound waves.
  • the loudspeaker is a conventional thin-film loudspeaker, or, alternatively, a piezoelectric ceramic loudspeaker.
  • the speaker When the speaker is a piezoelectric ceramic speaker, it can not only convert electrical signals into sound waves audible to humans, but also convert electrical signals into sound waves inaudible to humans for distance measurement and other purposes.
  • the audio circuit 1607 also includes a headphone jack.
  • the positioning component 1608 is used to locate the current geographic location of the terminal 1600 to implement navigation or LBS (Location Based Service).
  • the positioning component 1608 is a positioning component based on the GPS (Global Positioning System, global positioning system) of the United States, the Beidou system of China, the Grenas system of Russia, or the Galileo system of the European Union.
  • Power supply 1609 is used to power various components in terminal 1600 .
  • the power source 1609 is alternating current, direct current, a primary battery or a rechargeable battery.
  • the power source 1609 includes a rechargeable battery that supports wired or wireless charging.
  • the rechargeable battery also supports fast charging technology.
  • the gyroscope sensor 1612 is used to detect the body direction and rotation angle of the terminal 1600 , and the gyroscope sensor 1612 cooperates with the acceleration sensor 1611 to collect 3D actions of the user on the terminal 1600 .
  • the processor 1601 can implement the following functions according to the data collected by the gyro sensor 1612: motion sensing (such as changing the UI according to the user's tilt operation), image stabilization during shooting, game control, and inertial navigation.
  • the pressure sensor 1613 is disposed on the side frame of the terminal 1600 and/or the lower layer of the display screen 1605 .
  • the processor 1601 performs left and right hand recognition or shortcut operation according to the holding signal collected by the pressure sensor 1613 .
  • the processor 1601 controls the operability controls on the UI interface according to the user's pressure operation on the display screen 1605.
  • the operability controls include at least one of button controls, scroll bar controls, icon controls, and menu controls.
  • the fingerprint sensor 1614 is used to collect the user's fingerprint, and the processor 1601 identifies the user's identity according to the fingerprint collected by the fingerprint sensor 1614, or the fingerprint sensor 1614 identifies the user's identity according to the collected fingerprint. When the user's identity is identified as a trusted identity, the processor 1601 authorizes the user to perform related sensitive operations, including unlocking the screen, viewing encrypted information, downloading software, making payments, and changing settings.
  • the fingerprint sensor 1614 is provided on the front, back or side of the terminal 1600 . In some embodiments, the terminal 1600 is provided with physical buttons or a manufacturer's logo, and the fingerprint sensor 1614 is integrated with the physical buttons or the manufacturer's logo.
  • Optical sensor 1615 is used to collect ambient light intensity.
  • the processor 1601 controls the display brightness of the display screen 1605 according to the ambient light intensity collected by the optical sensor 1615 . In some embodiments, when the ambient light intensity is high, the display brightness of the display screen 1605 is increased; when the ambient light intensity is low, the display brightness of the display screen 1605 is decreased. In other embodiments, the processor 1601 also dynamically adjusts the shooting parameters of the camera assembly 1606 according to the ambient light intensity collected by the optical sensor 1615 .
  • a proximity sensor 1616 also called a distance sensor, is usually provided on the front panel of the terminal 1600.
  • the proximity sensor 1616 is used to collect the distance between the user and the front of the terminal 1600 .
  • the processor 1601 controls the display screen 1605 to switch from the bright screen state to the off screen state;
  • the processor 1601 controls the display screen 1605 to switch from the closed screen state to the bright screen state.
  • FIG. 16 does not constitute a limitation on the terminal 1600, and may include more or less components than the one shown, or combine some components, or adopt different component arrangements.
  • Embodiments of the present disclosure provide a terminal comprising: one or more processors; a volatile or nonvolatile memory for storing commands executable by the one or more processors; wherein one or more Each processor is configured to execute executable instructions to implement the following steps: obtain the question information input in the search interface; send a search request carrying the question information to the server; receive the server's answer information and target multimedia resources, and the answer information matches the question information , the target multimedia resource matches the question information, and the answer information is the content information of the target multimedia resource; the target multimedia resource and the answer information are displayed in the search interface.
  • An embodiment of the present disclosure provides a non-transitory computer-readable storage medium, in the case where program codes in the storage medium are executed by a processor of a terminal, the terminal can perform the following steps: acquire problem information input in a search interface; Send a search request carrying the question information to the server; receive the server's answer information and the target multimedia resource, the answer information matches the question information, the target multimedia resource matches the question information, and the answer information is the content information of the target multimedia resource; display in the search interface Target multimedia resources and answer information.
  • An embodiment of the present disclosure provides a computer program product, in the case where the program code in the computer program product is executed by the processor of the terminal, the terminal can perform the following steps: obtain the problem information input in the search interface; Search request for question information; receive the answer information and target multimedia resource from the server, the answer information matches the question information, the target multimedia resource matches the question information, and the answer information is the content information of the target multimedia resource; the target multimedia resource and target multimedia resource are displayed in the search interface. answer information.
  • the terminal when the program code in the computer program product is executed by the processor of the terminal, the terminal is enabled to perform the steps performed by the terminal in the above method embodiments.
  • FIG. 17 is a schematic structural diagram of a server according to an exemplary embodiment.
  • the server 1700 may vary greatly due to different configurations or performance.
  • the server 1700 includes one or more processors (Central Processing Units, CPUs) ) 1701 and one or more memories 1702, wherein at least one piece of program code is stored in the memory 1702, and at least one piece of program code is loaded and executed by the processor 1701 to implement the methods provided by the above method embodiments.
  • the server also has components such as a wired or wireless network interface, a keyboard, and an input and output interface for input and output.
  • the server also includes other components for implementing device functions. Here I won't go into details.
  • Embodiments of the present disclosure provide a server, the server comprising: one or more processors; volatile or non-volatile memory for storing commands executable by the one or more processors; wherein one or more The processor is configured to execute executable instructions to implement the following steps: receiving a search request from the terminal, and the search request carries the problem information input in the search interface of the terminal; searching based on the problem information, obtaining a target multimedia resource matching the problem information and a target multimedia resource matching the problem information.
  • the answer information that matches the question information, and the answer information is the content information of the target multimedia resource; the target multimedia resource and the answer information are sent to the terminal, and the target multimedia resource and the answer information are used for display in the search interface.
  • one or more processors of the server are configured to execute instructions to implement the steps performed by the server in the above method embodiments.
  • a non-transitory computer-readable storage medium in the case where the program code in the storage medium is executed by the processor of the server, the server can perform the above-mentioned search-based question answering method in the server. steps performed.
  • An embodiment of the present disclosure provides a non-transitory computer-readable storage medium, and when the program code in the storage medium is executed by the processor of the server, the server can perform the following steps: receiving a search request from a terminal, and the search request carries the following steps: Question information input in the search interface of the terminal; search based on the question information to obtain the target multimedia resource matching the question information and the answer information matching the question information, and the answer information is the content information of the target multimedia resource; send the target multimedia resource to the terminal Resource and answer information, target multimedia resources and answer information are used to display in the search interface.
  • the server when the program code in the storage medium is executed by the processor of the server, the server is enabled to perform the steps performed by the server in the above method embodiments.
  • a computer program product that enables the server to perform the steps performed by the server in the above-mentioned search-based question answering method under the condition that the program code in the computer program product is executed by the processor of the server .
  • An embodiment of the present disclosure provides a computer program product, where program codes in the computer program product are executed by a processor of a server, enabling the server to perform the following steps: receiving a search request from a terminal, and the search request carries a search interface of the terminal Search based on the question information, obtain the target multimedia resource matching the question information and the answer information matching the question information, and the answer information is the content information of the target multimedia resource; send the target multimedia resource and the answer information to the terminal , the target multimedia resource and answer information are used to display in the search interface.
  • the server when the program code in the computer program product is executed by the processor of the server, the server is enabled to perform the steps performed by the server in the above method embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Acoustics & Sound (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种基于搜索的问答方法及存储介质，属于自然语言处理技术领域。该方法包括：接收终端的搜索请求，该搜索请求携带终端的搜索界面中输入的问题信息；基于该问题信息进行搜索，得到与该问题信息匹配的目标多媒体资源以及与该问题信息匹配的答案信息，该答案信息为目标多媒体资源的内容信息；向终端发送目标多媒体资源和答案信息，该目标多媒体资源和答案信息用于显示在该搜索界面中。

Description

基于搜索的问答方法及存储介质
本公开基于申请号为202010983014.5、申请日为2020年9月17日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本公开作为参考。
技术领域
本公开涉及自然语言技术领域，尤其涉及一种基于搜索的问答方法及存储介质。
背景技术
随着互联网技术的快速发展和多媒体资源的广泛传播，用户播放音频或视频等多媒体资源，已成为越来越流行的娱乐方式。并且，随着多媒体资源的数量越来越多，更多的用户会通过搜索的方式查找多媒体资源。通常用户在搜索界面中输入问题信息，能够获取与该问题信息匹配的多媒体资源，用户能够在搜索界面中查看搜索得到的多媒体资源。
发明内容
本公开提供了一种基于搜索的问答方法及存储介质，在提供多媒体资源的基础上额外提供了答案信息，提高了信息量，提供了基于搜索场景的问答功能，丰富了功能，并且充分考虑了多媒体资源的内容信息，提高了获取答案信息时考虑的信息量，进而提高了获取答案信息的准确率。
根据本公开实施例的一方面，提供一种基于搜索的问答方法，所述方法包括：
接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
根据本公开实施例的一方面，提供了一种基于搜索的问答方法，所述方法包括：
获取搜索界面中输入的问题信息；
向服务器发送携带所述问题信息的搜索请求；
接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
根据本公开实施例的一方面，提供一种基于搜索的问答装置，所述装置包括：
请求接收单元，被配置为接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
搜索单元，被配置为基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
信息发送单元，被配置为向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
根据本公开实施例的一方面，提供一种基于搜索的问答装置，所述装置包括：
获取单元，被配置为获取搜索界面中输入的问题信息；
发送单元，被配置为向服务器发送携带所述问题信息的搜索请求；
接收单元，被配置为接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
显示单元，被配置为在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
根据本公开实施例的一方面，提供一种服务器，所述服务器包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
根据本公开实施例的一方面，提供一种终端，所述终端包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
获取搜索界面中输入的问题信息；
向服务器发送携带所述问题信息的搜索请求；
接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
根据本公开实施例提供的一方面，提供一种非临时性计算机可读存储介质，在所述存储介质中的程序代码由服务器的处理器执行的情况下，使得服务器能够执行以下步骤：
接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
根据本公开实施例提供的一方面，提供一种非临时性计算机可读存储介质，在所述存储介质中的程序代码由终端的处理器执行的情况下，使得终端能够执行以下步骤：
获取搜索界面中输入的问题信息；
向服务器发送携带所述问题信息的搜索请求；
接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
根据本公开实施例的一方面，提供一种计算机程序产品，在所述计算机程序产品中的程序代码由服务器的处理器执行的情况下，使得所述服务器能够执行以下步骤：
接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
根据本公开实施例的一方面，提供一种计算机程序产品，在所述计算机程序产品中的程序代码由终端的处理器执行的情况下，使得所述终端能够执行以下步骤：
获取搜索界面中输入的问题信息；
向服务器发送携带所述问题信息的搜索请求；
接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
本公开实施例提供的方案，能够将搜索场景与智能问答场景融合起来，提供基于搜索场景的问答功能，用户能够直观的查看该问题信息对应的答案信息以及多媒体资源，提高了信息量，提高了人机交互效率，满足了用户的搜索需求，提高了搜索效果，提高了获取的答案信息的准确率。
附图说明
图1是根据一示例性实施例示出的一种实施环境的结构示意图。
图2是根据一示例性实施例示出的一种基于搜索的问答方法的流程图。
图3是根据一示例性实施例示出的一种基于搜索的问答方法的流程图。
图4是根据一示例性实施例示出的一种基于搜索的问答方法的流程图。
图5是根据一示例性实施例示出的一种存储词语与所属的多媒体资源的流程图。
图6是根据一示例性实施例示出的一种建立倒排索引库的流程图。
图7是根据一示例性实施例示出的一种对内容信息进行排序的流程图。
图8是根据一示例性实施例示出的一种对内容信息进行排序的流程图。
图9是根据一示例性实施例示出的一种搜索界面的示意图。
图10是根据一示例性实施例示出的一种搜索界面的示意图。
图11是根据一示例性实施例示出的一种搜索界面的示意图。
图12是根据一示例性实施例示出的一种基于搜索的问答方法的流程图。
图13是根据一示例性实施例示出的一种基于搜索的问答装置的结构示意图。
图14是根据一示例性实施例示出的另一种基于搜索的问答装置的结构示意图。
图15是根据一示例性实施例示出的一种基于搜索的问答装置的结构示意图。
图16是根据一示例性实施例示出的一种终端的框图。
图17是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
首先，先对本公开所涉及的名词进行解释：
多媒体资源：该多媒体资源为采用音频、视频、图像等表达方式的资源。例如，该多媒体资源为音频，该音频能够转换为文本信息。或者，该多媒体资源为视频，该视频中的音频信息能够转换为文本信息。在一些实施例中，多媒体资源也被称为多媒体信息。
问题信息：该问题信息为用户输入的信息，基于该问题信息能够搜索对应的答案信息。该问题信息为疑问句或者反问句等形式，能够表达出用户的疑问。
问题类型：每个问题信息均对应一种问题类型，该问题类型包括指定类型和非指定类型。
其中，指定类型是指具有固定答案信息的问题类型。例如，问题信息为“张三今年多少岁了”，该问题信息具有固定的答案信息，属于指定类型。
该非指定类型为除指定类型以外的其他问题类型。例如，问题信息为“生病了不吃饭怎么办”，该问题信息具有多种答案信息，并不具有固定的答案信息，因此该问题信息属于非指定类型。
本公开实施例提供的方法，能够应用在视频搜索场景中。终端在视频搜索应用中显示搜索界面，用户通过在该搜索界面中输入问题信息，进行提问。采用本公开实施例提供的方法，获取与该问题信息匹配的视频和答案信息，进而在搜索界面中显示该视频和该答案信息。
或者，本公开实施例提供的方法，能够应用在语音搜索场景中。终端在音频搜索应用中显示搜索界面，用户通过在该搜索界面中输入问题信息，进行提问。采用本公开实施例提供的方法，获取与该问题信息匹配的音频和答案信息，进而在搜索界面中显示该音频的信息和该答案信息。
本公开实施例提供的基于搜索的问答方法由终端执行。或者，本公开实施例提供的基于搜索的问答方法由如图1所示的终端101和服务器102交互执行。终端101与服务器102之间通过通信网络连接。
终端101安装有由服务器102提供服务的目标应用。终端101通过该目标应用实现数据传输、搜索、问答等功能。
在一些实施例中，目标应用为终端101操作系统中的目标应用，或者为第三方提供的目标应用。例如，目标应用为视频应用、音频应用或者其他类型的应用等。在一些实施例中，该目标应用为视频应用，该视频应用具有视频分享功能、视频搜索功能、基于视频搜索的问答功能、视频推荐功能等。
服务器102为任一目标应用服务。该服务器102具有存储功能，能够存储目标应用上传的多媒体资源。另外，该服务器102还具有搜索功能，能够基于终端101上传的问题信息进行搜索，得到与问题信息匹配的多媒体资源。该服务器102还具有问答功能，能够基于终端101上传的问题信息确定答案信息。服务器102将搜索功能与问答功能结合，能够实现基于搜索的问答功能。
其中，该终端101为手机、平板电脑或者计算机等多种类型的终端，该服务器102为一台服务器，或者由若干服务器组成的服务器集群，或者是一个云计算服务中心。
图2是根据一示例性实施例示出的一种基于搜索的问答方法的流程图，该方法由服务器执行，参见图2，该方法包括：
步骤201、接收终端的搜索请求。
其中，搜索请求携带终端的搜索界面中输入的问题信息。
步骤202、基于问题信息进行搜索，得到与问题信息匹配的目标多媒体资源以及与问题信息匹配的答案信息。
其中，答案信息为目标多媒体资源的内容信息。
步骤203、向终端发送目标多媒体资源和答案信息。
其中，目标多媒体资源和答案信息用于显示在搜索界面中。
本公开实施例提供了一种基于搜索的问答方法，能够将搜索场景与智能问答场景融合起来，提供了基于搜索场景的问答功能，用户能够直观的查看该问题信息对应的答案信息以及多媒体资源，提高了信息量，提高了人机交互效率，满足了用户的搜索需求，提高了搜索效果，提高了获取的答案信息的准确率。
图3是根据一示例性实施例示出的一种基于搜索的问答方法的流程图，该方法由终端执行，参见图3，该方法包括：
步骤301、获取搜索界面中输入的问题信息。
步骤302、向服务器发送携带问题信息的搜索请求。
步骤303、接收服务器的答案信息和目标多媒体资源，该答案信息与问题信息匹配，该目标多媒体资源与问题信息匹配，该答案信息为目标多媒体资源的内容信息。
步骤304、在搜索界面中显示目标多媒体资源和答案信息。
本公开实施例提供了一种基于搜索的问答方法，能够将搜索场景与智能问答场景融合起来，提供了基于搜索场景的问答功能，用户能够直观的查看该问题信息对应的答案信息以及多媒体资源，提高了信息量，提高了人机交互效率，满足了用户的搜索需求，提高了搜索效果，提高了获取的答案信息的准确率。
图4是根据一示例性实施例示出的一种基于搜索的问答方法的流程图，参见图4，该方法包括：
步骤401、终端获取搜索界面中输入的问题信息。
本公开实施例中，用户在终端显示的搜索界面中输入问题信息，终端获取用户在搜索界面中输入的问题信息，基于该问题信息进行搜索，以显示与该问题信息匹配的目标多媒体资源和答案信息。
其中，该搜索界面为目标应用的界面。该目标应用为视频应用、音频应用或者其他类型的应用。并且，该目标应用具有多种功能，例如，分享功能、搜索功能、智能问答功能、推荐功能等。
下面以该目标应用为视频应用为例进行说明。该视频应用具有视频分享功能、视频搜索功能、基于视频搜索的问答功能、视频推荐功能等。
其中，终端基于用户标识登录该视频应用，用户能够使用该视频应用中的任一功能。该用户标识为用户的手机号码、用户昵称、用户账号或者其他标识。
例如，用户使用终端拍摄了一段风景视频，将该风景视频上传到基于用户标识登录的视频应用中，进而将该风景视频分享给其他用户。
或者，用户需要观看固定类型的视频，采用该视频应用的视频搜索功能，搜索得到与搜索信息匹配的视频，进而观看搜索得到的视频。
或者，用户需要查询一个问题的答案，采用基于视频搜索的问答功能，搜索得到与问题信息匹配的答案信息和目标视频。
或者，该视频应用还能基于用户的历史播放记录，自动获取与用户的兴趣关联的其他视频，将获取的视频推荐给用户。
在一些实施例中，该搜索界面包括搜索框，用户在该搜索框中输入问题信息，终端从该搜索框中获取用户输入的问题信息。
例如，用户在该搜索框中输入语音信息，终端对该语音信息进行语音识别，得到该语音信息对应的文本信息，将该文本信息确定为问题信息。或者，用户在该搜索框中输入文本信息，终端将获取的文本信息确定为问题信息。
步骤402、终端向服务器发送携带问题信息的搜索请求。
步骤403、服务器接收终端的搜索请求。
其中，该搜索请求包括问题信息，终端向服务器发送该搜索请求，从而服务器能够基于该搜索请求中的问题信息进行搜索。
步骤404、服务器基于该问题信息进行搜索，得到至少一个候选多媒体资源。
在本公开实施例中，服务器基于该问题信息进行搜索，以得到与该问题信息匹配的目标多媒体资源以及位于该目标多媒体资源中的答案信息，其中，位于该目标多媒体资源中的答案信息，也即是，属于该目标多媒体资源的答案信息，该答案信息为该目标多媒体资源的内容信息，该答案信息与该问题信息匹配。
服务器获取到问题信息后，基于该问题信息进行搜索，能够得到与该问题信息匹配的至少一个候选多媒体资源。其中，候选多媒体资源包括与问题信息匹配的信息，也即是，候选多媒体资源包括与问题信息关联的信息，候选多媒体资源与问题信息匹配是指候选多媒体资源包括与问题信息关联的信息，例如，候选多媒体资源与问题信息匹配是指：候选多媒体资源对应的文本信息和问题信息包括相同的词语。在确定候选多媒体资源后，基于候选多媒体资源，获取与问题信息匹配的答案信息。
在一些实施例中，对问题信息进行分词，得到至少一个第一词语；基于每个第一词语进行搜索，得到与每个第一词语对应存储的多媒体资源；将搜索得到的至少一个多媒体资源确定为候选多媒体资源。例如，对问题信息进行分词，得到词语1和词语2；基于词语1进行搜索，得到与词语1对应存储的多媒体资源A和多媒体资源B；基于词语2进行搜索，得到与词语2对应存储的多媒体资源C，则多媒体资源A、多媒体资源B和多媒体资源C均为候选多媒体资源。
在一些实施例中，为了基于问题信息搜索候选多媒体资源，需要先将词语与多媒体资源对应存储，进而基于已对应存储的词语和多媒体资源搜索候选多媒体资源。也即是，在步骤404之前，参见图5，该方法由服务器执行，还包括步骤501-504：
步骤501、获取至少一个多媒体资源。
其中，多媒体资源为用户上传的资源。在每一次任一用户上传一个多媒体资源的情况下，获取该用户上传的多媒体资源。在多个用户均上传多媒体资源的情况下，获取多个多媒体资源。或者，该多媒体资源为从数据库中获取的资源，该数据库存储有多个多媒体资源，在需要获取多媒体资源的情况下，从该数据库中获取至少一个多媒体资源。或者，该多媒体资源为已存储的资源，终端获取多个多媒体资源并存储，以便从已存储的多个多媒体资源中，获取至少一个多媒体资源。
步骤502、对至少一个多媒体资源进行语音识别，得到每个多媒体资源对应的文本信息。
其中，每个多媒体资源包括音频信息，基于语音识别技术，识别每个多媒体资源中的音频信息，得到每个多媒体资源对应的文本信息。
在一些实施例中，该语音识别技术为ASR(Automatic Speech Recognition，自动语音识别)技术，语音识别技术是以基于语音学和声学的方法、随机模型法、基于神经网络的方法或概率语言分析法为基础实现的。
需要说明的是，上述步骤502为可选步骤，是以对多媒体资源进行语音识别为例进行说明的。在另一些实施例中，也可以从每个多媒体资源中提取文本，得到每个多媒体资源的文本信息。
在一些实施例中，获取每个多媒体资源包括的多张图像，提取每张图像中的文字，得到每张图像的文本信息，每张图像的文本信息也即是图像所属的多媒体资源的文本信息。
步骤503、对每个多媒体资源对应的文本信息进行分词，得到至少一个第二词语。
其中，分词的过程包括对多媒体资源对应的文本信息进行词语划分的过程。在一些实施例中，分词的过程还包括标注词语的词性的过程。在一些实施例中，基于正向最大匹配法、反向最大匹配法、最短路径分词法、机器学习法或统计分词法，对文本信息进行分词。
步骤504、对应存储得到的每个第二词语与每个第二词语所属的多媒体资源。
对至少一个多媒体资源进行分词，能够得到至少一个第二词语，进而确定每个第二词语所属的多媒体资源，对应存储每个第二词语与每个第二词语所属的多媒体资源。其中，第二词语所属的多媒体资源对应的文本信息包括该第二词语，一个第二词语属于一个或多 个多媒体资源，一个第二词语与该第二词语所属的多媒体资源对应存储。例如，多媒体资源A对应的文本信息包括词语1和词语2，多媒体资源B对应的文本信息包括词语2，那么，对应存储词语1与词语1对应的至少一个多媒体资源，词语1对应的至少一个多媒体资源包括多媒体资源A；对应存储词语2与词语2对应的至少一个多媒体资源，词语2对应的至少一个多媒体资源包括多媒体资源A和多媒体资源B。在对应存储每个第二词语与每个第二词语所属的多媒体资源后，即可基于已对应存储的词语与多媒体资源，搜索任一词语所属的至少一个多媒体资源。
在一些实施例中，服务器构建倒排索引库，在倒排索引库中存储每个第二词语与每个第二词语所属的多媒体资源。在倒排索引库中，一个第二词语为一个索引，一个索引对应至少一个多媒体资源。
以多媒体资源为短视频为例，倒排索引库的构建过程如图6所示，首先对短视频进行语音识别，得到每个短视频的文本信息，再对每个短视频的文本信息进行分词，得到至少一个第二词语，基于每个第二词语所属的短视频建立倒排索引库。其中，短视频为持续时长不超过预设时长的视频。该预设时长由终端设置、或者由服务器设置，或者采用其他方式设置。该预设时长为20秒、25秒、30秒或者其他数值。
需要说明的是，步骤501-504能够重复执行，以更新对应存储的词语与多媒体资源，保证每个词语对应的多媒体资源更全面。
本公开实施例提供的方案，预先对应存储每个词语和所属的多媒体资源，后续即可通过搜索的方式获取与问题信息匹配的至少一个候选多媒体资源，提高了候选多媒体资源的获取效率，并且，在对应存储每个词语和所属的多媒体资源的过程中，考虑了多媒体资源中的文本信息，提高了信息量，进而能够提高后续搜索的准确率。
步骤405、服务器分别获取至少一个候选多媒体资源的内容信息。
其中，候选多媒体资源的内容信息为从该候选多媒体资源中提取的信息。
在一些实施例中，获取问题信息所属的问题类型，基于该问题类型对应的处理方式，分别获取至少一个候选多媒体资源的内容信息。其中，问题类型包括指定类型或非指定类型，指定类型是指具有固定答案信息的问题类型。
由于每个问题信息均具有所属的问题类型，不同问题信息可能对应不同的问题类型，因此先确定问题信息所属的问题类型，再基于该问题类型对应的处理方式，分别获取至少一个候选多媒体资源的内容信息。
在一些实施例中，采用下述方式来获取问题信息所属的问题类型：调用分类模型对问题信息进行分类，得到问题信息所属的问题类型。
在本公开实施例中，在调用分类模型获取问题信息所属的问题类型之前，还对该分类模型进行训练，得到训练后的分类模型，调用训练后的分类模型获取问题信息所属的问题类型。
在训练分类模型的过程中，获取样本问题信息和样本问题信息所属的样本问题类型，将样本问题信息输入到分类模型中，得到分类模型输出的样本问题信息的训练问题类型，将样本问题信息所属的样本问题类型和训练问题类型进行对比，基于对比结果，调整分类模型，得到训练后的分类模型。
在一些实施例中，对于不同问题类型的问题信息，从候选多媒体资源中获取内容信息的方式包括以下两种：
(1)在问题信息所属的问题类型为非指定类型的情况下，从每个候选多媒体资源对应的文本信息中，获取连续的参考数量的语句信息，组合参考数量的语句信息，得到每个候选多媒体资源的内容信息。
在问题信息所属的问题类型为非指定类型的情况下，该问题信息具有非固定答案信息，也即是该问题信息的答案信息包括多种，在这种情况下，对每个候选多媒体资源中的语句信息进行拼接，得到内容信息，该内容信息即为与问题信息关联的信息。也即是，从一个候选多媒体资源对应的文本信息中，获取连续的参考数量的语句信息，组合该参考数量的语句信息，得到该候选多媒体资源的内容信息；从另一候选多媒体资源对应的文本信息中，获取连续的参考数量的语句信息，组合该参考数量的语句信息，得到该另一候选多媒体资源的内容信息，以此类推。
其中，参考数量由终端设置、或者由操作人员设置、或者为默认数值，或者采用其他方式设置。例如，该参考数量为2、3、4或者其他数值。
(2)在问题信息所属的问题类型为指定类型的情况下，对每个候选多媒体资源对应的文本信息进行识别，得到每个候选多媒体资源的内容信息。
在问题信息所属的问题类型为指定类型的情况下，该问题信息对应固定答案信息，也即是该问题信息的答案信息包括一种，在该情况下，候选多媒体资源包括与该问题信息匹配的固定答案信息，对候选多媒体资源进行识别，能够得到答案信息，因此，对每个候选多媒体资源对应的文本信息进行识别，从每个候选多媒体资源中识别出与问题信息关联的内容信息。也即是，对一个候选多媒体资源对应的文本信息进行识别，得到该候选多媒体 资源的内容信息；对另一候选多媒体资源对应的文本信息进行识别，得到该另一候选多媒体资源的内容信息。
在一些实施例中，采用阅读理解技术对候选多媒体资源对应的文本信息进行识别，得到候选多媒体资源的内容信息。
在一些实施例中，在问题信息所属的问题类型为指定类型的情况下，还能够进一步确定指定类型对应的问题信息是属于实体指定类型，还是属于数字指定类型。
其中，该数字指定类型为问题信息的答案信息为数字的类型，也即是，数字指定类型用于指示问题信息的答案信息为数字。该实体指定类型为问题信息的答案信息为实体的类型，也即是，实体指定类型用于指示问题信息的答案信息为实体。其中，实体包括人名、地名或者机构名等。
在问题信息所属的问题类型为数字指定类型的情况下，调用数字抽取器，对候选多媒体资源对应的文本信息进行识别，得到该候选多媒体资源的内容信息，也即是，在问题信息所属的问题类型为数字指定类型的情况下，调用数字抽取器，对每个候选多媒体资源对应的文本信息进行识别，得到每个候选多媒体资源的内容信息。
在问题信息所属的问题类型为实体指定类型的情况下，调用实体抽取器，对候选多媒体资源对应的文本信息进行识别，得到该候选多媒体资源的内容信息，也即是，在问题信息所属的问题类型为实体指定类型的情况下，调用实体抽取器，对每个候选多媒体资源对应的文本信息进行识别，得到每个候选多媒体资源的内容信息。
其中，本公开实施例中的抽取器为基于阅读理解技术的抽取器。
步骤406、服务器从获取到的至少一个内容信息中，获取与问题信息匹配的答案信息。
通过上述步骤获取到候选多媒体资源的内容信息后，从获取到的至少一个内容信息中，获取与问题信息匹配的内容信息，将该内容信息作为与问题信息匹配的答案信息。其中，内容信息与问题信息匹配是指该内容信息是解答该问题信息的答案；答案信息与问题信息匹配也是指该答案信息是解答该问题信息的答案。
在本公开实施例中，获取内容信息与问题信息的匹配度，进而基于内容信息与问题信息的匹配度，确定与该问题信息匹配的答案信息。
在一些实施例中，从获取到的至少一个内容信息中，获取与问题信息匹配的答案信息的步骤如下：获取问题信息与每个内容信息的第一匹配度，基于问题信息与每个内容信息的第一匹配度，从至少一个内容信息中，获取与问题信息匹配的答案信息。其中，答案信 息与问题信息的第一匹配度大于其他内容信息与问题信息的第一匹配度，其他内容信息是指上述至少一个内容信息中除该答案信息之外的内容信息。
在一些实施例中，按照每个内容信息与问题信息的第一匹配度进行排序，按照排列顺序获取预设数量的内容信息，将该预设数量的内容信息确定为与问题信息匹配的答案信息。其中，该预设数量由终端设置，或者由操作人员设置，或者采用其他方式设置。例如，该预设数量为1、2、3或者其他数值。
在一些实施例中，基于每个内容信息与问题信息的第一匹配度，获取第一匹配度大于预设匹配度的内容信息，将获取到的内容信息确定为与问题信息匹配的答案信息。其中，该预设匹配度由终端设置，或者由操作人员设置，或者采用其他方式设置。例如，该预设匹配度为0.8、0.9或者其他数值。
另外，在本公开实施例中，基于每个内容信息与问题信息的第一匹配度，确定答案信息，而确定每个内容信息与问题信息的第一匹配度包括以下两种情况中的任一种：
(1)在该问题信息所属的问题类型为非指定类型的情况下，基于该非指定类型对应的处理方式获取到内容信息后，调用匹配模型，获取每个内容信息与问题信息的第一匹配度。
例如，如图7所示，在问题信息所属的问题类型为非指定类型的情况下，拼接候选多媒体资源对应的文本信息中连续的参考数量的语句信息，得到内容信息；获取每个内容信息与问题信息的第一匹配度；按照每个内容信息与问题信息的第一匹配度，对内容信息进行排序，以确定与问题信息匹配的答案信息。
在一些实施例中，在调用匹配模型前，先对该匹配模型进行训练，调用训练后的匹配模型，获取内容信息与问题信息的第一匹配度。在训练过程中，获取样本问题信息、样本问题信息对应的样本答案信息以及样本问题信息与样本答案信息的样本匹配度；将样本问题信息和对应的样本答案信息输入到匹配模型中；获取匹配模型输出的样本问题信息和对应的样本答案信息的预测匹配度；基于预测匹配度和样本匹配度的差值，调整匹配模型，得到训练后的匹配模型。
(2)在该问题信息所属的问题类型为非指定类型的情况下，在对多媒体资源进行识别的过程中，能够获取到每个内容信息与问题信息的第一匹配度。
例如，如图8所示，在问题信息所属的问题类型为指定类型的情况下，基于问题类型，确定抽取器；调用该抽取器进行内容抽取，也即是，抽取候选多媒体资源对应的文本信息 中的内容信息，并且在抽取过程中，确定每个内容信息与问题信息的第一匹配度，按照内容信息与问题信息的第一匹配度进行排序，以确定与问题信息匹配的答案信息。
在一些实施例中，从获取到的至少一个内容信息中，获取与问题信息匹配的答案信息的步骤如下：获取每个内容信息与问题信息的第一匹配度；获取每个候选多媒体资源对应的文本信息与问题信息的第二匹配度；基于每个内容信息对应的第一匹配度，以及每个候选多媒体资源对应的第二匹配度，从至少一个内容信息中，获取与问题信息匹配的答案信息。其中，一个内容信息对应的第一匹配度是指该内容信息与问题信息的第一匹配度；一个候选多媒体资源对应的第二匹配度，也即是，该候选多媒体资源对应的文本信息与问题信息的第二匹配度。
在一些实施例中，上述基于每个内容信息对应的第一匹配度，以及每个候选多媒体资源对应的第二匹配度，从至少一个内容信息中，获取与问题信息匹配的答案信息的步骤包括：基于每个内容信息对应的第一匹配度，以及每个内容信息所属的候选多媒体资源对应的第二匹配度，确定每个内容信息对应的第三匹配度；基于每个内容信息对应的第三匹配度，从至少一个内容信息中，获取与问题信息匹配度答案信息。其中，一个内容信息对应一个第一匹配度，该第一匹配度是指该内容信息与问题信息的匹配度；一个内容信息对应一个第二匹配度，该第二匹配度是指该内容信息所属的候选多媒体资源对应的文本信息与问题信息的匹配度。
在一些实施例中，通过确定内容信息对应的第一匹配度和该内容信息对应的第二匹配度的乘积，得到该内容信息对应的第三匹配度；基于每个内容信息对应的第三匹配度，从至少一个内容信息中，获取与问题信息匹配的答案信息。其中，答案信息与问题信息的第三匹配度大于其他内容信息与问题信息的第三匹配度，其他内容信息是指至少一个内容信息中除答案信息之外的内容信息。
在一些实施例中，按照内容信息与问题信息的第三匹配度进行排序，按照排列顺序获取预设数量的内容信息，将该预设数量的内容信息确定为与问题信息匹配的答案信息。其中，该预设数量由终端设置，或者由操作人员设置，或者采用其他方式设置。例如，该预设数量为1、2、3或者其他数值。
在一些实施例中，基于内容信息与问题信息的第三匹配度，获取第三匹配度大于预设匹配度的内容信息，将获取到的内容信息确定为与问题信息匹配的答案信息。其中，该预设匹配度由终端设置，或者由操作人员设置，或者采用其他方式设置。例如，该预设匹配度为0.8、0.9或者其他数值。
在本公开实施例中，不仅考虑了内容信息与问题信息的匹配度，还考虑了内容信息所属的候选多媒体资源与问题信息的匹配度，结合上述两种匹配度，得到第三匹配度，能够使第三匹配度更准确的表示多媒体资源与问题信息在搜索问答方面的匹配度，提高第三匹配度的准确性，进而基于第三匹配度确定答案信息，能够提高确定答案信息的准确率。
步骤407、服务器将答案信息对应的多媒体资源，确定为与问题信息匹配的目标多媒体资源。
在本公开实施例中，答案信息为多媒体资源的内容信息，也即是，答案信息与多媒体资源对应，答案信息为该答案信息对应的多媒体资源的内容信息。在确定与问题信息匹配的答案信息后，获取答案信息对应的多媒体资源，将答案信息对应的多媒体资源，确定为问题信息匹配的目标多媒体资源。其中，目标多媒体资源与问题信息匹配，也即是，该目标多媒体资源包括用于解答该问题信息的内容信息，该目标多媒体资源包括用于解答该问题信息的答案。
步骤408、服务器向终端发送目标多媒体资源和答案信息。
步骤409、终端接收服务器的目标多媒体资源和答案信息。
其中，目标多媒体资源与问题信息匹配，答案信息与问题信息匹配，且答案信息为目标多媒体资源的内容信息。
步骤410、终端在搜索界面中显示目标多媒体资源和答案信息。
终端能够接收服务器发送的目标多媒体资源和答案信息，且该目标多媒体资源和答案信息均与问题信息匹配，在接收到问题信息对应的目标多媒体资源和答案信息后，在搜索界面中显示目标多媒体资源和答案信息。
其中，答案信息为目标多媒体资源的内容信息，也即是，目标多媒体资源与答案信息为对应关系，相应的，在搜索界面中，对应显示目标多媒体资源和答案信息。
例如，如图9所示，在该搜索界面中，显示目标多媒体资源，还在每个目标多媒体资源中，显示与问题信息匹配的答案信息。另外，参见图9，该搜索界面的顶部还显示有搜索框，该搜索框中显示有用户输入的问题信息。
在一些实施例中，在搜索界面中显示目标多媒体资源和答案信息的步骤如下：在目标多媒体资源的上层，悬浮显示答案信息。
在一些实施例中，在搜索界面中显示目标多媒体资源时，还在该目标多媒体资源上显示悬浮框，在该悬浮框中显示答案信息，以告知用户与问题信息匹配的答案信息，并且还能够供用户查看与问题信息匹配的目标多媒体资源。
例如，如图10所示，搜索界面中显示有目标多媒体资源A和目标多媒体资源B，并且，目标多媒体资源A的上层悬浮显示有答案信息，目标多媒体资源B的上层也悬浮显示有答案信息。
在一些实施例中，在搜索界面中显示目标多媒体资源和答案信息的步骤如下：在目标多媒体资源的简介区域中，显示答案信息。搜索界面中显示有目标多媒体资源，该搜索界面还包括该目标多媒体资源的简介区域，在该简介区域中，显示答案信息，以实现在显示目标多媒体资源的同时，显示答案信息。其中，该简介区域包括目标多媒体资源的简介信息。例如，该简介区域包括目标多媒体资源的标题、目标多媒体资源的内容概述以及问题信息的答案信息等。
例如，如图11所示，搜索界面中显示有目标多媒体资源A和目标多媒体资源B，并且，目标多媒体资源A的上方显示有简介区域1，在该简介区域1中显示答案信息，并且，目标多媒体资源B的上方显示有简介区域2，在简介区域2中显示答案信息。
需要说明的是，本公开实施例是以显示目标多媒体资源和答案信息为例进行说明的。在另一些实施例中，服务器还能够基于问题信息进行搜索，得到与问题信息匹配的目标多媒体资源以及与问题信息匹配的第一答案信息；获取问题信息的主体信息，组合主体信息与第一答案信息，得到第二答案信息；服务器向终端发送目标多媒体资源和第二答案信息；终端接收目标多媒体资源和第二答案信息，在搜索界面中，显示目标多媒体资源和第二答案信息。
其中，第一答案信息为目标多媒体资源的内容信息，主体信息用于指示问题信息的主语部分和谓语部分。例如，问题信息为“张三今年多少岁”，第一答案信息为“22岁”，则将问题信息的主体信息和第一答案信息进行拼接，得到第二答案信息：张三今年22岁。
例如，如图12所示，分析用户输入的问题信息，得到至少一个第一词语；基于至少一个第一词语进行倒排召回，得到至少一个候选多媒体资源；确定问题信息属于非指定类型还是指定类型；基于问题信息所属的信息类型，遍历每个候选多媒体资源，从每个候选多媒体资源中抽取内容信息；对得到的至少一个内容信息进行排序，按照内容信息的排列顺序，从至少一个内容信息中，确定答案信息；确定该答案信息所属的目标多媒体资源；显示答案信息和目标多媒体资源。
本公开实施例提供了一种基于搜索的问答方法，能够将搜索场景与智能问答场景融合起来，提供了基于搜索场景的问答功能，提高了信息量，提高了人机交互效率，满足了用户的搜索需求，提高了搜索效果，提高了获取的答案信息的准确率。
并且，本公开实施例充分考虑了每个与问题信息关联的多媒体资源，提高了获取答案信息所基于的资源与问题信息的关联程度，并且，提高了选取答案信息所基于的信息量，进而提高了获取答案信息和目标多媒体资源的准确率。
图13是根据一示例性实施例示出的一种基于搜索的问答装置的结构示意图。参见图13，该装置包括：
请求接收单元1301，被配置为接收终端的搜索请求，搜索请求携带终端的搜索界面中输入的问题信息；
搜索单元1302，被配置为基于问题信息进行搜索，得到与问题信息匹配的目标多媒体资源以及与问题信息匹配的答案信息，且答案信息为目标多媒体资源的内容信息；
信息发送单元1303，被配置为向终端发送目标多媒体资源和答案信息，目标多媒体资源和答案信息用于显示在搜索界面中。
本公开实施例提供了一种基于搜索的问答装置，能够将搜索场景与智能问答场景融合起来，提供了基于搜索场景的问答功能，用户能够直观的查看该问题信息对应的答案信息以及多媒体资源，提高了信息量，提高了人机交互效率，满足了用户的搜索需求，提高了搜索效果，提高了获取的答案信息的准确率。
在一些实施例中，参见图14，搜索单元1302，包括：
搜索子单元13021，被配置为基于问题信息进行搜索，得到至少一个候选多媒体资源；
内容获取子单元13022，被配置为分别获取至少一个候选多媒体资源的内容信息；
答案获取子单元13023，被配置为从获取到的至少一个内容信息中，获取与问题信息匹配的答案信息；
确定子单元13024，被配置为将答案信息对应的多媒体资源，确定为与问题信息匹配的目标多媒体资源。
在一些实施例中，搜索子单元13021，被配置为：对问题信息进行分词，得到至少一个第一词语；基于每个第一词语进行搜索，得到与每个第一词语对应存储的候选多媒体资源。
在一些实施例中，参见图14，该装置还包括：
识别单元1304，被配置为对至少一个多媒体资源进行语音识别，得到每个多媒体资源对应的文本信息；
分词单元1305，被配置为对每个多媒体资源对应的文本信息进行分词，得到至少一个第二词语；
存储单元1306，被配置为对应存储得到的每个第二词语与每个第二词语所属的多媒体资源。
在一些实施例中，答案获取子单元13023，被配置为：获取问题信息与每个内容信息的第一匹配度；基于问题信息与每个内容信息的第一匹配度，从至少一个内容信息中，获取与问题信息匹配的答案信息。
在一些实施例中，答案获取子单元13023，被配置为：获取问题信息与每个内容信息的第一匹配度；获取每个候选多媒体资源对应的文本信息与问题信息的第二匹配度；基于每个内容信息对应的第一匹配度，以及每个候选多媒体资源对应的第二匹配度，从至少一个内容信息中，获取与问题信息匹配的答案信息。
在一些实施例中，答案获取子单元13023，被配置为：基于每个内容信息对应的第一匹配度，以及每个内容信息所属的候选多媒体资源对应的第二匹配度，确定每个内容信息对应的第三匹配度；基于每个内容信息对应的第三匹配度，从至少一个内容信息中，获取与问题信息匹配的答案信息
在一些实施例中，内容获取子单元13022，还被配置为：获取问题信息所属的问题类型，问题类型包括指定类型或非指定类型，指定类型是指具有固定答案信息的问题类型；基于问题类型对应的处理方式，分别获取至少一个候选多媒体资源的内容信息。
在一些实施例中，内容获取子单元13022，被配置为调用分类模型对问题信息进行分类，得到问题信息所属的问题类型。
在一些实施例中，内容获取子单元13022，被配置为：在问题信息所属的问题类型为非指定类型的情况下，从每个候选多媒体资源对应的文本信息中，获取连续的参考数量的语句信息，组合参考数量的语句信息，得到每个候选多媒体资源的内容信息。
在一些实施例中，内容获取子单元13022，被配置为：在问题信息所属的问题类型为指定类型的情况下，对每个候选多媒体资源对应的文本信息进行识别，得到每个候选多媒体资源的内容信息。
在一些实施例中，指定类型包括数字指定类型，数字指定类型用于指示问题信息的答案信息为数字；内容获取子单元13022，被配置为：在问题信息所属的问题类型为数字指定类型的情况下，调用数字抽取器，对每个候选多媒体资源对应的文本信息进行识别，得到每个候选多媒体资源的内容信息。
在一些实施例中，指定类型包括实体指定类型，实体指定类型用于指示问题信息的答案信息为实体；内容获取子单元13022，被配置为：在问题信息所属的问题类型为实体指定类型的情况下，调用实体抽取器，对每个候选多媒体资源对应的文本信息进行识别，得到每个候选多媒体资源的内容信息。
在一些实施例中，搜索单元1302，被配置为：基于问题信息进行搜索，得到与问题信息匹配的目标多媒体资源以及与问题信息匹配的第一答案信息，第一答案信息为目标多媒体资源的内容信息；获取问题信息的主体信息，主体信息用于指示问题信息的主语部分和谓语部分；组合主体信息与第一答案信息，得到第二答案信息；
信息发送单元1303，被配置为向终端发送目标多媒体资源和第二答案信息。
关于上述实施例中的装置，其中各个单元执行操作的方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图15是根据一示例性实施例示出的一种基于搜索的问答装置的结构示意图。参见图15，该装置包括：
获取单元1501，被配置为获取搜索界面中输入的问题信息；
发送单元1502，被配置为向服务器发送携带问题信息的搜索请求；
接收单元1503，被配置为接收服务器的答案信息和目标多媒体资源，答案信息与问题信息匹配，目标多媒体资源与问题信息匹配，答案信息为目标多媒体资源的内容信息；
显示单元1504，被配置为在搜索界面中显示目标多媒体资源和答案信息。
在一些实施例中，显示单元1504，被配置为在目标多媒体资源的上层，悬浮显示答案信息；或者，
显示单元1504，被配置为在目标多媒体资源的简介区域中，显示答案信息。
图16是根据一示例性实施例示出的一种终端的框图。该终端1600是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1600包括有：一个或多个处理器1601和一个或多个存储器1602。
处理器1601包括一个或多个处理核心，比如4核心处理器、8核心处理器等。在一些实施例中，处理器1601采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。在一些实施例中，处理器1601包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1601集成有GPU(Graphics Processing Unit，数据推荐器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。在一些实施例中，处理器1601还包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1602包括一个或多个计算机可读存储介质，在一些实施例中，该计算机可读存储介质是非暂态的。在一些实施例中，存储器1602还包括易失性存储器或非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1602中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1601所具有以实现本公开中方法实施例提供的基于搜索的问答方法。
在一些实施例中，终端1600还可选包括有：外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间通过总线或信号线相连。各个外围设备通过总线、信号线或电路板与外围设备接口1603相连。在一些实施例中，外围设备包括：射频电路1604、显示屏1605、摄像头组件1606、音频电路1607、定位组件1608和电源1609中的至少一种。
外围设备接口1603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1602。在一些实施例中，处理器1601、存储器1602和外围设备接口1603被集成在同一芯片或电路板上；在一些其他实施例中，处理器1601、存储器1602和外围设备接口1603中的任意一个或两个在单独的芯片或电路板上实现，本公开实施例对此不加以限定。
射频电路1604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。在一些实施例中，射频电路1604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604通过至少一种无 线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1604还包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏1605用于显示UI(User Interface，用户界面)。该UI包括图形、文本、图标、视频及其它们的任意组合。在一些实施例中，显示屏1605是触摸显示屏，显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号作为控制信号输入至处理器1601进行处理。此时，显示屏1605还用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1605为一个，设置终端1600的前面板；在另一些实施例中，显示屏1605为至少两个，分别设置在终端1600的不同表面或呈折叠设计；在另一些实施例中，显示屏1605是柔性显示屏，设置在终端1600的弯曲表面上或折叠面上。甚至，显示屏1605还可以设置成非矩形的不规则图形，也即异形屏。在一些实施例中，显示屏1605采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1606用于采集图像或视频。在一些实施例中，摄像头组件1606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1606还包括闪光灯。闪光灯为单色温闪光灯或双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，用于不同色温下的光线补偿。
音频电路1607包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1601进行处理，或者输入至射频电路1604以实现语音通信。在一些实施例中，出于立体声采集或降噪的目的，麦克风为多个，分别设置在终端1600的不同部位。在一些实施例中，麦克风为阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器是传统的薄膜扬声器，或者，是压电陶瓷扬声器。在扬声器是压电陶瓷扬声器的情况下，不仅能够将电信号转换为人类可听见的声波，也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1607还包括耳机插孔。
定位组件1608用于定位终端1600的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1608是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1609用于为终端1600中的各个组件进行供电。电源1609是交流电、直流电、一次性电池或可充电电池。在一些实施例中，电源1609包括可充电电池，该可充电电池支持有线充电或无线充电。该可充电电池还支持快充技术。
在一些实施例中，终端1600还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于：加速度传感器1611、陀螺仪传感器1612、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。
加速度传感器1611用于检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1611用于检测重力加速度在三个坐标轴上的分量。处理器1601根据加速度传感器1611采集的重力加速度信号，控制显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还用于游戏或者用户的运动数据的采集。
陀螺仪传感器1612用于检测终端1600的机体方向及转动角度，陀螺仪传感器1612与加速度传感器1611协同采集用户对终端1600的3D动作。处理器1601根据陀螺仪传感器1612采集的数据，能够实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1613设置在终端1600的侧边框和/或显示屏1605的下层。在压力传感器1613设置在终端1600的侧边框的情况下，能够检测用户对终端1600的握持信号，由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。在压力传感器1613设置在显示屏1605的下层的情况下，由处理器1601根据用户对显示屏1605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1614用于采集用户的指纹，由处理器1601根据指纹传感器1614采集到的指纹识别用户的身份，或者，由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1601授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614被设置终端1600的正面、背面或侧面。在一些实施例中，终端1600上设置有物理按键或厂商Logo，指纹传感器1614与物理按键或厂商标志集成在一起。
光学传感器1615用于采集环境光强度。在一些实施例中，处理器1601根据光学传感器1615采集的环境光强度，控制显示屏1605的显示亮度。在一些实施例中，在环境光强度较高的情况下，调高显示屏1605的显示亮度；在环境光强度较低的情况下，调低显示屏1605的显示亮度。在另一些实施例中，处理器1601还根据光学传感器1615采集的环境光强度，动态调整摄像头组件1606的拍摄参数。
接近传感器1616，也称距离传感器，通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中，在接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小的情况下，由处理器1601控制显示屏1605从亮屏状态切换为息屏状态；在接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变大的情况下，由处理器1601控制显示屏1605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图16中示出的结构并不构成对终端1600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本公开的实施例提供了一种终端，该终端包括：一个或多个处理器；用于存储一个或多个处理器可执行命令的易失性或非易失性存储器；其中，一个或多个处理器被配置为执行可执行指令，实现以下步骤：获取搜索界面中输入的问题信息；向服务器发送携带问题信息的搜索请求；接收服务器的答案信息和目标多媒体资源，答案信息与问题信息匹配，目标多媒体资源与问题信息匹配，答案信息为目标多媒体资源的内容信息；在搜索界面中显示目标多媒体资源和答案信息。
在一些实施例中，终端的一个或多个处理器被配置为可执行指令，以实现上述方法实施例中终端所执行的步骤。
本公开实施例提供了一种非临时性计算机可读存储介质，在存储介质中的程序代码由终端的处理器执行的情况下，使得终端能够执行以下步骤：获取搜索界面中输入的问题信息；向服务器发送携带问题信息的搜索请求；接收服务器的答案信息和目标多媒体资源，答案信息与问题信息匹配，目标多媒体资源与问题信息匹配，答案信息为目标多媒体资源的内容信息；在搜索界面中显示目标多媒体资源和答案信息。
在一些实施例中，在存储介质中的程序代码由终端的处理器执行的情况下，使得终端能够执行上述方法实施例中终端所执行的步骤。
在示例性实施例中，还提供了一种计算机程序产品，在计算机程序产品中的程序代码由终端的处理器执行的情况下，使得终端能够执行上述基于搜索的问答方法中终端所执行的步骤。
本公开实施例提供了一种计算机程序产品，在计算机程序产品中的程序代码由终端的处理器执行的情况下，使得终端能够执行以下步骤：获取搜索界面中输入的问题信息；向服务器发送携带问题信息的搜索请求；接收服务器的答案信息和目标多媒体资源，答案信息与问题信息匹配，目标多媒体资源与问题信息匹配，答案信息为目标多媒体资源的内容信息；在搜索界面中显示目标多媒体资源和答案信息。
在一些实施例中，在计算机程序产品中的程序代码由终端的处理器执行的情况下，使得终端能够执行上述方法实施例中终端所执行的步骤。
图17是根据一示例性实施例示出的一种服务器的结构示意图，该服务器1700可因配置或性能不同而产生比较大的差异，该服务器1700包括一个或一个以上处理器(Central Processing Units，CPU)1701和一个或一个以上的存储器1702，其中，存储器1702中存储有至少一条程序代码，至少一条程序代码由处理器1701加载并执行以实现上述各个方法实施例提供的方法。在一些实施例中，该服务器还具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，在一些实施例中，该服务器还包括其他用于实现设备功能的部件，在此不做赘述。
本公开的实施例提供了一种服务器，服务器包括：一个或多个处理器；用于存储一个或多个处理器可执行命令的易失性或非易失性存储器；其中，一个或多个处理器被配置为执行可执行指令，实现以下步骤：接收终端的搜索请求，搜索请求携带终端的搜索界面中输入的问题信息；基于问题信息进行搜索，得到与问题信息匹配的目标多媒体资源以及与问题信息匹配的答案信息，且答案信息为目标多媒体资源的内容信息；向终端发送目标多媒体资源和答案信息，目标多媒体资源和答案信息用于显示在搜索界面中。
在一些实施例中，服务器的一个或多个处理器被配置为可执行指令，以实现上述方法实施例中服务器所执行的步骤。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，在存储介质中的程序代码由服务器的处理器执行的情况下，使得服务器能够执行上述基于搜索的问答方法中服务器所执行的步骤。
本公开实施例提供了一种非临时性计算机可读存储介质，在存储介质中的程序代码由服务器的处理器执行的情况下，使得服务器能够执行以下步骤：接收终端的搜索请求，搜索请求携带终端的搜索界面中输入的问题信息；基于问题信息进行搜索，得到与问题信息匹配的目标多媒体资源以及与问题信息匹配的答案信息，且答案信息为目标多媒体资源的 内容信息；向终端发送目标多媒体资源和答案信息，目标多媒体资源和答案信息用于显示在搜索界面中。
在一些实施例中，在存储介质中的程序代码由服务器的处理器执行的情况下，使得服务器能够执行上述方法实施例中服务器所执行的步骤。
在示例性实施例中，还提供了一种计算机程序产品，在计算机程序产品中的程序代码由服务器的处理器执行的情况下，使得服务器能够执行上述基于搜索的问答方法中服务器所执行的步骤。
本公开实施例提供了一种计算机程序产品，在计算机程序产品中的程序代码由服务器的处理器执行的情况下，使得服务器能够执行以下步骤：接收终端的搜索请求，搜索请求携带终端的搜索界面中输入的问题信息；基于问题信息进行搜索，得到与问题信息匹配的目标多媒体资源以及与问题信息匹配的答案信息，且答案信息为目标多媒体资源的内容信息；向终端发送目标多媒体资源和答案信息，目标多媒体资源和答案信息用于显示在搜索界面中。
在一些实施例中，在计算机程序产品中的程序代码由服务器的处理器执行的情况下，使得服务器能够执行上述方法实施例中服务器所执行的步骤。
本公开所有实施例均可以单独被执行，也可以与其他实施例相结合被执行，均视为本公开要求的保护范围。

Claims (38)

  1. 一种基于搜索的问答方法，所述方法包括：
    接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
    基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
    向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
  2. 根据权利要求1所述的方法，其中，所述基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，包括：
    基于所述问题信息进行搜索，得到至少一个候选多媒体资源；
    分别获取所述至少一个候选多媒体资源的内容信息；
    从获取到的至少一个内容信息中，获取与所述问题信息匹配的所述答案信息；
    将所述答案信息对应的多媒体资源，确定为与所述问题信息匹配的所述目标多媒体资源。
  3. 根据权利要求2所述的方法，其中，所述基于所述问题信息进行搜索，得到至少一个候选多媒体资源，包括：
    对所述问题信息进行分词，得到至少一个第一词语；
    基于每个所述第一词语进行搜索，得到与每个所述第一词语对应存储的候选多媒体资源。
  4. 根据权利要求3所述的方法，其中，所述方法还包括：
    对至少一个多媒体资源进行语音识别，得到每个所述多媒体资源对应的文本信息；
    对每个所述多媒体资源对应的文本信息进行分词，得到至少一个第二词语；
    对应存储得到的每个所述第二词语与每个所述第二词语所属的多媒体资源。
  5. 根据权利要求2所述的方法，其中，所述从获取到的至少一个内容信息中，获取与所述问题信息匹配的所述答案信息，包括：
    获取所述问题信息与每个所述内容信息的第一匹配度；
    基于所述问题信息与每个所述内容信息的第一匹配度，从所述至少一个内容信息中，获取与所述问题信息匹配的答案信息。
  6. 根据权利要求2所述的方法，其中，所述从获取到的至少一个内容信息中，获取与所述问题信息匹配的所述答案信息，包括：
    获取所述问题信息与每个所述内容信息的第一匹配度；
    获取每个所述候选多媒体资源对应的文本信息与所述问题信息的第二匹配度；
    基于每个所述内容信息对应的第一匹配度，以及每个所述候选多媒体资源对应的第二匹配度，从所述至少一个内容信息中，获取与所述问题信息匹配的答案信息。
  7. 根据权利要求6所述的方法，其中，所述基于每个所述内容信息对应的第一匹配度，以及每个所述候选多媒体资源对应的第二匹配度，从所述至少一个内容信息中，获取与所述问题信息匹配的答案信息，包括：
    基于每个所述内容信息对应的第一匹配度，以及每个所述内容信息所属的候选多媒体资源对应的第二匹配度，确定每个所述内容信息对应的第三匹配度；
    基于每个所述内容信息对应的第三匹配度，从所述至少一个内容信息中，获取与所述问题信息匹配的答案信息。
  8. 根据权利要求2所述的方法，其中，所述分别获取所述至少一个候选多媒体资源的内容信息，包括：
    获取所述问题信息所属的问题类型，所述问题类型包括指定类型或非指定类型，所述指定类型是指具有固定答案信息的问题类型；
    基于所述问题类型对应的处理方式，分别获取所述至少一个候选多媒体资源的内容信息。
  9. 根据权利要求8所述的方法，其中，所述获取所述问题信息所属的问题类型，包括：
    调用分类模型对所述问题信息进行分类，得到所述问题信息所属的问题类型。
  10. 根据权利要求8所述的方法，其中，所述基于所述问题类型对应的处理方式，分别获取所述至少一个候选多媒体资源的内容信息，包括：
    在所述问题信息所属的问题类型为所述非指定类型的情况下，从每个所述候选多媒体资源对应的文本信息中，获取连续的参考数量的语句信息，组合所述参考数量的语句信息，得到每个所述候选多媒体资源的内容信息。
  11. 根据权利要求8所述的方法，其中，所述基于所述问题类型对应的处理方式，分别获取所述至少一个候选多媒体资源的内容信息，包括：
    在所述问题信息所属的问题类型为所述指定类型的情况下，对每个所述候选多媒体资源对应的文本信息进行识别，得到每个所述候选多媒体资源的内容信息。
  12. 根据权利要求8所述的方法，其中，所述指定类型包括数字指定类型，所述数字指定类型用于指示所述问题信息的答案信息为数字；
    所述基于所述问题类型对应的处理方式，分别获取所述至少一个候选多媒体资源的内容信息，包括：
    在所述问题信息所属的问题类型为所述数字指定类型的情况下，调用数字抽取器，对每个所述候选多媒体资源对应的文本信息进行识别，得到每个所述候选多媒体资源的内容信息。
  13. 根据权利要求8所述的方法，其中，所述指定类型包括实体指定类型，所述实体指定类型用于指示所述问题信息的答案信息为实体；
    所述基于所述问题类型对应的处理方式，分别获取所述至少一个候选多媒体资源的内容信息，包括：
    在所述问题信息所属的问题类型为所述实体指定类型的情况下，调用实体抽取器，对每个所述候选多媒体资源对应的文本信息进行识别，得到每个所述候选多媒体资源的内容信息。
  14. 根据权利要求1所述的方法，其中，所述基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，包括：
    基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的第一答案信息，所述第一答案信息为所述目标多媒体资源的内容信息；
    获取所述问题信息的主体信息，所述主体信息用于指示所述问题信息的主语部分和谓语部分；
    组合所述主体信息与所述第一答案信息，得到第二答案信息；
    所述向所述终端发送所述目标多媒体资源和所述答案信息，包括：向所述终端发送所述目标多媒体资源和所述第二答案信息。
  15. 一种基于搜索的问答方法，所述方法包括：
    获取搜索界面中输入的问题信息；
    向服务器发送携带所述问题信息的搜索请求；
    接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
    在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
  16. 根据权利要求15所述的方法，其中，所述在所述搜索界面中显示所述目标多媒体资源和所述答案信息，包括：
    在所述目标多媒体资源的上层，悬浮显示所述答案信息；或者，
    在所述目标多媒体资源的简介区域中，显示所述答案信息。
  17. 一种基于搜索的问答装置，所述装置包括：
    请求接收单元，被配置为接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
    搜索单元，被配置为基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
    信息发送单元，被配置为向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
  18. 一种基于搜索的问答装置，所述装置包括：
    获取单元，被配置为获取搜索界面中输入的问题信息；
    发送单元，被配置为向服务器发送携带所述问题信息的搜索请求；
    接收单元，被配置为接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
    显示单元，被配置为在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
  19. 一种服务器，所述服务器包括：
    一个或多个处理器；
    用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器；
    其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
    基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
    向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
  20. 根据权利要求19所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    基于所述问题信息进行搜索，得到至少一个候选多媒体资源；
    分别获取所述至少一个候选多媒体资源的内容信息；
    从获取到的至少一个内容信息中，获取与所述问题信息匹配的所述答案信息；
    将所述答案信息对应的多媒体资源，确定为与所述问题信息匹配的所述目标多媒体资源。
  21. 根据权利要求20所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    对所述问题信息进行分词，得到至少一个第一词语；
    基于每个所述第一词语进行搜索，得到与每个所述第一词语对应存储的候选多媒体资源。
  22. 根据权利要求21所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    对至少一个多媒体资源进行语音识别，得到每个所述多媒体资源对应的文本信息；
    对每个所述多媒体资源对应的文本信息进行分词，得到至少一个第二词语；
    对应存储得到的每个所述第二词语与每个所述第二词语所属的多媒体资源。
  23. 根据权利要求20所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    获取所述问题信息与每个所述内容信息的第一匹配度；
    基于所述问题信息与每个所述内容信息的第一匹配度，从所述至少一个内容信息中，获取与所述问题信息匹配的答案信息。
  24. 根据权利要求20所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    获取所述问题信息与每个所述内容信息的第一匹配度；
    获取每个所述候选多媒体资源对应的文本信息与所述问题信息的第二匹配度；
    基于每个所述内容信息对应的第一匹配度，以及每个所述候选多媒体资源对应的第二匹配度，从所述至少一个内容信息中，获取与所述问题信息匹配的答案信息。
  25. 根据权利要求24所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    基于每个所述内容信息对应的第一匹配度，以及每个所述内容信息所属的候选多媒体资源对应的第二匹配度，确定每个所述内容信息对应的第三匹配度；
    基于每个所述内容信息对应的第三匹配度，从所述至少一个内容信息中，获取与所述问题信息匹配的答案信息。
  26. 根据权利要求20所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    获取所述问题信息所属的问题类型，所述问题类型包括指定类型或非指定类型，所述指定类型是指具有固定答案信息的问题类型；
    基于所述问题类型对应的处理方式，分别获取所述至少一个候选多媒体资源的内容信息。
  27. 根据权利要求26所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    调用分类模型对所述问题信息进行分类，得到所述问题信息所属的问题类型。
  28. 根据权利要求26所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    在所述问题信息所属的问题类型为所述非指定类型的情况下，从每个所述候选多媒体资源对应的文本信息中，获取连续的参考数量的语句信息，组合所述参考数量的语句信息，得到每个所述候选多媒体资源的内容信息。
  29. 根据权利要求26所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    在所述问题信息所属的问题类型为所述指定类型的情况下，对每个所述候选多媒体资源对应的文本信息进行识别，得到每个所述候选多媒体资源的内容信息。
  30. 根据权利要求26所述的服务器，其中，所述指定类型包括数字指定类型，所述数字指定类型用于指示所述问题信息的答案信息为数字；
    所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    在所述问题信息所属的问题类型为所述数字指定类型的情况下，调用数字抽取器，对每个所述候选多媒体资源对应的文本信息进行识别，得到每个所述候选多媒体资源的内容信息。
  31. 根据权利要求26所述的服务器，其中，所述指定类型包括实体指定类型，所述实体指定类型用于指示所述问题信息的答案信息为实体；
    所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    在所述问题信息所属的问题类型为所述实体指定类型的情况下，调用实体抽取器，对每个所述候选多媒体资源对应的文本信息进行识别，得到每个所述候选多媒体资源的内容信息。
  32. 根据权利要求19所述的服务器，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的第一答案信息，所述第一答案信息为所述目标多媒体资源的内容信息；
    获取所述问题信息的主体信息，所述主体信息用于指示所述问题信息的主语部分和谓语部分；
    组合所述主体信息与所述第一答案信息，得到第二答案信息；
    所述向所述终端发送所述目标多媒体资源和所述答案信息，包括：向所述终端发送所述目标多媒体资源和所述第二答案信息。
  33. 一种终端，所述终端包括：
    一个或多个处理器；
    用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器；
    其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    获取搜索界面中输入的问题信息；
    向服务器发送携带所述问题信息的搜索请求；
    接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
    在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
  34. 根据权利要求33所述的终端，其中，所述一个或多个处理器被配置为执行所述可执行指令，实现以下步骤：
    在所述目标多媒体资源的上层，悬浮显示所述答案信息；或者，
    在所述目标多媒体资源的简介区域中，显示所述答案信息。
  35. 一种非临时性计算机可读存储介质，在所述存储介质中的程序代码由服务器的处理器执行的情况下，使得服务器能够执行以下步骤：
    接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
    基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
    向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
  36. 一种非临时性计算机可读存储介质，在所述存储介质中的程序代码由终端的处理器执行的情况下，使得终端能够执行以下步骤：
    获取搜索界面中输入的问题信息；
    向服务器发送携带所述问题信息的搜索请求；
    接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
    在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
  37. 一种计算机程序产品，在所述计算机程序产品中的程序代码由服务器的处理器执行的情况下，使得所述服务器能够执行以下步骤：
    接收终端的搜索请求，所述搜索请求携带所述终端的搜索界面中输入的问题信息；
    基于所述问题信息进行搜索，得到与所述问题信息匹配的目标多媒体资源以及与所述问题信息匹配的答案信息，且所述答案信息为所述目标多媒体资源的内容信息；
    向所述终端发送所述目标多媒体资源和所述答案信息，所述目标多媒体资源和所述答案信息用于显示在所述搜索界面中。
  38. 一种计算机程序产品，在所述计算机程序产品中的程序代码由终端的处理器执行的情况下，使得所述终端能够执行以下步骤：
    获取搜索界面中输入的问题信息；
    向服务器发送携带所述问题信息的搜索请求；
    接收所述服务器的答案信息和目标多媒体资源，所述答案信息与所述问题信息匹配，所述目标多媒体资源与所述问题信息匹配，所述答案信息为所述目标多媒体资源的内容信息；
    在所述搜索界面中显示所述目标多媒体资源和所述答案信息。
PCT/CN2021/107710 2020-09-17 2021-07-21 基于搜索的问答方法及存储介质 WO2022057435A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010983014.5A CN112115282A (zh) 2020-09-17 2020-09-17 基于搜索的问答方法、装置、设备及存储介质
CN202010983014.5 2020-09-17

Publications (1)

Publication Number Publication Date
WO2022057435A1 true WO2022057435A1 (zh) 2022-03-24

Family

ID=73799922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/107710 WO2022057435A1 (zh) 2020-09-17 2021-07-21 基于搜索的问答方法及存储介质

Country Status (2)

Country Link
CN (1) CN112115282A (zh)
WO (1) WO2022057435A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115282A (zh) * 2020-09-17 2020-12-22 北京达佳互联信息技术有限公司 基于搜索的问答方法、装置、设备及存储介质
CN113901302B (zh) * 2021-09-29 2022-09-27 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN114168725A (zh) * 2021-12-08 2022-03-11 北京字节跳动网络技术有限公司 对象问答的处理方法、装置、电子设备、介质和产品
CN114372160B (zh) * 2022-01-12 2023-08-15 抖音视界有限公司 一种搜索请求处理方法、装置、计算机设备及存储介质
CN114817584B (zh) * 2022-06-29 2022-11-15 阿里巴巴（中国）有限公司 信息处理方法、计算机可读存储介质以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425640A (zh) * 2012-05-14 2013-12-04 华为技术有限公司 一种多媒体问答系统及方法
US20160291874A1 (en) * 2013-11-19 2016-10-06 Zte Corporation Multimedia data backup method, user terminal and synchronizer
CN109086448A (zh) * 2018-08-20 2018-12-25 广东小天才科技有限公司 一种基于性别特征信息的语音搜题方法及家教设备
CN112115282A (zh) * 2020-09-17 2020-12-22 北京达佳互联信息技术有限公司 基于搜索的问答方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996195B (zh) * 2009-08-28 2012-07-11 中国移动通信集团公司 音频文件中语音信息的搜索方法、装置及设备
US10504509B2 (en) * 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
CN106599028B (zh) * 2016-11-02 2020-04-28 华南理工大学 一种基于视频图像处理的书本内容搜索匹配方法
CN108829765A (zh) * 2018-05-29 2018-11-16 平安科技（深圳）有限公司 一种信息查询方法、装置、计算机设备及存储介质
CN109165285A (zh) * 2018-08-24 2019-01-08 北京小米智能科技有限公司 处理多媒体数据的方法、装置及存储介质
JP7169125B2 (ja) * 2018-08-29 2022-11-10 株式会社日立製作所 質問回答システム、質問回答処理方法、及び質問回答統合システム
CN111125384B (zh) * 2018-11-01 2023-04-07 阿里巴巴集团控股有限公司 一种多媒体答案生成方法、装置、终端设备以及存储介质
CN109684492B (zh) * 2018-12-28 2022-03-04 北京爱奇艺科技有限公司 一种多媒体文件查找方法、装置及电子设备
CN109949723A (zh) * 2019-03-27 2019-06-28 浪潮金融信息技术有限公司 一种通过智能语音对话进行产品推荐的装置及方法
CN110569419A (zh) * 2019-07-31 2019-12-13 平安科技（深圳）有限公司 问答系统优化方法、装置、计算机设备及存储介质
CN111414498B (zh) * 2020-04-29 2023-03-21 抖音视界有限公司 多媒体信息推荐方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425640A (zh) * 2012-05-14 2013-12-04 华为技术有限公司 一种多媒体问答系统及方法
US20160291874A1 (en) * 2013-11-19 2016-10-06 Zte Corporation Multimedia data backup method, user terminal and synchronizer
CN109086448A (zh) * 2018-08-20 2018-12-25 广东小天才科技有限公司 一种基于性别特征信息的语音搜题方法及家教设备
CN112115282A (zh) * 2020-09-17 2020-12-22 北京达佳互联信息技术有限公司 基于搜索的问答方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112115282A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
WO2022057435A1 (zh) 基于搜索的问答方法及存储介质
CN110471858B (zh) 应用程序测试方法、装置及存储介质
WO2020019873A1 (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN110556127B (zh) 语音识别结果的检测方法、装置、设备及介质
CN110572716B (zh) 多媒体数据播放方法、装置及存储介质
WO2022048398A1 (zh) 多媒体数据拍摄方法及终端
CN110933468A (zh) 播放方法、装置、电子设备及介质
WO2020211607A1 (zh) 生成视频的方法、装置、电子设备及介质
CN111506758A (zh) 物品名称确定方法、装置、计算机设备及存储介质
WO2022134634A1 (zh) 视频处理方法及电子设备
CN111739517A (zh) 语音识别方法、装置、计算机设备及介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN113987326B (zh) 资源推荐方法、装置、计算机设备及介质
CN110837557B (zh) 摘要生成方法、装置、设备及介质
CN112764600A (zh) 资源处理方法、装置、存储介质及计算机设备
CN111782950A (zh) 样本数据集获取方法、装置、设备及存储介质
CN111563201A (zh) 内容推送方法、装置、服务器及存储介质
CN114817709A (zh) 排序方法、装置、设备及计算机可读存储介质
CN113408809A (zh) 汽车的设计方案评价方法、装置及计算机存储介质
CN112487162A (zh) 确定文本语义信息的方法、装置、设备以及存储介质
CN113139614A (zh) 特征提取方法、装置、电子设备及存储介质
CN111782767A (zh) 问答方法、装置、设备及存储介质
CN113051485A (zh) 群组搜索方法、装置、终端及存储介质
CN111367492A (zh) 网页页面展示方法及装置、存储介质
CN112311652A (zh) 消息发送方法、装置、终端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21868264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 27/06/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21868264

Country of ref document: EP

Kind code of ref document: A1