WO2014101687A1 - 一种用于实现语音输入的方法与设备 - Google Patents

一种用于实现语音输入的方法与设备 Download PDF

Info

Publication number
WO2014101687A1
WO2014101687A1 PCT/CN2013/089721 CN2013089721W WO2014101687A1 WO 2014101687 A1 WO2014101687 A1 WO 2014101687A1 CN 2013089721 W CN2013089721 W CN 2013089721W WO 2014101687 A1 WO2014101687 A1 WO 2014101687A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
input
character sequence
user
network device
Prior art date
Application number
PCT/CN2013/089721
Other languages
English (en)
French (fr)
Inventor
陆阳阳
贾磊
Original Assignee
百度在线网络技术（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 百度在线网络技术（北京）有限公司 filed Critical 百度在线网络技术（北京）有限公司
Priority to EP13869832.9A priority Critical patent/EP2940551B1/en
Priority to US14/412,374 priority patent/US10199036B2/en
Priority to JP2015549964A priority patent/JP6309539B2/ja
Publication of WO2014101687A1 publication Critical patent/WO2014101687A1/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • the present invention relates to the field of Internet technologies, and in particular, to a technology for implementing voice input. Background technique
  • a method for implementing voice input on a network device side includes the following steps:
  • a method for assisting in voice input at a user equipment side comprising the steps of:
  • A acquiring an input character sequence corresponding to the voice input information sent by the network device, and accuracy information of the word segmentation in the input character sequence;
  • a network for implementing voice input is also provided Equipment, wherein the equipment includes:
  • An input obtaining device configured to acquire voice input information
  • a sequence determining device configured to determine, according to the voice recognition model, an input character sequence corresponding to the voice input information
  • an accuracy determining device configured to determine presence probability information corresponding to the word segmentation in the input character sequence, to obtain accuracy information of the word segmentation
  • a sending device configured to send the input character sequence and the accuracy information of the word segmentation to the user equipment corresponding to the voice input information.
  • a user equipment for facilitating voice input is further provided, wherein the device includes:
  • a sequence obtaining device configured to acquire an input character sequence corresponding to the voice input information sent by the network device, and accuracy information of the word segmentation in the input character sequence
  • a system for implementing voice input comprising the network device as described above and the user equipment as described above.
  • the present invention determines an input character sequence corresponding to the voice input information according to the voice recognition model at the network device end, and determines the presentation probability information corresponding to the word segmentation in the input character sequence to obtain the And the accuracy information of the word segmentation, so that the input character sequence and the accuracy information of the word segmentation are sent to the user equipment corresponding to the voice input information; the user equipment end inputs the input according to the accuracy information of the word segmentation
  • the character sequence is provided to the user; thereby obtaining the accuracy information of the word segmentation according to the presentation probability information of the word segmentation in the input character sequence, thereby improving the accuracy and flexibility of the voice input, so that the input term is compared with the input requirement of the user. Matching improves input flexibility and personalization, and improves input efficiency and user experience.
  • the present invention may further obtain, by the network device, an access request for the candidate for the at least one word segment sent by the user equipment, and determine one or more corresponding to the at least one word segment according to the access request.
  • the one or more alternatives are sent to the user equipment; the one or more alternatives are One less one is provided to the user; further, the network device may further determine one or more alternatives corresponding to the at least one word segment according to the context information of the at least one word segment; further, at the user equipment Alternatively, the corresponding participle in the input character sequence may be replaced according to a user selecting operation of at least one of the one or more alternatives to obtain the updated input character sequence.
  • the present invention may further determine, on the network device side, a conditional probability of the participle in the input character sequence, using the conditional probability as presence probability information of the participle, and determining the participle according to the conditional probability.
  • the presentation probability threshold may be determined according to the presentation probability information of the participle and the presentation probability information of the candidate segmentation corresponding to the participle; thereby improving the accuracy of the speech input by combining the entire character sequence Sex and flexibility make the input terms match the input requirements of the user, which improves the input flexibility and personalization, improves the input efficiency of the input method, and improves the user experience.
  • the present invention may further determine, according to the voice recognition model, the network device according to the context information corresponding to the voice input information, the input character sequence corresponding to the voice input information; thereby improving the determined information by combining the context information.
  • the accuracy of the input character sequence improves the accuracy and flexibility of the speech input, so that the input term matches the input requirement of the user, improves the input flexibility and personalization, and improves the input efficiency of the input method. , improved user body horse.
  • FIG. 1 shows a schematic diagram of a network device and user equipment for implementing voice input according to an aspect of the present invention
  • FIG. 2 illustrates a method for implementing voice input in accordance with a preferred embodiment of the present invention.
  • FIG. 3 illustrates a flow chart of a method for implementing voice input implemented by a network device in conjunction with a user device in accordance with another aspect of the present invention
  • FIG. 4 is a flow chart showing a method for implementing voice input implemented by a network device in cooperation with a user equipment, in accordance with a preferred embodiment of the present invention.
  • the network device 1 shows a schematic diagram of a network device and a user equipment for implementing voice input according to an aspect of the present invention
  • the network device 1 includes an input obtaining device 11, a sequence determining device 12, an accuracy determining device 13, and a transmitting device 14.
  • the user equipment 2 includes a sequence obtaining device 21 and a providing device 22; the respective devices of the network device 1 and the user device 2 cooperate with each other to implement voice input.
  • the input obtaining means 11 in the network device 1 acquires the voice input information; the sequence determining means 12 determines the input character sequence corresponding to the voice input information according to the voice recognition model; the accuracy determining means 13 determines the input character sequence And presenting the probability information corresponding to the word segmentation to obtain the accuracy information of the word segmentation; the sending device 14 sends the input character sequence and the accuracy information of the word segmentation to the user equipment corresponding to the voice input information;
  • the sequence obtaining device 21 in the user equipment 2 acquires an input character sequence corresponding to the voice input information sent by the network device, and accuracy information of the word segmentation in the input character sequence; and the providing device 22 according to the accuracy information of the word segmentation , providing the input character sequence to the user.
  • the network device includes, but is not limited to, a computer, a network host, a single network server, a plurality of network server sets, or a plurality of servers; where the cloud is composed of a large number of computers or networks based on Cloud Computing Server composition, in which cloud computing is a type of distributed computing, a virtual supercomputer consisting of a group of loosely coupled computers.
  • the user equipment includes, but is not limited to, any electronic product that can interact with a user through a keyboard, a remote controller, a touch pad, or a voice control device, such as a computer, a smart phone, a PDA, a game machine, or an IPTV.
  • the network includes but Not limited to the Internet, WAN, metropolitan area network, local area network, VPN network, wireless ad hoc network (Ad Hoc network) and so on. It should be understood by those skilled in the art that other network devices and user devices capable of implementing voice input are equally applicable to the present invention and are also included in the scope of the present invention and are hereby incorporated by reference.
  • continuous means that the above-mentioned devices respectively acquire voice input information in real time or according to a set or real-time adjusted working mode requirement.
  • the input character sequence is determined, the accuracy information is acquired, the input character sequence and the segmentation accuracy information are sent and received, and the input character sequence is provided until the network device stops acquiring the voice input information.
  • the input acquisition means 11 in the network device 1 acquires voice input information. Specifically, the input obtaining device 11 acquires voice input information by interacting with a third-party voice input information database or the like through various data transmission interfaces based on various communication protocols (Communications Protocol); or the input obtaining device 11 is real-time Acquiring the voice input information input by the user, or interacting with the user equipment, and obtaining voice input information input by the user in real time.
  • the voice input information includes but is not limited to a word, a word, a short sentence or a long sentence.
  • the sequence determining means 12 determines an input character sequence corresponding to the voice input information based on the voice recognition model. Specifically, the sequence determining apparatus 12 obtains one or more input syllables corresponding to the voice input information by, for example, segmenting the voice input information according to a voice recognition model obtained or learned in advance, The feature vector of the input syllable is sequentially matched with a template or the like in the voice recognition model to obtain one or more word segments or candidate word segments corresponding to the syllable; and the input syllables are sequentially matched to determine the context And a sequence of input characters corresponding to the voice input information, wherein the input character sequence includes a plurality of word segments or candidate word segments corresponding to the voice input information.
  • the speech recognition model includes, but is not limited to, a general speech recognition model, or a specific speech recognition model corresponding only to the current user; the speech recognition model is obtained by voice training.
  • the sequence determining means 12 segments the voice input information to obtain a plurality of participles corresponding to the voice input information; for example: , belt, you, go, Jinzhou; its In the middle, the position of "belt” may also have other candidate participles, such as "generation, waiting, staying (10%)", and "Jinzhou” may also have other candidate particials, such as "Golden State, Jinju” and so on.
  • the accuracy determining means 13 determines the presentation probability information corresponding to the word segmentation in the input character sequence to obtain the accuracy information of the word segmentation. Specifically, the accuracy determining apparatus 13 determines presence probability information corresponding to the word segmentation in the input character sequence by using information obtained by machine learning or by querying a corresponding presentation probability information database or the like; And obtaining, according to the presentation probability information, the accuracy information of the word segment by directly using the presentation probability information as the accuracy information of the word segment; or, based on the segmentation word in the input character sequence
  • the context information, or the part-of-speech information based on the participle, or the like processes the presentation probability information to obtain accuracy information of the word segmentation.
  • the accuracy determining means 13 obtains the rendering probability information corresponding to the participle of the sentence "I take you to Jinzhou” corresponding to the speech input information by interacting with the database of the presentation probability information (such as in brackets). Show), I (90%), with (40%), you (90%), go (98%), Jinzhou (40%), where the "band” position may also have other candidate participles, such as "generation” 30%), wait (20%), stay (10%) ", "Jinzhou” may also have other candidate participles, such as "Golden State (30%), Jinju (30%)", etc.; The sex determining means 13 directly corresponds the presentation probability information to the accuracy information of the word segmentation. That is, the accuracy information such as "I" is 90%.
  • the transmitting device 14 transmits the input character sequence and the accuracy information of the word segmentation to the user equipment corresponding to the voice input information. Specifically, the sending device 14 acquires, from the accuracy determining device 13, an input character sequence composed of one or more word segments or candidate word segments, and accuracy information of the word segmentation, based on various communication protocols. The input character sequence and the accuracy information of the word segmentation are sent to the user equipment corresponding to the voice input information by an application program interface (API) provided by the user equipment, or a format requirement of other agreed communication methods.
  • API application program interface
  • the sequence obtaining device 21 in the user equipment 2 acquires an input character sequence corresponding to the voice input information sent by the network device, and accuracy information of the word segmentation in the input character sequence.
  • the sequence obtaining device 21 uses an application program interface (API) provided by a network device based on various communication protocols, or other agreed communication methods. Format request, receiving, from the network device, an input character sequence corresponding to the voice input information composed of one or more word segments or candidate word segments, and accuracy of the word segmentation
  • API application program interface
  • the providing means 22 supplies the input character sequence to the user based on the accuracy information of the word segmentation. Specifically, the providing device 22 passes the accuracy information corresponding to the same input syllable according to the input character sequence acquired in the sequence obtaining device 21 and the accuracy information of the word segmentation in the input character sequence. The highest participles are combined to generate a sequence of input characters provided to the user; or all of the participles or candidate participles corresponding to the same input syllable are sorted according to accuracy from high to low, and input characters are supplied to the user.
  • the input character sequence includes all matching word segments, etc.; and by interacting with the user, by using various communication protocols, an application program interface (API) provided by a user device corresponding to the user, etc.
  • API application program interface
  • the input character sequence is provided to the user.
  • the user includes, but is not limited to, a user corresponding to the provision of the voice input information, or a designated user or the like for receiving the voice input information.
  • the accuracy determining apparatus 13 may further determine a conditional probability of the participle in the input character sequence as the presentation probability information of the participle; based on the presentation probability threshold, based on the presentation probability information of the participle , determining the accuracy information of the word segmentation. Specifically, the accuracy determining apparatus 13 may also directly acquire the conditional probability of the participle in the input character sequence; or first obtain the probability P(B) of the input character sequence, and then obtain the Entering a sequence of characters containing the probability P(AB) of the participle, thereby calculating a conditional probability P(A
  • the accuracy determining device 13 obtains a presentation probability threshold according to a preset or machine learning manner, for example, the one or more word segments whose presentation probability information is higher than the presentation probability threshold is used as an accurate word segmentation. If the presentation probability information of the word segment is lower than the presentation probability threshold, it is determined that the word segmentation is an inaccurate word segmentation, thereby determining the accuracy information of the word segmentation.
  • the network device 1 further includes threshold determining means (not shown), wherein the threshold determining means is based on the presentation probability information of the word segmentation and the word segmentation corresponding to the word segmentation
  • the presentation probability information of the candidate participle determines the presentation probability threshold.
  • the threshold determining apparatus may acquire the participle and the presentation probability information of the candidate participle corresponding to the participle, by, for example, averaging, weighting, and averaging the presentation probabilities of the one or more participles and the candidate participles. The median value, etc., determines the presentation probability threshold.
  • the threshold may be 30%-40%, and is not necessarily limited to 50%; for example, If the presentation probability information of the word segmentation and the candidate word segmentation is ⁇ 50%, 45%, 5% ⁇ , even if the presentation probability threshold is 50%, there is still a large possibility of an error or the like.
  • the sequence determining device 12 may further determine an input character sequence corresponding to the voice input information according to the voice recognition model and the context information corresponding to the voice input information.
  • the sequence determining apparatus 12 determines the corresponding voice recognition model by, for example, combining the context information corresponding to the voice input information, for example, determining corresponding voices of different domains according to keywords in the context information. Identifying a model, and then determining an input character sequence corresponding to the voice input information according to the voice recognition model; or determining the input character sequence by using a general voice recognition model, and combining the input character sequence with the context information Make adjustments, such as increasing the weight or priority of the context-matched character sequence.
  • the manner of determining the input character sequence is the same as or similar to the manner of determining the sequence determining apparatus 12 in FIG. 1, and therefore is not mentioned here, and is included herein by reference.
  • the network device 1 includes an input obtaining device 11', a sequence determining device 12', and an accuracy determining device 13 ', transmitting device 14', request obtaining device 15', alternative determining device 16', alternative transmitting device 17'; user device 2 comprising sequence obtaining device 21', providing device 22', alternative request obtaining device 23', The access request transmitting means 24', the alternative receiving means 25', the alternative providing means 26'; the respective devices of the network device 1 and the user equipment 2 cooperate to implement voice input.
  • the input obtaining means 1 in the network device 1 acquires voice input information; the sequence determining means 12' determines an input character sequence corresponding to the voice input information according to the voice recognition model; the accuracy determining means 13' determines the input The probability information corresponding to the word segmentation in the character sequence to obtain the accuracy of the word segmentation
  • the sending device 14 transmits the input character sequence and the accuracy information of the word segmentation to the user equipment corresponding to the voice input information; correspondingly, the sequence obtaining device 21 in the user equipment 2 acquires the network device The input character sequence corresponding to the sent voice input information, and the accuracy information of the word segmentation in the input character sequence; the providing device 22, according to the accuracy information of the word segmentation, the input character sequence is provided to the user;
  • the request request obtaining means 23' obtains a request operation of the user for the alternative of at least one of the input character sequences; the access request transmitting means 24' transmits the at least one participle to the network device based on the request operation Correspondingly, the request obtaining means
  • the acquiring device 11', the sequence determining device 12', the accuracy determining device 13', the transmitting device 14', and the sequence obtaining device 21' and the providing device 22' in the user equipment 2 in the network device 1 are respectively associated with FIG.
  • the corresponding devices are the same or substantially the same, and therefore will not be described again here, and are hereby incorporated by reference.
  • continuous means that the above-mentioned devices respectively acquire voice input information in real time or according to a set or real-time adjusted working mode requirement. , determination of input character sequence, acquisition of accuracy information, input character sequence and transmission and reception of word segmentation accuracy information, provision of input character sequence, acquisition of alternative request operation, transmission and reception of alternative access request, alternative The determination, the sending and receiving of alternatives, the provision of alternatives, etc., until the network device stops acquiring voice input information.
  • the alternative request obtaining means 23' acquires a request operation of the user for an alternative to at least one of the input character sequences. Specifically, the candidate request obtaining means 23' obtains, from various third-party devices, the request operation of the user's alternative to the at least one participle of the input character sequence through various application interfaces according to various communication protocols; or Direct with the user Interaction, get request operation.
  • the request operation includes but is not limited to input, click, touch, and the like.
  • the alternative request obtaining means 23 directly interacts with the user to obtain a request for the "Jinzhou" alternative input by the user by clicking or the like.
  • the access request transmitting means 24' transmits an access request for the alternative of the at least one word segment to the network device based on the request operation. Specifically, the access request transmitting means 24, based on the request operation, passes the information about the format of the application program interface (API) provided by the network device or other agreed communication methods based on various communication protocols. An access request for the alternative of the at least one word segment is sent to the network device.
  • API application program interface
  • the request obtaining means 15 acquires an access request for the alternative of the at least one word segment sent by the user equipment. Specifically, the request obtaining device 15' receives, according to various communication protocols, an application program interface (API) provided by the user equipment, or a format requirement of other agreed communication methods, from the user equipment, An access request for at least one word segmentation alternative.
  • API application program interface
  • the alternative determining means 16' determines one or more alternatives corresponding to the at least one word segment based on the access request. Specifically, the candidate determining apparatus 16 ′ according to the access request acquired by the request acquiring apparatus 15 ′, according to the participle that needs to be acquired in the access request, by using the direct obtaining sequence determining apparatus 12 ′ for the participle Candidate participle, and the candidate participle as an alternative; or reprocess the participle to obtain one or more alternatives corresponding to the at least one participle.
  • the processing method is the same as or similar to the method in the sequence determining apparatus 12, and therefore is not described here, and is included herein by reference.
  • the alternate transmitting device 17' sends the one or more alternatives to the user equipment. Specifically, the alternative transmitting device 17' obtains one or more alternatives determined by the candidate determining device 16', by using an application program interface (API) provided by the user equipment based on various communication protocols, or other The format requirement of the agreed communication mode is to send the one or more alternatives to the user equipment.
  • API application program interface
  • the alternate receiving device 25' on the user equipment side receives one or more alternatives that the network device transmits based on the access request.
  • the alternative receiving device 25' passes through an application program interface (API) provided by the network device based on various communication protocols, or The format of the communication method he has agreed upon requires receiving one or more alternatives sent based on the access request from the network device.
  • API application program interface
  • An alternate providing device 26' provides at least one of the one or more alternatives to the user. Specifically, the alternative providing device 26' passes the one or more devices according to one or more alternatives acquired in the alternative receiving device 25' by way of system preset or user setting. At least one of the options is provided to the user by interacting with the user; or based on various communication protocols, by using an application program interface (API) provided by the user device corresponding to the user, the one or more At least one of the alternatives is provided to the user.
  • API application program interface
  • the user includes, but is not limited to, a user corresponding to the voice input information, or a designated user for receiving the voice input information.
  • the candidate determining device 16 in the network device 1 may further determine one or more devices corresponding to the at least one word segment according to the access request and the context information of the at least one word segment.
  • the candidate determining apparatus 16' may further determine one or more alternatives corresponding to the at least one participle by combining context information of the participle in the access request according to the access request. .
  • the context information by combining information such as common collocation, or grammar, etc., the alternatives that are less compatible with the context information are screened out, etc.; for example, for the voice input information "I take you to Jinzhou", if The participle that needs to be prepared is "Jinzhou".
  • the corresponding alternatives may be "Golden State” or "Jinju", but not "forbidden”.
  • the user equipment 2 further includes an operation obtaining means (not shown) and a replacement means (not shown), wherein the operation obtaining means acquires a user's selection operation of at least one of the one or more alternatives;
  • the replacing means replaces the corresponding participle in the input character sequence according to the alternative corresponding to the selecting operation to obtain the updated input character sequence.
  • the operation obtaining means acquires a user's selection operation of at least one of the one or more alternatives by directly interacting with the user, or via a third-party application interface or the like that can provide the selection operation; The user selects one of the one or more alternatives by clicking or the like, and the operation obtaining means acquires the selection operation and the selected alternative thereof.
  • the replacing device acquires the alternative selected by the operation obtaining device, and replaces the corresponding word segment in the input character sequence with the alternative to obtain more The new input character sequence. For example, following the above example, the user selects the alternative "Golden State”, so that the replacement device replaces the "Jinzhou” with “Golden State”, and the updated input character sequence is "I take you to Golden State”.
  • step si the network device 1 acquires voice input information; in step s2, the network device 1 determines an input character sequence corresponding to the voice input information according to the voice recognition model; in step S3, the network device 1 determines Entering the probability information corresponding to the word segmentation in the sequence of characters to obtain the accuracy information of the word segment; in step s4, the network device 1 transmits the input character sequence and the accuracy information of the word segment to the a user equipment corresponding to the voice input information; correspondingly, in step s4, the user equipment 2 acquires an input character sequence corresponding to the voice input information sent by the network device, and accuracy information of the word segmentation in the input character sequence; In step s5, the user equipment 2 provides the input character sequence to the user according to the accuracy information of the word segmentation.
  • continuous means that the above steps are respectively performed in real time or according to the set or real-time adjusted working mode requirements, and the voice input information is acquired.
  • the input character sequence is determined, the accuracy information is acquired, the input character sequence and the segmentation accuracy information are sent and received, and the input character sequence is provided until the network device stops acquiring the voice input information.
  • step si the network device 1 acquires voice input information. Specifically, in step si, the network device 1 obtains voice input information by interacting with a third-party voice input information database or the like through various data transmission interfaces based on various communication protocols (Communications Protocol); or in step si The network device 1 acquires the voice input information input by the user in real time, or interacts with the user equipment to obtain voice input information input by the user in real time.
  • the voice input information includes but is not limited to a word, a word, a short sentence or a long sentence.
  • step s2 the network device 1 determines an input character sequence corresponding to the voice input information according to the voice recognition model. Specifically, in step s2, the network device 1 cuts the voice input information by, for example, a voice recognition model obtained according to preset or learned.
  • the speech recognition model includes, but is not limited to, a general speech recognition model, or a specific speech recognition model corresponding only to the current user; the speech recognition model is obtained by voice training.
  • the network device 1 segments the voice input information to obtain a plurality of participles corresponding to the voice input information. For example: I, take, you, go, Jinzhou; where, the "band” position may also have other candidate participles, such as “generation, waiting, staying (10%)", “Jinzhou” may also have other candidates Participles, such as "Golden State, Jinju” and so on.
  • step S3 the network device 1 determines the presentation probability information corresponding to the word segmentation in the input character sequence to obtain the accuracy information of the word segmentation. Specifically, in step S3, the network device 1 determines the presence probability information corresponding to the word segmentation in the input character sequence by using information obtained by machine learning or by querying a corresponding presentation probability information database or the like. And obtaining, according to the presentation probability information, accuracy information of the word segment by directly using the presentation probability information as the accuracy information of the word segment; or in the input character sequence according to the word segmentation The context information, or the part-of-speech information based on the participle, or the like, processes the presentation probability information to obtain accuracy information of the word segmentation.
  • step S3 the network device 1 interacts with the presentation probability information database to obtain the presentation probability information corresponding to the participle of the sentence "I take you to Jinzhou” corresponding to the voice input information (eg, As shown in parentheses, I (90%), belt (40%), you (90%), go (98%), Jinzhou (40%), where the "band” position may have other candidate participles, such as “Generation (30%), waiting (20%), staying (10%)", "Jinzhou” may also have other candidate wordings, such as "Golden State (30%), Jinju (30%)”;
  • the network device 1 directly corresponds the presence probability information to the accuracy information of the word segmentation. That is, the accuracy information such as "I” is 90%.
  • step s4 the network device 1 compares the input character sequence and the accuracy of the word segmentation
  • the information is sent to the user equipment corresponding to the voice input information.
  • the network device 1 acquires, from the step s3, an input character sequence composed of one or more word segments or candidate word segments, and accuracy information of the word segmentation, based on various communication protocols.
  • the input character sequence and the accuracy information of the word segmentation are sent to the user equipment corresponding to the voice input information by an application program interface (API) provided by the user equipment, or a format requirement of other agreed communication methods.
  • API application program interface
  • the user equipment 2 acquires an input character sequence corresponding to the voice input information sent by the network device, and accuracy information of the word segmentation in the input character sequence. Specifically, in step s4, the user equipment 2 receives one from the network device by using an application program interface (API) provided by the network device or a format requirement of other agreed communication methods based on various communication protocols. Or an input character sequence corresponding to the voice input information composed of a plurality of participles or candidate participles, and accuracy information of the word segmentation.
  • API application program interface
  • step s5 the user equipment 2 provides the input character sequence to the user based on the accuracy information of the word segmentation. Specifically, in step s5, the user equipment 2 passes the input character sequence acquired in step s4 and the accuracy information of the word segmentation in the input character sequence, by using the highest accuracy information corresponding to the same input syllable. The word segments are combined to generate an input character sequence provided to the user; or all the word segments or candidate word segments corresponding to the same input syllable are sorted according to accuracy from high to low, and an input character sequence is provided for the user.
  • the input character sequence includes all matching word segments and the like; and by interacting with the user, by using an application program interface (API) provided by the user equipment corresponding to the user, based on various communication protocols,
  • API application program interface
  • the input character sequence is provided to the user.
  • the user includes, but is not limited to, a user corresponding to the provision of the voice input information, or a designated user or the like for receiving the voice input information.
  • the network device 1 may further determine a conditional probability of the participle in the input character sequence as the presentation probability information of the participle; based on the presentation probability threshold, based on the presentation probability of the participle Information, determining the accuracy information of the word segmentation. Specifically, in step s3, the network device 1 may also directly obtain the conditional probability of the participle in the input character sequence; or first acquire the probability of occurrence of the input character sequence.
  • step S3 the network device 1 obtains a presentation probability threshold according to a preset or machine learning manner, for example, one or more word segments whose presentation probability information is higher than the presentation probability threshold is used as an accurate word segmentation. If the presentation probability information of the segmentation word is lower than the presentation probability threshold, the segmentation is determined to be an inaccurate segmentation, thereby determining the accuracy information of the segmentation.
  • the method further includes a step s11 (not shown), wherein, in step s11, the network device 1 determines, according to the presentation probability information of the participle and the presentation probability information of the candidate participle corresponding to the participle
  • the probability threshold is presented.
  • the network device 1 may acquire the participle and the presentation probability information of the candidate participle corresponding to the participle, by, for example, averaging and weighting the presentation probabilities of the one or more participles and the candidate participles.
  • the presentation probability threshold is determined by means of averaging, taking the median, and the like.
  • the threshold may be 30%-40%, and is not necessarily limited to 50%; for example, If the presentation probability information of the word segmentation and the candidate word segmentation is ⁇ 50%, 45%, 5% ⁇ , even if the presentation probability threshold is 50%, there is still a large possibility of an error or the like.
  • the network device 1 may further determine an input character sequence corresponding to the voice input information according to the voice recognition model and combining the context information corresponding to the voice input information. Specifically, in step s2, the network device 1 determines the corresponding voice recognition model by, for example, combining context information corresponding to the voice input information, for example, determining corresponding different domains according to keywords in the context information. a speech recognition model, and then determining an input character sequence corresponding to the speech input information according to the speech recognition model; or determining the input character sequence by using a general speech recognition model, and combining the input with the context information The sequence of characters is adjusted, such as increasing the weight or priority of a sequence of characters that match the context. The manner of determining the input character sequence is the same as or similar to the method of determining step s2 in FIG. 31, and therefore is not mentioned here, and is included herein by reference.
  • step s1 the network device 1 acquires voice input information; in step s2', the network device 1 determines an input character sequence corresponding to the voice input information according to the voice recognition model; in step S3', the network The device 1 determines the presentation probability information corresponding to the word segmentation in the input character sequence to obtain the accuracy information of the word segmentation; in step s4', the network device 1 sets the input character sequence and the accuracy information of the word segmentation Sending to the user equipment corresponding to the voice input information; correspondingly, in step s4, the user equipment 2 acquires an input character sequence corresponding to the voice input information sent by the network device, and the word segmentation in the input character sequence The accuracy information; in step s5', the user equipment 2 provides the input character sequence to the user according to the accuracy information of the word segmentation; in step s6', the user
  • step s1', the step s2', the step s3', the step s4', and the step s5' are respectively the same or substantially the same as the corresponding steps shown in FIG. 3, and therefore are not described herein again, and are included herein by reference.
  • continuous means that the above steps are respectively performed in real time or according to the set or real-time adjusted working mode requirements, and the voice input information is acquired. , determination of input character sequence, acquisition of accuracy information, input character sequence and transmission and reception of word segmentation accuracy information, provision of input character sequence, acquisition of alternative request operation, transmission and reception of alternative access request, alternative The determination, the sending and receiving of alternatives, the provision of alternatives, etc., until the network device stops acquiring voice input information. A request operation for a word segmentation alternative.
  • the user equipment 2 obtains, from various third-party devices, the request operation of the user for the candidate of the at least one part of the input character sequence through various application interfaces according to various communication protocols. Or directly interact with the user to get the requested operation.
  • the request operation includes but is not limited to input, click, touch, and the like.
  • the user equipment 2 directly interacts with the user to obtain a request for the alternative of "Jinzhou" entered by the user by clicking or the like.
  • step s7' the user equipment 2 transmits an access request for the alternative of the at least one word segmentation to the network device based on the request operation. Specifically, in step s7, the user equipment 2 operates based on the request, by using an application program interface (API) provided by the network device based on various communication protocols, or a format requirement of other agreed communication methods.
  • API application program interface
  • the access request for the alternative to the at least one word segment is sent to the network device.
  • the network device 1 acquires an access request sent by the user equipment regarding the alternative of the at least one participle. Specifically, in step s7, the network device 1 receives the information from the user equipment by using an application program interface (API) provided by the user equipment or a format requirement of other agreed communication methods based on various communication protocols. An access request for the alternative of the at least one word segmentation.
  • API application program interface
  • step s8' the network device 1 determines one or more alternatives corresponding to the at least one word segment based on the access request. Specifically, in step s8, the network device 1 according to the access request acquired in step s7', according to the participle that needs to be obtained in the access request, by directing the candidate word segmentation of the participle in step s2', and The candidate participle is used as an alternative; or the participle is reprocessed to obtain one or more alternatives corresponding to the at least one participle.
  • the processing method is the same as or similar to the method in the step s2, and therefore is not described here, and is included herein by reference.
  • step s9' the network device 1 transmits the one or more alternatives to the user equipment.
  • the network device 1 obtains the step s8, the determined one or more alternatives, by using an application program interface (API) provided by the user equipment based on various communication protocols, or other The format requirement of the agreed communication mode is to send the one or more alternatives to the user equipment.
  • the user equipment 2 receives one or more alternatives that the network device sends based on the access request.
  • the user equipment 2 receives the basis from the network device by using an application program interface (API) provided by the network device, or a format requirement of other agreed communication modes, based on various communication protocols.
  • API application program interface
  • the user device 2 provides at least one of the one or more alternatives to the user.
  • the user equipment 2 passes the one or more alternatives according to one or more alternatives obtained in step s9, according to a system preset or a user-set manner. At least one is provided to the user by interacting with the user; or based on various communication protocols, by using an application program interface (API) provided by a user device corresponding to the user, the one or more devices are At least one of the options is provided to the user.
  • API application program interface
  • the user includes, but is not limited to, a user corresponding to the provision of the voice input information, or a designated user or the like for receiving the voice input information.
  • the network device 1 may further determine one or more alternatives corresponding to the at least one word segment according to the access request and combining the context information of the at least one word segment. Specifically, in step s8, the network device 1 may further perform one or more alternatives corresponding to the at least one word segment according to the context information of the word segmentation in the access request according to the access request. determine.
  • the alternatives that match the context information are filtered out, for example; for voice input information, "I take you to Jinzhou” If the participle of the alternative is “Jinzhou", considering the word “go”, then the corresponding alternatives may be "Golden State” or "Jinju”, and will not include “forbidden”.
  • the method further includes a step s12, (not shown) and a step s13, (not shown), wherein in step s12', the user equipment 2 acquires at least one of the one or more alternatives by the user.
  • the selecting operation is performed; in step sl3', the user equipment 2 replaces the corresponding participle in the input character sequence according to the alternative corresponding to the selecting operation to obtain the updated input character sequence.
  • the user equipment 2 obtains at least one of the one or more alternatives by directly interacting with the user, or via a third-party application interface or the like that can provide the selection operation.
  • a selection operation for example, The user selects one of the one or more alternatives by clicking or the like, and in step s1 2', the user device 2 acquires the selection operation and its selected alternative.
  • the user equipment 2 obtains the selected step s12, the selected alternative, and replaces the corresponding participle in the input character sequence with the alternative to obtain the updated input character sequence.
  • the user selects the alternative "Golden State”, so in step s13, the user device 2 replaces the "Jinzhou” with "Golden State", and the updated input character sequence is "I bring you Go to Golden State.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用于实现语音输入的方法和设备，所述方法在网络设备端根据语音识别模型，确定语音输入信息对应的输入字符序列，并通过确定所述输入字符序列中分词所对应的呈现概率信息，以获得所述分词的准确性信息，从而将所述输入字符序列及所述分词的准确性信息发送至所述语音输入信息相对应的用户设备；用户设备端根据所述分词的准确性信息，将所述输入字符序列提供给用户。所述的方法和设备根据输入字符序列中分词的呈现概率信息来获得所述分词的准确性信息，提高了语音输入的准确性与灵活性，使得所述输入词条与用户的输入需求相匹配，提高了输入灵活度与个性化，还提高了输入法的输入效率，改善了用户体验。

Description

一种用于实现语音输入的方法与设备
技术领域
本发明涉及互联网技术领域， 尤其涉及一种用于实现语音输入的 技术。 背景技术
随着语音识别技术的发展， 语音输入所应用的领域越来越多。 然 而在很多情况下， 语音输入仍然存在很多错误， 例如对于同音字的识 别与确定的不准确等，使得语音输入的准确性降低，影响了用户体验。 发明内容
本发明的目的是提供一种用于实现语音输入的方法与设备。
根据本发明的一个方面，提供了一种在网络设备端用于实现语音输 入的方法， 其中， 该方法包括以下步骤：
a获取语音输入信息；
b根据语音识别模型， 确定所述语音输入信息对应的输入字符序 列；
c确定所述输入字符序列中分词所对应的呈现概率信息， 以获得所 述分词的准确性信息； 输入信息相对应的用户设备。
根据本发明的另一方面， 还提供了一种在用户设备端用于辅助实 现语音输入的方法， 其中， 该方法包括以下步骤：
A 获取网络设备所发送的语音输入信息所对应的输入字符序列， 以及所述输入字符序列中分词的准确性信息；
B 根据所述分词的准确性信息， 将所述输入字符序列提供给用 户。
根据本发明的再一方面， 还提供了一种用于实现语音输入的网络 设备， 其中， 该设备包括：
输入获取装置， 用于获取语音输入信息；
序列确定装置， 用于根据语音识别模型， 确定所述语音输入信息对 应的输入字符序列；
准确性确定装置， 用于确定所述输入字符序列中分词所对应的呈现 概率信息， 以获得所述分词的准确性信息；
发送装置， 用于将所述输入字符序列及所述分词的准确性信息发送 至所述语音输入信息相对应的用户设备。
根据本发明的又一方面， 还提供了一种用于辅助实现语音输入的 用户设备， 其中， 该设备包括：
序列获取装置， 用于获取网络设备所发送的语音输入信息所对应 的输入字符序列， 以及所述输入字符序列中分词的准确性信息；
提供装置， 用于根据所述分词的准确性信息， 将所述输入字符序 列提供给用户。
根据本发明的另一方面， 还提供了一种用于实现语音输入的系 统， 包括如上述所述的网络设备及如上述所述的用户设备。
与现有技术相比， 本发明通过在网络设备端根据语音识别模型， 确定语音输入信息对应的输入字符序列， 并通过确定所述输入字符序列 中分词所对应的呈现概率信息， 以获得所述分词的准确性信息， 从而将 所述输入字符序列及所述分词的准确性信息发送至所述语音输入信息 相对应的用户设备； 用户设备端根据所述分词的准确性信息， 将所述输 入字符序列提供给用户； 从而根据输入字符序列中分词的呈现概率信息 来获得所述分词的准确性信息， 提高了语音输入的准确性与灵活性， 使 得所述输入词条与用户的输入需求相匹配， 提高了输入灵活度与个性 化， 还提高了输入法的输入效率， 改善了用户体验。
而且， 本发明还可以在网络设备端获取所述用户设备发送的关于 所述至少一个分词的备选项的访问请求， 并根据述访问请求， 确定与所 述至少一个分词相对应的一个或多个备选项， 从而将所述一个或多个备 选项发送至所述用户设备； 在用户设备端将所述一个或多个备选项中至 少一个提供给所述用户； 进一步地， 在网络设备端还可以结合所述至少 一个分词的上下文信息， 确定与所述至少一个分词相对应的一个或多个 备选项； 进一步地， 在用户设备端， 还可以根据用户对所述一个或多个 备选项中至少一个的选择操作， 替换所述输入字符序列中对应的分词， 以获得更新后的所述输入字符序列。 从而为用户提供了多种备选项， 便 于修正语音输入中的错误， 提高了语音输入的准确性与灵活性， 使得所 述输入词条与用户的输入需求相匹配， 提高了输入灵活度与个性化， 还提高了输入法的输入效率， 改善了用户体验。
而且， 本发明还可以在网络设备端确定所述分词在所述输入字符序 列中的条件概率， 将所述条件概率作为所述分词的呈现概率信息， 并根 据所述条件概率确定所述分词的准确性信息； 进一步地， 还可以根据所 述分词的呈现概率信息， 以及所述分词对应的候选分词的呈现概率信 息， 确定所述呈现概率阈值； 从而结合整个字符序列， 提高了语音输入 的准确性与灵活性，使得所述输入词条与用户的输入需求相匹配，提高 了输入灵活度与个性化， 还提高了输入法的输入效率， 改善了用户体 验。
而且， 本发明还可以在网络设备端根据语音识别模型， 并结合所述 语音输入信息所对应的上下文信息， 确定所述语音输入信息对应的输入 字符序列； 从而结合上下文信息， 提高了所确定的输入字符序列的准确 性， 进而提高了语音输入的准确性与灵活性， 使得所述输入词条与用户 的输入需求相匹配， 提高了输入灵活度与个性化， 还提高了输入法的 输入效率， 改善了用户体马 。 附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述， 本发明的其它特征、 目的和优点将会变得更明显：
图 1 示出根据本发明一个方面的一种用于实现语音输入的网络设 备与用户设备示意图；
图 2示出根据本发明一个优选实施例的一种用于实现语音输入的 网络设备与用户设备示意图；
图 3示出根据本发明另一个方面的一种由网络设备与用户设备配 合实现的用于实现语音输入的方法流程图；
图 4示出根据本发明一个优选实施例的一种由网络设备与用户设 备配合实现的用于实现语音输入的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。 具体实施方式
下面结合附图对本发明作进一步详细描述。
图 1示出根据本发明一个方面的一种用于实现语音输入的网络设备 与用户设备示意图； 其中， 网络设备 1包括输入获取装置 11、 序列确定 装置 12、 准确性确定装置 13、 发送装置 14; 用户设备 2包括序列获取 装置 21、 提供装置 22; 网络设备 1和用户设备 2的各个装置之间互相 配合， 以实现语音输入。 具体地， 网络设备 1中的输入获取装置 11获取 语音输入信息； 序列确定装置 12根据语音识别模型， 确定所述语音输 入信息对应的输入字符序列； 准确性确定装置 13 确定所述输入字符序 列中分词所对应的呈现概率信息， 以获得所述分词的准确性信息； 发送 装置 14将所述输入字符序列及所述分词的准确性信息发送至所述语音 输入信息相对应的用户设备； 相应地， 用户设备 2中的序列获取装置 21 获取网络设备所发送的语音输入信息所对应的输入字符序列， 以及所述 输入字符序列中分词的准确性信息； 提供装置 22根据所述分词的准确 性信息， 将所述输入字符序列提供给用户。
其中， 所述网络设备其包括但不限于计算机、 网络主机、 单个网 络服务器、 多个网络服务器集或多个服务器构成的云； 在此， 云由基 于云计算（ Cloud Computing )的大量计算机或网络服务器构成，其中， 云计算是分布式计算的一种， 由一群松散耦合的计算机集组成的一个 虚拟超级计算机。 所述用户设备其包括但不限于任何一种可与用户通 过键盘、 遥控器、 触摸板、 或声控设备进行人机交互的电子产品， 例 如计算机、 智能手机、 PDA, 游戏机、 或 IPTV等。 所述网络包括但 不限于互联网、 广域网、 城域网、 局域网、 VPN网络、 无线自组织网 络（Ad Hoc 网络） 等。 本领域技术人员应能理解， 其他的能够实现 语音输入的网络设备与用户设备同样适用于本发明， 也应包含在本发 明保护范围以内， 并在此以引用方式包含于此。
上述各装置之间是持续不断工作的， 在此， 本领域技术人员应理 解"持续"是指上述各装置分别实时地或者按照设定的或实时调整的 工作模式要求， 进行语音输入信息的获取、 输入字符序列的确定、 准确 性信息的获取、 输入字符序列以及分词准确性信息的发送与接收、 输入 字符序列的提供等， 直至网络设备停止获取语音输入信息。
网络设备 1中的输入获取装置 11获取语音输入信息。具体地，输入 获取装置 11通过基于各种通信协议 (Communications Protocol),通过各 种数据传输接口， 与第三方的语音输入信息数据库等进行交互， 获取 语音输入信息； 或者所述输入获取装置 11 实时获取用户所输入的语 音输入信息， 或者与所述用户设备进行交互， 获取用户所实时输入的 语音输入信息等。 其中， 所述语音输入信息包括但不限于字、 词、 短 句或长句等。
序列确定装置 12根据语音识别模型， 确定所述语音输入信息对应 的输入字符序列。 具体地， 所述序列确定装置 12通过根据预先设置或 学习得到的语音识别模型， 通过例如将语音输入信息进行切分， 获得 与所述语音输入信息相对应的一个或多个输入音节， 将所述输入音节 的特征矢量依次与所述语音识别模型中的模板等进行匹配， 从而获得 与所述音节对应的一个或多个分词或候选分词； 依次对所述输入音节 进行匹配， 从而确定与所述语音输入信息相对应的输入字符序列， 其 中， 所述输入字符序列中包括与所述语音输入信息相对应的多个分词 或候选分词。 在此， 所述语音识别模型包括但不限于通用语音识别模 型， 或是仅与当前用户所对应的特定语音识别模型； 所述语音识别模型 通过语音训练所获得。例如，若所述语音输入信息对应句子"我带你去锦 州"， 序列确定装置 12对所述语音输入信息进行切分， 从而获得与所述 语音输入信息相对应的多个分词； 例如： 我、 带、 你、 去、 锦州； 其 中， "带"的位置还可能有其他候选分词, 如"代、 待、 呆（10% ) ", "锦 州"处也可能还有其他候选分词， 如"金州、 晋州"等。
准确性确定装置 13 确定所述输入字符序列中分词所对应的呈现概 * 率信息， 以获得所述分词的准确性信息。 具体地， 所述准确性确定装置 13通过根据机器学习所获得的、或是通过查询相应的呈现概率信息数据 库等所获得的信息， 确定与所述输入字符序列中分词所对应的呈现概率 信息； 并根据所述呈现概率信息， 通过直接将所述呈现概率信息作为所 述分词的准确性信息的方式， 获得所述分词的准确性信息； 或者如基于 所述分词在所述输入字符序列中的上下文信息， 或是基于所述分词的词 性信息等， 对所述呈现概率信息进行处理， 以获得所述分词的准确性信 息。 例如， 继上例， 准确性确定装置 13 通过与呈现概率信息数据库相 交互， 获得与所述语音输入信息对应句子"我带你去锦州 "中的分词所对 应的呈现概率信息（如括号中所示）， 我（90% )、 带（40% )、 你（90% )、 去（98% )、锦州 ( 40% ), 其中"带"的位置还可能有其他候选分词，如"代 ( 30% )、 待（20% )、 呆（10% ) ", "锦州 "处也可能还有其他候选分词, 如"金州 （30% )、 晋州 （30% ) "等; 所述准确性确定装置 13将所述呈 现概率信息直接对应为所述分词的准确性信息。 即如"我"的准确性信息 为 90%等。
发送装置 14将所述输入字符序列及所述分词的准确性信息发送至 所述语音输入信息相对应的用户设备。 具体地， 所述发送装置 14从所 述准确性确定装置 13 中获取由一个或多个分词或候选分词所组成的输 入字符序列， 以及所述分词的准确性信息， 通过基于各种通信协议， 通 过用户设备所提供的应用程序接口 （API ), 或其他约定的通信方式的格 式要求， 将所述输入字符序列及所述分词的准确性信息发送至所述语音 输入信息相对应的用户设备。
相应地， 用户设备 2中的序列获取装置 21获取网络设备所发送的 语音输入信息所对应的输入字符序列， 以及所述输入字符序列中分词的 准确性信息。 具体地， 所述序列获取装置 21 通过基于各种通信协议， 通过网络设备所提供的应用程序接口 （API ), 或其他约定的通信方式的 格式要求， 从所述网络设备处接收由一个或多个分词或候选分词所组成 的与所述语音输入信息所对应的输入字符序列， 以及所述分词的准确性
Ί^- 。
提供装置 22根据所述分词的准确性信息，将所述输入字符序列提 供给用户。 具体地， 所述提供装置 22通过根据所述序列获取装置 21 中所获取的输入字符序列， 以及所述输入字符序列中分词的准确性信 息， 通过将对应同一个输入音节的所述准确性信息最高的分词进行组 合， 从而生成提供给所述用户的输入字符序列； 或者将对应同一个输入 音节的所有分词或候选分词按照准确性从高到低进行排序后， 生成供给 所述用户的输入字符序列， 其中， 所述输入字符序列中包含所有匹配的 分词等； 并通过与所述用户进行交互， 通过基于各种通信协议， 通过用 户所对应的用户设备所提供的应用程序接口 （API ) 等方式， 将所述输 入字符序列提供给所述用户。 在此， 所述用户包括但不限于与提供所述 语音输入信息相对应的用户， 或者指定的用于接收所述语音输入信息的 用户等。
优选地， 所述准确性确定装置 13还可以确定所述分词在所述输入 字符序列中的条件概率， 以作为所述分词的呈现概率信息； 根据呈现概 率阈值， 基于所述分词的呈现概率信息， 确定所述分词的准确性信息。 具体地， 所述准确性确定装置 13 还可以通过直接获取所述分词在所述 输入字符序列中的条件概率； 或者先获取所述输入字符序列出现的概率 P ( B ), 然后获取当所述输入字符序列中包含所述分词的概率 P ( AB ), 从而计算得到在所述输入字符序列中出现所述分词的条件概率 P( A|B ), 将所述条件概率 P ( A|B )作为所述分词的呈现概率信息。 所述准确性确 定装置 13 通过根据预置的或机器学习等方式所获得呈现概率阈值， 例 如将所述呈现概率信息高于所述呈现概率阈值的一个或多个分词作为 准确分词， 若所述分词的呈现概率信息低于所述呈现概率阈值， 则确定 该分词为不准确分词， 从而确定所述分词的准确性信息。
更优选地， 所述网络设备 1还包括阈值确定装置 （未示出）， 其中， 所述阈值确定装置根据所述分词的呈现概率信息， 以及所述分词对应的 候选分词的呈现概率信息， 确定所述呈现概率阈值。 具体地， 所述阈值 确定装置可以获取所述分词以及所述分词所对应的候选分词的呈现概 率信息， 通过例如对所述一个或多个分词以及候选分词的呈现概率进行 平均、 加权平均、 取中值等方式， 确定所述呈现概率阈值。 例如， 如所 述分词以及候选分词的呈现概率信息为 {40%, 10%, 10%, 20%, 20%} , 则可取阈值为 30%-40%, 而不必限定为 50%; 例如， 若所述分词以及候 选分词的呈现概率信息为 {50%, 45%, 5%} ,则即使呈现概率阈值取 50%, 仍存在较大可能为错误等。
优选地， 所述序列确定装置 12 还可以根据语音识别模型， 并结合 所述语音输入信息所对应的上下文信息， 确定所述语音输入信息对应的 输入字符序列。 具体地， 所述序列确定装置 12通过例如结合所述语音 输入信息所对应的上下文信息， 确定所对应的语音识别模型， 例如， 根 据所述上下文信息中的关键字判定相对应的不同领域的语音识别模型， 然后根据所述语音识别模型， 确定所述语音输入信息所对应的输入字符 序列； 或者利用通用的语音识别模型确定所述输入字符序列， 并结合所 述上下文信息对所述输入字符序列进行调整， 例如提高上下文匹配的字 符序列的权重或优先级等。 其中， 所述确定输入字符序列的方式与图 1 中所述序列确定装置 12 的确定方式相同或相似， 故此处不再赞述， 并 通过引用的方式包含于此。
图 2示出根据本发明一个优选实施例的一种用于实现语音输入的 网络设备与用户设备示意图； 其中， 网络设备 1包括输入获取装置 11 '、 序列确定装置 12'、 准确性确定装置 13'、 发送装置 14'、 请求获取装置 15'、 备选确定装置 16'、 备选发送装置 17'; 用户设备 2包括序列获取 装置 21 '、提供装置 22'、备选请求获取装置 23'、访问请求发送装置 24'、 备选接收装置 25'、 备选提供装置 26'； 网络设备 1和用户设备 2的各个 装置之间互相配合， 以实现语音输入。 具体地， 网络设备 1中的输入获 取装置 1 Γ获取语音输入信息； 序列确定装置 12'根据语音识别模型， 确 定所述语音输入信息对应的输入字符序列； 准确性确定装置 13'确定所 述输入字符序列中分词所对应的呈现概率信息， 以获得所述分词的准确 性信息； 发送装置 14，将所述输入字符序列及所述分词的准确性信息发 送至所述语音输入信息相对应的用户设备； 相应地， 用户设备 2中的序 列获取装置 21 '获取网络设备所发送的语音输入信息所对应的输入字符 序列， 以及所述输入字符序列中分词的准确性信息； 提供装置 22，根据 所述分词的准确性信息， 将所述输入字符序列提供给用户； 备选请求 获取装置 23'获取所述用户对所述输入字符序列中至少一个分词的备选 项的请求操作； 访问请求发送装置 24'基于所述请求操作向所述网络设 备发送关于所述至少一个分词的备选项的访问请求； 相应地， 请求获取 装置 15'获取所述用户设备发送的关于所述至少一个分词的备选项的访 问请求； 备选确定装置 16'根据所述访问请求， 确定与所述至少一个分 词相对应的一个或多个备选项； 备选发送装置 17'将所述一个或多个备 选项发送至所述用户设备； 相应地， 备选接收装置 25'接收所述网络设 备基于所述访问请求发送的一个或多个备选项； 备选提供装置 26'将所 述一个或多个备选项中至少一个提供给所述用户。 其中， 网络设备 1中 的获取装置 11 '、 序列确定装置 12'、 准确性确定装置 13'、 发送装置 14' 和用户设备 2中的序列获取装置 21 '、 提供装置 22'分别与图 1所示对 应装置相同或基本相同， 故此处不再赘述， 并通过引用的方式包含于 此。
上述各装置之间是持续不断工作的， 在此， 本领域技术人员应理 解"持续"是指上述各装置分别实时地或者按照设定的或实时调整的 工作模式要求， 进行语音输入信息的获取、 输入字符序列的确定、 准确 性信息的获取、 输入字符序列以及分词准确性信息的发送与接收、 输入 字符序列的提供、 备选请求操作的获取、 备选访问请求的发送与接收、 备选项的确定、 备选项的发送与接收、 备选项的提供等， 直至网络设备 停止获取语音输入信息。
备选请求获取装置 23'获取所述用户对所述输入字符序列中至少一 个分词的备选项的请求操作。 具体地， 备选请求获取装置 23'基于各种 通信协议， 通过各种应用程序接口， 从第三方设备中获取所述用户对所 述输入字符序列中至少一个分词的备选项的请求操作； 或者与用户直接 交互， 获取的请求操作。 其中， 所述请求操作包括但不限于输入、 点击、 触摸等。 例如， 继上例， 备选请求获取装置 23，与所述用户直接交互， 获取所述用户通过点击等方式， 所输入的对"锦州 "的备选项的请求。
访问请求发送装置 24'基于所述请求操作向所述网络设备发送关于 所述至少一个分词的备选项的访问请求。具体地，访问请求发送装置 24， 基于所述请求操作， 通过基于各种通信协议， 通过网络设备所提供的应 用程序接口 （API ), 或其他约定的通信方式的格式要求， 将所述关于所 述至少一个分词的备选项的访问请求发送至所述网络设备。
相应地， 请求获取装置 15，获取所述用户设备发送的关于所述至少 一个分词的备选项的访问请求。 具体地， 所述请求获取装置 15'通过基 于各种通信协议， 通过用户设备所提供的应用程序接口 （API ), 或其他 约定的通信方式的格式要求， 从所述用户设备处接收关于所述至少一个 分词的备选项的访问请求。
备选确定装置 16'根据所述访问请求， 确定与所述至少一个分词相 对应的一个或多个备选项。 具体地， 所述备选确定装置 16'根据所述请 求获取装置 15'所获取的访问请求， 根据所述访问请求中所需获取的分 词， 通过直接获取序列确定装置 12'中对所述分词的候选分词， 并将所 述候选分词做为备选项； 或者重新处理所述分词， 以获得与所述至少一 个分词相对应的一个或多个备选项。 其中， 所述处理方法与所述序列确 定装置 12，中的方法相同或相似， 故此处不再赘述， 并通过引用的方式 包含于此。
备选发送装置 17'将所述一个或多个备选项发送至所述用户设备。 具体地，备选发送装置 17'获取所述备选确定装置 16'所确定的一个或多 个备选项， 通过基于各种通信协议， 通过用户设备所提供的应用程序接 口 （API ), 或其他约定的通信方式的格式要求， 将所述一个或多个备选 项发送至所述用户设备。
相应地， 用户设备端的备选接收装置 25'接收所述网络设备基于所 述访问请求发送的一个或多个备选项。 具体地， 备选接收装置 25'通过 基于各种通信协议， 通过网络设备所提供的应用程序接口 （API ), 或其 他约定的通信方式的格式要求， 从所述网络设备处接收基于所述访问请 求发送的一个或多个备选项。
备选提供装置 26'将所述一个或多个备选项中至少一个提供给所述 用户。 具体地， 备选提供装置 26'通过根据所述备选接收装置 25'中所 获取的一个或多个备选项， 通过根据系统预置或用户设定的方式， 将所 述一个或多个备选项中至少一个， 通过与所述用户进行交互提供给所述 用户； 或者基于各种通信协议， 通过用户所对应的用户设备所提供的应 用程序接口 （API ) 等方式， 将所述一个或多个备选项中至少一个提供 给所述用户。 在此， 所述用户包括但不限于与提供所述语音输入信息相 对应的用户， 或者指定的用于接收所述语音输入信息的用户等。
优选地， 所述网络设备 1 中的备选确定装置 16，还可以根据所述访 问请求， 并结合所述至少一个分词的上下文信息， 确定与所述至少一个 分词相对应的一个或多个备选项。 具体地， 所述备选确定装置 16'还可 以根据所述访问请求中， 通过结合所述访问请求中的分词的上下文信 息， 对所述至少一个分词相对应的一个或多个备选项进行确定。 例如， 根据上下文信息， 通过结合如常用搭配、 或语法等信息， 将与所述上下 文信息匹配程度较低的备选项进行筛除等； 例如，对于语音输入信息"我 带你去锦州"，若需获取备选项的分词是"锦州"，考虑到 "去"这个方向词， 则那么对应的备选项可能是 "金州"、 "晋州"， 而不会包括"禁咒"。
优选地， 所述用户设备 2还包括操作获取装置 （未示出）和替换装 置 （未示出）， 其中， 操作获取装置获取用户对所述一个或多个备选项 中至少一个的选择操作； 替换装置根据所述选择操作所对应的备选项， 替换所述输入字符序列中对应的分词， 以获得更新后的所述输入字符序 列。 具体地， 操作获取装置通过与用户直接交互， 或者经由可以提供所 述选择操作的第三方设别的应用程序接口等， 获取用户对所述一个或多 个备选项中至少一个的选择操作； 例如， 用户通过点击等方式选择了一 个或多个备选项中的一个， 则操作获取装置对所述选择操作以及其所选 择的备选项进行获取。 替换装置获取所述操作获取装置所选择的备选 项， 并利用所述备选项替换所述输入字符序列中对应的分词， 以获得更 新后的所述输入字符序列。 例如， 继上例， 用户选择了备选项"金州"， 从而替换装置利用"金州"替换掉所述"锦州"， 更新后的输入字符序列为 "我带你去金州"。
图 3示出根据本发明另一个方面的一种由网络设备与用户设备配合 实现的用于实现语音输入的方法流程图。 具体地， 在步骤 si中， 网络设 备 1获取语音输入信息； 在步骤 s2中， 网络设备 1根据语音识别模型， 确定所述语音输入信息对应的输入字符序列； 在步骤 S3中， 网络设备 1 确定所述输入字符序列中分词所对应的呈现概率信息， 以获得所述分词 的准确性信息； 在步骤 s4中， 网络设备 1将所述输入字符序列及所述分 词的准确性信息发送至所述语音输入信息相对应的用户设备； 相应地， 在步骤 s4中，用户设备 2获取网络设备所发送的语音输入信息所对应的 输入字符序列， 以及所述输入字符序列中分词的准确性信息； 在步骤 s5 中， 用户设备 2根据所述分词的准确性信息， 将所述输入字符序列提 供给用户。
上述各步骤之间是持续不断工作的， 在此， 本领域技术人员应理 解"持续"是指上述各步骤分别实时地或者按照设定的或实时调整的 工作模式要求， 进行语音输入信息的获取、 输入字符序列的确定、 准确 性信息的获取、 输入字符序列以及分词准确性信息的发送与接收、 输入 字符序列的提供等， 直至网络设备停止获取语音输入信息。
在步骤 si 中， 网络设备 1获取语音输入信息。 具体地， 在步骤 si 中 , 网络设备 1通过基于各种通信协议 (Communications Protocol), 通 过各种数据传输接口， 与第三方的语音输入信息数据库等进行交互， 获取语音输入信息； 或者在步骤 si中， 网络设备 1实时获取用户所输 入的语音输入信息， 或者与所述用户设备进行交互， 获取用户所实时 输入的语音输入信息等。 其中， 所述语音输入信息包括但不限于字、 词、 短句或长句等。
在步骤 s2中， 网络设备 1根据语音识别模型， 确定所述语音输入信 息对应的输入字符序列。 具体地， 在步骤 s2中， 网络设备 1通过根据预 先设置或学习得到的语音识别模型， 通过例如将语音输入信息进行切 分， 获得与所述语音输入信息相对应的一个或多个输入音节， 将所述 输入音节的特征矢量依次与所述语音识别模型中的模板等进行匹配， 从而获得与所述音节对应的一个或多个分词或候选分词； 依次对所述 输入音节进行匹配， 从而确定与所述语音输入信息相对应的输入字符 序列， 其中， 所述输入字符序列中包括与所述语音输入信息相对应的 多个分词或候选分词。 在此， 所述语音识别模型包括但不限于通用语 音识别模型， 或是仅与当前用户所对应的特定语音识别模型； 所述语音 识别模型通过语音训练所获得。例如，若所述语音输入信息对应句子"我 带你去锦州"， 在步骤 s2中， 网络设备 1对所述语音输入信息进行切分， 从而获得与所述语音输入信息相对应的多个分词； 例如： 我、 带、 你、 去、 锦州； 其中， "带"的位置还可能有其他候选分词， 如"代、 待、 呆 ( 10% ) ", "锦州 "处也可能还有其他候选分词， 如"金州、 晋州"等。
在步骤 S3中，网络设备 1确定所述输入字符序列中分词所对应的呈 现概率信息， 以获得所述分词的准确性信息。 具体地， 在步骤 S3中， 网 络设备 1通过根据机器学习所获得的、 或是通过查询相应的呈现概率信 息数据库等所获得的信息， 确定与所述输入字符序列中分词所对应的呈 现概率信息； 并根据所述呈现概率信息， 通过直接将所述呈现概率信息 作为所述分词的准确性信息的方式， 获得所述分词的准确性信息； 或者 如基于所述分词在所述输入字符序列中的上下文信息， 或是基于所述分 词的词性信息等， 对所述呈现概率信息进行处理， 以获得所述分词的准 确性信息。 例如， 继上例， 在步骤 S3中， 网络设备 1通过与呈现概率信 息数据库相交互， 获得与所述语音输入信息对应句子"我带你去锦州 "中 的分词所对应的呈现概率信息（如括号中所示）， 我（90% )、 带（40% )、 你 （90% )、 去 ( 98% )、 锦州 （40% ), 其中"带"的位置还可能有其他候 选分词， 如"代（30% )、 待（20% )、 呆 ( 10% ) "， "锦州"处也可能还有 其他候选分词， 如"金州 （30% )、 晋州 （30% ) "等； 在步骤 s3中， 网络 设备 1 将所述呈现概率信息直接对应为所述分词的准确性信息。 即如 "我"的准确性信息为 90%等。
在步骤 s4中，网络设备 1将所述输入字符序列及所述分词的准确性 信息发送至所述语音输入信息相对应的用户设备。 具体地， 在步骤 s4 中，网络设备 1从所述步骤 s3中获取由一个或多个分词或候选分词所组 成的输入字符序列， 以及所述分词的准确性信息， 通过基于各种通信协 议， 通过用户设备所提供的应用程序接口 （API ), 或其他约定的通信方 式的格式要求， 将所述输入字符序列及所述分词的准确性信息发送至所 述语音输入信息相对应的用户设备。
相应地， 在步骤 s4中， 用户设备 2获取网络设备所发送的语音输入 信息所对应的输入字符序列， 以及所述输入字符序列中分词的准确性信 息。 具体地， 在步骤 s4中， 用户设备 2通过基于各种通信协议， 通过网 络设备所提供的应用程序接口 （API ), 或其他约定的通信方式的格式要 求， 从所述网络设备处接收由一个或多个分词或候选分词所组成的与所 述语音输入信息所对应的输入字符序列， 以及所述分词的准确性信息。
在步骤 s5中， 用户设备 2才艮据所述分词的准确性信息， 将所述输 入字符序列提供给用户。 具体地， 在步骤 s5中， 用户设备 2通过步骤 s4中所获取的输入字符序列，以及所述输入字符序列中分词的准确性信 息， 通过将对应同一个输入音节的所述准确性信息最高的分词进行组 合， 从而生成提供给所述用户的输入字符序列； 或者将对应同一个输入 音节的所有分词或候选分词按照准确性从高到低进行排序后， 生成供给 所述用户的输入字符序列， 其中， 所述输入字符序列中包含所有匹配的 分词等； 并通过与所述用户进行交互， 通过基于各种通信协议， 通过用 户所对应的用户设备所提供的应用程序接口 （API ) 等方式， 将所述输 入字符序列提供给所述用户。 在此， 所述用户包括但不限于与提供所述 语音输入信息相对应的用户， 或者指定的用于接收所述语音输入信息的 用户等。
优选地， 在步骤 s3中， 网络设备 1还可以确定所述分词在所述输 入字符序列中的条件概率， 以作为所述分词的呈现概率信息； 根据呈现 概率阈值，基于所述分词的呈现概率信息，确定所述分词的准确性信息。 具体地， 在步骤 s3中， 网络设备 1还可以通过直接获取所述分词在所述 输入字符序列中的条件概率； 或者先获取所述输入字符序列出现的概率 P ( B ), 然后获取当所述输入字符序列中包含所述分词的概率 P ( AB ), 从而计算得到在所述输入字符序列中出现所述分词的条件概率 P( A|B ), 将所述条件概率 P ( A|B )作为所述分词的呈现概率信息。 在步骤 S3中， 网络设备 1通过根据预置的或机器学习等方式所获得呈现概率阈值， 例 如将所述呈现概率信息高于所述呈现概率阈值的一个或多个分词作为 准确分词， 若所述分词的呈现概率信息低于所述呈现概率阈值， 则确定 该分词为不准确分词， 从而确定所述分词的准确性信息。
更优选地， 该方法还包括步骤 sll (未示出）， 其中， 在步骤 sll中， 网络设备 1根据所述分词的呈现概率信息， 以及所述分词对应的候选分 词的呈现概率信息， 确定所述呈现概率阈值。 具体地， 在步骤 sll 中， 网络设备 1可以获取所述分词以及所述分词所对应的候选分词的呈现概 率信息， 通过例如对所述一个或多个分词以及候选分词的呈现概率进行 平均、 加权平均、 取中值等方式， 确定所述呈现概率阈值。 例如， 如所 述分词以及候选分词的呈现概率信息为 {40%, 10%, 10%, 20%, 20%} , 则可取阈值为 30%-40%, 而不必限定为 50%; 例如， 若所述分词以及候 选分词的呈现概率信息为 {50%, 45%, 5%} ,则即使呈现概率阈值取 50%, 仍存在较大可能为错误等。
优选地， 在步骤 s2中， 网络设备 1还可以根据语音识别模型， 并结 合所述语音输入信息所对应的上下文信息， 确定所述语音输入信息对应 的输入字符序列。 具体地， 在步骤 s2中， 网络设备 1通过例如结合所述 语音输入信息所对应的上下文信息，确定所对应的语音识别模型，例如， 根据所述上下文信息中的关键字判定相对应的不同领域的语音识别模 型， 然后根据所述语音识别模型， 确定所述语音输入信息所对应的输入 字符序列； 或者利用通用的语音识别模型确定所述输入字符序列， 并结 合所述上下文信息对所述输入字符序列进行调整， 例如提高上下文匹配 的字符序列的权重或优先级等。 其中， 所述确定输入字符序列的方式与 图 31中所述步骤 s2的确定方式相同或相似， 故此处不再赞述， 并通过 引用的方式包含于此。
图 4示出根据本发明一个优选实施例的一种由网络设备与用户设 备配合实现的用于实现语音输入的方法流程图。 具体地， 在步骤 sl， 中， 网络设备 1获取语音输入信息； 在步骤 s2'中， 网络设备 1根据语音 识别模型， 确定所述语音输入信息对应的输入字符序列； 在步骤 S3'中， 网络设备 1确定所述输入字符序列中分词所对应的呈现概率信息， 以获 得所述分词的准确性信息；在步骤 s4'中， 网络设备 1将所述输入字符序 列及所述分词的准确性信息发送至所述语音输入信息相对应的用户设 备； 相应地， 在步骤 s4，中， 用户设备 2获取网络设备所发送的语音输入 信息所对应的输入字符序列， 以及所述输入字符序列中分词的准确性信 息； 在步骤 s5'中， 用户设备 2根据所述分词的准确性信息， 将所述输 入字符序列提供给用户； 在步骤 s6'中， 用户设备 2获取所述用户对所 述输入字符序列中至少一个分词的备选项的请求操作；在步骤 s7'中，用 户设备 2基于所述请求操作向所述网络设备发送关于所述至少一个分词 的备选项的访问请求； 相应地， 在步骤 s7，中， 网络设备 1获取所述用户 设备发送的关于所述至少一个分词的备选项的访问请求； 在步骤 s8，中， 网络设备 1才艮据所述访问请求， 确定与所述至少一个分词相对应的一个 或多个备选项；在步骤 s9'中， 网络设备 1将所述一个或多个备选项发送 至所述用户设备； 相应地， 在步骤 s9，中， 用户设备 2接收所述网络设备 基于所述访问请求发送的一个或多个备选项； 在步骤 slO'中， 用户设备 2将所述一个或多个备选项中至少一个提供给所述用户。其中，步骤 sl '、 步骤 s2'、 步骤 s3'、 步骤 s4'、 步骤 s5'分别与图 3所示对应步骤相同或 基本相同， 故此处不再赘述， 并通过引用的方式包含于此。
上述各步骤之间是持续不断工作的， 在此， 本领域技术人员应理 解"持续"是指上述各步骤分别实时地或者按照设定的或实时调整的 工作模式要求， 进行语音输入信息的获取、 输入字符序列的确定、 准确 性信息的获取、 输入字符序列以及分词准确性信息的发送与接收、 输入 字符序列的提供、 备选请求操作的获取、 备选访问请求的发送与接收、 备选项的确定、 备选项的发送与接收、 备选项的提供等， 直至网络设备 停止获取语音输入信息。 一个分词的备选项的请求操作。 具体地， 在步骤 s6，中， 用户设备 2基于 各种通信协议， 通过各种应用程序接口， 从第三方设备中获取所述用户 对所述输入字符序列中至少一个分词的备选项的请求操作； 或者与用户 直接交互， 获取的请求操作。 其中， 所述请求操作包括但不限于输入、 点击、 触摸等。 例如， 继上例， 在步骤 s6，中， 用户设备 2与所述用户直 接交互， 获取所述用户通过点击等方式， 所输入的对"锦州"的备选项的 请求。
在步骤 s7'中，用户设备 2基于所述请求操作向所述网络设备发送关 于所述至少一个分词的备选项的访问请求。 具体地， 访在步骤 s7，中， 用 户设备 2基于所述请求操作， 通过基于各种通信协议， 通过网络设备所 提供的应用程序接口 （API ), 或其他约定的通信方式的格式要求， 将所 述关于所述至少一个分词的备选项的访问请求发送至所述网络设备。
相应地，在步骤 s7，中， 网络设备 1获取所述用户设备发送的关于所 述至少一个分词的备选项的访问请求。 具体地， 在步骤 s7，中， 网络设备 1通过基于各种通信协议，通过用户设备所提供的应用程序接口（API ), 或其他约定的通信方式的格式要求， 从所述用户设备处接收关于所述至 少一个分词的备选项的访问请求。
在步骤 s8'中， 网络设备 1根据所述访问请求，确定与所述至少一个 分词相对应的一个或多个备选项。 具体地， 在步骤 s8，中， 网络设备 1 根据步骤 s7'所获取的访问请求， 根据所述访问请求中所需获取的分词， 通过直接步骤 s2'中对所述分词的候选分词，并将所述候选分词做为备选 项； 或者重新处理所述分词， 以获得与所述至少一个分词相对应的一个 或多个备选项。其中，所述处理方法与所述步骤 s2，中的方法相同或相似， 故此处不再赘述， 并通过引用的方式包含于此。
在步骤 s9'中，网络设备 1将所述一个或多个备选项发送至所述用户 设备。 具体地， 在步骤 s9，中， 网络设备 1获取所述步骤 s8，所确定的一 个或多个备选项， 通过基于各种通信协议， 通过用户设备所提供的应用 程序接口 （API ), 或其他约定的通信方式的格式要求， 将所述一个或多 个备选项发送至所述用户设备。 相应地，在步骤 s9，中，用户设备 2接收所述网络设备基于所述访问 请求发送的一个或多个备选项。 具体地， 在步骤 s9，中， 用户设备 2通过 基于各种通信协议， 通过网络设备所提供的应用程序接口 （API ), 或其 他约定的通信方式的格式要求， 从所述网络设备处接收基于所述访问请 求发送的一个或多个备选项。
在步骤 slO'中， 用户设备 2将所述一个或多个备选项中至少一个提 供给所述用户。 具体地， 在步骤 slO，中， 用户设备 2通过根据步骤 s9， 中所获取的一个或多个备选项， 通过根据系统预置或用户设定的方式， 将所述一个或多个备选项中至少一个， 通过与所述用户进行交互提供给 所述用户； 或者基于各种通信协议， 通过用户所对应的用户设备所提供 的应用程序接口 （API ) 等方式， 将所述一个或多个备选项中至少一个 提供给所述用户。 在此， 所述用户包括但不限于与提供所述语音输入信 息相对应的用户， 或者指定的用于接收所述语音输入信息的用户等。
优选地， 在步骤 s8，中， 网络设备 1还可以根据所述访问请求， 并结 合所述至少一个分词的上下文信息， 确定与所述至少一个分词相对应的 一个或多个备选项。 具体地， 在步骤 s8，中， 网络设备 1还可以根据所述 访问请求中， 通过结合所述访问请求中的分词的上下文信息， 对所述至 少一个分词相对应的一个或多个备选项进行确定。 例如， 才艮据上下文信 息， 通过结合如常用搭配、 或语法等信息， 将与所述上下文信息匹配程 度较低的备选项进行筛除等； 例如，对于语音输入信息"我带你去锦州"， 若需获取备选项的分词是"锦州"， 考虑到 "去"这个方向词， 则那么对应 的备选项可能是"金州"、 "晋州"， 而不会包括"禁咒"。
优选地， 该方法还包括步骤 sl2， （未示出）和步骤 sl3， （未示出）， 其中， 在步骤 sl2'中， 用户设备 2获取用户对所述一个或多个备选项中 至少一个的选择操作； 在步骤 sl3'中， 用户设备 2根据所述选择操作所 对应的备选项， 替换所述输入字符序列中对应的分词， 以获得更新后的 所述输入字符序列。 具体地， 在步骤 sl2，中， 用户设备 2通过与用户直 接交互， 或者经由可以提供所述选择操作的第三方设别的应用程序接口 等， 获取用户对所述一个或多个备选项中至少一个的选择操作； 例如， 用户通过点击等方式选择了一个或多个备选项中的一个， 则在步骤 sl2' 中， 用户设备 2对所述选择操作以及其所选择的备选项进行获取。 在步 骤 sl3，中， 用户设备 2获取所述步骤 sl2，所选择的备选项， 并利用所述 备选项替换所述输入字符序列中对应的分词， 以获得更新后的所述输入 字符序列。 例如， 继上例， 用户选择了备选项"金州"， 从而在步骤 sl3， 中， 用户设备 2利用"金州"替换掉所述"锦州"， 更新后的输入字符序列 为"我带你去金州"。
对于本领域技术人员而言， 显然本发明不限于上述示范性实施例 的细节， 而且在不背离本发明的精神或基本特征的情况下， 能够以其 他的具体形式实现本发明。 因此， 无论从哪一点来看， 均应将实施例 看作是示范性的， 而且是非限制性的， 本发明的范围由所附权利要求 而不是上述说明限定， 因此旨在将落在权利要求的等同要件的含义和 范围内的所有变化涵括在本发明内。 不应将权利要求中的任何附图标 记视为限制所涉及的权利要求。 此外， 显然"包括"一词不排除其他单 元或步骤， 单数不排除复数。 装置权利要求中陈述的多个单元或装置 也可以由一个单元或装置通过软件或者硬件来实现。 第一， 第二等词 语用来表示名称， 而并不表示任何特定的顺序。

Claims

权 利 要 求 书
1. 一种在网络设备端用于实现语音输入的方法， 其中， 该方法包括 以下步骤：
a获取语音输入信息；
b根据语音识别模型， 确定所述语音输入信息对应的输入字符序 列；
c确定所述输入字符序列中分词所对应的呈现概率信息， 以获得所 述分词的准确性信息； 输入信息相对应的用户设备。
2. 根据权利要求 1所述的方法， 其中， 该方法还包括：
- 获取所述用户设备发送的关于所述至少一个分词的备选项的访问 请求；
X才艮据所述访问请求， 确定与所述至少一个分词相对应的一个或多 个备选项；
- 将所述一个或多个备选项发送至所述用户设备。
3. 根据权利要求 2所述的方法， 其中， 所述步骤 X包括：
-根据所述访问请求， 并结合所述至少一个分词的上下文信息， 确 定与所述至少一个分词相对应的一个或多个备选项。
4. 根据权利要求 1至 3中任一项所述的方法， 其中， 所述步骤 c包 括：
- 确定所述分词在所述输入字符序列中的条件概率， 以作为所述分 词的呈现概率信息；
-根据呈现概率阈值， 基于所述分词的呈现概率信息， 确定所述分 词的准确性信息。
5. 根据权利要求 4所述的方法， 其中， 该方法还包括：
-根据所述分词的呈现概率信息， 以及所述分词对应的候选分词的 呈现概率信息， 确定所述呈现概率阈值。
6. 根据权利要求 1至 5中任一项所述的方法， 其中， 所述步骤 b包 括：
-根据语音识别模型， 并结合所述语音输入信息所对应的上下文信 息， 确定所述语音输入信息对应的输入字符序列。
7. 一种在用户设备端用于辅助实现语音输入的方法， 其中， 该方法 包括以下步骤：
A获取网络设备所发送的语音输入信息所对应的输入字符序列， 以 及所述输入字符序列中分词的准确性信息；
B根据所述分词的准确性信息， 将所述输入字符序列提供给用户。
8. 根据权利要求 7所述的方法， 其中， 该方法还包括：
- 获取所述用户对所述输入字符序列中至少一个分词的备选项的请 求操作；
-基于所述请求操作向所述网络设备发送关于所述至少一个分词的 备选项的访问请求；
-接收所述网络设备基于所述访问请求发送的一个或多个备选项； - 将所述一个或多个备选项中至少一个提供给所述用户。
9. 根据权利要求 8所述的方法， 其中， 该方法还包括：
- 获取用户对所述一个或多个备选项中至少一个的选择操作； -根据所述选择操作所对应的备选项， 替换所述输入字符序列中对 应的分词， 以获得更新后的所述输入字符序列。
10. 一种用于实现语音输入的网络设备， 其中， 该设备包括： 输入获取装置， 用于获取语音输入信息；
序列确定装置， 用于根据语音识别模型， 确定所述语音输入信息对 应的输入字符序列；
准确性确定装置， 用于确定所述输入字符序列中分词所对应的呈现 概率信息， 以获得所述分词的准确性信息；
发送装置， 用于将所述输入字符序列及所述分词的准确性信息发送 至所述语音输入信息相对应的用户设备。
11. 根据权利要求 10所述的网络设备， 其中， 该设备还包括： 请求获取装置， 用于获取所述用户设备发送的关于所述至少一个分 词的备选项的访问请求；
备选确定装置， 用于根据所述访问请求， 确定与所述至少一个分词 相对应的一个或多个备选项；
备选发送装置， 用于将所述一个或多个备选项发送至所述用户设 备。
12. 根据权利要求 11所述的网络设备， 其中， 所述备选确定装置用 于：
-根据所述访问请求， 并结合所述至少一个分词的上下文信息， 确 定与所述至少一个分词相对应的一个或多个备选项。
13. 根据权利要求 10至 12中任一项所述的网络设备， 其中， 所述 准确性确定装置用于：
- 确定所述分词在所述输入字符序列中的条件概率， 以作为所述分 词的呈现概率信息；
-根据呈现概率阈值， 基于所述分词的呈现概率信息， 确定所述分 词的准确性信息。
14. 根据权利要求 13所述的网络设备， 其中， 该设备还包括： 阈值确定装置， 用于根据所述分词的呈现概率信息， 以及所述分词 对应的候选分词的呈现概率信息， 确定所述呈现概率阈值。
15. 根据权利要求 10至 14中任一项所述的网络设备， 其中， 所述 序列确定装置用于：
-根据语音识别模型， 并结合所述语音输入信息所对应的上下文信 息， 确定所述语音输入信息对应的输入字符序列。
16. 一种用于辅助实现语音输入的用户设备， 其中， 该设备包括： 序列获取装置， 用于获取网络设备所发送的语音输入信息所对应的 输入字符序列， 以及所述输入字符序列中分词的准确性信息；
提供装置， 用于根据所述分词的准确性信息， 将所述输入字符序列 提供给用户。
17. 根据权利要求 16所述的用户设备， 其中， 该设备还包括： 一个分词的备选项的请求操作；
访问请求发送装置， 用于基于所述请求操作向所述网络设备发送关 于所述至少一个分词的备选项的访问请求；
备选接收装置， 用于接收所述网络设备基于所述访问请求发送的一 个或多个备选项；
备选提供装置， 用于将所述一个或多个备选项中至少一个提供给所 述用户。
18. 根据权利要求 17所述的用户设备， 其中， 该设备还包括： 操作获取装置， 用于获取用户对所述一个或多个备选项中至少一个 的选择操作；
替换装置， 用于根据所述选择操作所对应的备选项， 替换所述输入 字符序列中对应的分词， 以获得更新后的所述输入字符序列。
19. 一种用于实现语音输入的系统， 包括如权利要求 10至 15中任 一项所述的网络设备及如权利要求 16至 18中任一项所述的用户设备。
PCT/CN2013/089721 2012-12-31 2013-12-17 一种用于实现语音输入的方法与设备 WO2014101687A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13869832.9A EP2940551B1 (en) 2012-12-31 2013-12-17 Method and device for implementing voice input
US14/412,374 US10199036B2 (en) 2012-12-31 2013-12-17 Method and device for implementing voice input
JP2015549964A JP6309539B2 (ja) 2012-12-31 2013-12-17 音声入力を実現する方法および装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210592826.2A CN103076893B (zh) 2012-12-31 2012-12-31 一种用于实现语音输入的方法与设备
CN201210592826.2 2012-12-31

Publications (1)

Publication Number Publication Date
WO2014101687A1 true WO2014101687A1 (zh) 2014-07-03

Family

ID=48153449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/089721 WO2014101687A1 (zh) 2012-12-31 2013-12-17 一种用于实现语音输入的方法与设备

Country Status (5)

Country Link
US (1) US10199036B2 (zh)
EP (1) EP2940551B1 (zh)
JP (1) JP6309539B2 (zh)
CN (1) CN103076893B (zh)
WO (1) WO2014101687A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103076893B (zh) 2012-12-31 2016-08-17 百度在线网络技术（北京）有限公司 一种用于实现语音输入的方法与设备
CN105159473B (zh) * 2015-08-17 2018-02-13 百度在线网络技术（北京）有限公司 一种语言模型计算处理方法及系统
KR102450853B1 (ko) * 2015-11-30 2022-10-04 삼성전자주식회사 음성 인식 장치 및 방법
CN105700704B (zh) * 2016-03-21 2018-08-28 深圳五洲无线股份有限公司 小尺寸屏幕下的文字输入方法和装置
US9990564B2 (en) * 2016-03-29 2018-06-05 Wipro Limited System and method for optical character recognition
CN107516176B (zh) 2016-06-17 2021-03-19 菜鸟智能物流控股有限公司 物流信息处理方法及装置
CN108241438B (zh) * 2016-12-23 2022-02-25 北京搜狗科技发展有限公司 一种输入方法、装置和用于输入的装置
CN107068145B (zh) * 2016-12-30 2019-02-15 中南大学 语音评测方法及系统
CN109543174B (zh) * 2017-09-21 2023-05-09 广州腾讯科技有限公司 文本选择方法、装置、计算机可读存储介质和计算机设备
US11875798B2 (en) * 2021-05-03 2024-01-16 International Business Machines Corporation Profiles for enhanced speech recognition training

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276585A (zh) * 2007-03-28 2008-10-01 哈曼贝克自动系统股份有限公司 多语言非母语语音识别
CN102299934A (zh) * 2010-06-23 2011-12-28 上海博路信息技术有限公司 一种基于云模式和语音识别的语音输入方法
CN102385619A (zh) * 2011-10-19 2012-03-21 百度在线网络技术（北京）有限公司 一种根据语音输入信息提供访问建议的方法与设备
CN103076893A (zh) * 2012-12-31 2013-05-01 百度在线网络技术（北京）有限公司 一种用于实现语音输入的方法与设备

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57195300A (en) 1981-05-26 1982-11-30 Sanyo Electric Co Voice recognition unit
EP0302614B1 (en) * 1987-07-16 1993-03-10 Fujitsu Limited Speech recognition device
US5033087A (en) * 1989-03-14 1991-07-16 International Business Machines Corp. Method and apparatus for the automatic determination of phonological rules as for a continuous speech recognition system
US5267345A (en) * 1992-02-10 1993-11-30 International Business Machines Corporation Speech recognition apparatus which predicts word classes from context and words from word classes
US5233681A (en) * 1992-04-24 1993-08-03 International Business Machines Corporation Context-dependent speech recognizer using estimated next word context
JPH0689302A (ja) * 1992-09-08 1994-03-29 Hitachi Ltd 辞書メモリ
AU5803394A (en) * 1992-12-17 1994-07-04 Bell Atlantic Network Services, Inc. Mechanized directory assistance
US5467425A (en) * 1993-02-26 1995-11-14 International Business Machines Corporation Building scalable N-gram language models using maximum likelihood maximum entropy N-gram models
JP3758241B2 (ja) * 1996-08-01 2006-03-22 三菱電機株式会社 音声情報検索装置
TW421750B (en) * 1997-03-14 2001-02-11 Omron Tateisi Electronics Co Language identification device, language identification method and storage media recorded with program of language identification
US6269335B1 (en) * 1998-08-14 2001-07-31 International Business Machines Corporation Apparatus and methods for identifying homophones among words in a speech recognition system
US6356866B1 (en) * 1998-10-07 2002-03-12 Microsoft Corporation Method for converting a phonetic character string into the text of an Asian language
US6526380B1 (en) * 1999-03-26 2003-02-25 Koninklijke Philips Electronics N.V. Speech recognition system having parallel large vocabulary recognition engines
EP1189203B1 (en) * 2000-09-18 2006-05-17 L & H Holdings USA, Inc. Homophone selection in speech recognition
US20020184019A1 (en) * 2001-05-31 2002-12-05 International Business Machines Corporation Method of using empirical substitution data in speech recognition
US20030078777A1 (en) * 2001-08-22 2003-04-24 Shyue-Chin Shiau Speech recognition system for mobile Internet/Intranet communication
JP4072718B2 (ja) * 2002-11-21 2008-04-09 ソニー株式会社 音声処理装置および方法、記録媒体並びにプログラム
JP2005031758A (ja) * 2003-07-07 2005-02-03 Canon Inc 音声処理装置及び方法
JP4012143B2 (ja) * 2003-12-16 2007-11-21 キヤノン株式会社 情報処理装置およびデータ入力方法
US7574356B2 (en) * 2004-07-19 2009-08-11 At&T Intellectual Property Ii, L.P. System and method for spelling recognition using speech and non-speech input
US8825379B2 (en) * 2005-01-05 2014-09-02 Sirius Xm Connected Vehicle Services Inc. Systems and methods for off-board voice-automated vehicle navigation
KR100679044B1 (ko) * 2005-03-07 2007-02-06 삼성전자주식회사 사용자 적응형 음성 인식 방법 및 장치
US20080130699A1 (en) * 2006-12-05 2008-06-05 Motorola, Inc. Content selection using speech recognition
JP5207642B2 (ja) * 2007-03-06 2013-06-12 ニュアンス コミュニケーションズ，インコーポレイテッド 語句として新たに認識するべき文字列を取得するためのシステム、方法及びコンピュータプログラム
US7844456B2 (en) * 2007-03-09 2010-11-30 Microsoft Corporation Grammar confusability metric for speech recognition
JP5042799B2 (ja) * 2007-04-16 2012-10-03 ソニー株式会社 音声チャットシステム、情報処理装置およびプログラム
JP4412504B2 (ja) * 2007-04-17 2010-02-10 本田技研工業株式会社 音声認識装置、音声認識方法、及び音声認識用プログラム
US8457946B2 (en) * 2007-04-26 2013-06-04 Microsoft Corporation Recognition architecture for generating Asian characters
US7953598B2 (en) * 2007-12-17 2011-05-31 Verizon Patent And Licensing Inc. Grammar weighting voice recognition information
US9177551B2 (en) * 2008-01-22 2015-11-03 At&T Intellectual Property I, L.P. System and method of providing speech processing in user interface
US20090228273A1 (en) * 2008-03-05 2009-09-10 Microsoft Corporation Handwriting-based user interface for correction of speech recognition errors
US8224656B2 (en) * 2008-03-14 2012-07-17 Microsoft Corporation Speech recognition disambiguation on mobile devices
JP4709887B2 (ja) 2008-04-22 2011-06-29 株式会社エヌ・ティ・ティ・ドコモ 音声認識結果訂正装置および音声認識結果訂正方法、ならびに音声認識結果訂正システム
US8762153B2 (en) * 2008-08-18 2014-06-24 At&T Intellectual Property I, L.P. System and method for improving name dialer performance
US8494852B2 (en) * 2010-01-05 2013-07-23 Google Inc. Word-level correction of speech input
US9069755B2 (en) * 2010-03-11 2015-06-30 Microsoft Technology Licensing, Llc N-gram model smoothing with independently controllable parameters
CN102063195B (zh) * 2010-04-06 2013-08-28 百度在线网络技术（北京）有限公司 一种用于供用户进行中英文混合输入的方法与设备
US8473289B2 (en) * 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
KR101208166B1 (ko) * 2010-12-16 2012-12-04 엔에이치엔(주) 온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법
KR101233561B1 (ko) 2011-05-12 2013-02-14 엔에이치엔(주) 단어 수준의 후보 생성에 기초한 음성 인식 시스템 및 방법
JP5752488B2 (ja) 2011-05-31 2015-07-22 株式会社Ｎｔｔドコモ 音声認識装置、音声認識方法、及び音声認識プログラム
US8706472B2 (en) * 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US9620122B2 (en) * 2011-12-08 2017-04-11 Lenovo (Singapore) Pte. Ltd Hybrid speech recognition
US8346563B1 (en) * 2012-04-10 2013-01-01 Artificial Solutions Ltd. System and methods for delivering advanced natural language interaction applications
US9431012B2 (en) * 2012-04-30 2016-08-30 2236008 Ontario Inc. Post processing of natural language automatic speech recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276585A (zh) * 2007-03-28 2008-10-01 哈曼贝克自动系统股份有限公司 多语言非母语语音识别
CN102299934A (zh) * 2010-06-23 2011-12-28 上海博路信息技术有限公司 一种基于云模式和语音识别的语音输入方法
CN102385619A (zh) * 2011-10-19 2012-03-21 百度在线网络技术（北京）有限公司 一种根据语音输入信息提供访问建议的方法与设备
CN103076893A (zh) * 2012-12-31 2013-05-01 百度在线网络技术（北京）有限公司 一种用于实现语音输入的方法与设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2940551A4 *

Also Published As

Publication number Publication date
US10199036B2 (en) 2019-02-05
CN103076893A (zh) 2013-05-01
EP2940551A4 (en) 2016-08-03
US20150302852A1 (en) 2015-10-22
EP2940551A1 (en) 2015-11-04
JP2016505893A (ja) 2016-02-25
EP2940551B1 (en) 2018-11-28
CN103076893B (zh) 2016-08-17
JP6309539B2 (ja) 2018-04-11

Similar Documents

Publication Publication Date Title
WO2014101687A1 (zh) 一种用于实现语音输入的方法与设备
JP6678710B2 (ja) 自己学習自然言語理解を伴うダイアログ・システム
CN110705267B (zh) 语义解析方法、装置及存储介质
US20190311036A1 (en) System and method for chatbot conversation construction and management
CN107978311A (zh) 一种语音数据处理方法、装置以及语音交互设备
CN109815459A (zh) 生成被调整到目标受众词汇的文本内容的目标概要
CN108496189A (zh) 机器学习模型的正则化
US20200285353A1 (en) Apparatus for vision and language-assisted smartphone task automation and method thereof
CN108628830B (zh) 一种语义识别的方法和装置
CN110879837B (zh) 一种信息处理方法及装置
WO2020215683A1 (zh) 基于卷积神经网络的语义识别方法及装置、非易失性可读存储介质、计算机设备
WO2020042902A1 (zh) 语音识别的方法、系统和存储介质
WO2023142451A1 (zh) 工作流生成方法、装置、电子设备
JP7198800B2 (ja) 意図認識最適化処理方法、装置、機器および記憶媒体
CN110070861A (zh) 信息处理装置和信息处理方法
CN106339105A (zh) 用于识别拼音信息的方法及装置
WO2018179373A1 (ja) 会話支援装置、会話支援方法、及びコンピュータ読み取り可能な記録媒体
JP2018055022A (ja) 音声認識システム、情報処理装置、プログラム
CN108206020A (zh) 一种语音识别方法、装置及终端设备
US20230004988A1 (en) Systems and methods for utilizing feedback data
CN113190154B (zh) 模型训练、词条分类方法、装置、设备、存储介质及程序
CN113139039A (zh) 对话数据处理方法、装置、设备以及存储介质
CN113283922A (zh) 一种流失用户挽留方法、装置、设备及介质
JP5850886B2 (ja) 情報処理装置及び方法
US20180285904A1 (en) Fast and scalable crowd consensus tool

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13869832

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015549964

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14412374

Country of ref document: US

Ref document number: 2013869832

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE