WO2014068788A1 - 音声認識装置 - Google Patents

音声認識装置 Download PDF

Info

Publication number
WO2014068788A1
WO2014068788A1 PCT/JP2012/078625 JP2012078625W WO2014068788A1 WO 2014068788 A1 WO2014068788 A1 WO 2014068788A1 JP 2012078625 W JP2012078625 W JP 2012078625W WO 2014068788 A1 WO2014068788 A1 WO 2014068788A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
recognition
voice
voice recognition
speech recognition
Prior art date
Application number
PCT/JP2012/078625
Other languages
English (en)
French (fr)
Inventor
友紀 古本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201280076811.9A priority Critical patent/CN104756185B/zh
Priority to US14/430,840 priority patent/US9378737B2/en
Priority to PCT/JP2012/078625 priority patent/WO2014068788A1/ja
Priority to DE112012007103.4T priority patent/DE112012007103B4/de
Priority to JP2014544199A priority patent/JP5677650B2/ja
Publication of WO2014068788A1 publication Critical patent/WO2014068788A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Definitions

  • the present invention relates to a speech recognition apparatus for recognizing spoken speech.
  • a speech recognition method As a speech recognition method, a method of recognizing a speech uttered after an operation of a speech recognition start instruction by a speaker and a method of recognizing a speech uttered constantly without the operation are widely known.
  • the start point of the spoken voice is clearly indicated, so that the section detection is easy and the recognition rate is high.
  • the latter method eliminates the above-mentioned drawbacks because no specific operation is required, but has a problem that the recognition rate is low because it is difficult to detect a voice section.
  • Patent Document 1 includes the above-described two speech recognition methods, and automatically switches to an appropriate speech recognition method according to the situation of the speaker or the surrounding situation.
  • a recognition device is disclosed. Specifically, for example, when the ambient noise is high, the former voice recognition method is switched, and when the noise is low, the latter voice recognition method is switched.
  • the present invention has been made in order to solve the above-described problems, and is capable of accepting an operation of a voice recognition start instruction by a speaker even when the spoken voice is always recognized.
  • An object is to provide an apparatus.
  • a speech acquisition unit that detects and obtains the spoken speech, and when the speech recognition device is activated
  • the first voice recognition unit that always recognizes the voice data acquired by the voice acquisition unit, the voice recognition start instruction unit that outputs a voice recognition start instruction signal, and the signal output by the voice recognition start instruction unit
  • a second voice recognition unit that recognizes the voice data acquired by the voice acquisition unit, and a control unit that acquires and outputs a recognition result by the first voice recognition unit or the second voice recognition unit.
  • the control unit obtains the recognition result by the first voice recognition unit, and if the signal output by the voice recognition start instruction unit has not been received, the control unit recognizes by the first voice recognition unit.
  • the recognition result by the second speech recognition unit is acquired and the second speech is acquired.
  • the recognition result by the recognition unit is output with priority over the recognition result by the first speech recognition unit.
  • the voice recognition start instruction operation can be accepted.
  • the speaker desires while avoiding it, it can be recognized by a speech recognition method having a high recognition rate by operating a speech recognition start instruction, and convenience can be improved.
  • FIG. 1 is a block diagram illustrating an example of a voice recognition device according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating processing in the speech recognition apparatus according to the first embodiment. It is a block diagram which shows an example of the speech recognition apparatus by Embodiment 2. It is a table that stores screen type information.
  • 6 is a flowchart illustrating processing in the voice recognition device according to the second embodiment. It is a figure which shows the example of a screen by which the name list is displayed on the display part of a navigation part.
  • FIG. 10 is a block diagram illustrating an example of a voice recognition device according to a third embodiment. 12 is a flowchart illustrating processing in the speech recognition apparatus according to the third embodiment.
  • FIG. 10 It is a block diagram which shows an example of the speech recognition apparatus by Embodiment 4. 10 is a flowchart illustrating processing in the speech recognition apparatus according to the fourth embodiment. It is an example of a picture, a character, or the like that clearly indicates whether or not a recognition result is output by a first voice recognition unit that is constantly performing voice recognition. This is an example in which a picture, characters, etc. as shown in FIG. 11 are displayed on a general navigation screen. In this example, the noise volume is visually displayed on a general navigation screen.
  • the present invention is a speech recognition device for recognizing spoken speech, and recognizes speech whenever the speech recognition device is activated, and accepts a speech recognition start instruction operation by a speaker. is there.
  • the voice recognition device of the present invention is described as an example applied to a navigation device mounted on a moving body such as a vehicle.
  • the voice recognition device is installed on a smartphone, a tablet PC, a mobile phone, or the like. It may be applied to a navigation system or the like.
  • FIG. 1 is a block diagram showing an example of a speech recognition apparatus according to Embodiment 1 of the present invention.
  • the voice recognition device 10 includes a voice acquisition unit 1, a voice recognition start instruction unit 2, a voice recognition unit 3, a voice recognition dictionary 4, and a control unit 5.
  • the voice recognition device 10 is applied to a navigation device including a navigation unit 6.
  • the voice acquisition unit 1 takes an utterance collected by a microphone, that is, an input voice, and performs A / D (Analog / Digital) conversion, for example, by PCM (Pulse Code Modulation).
  • a / D Analog / Digital
  • PCM Pulse Code Modulation
  • the voice recognition start instruction unit 2 is, for example, an operation unit such as an icon displayed on a touch panel, a handle, a button installed in a navigation system, a remote controller, or the like.
  • the voice recognition start instruction unit 2 is pressed by a speaker. Then, a signal for instructing the second voice recognition unit 3b described later to start the voice recognition process is output. In addition, a signal indicating that the voice recognition start instruction unit 2 has been pressed is also output to the control unit 5 described later.
  • the voice recognition unit 3 includes a first voice recognition unit 3a and a second voice recognition unit 3b.
  • the voice recognition unit 3 detects a voice section corresponding to the uttered content from the voice signal digitized by the voice acquisition unit 1, and the voice A feature amount of the speech data in the section is extracted, a recognition process is performed using the speech recognition dictionary 4 based on the feature amount, and a character string as a speech recognition result is output.
  • the recognition process may be performed using a general method such as an HMM (Hidden Markov Model) method.
  • the first speech recognition unit 3a always recognizes the content spoken by the speaker even if there is no voice recognition start instruction from the speaker. That is, the first speech recognition unit 3a always performs the above-described recognition process on the speech data acquired by the speech acquisition unit 1 without receiving the speech recognition start instruction signal output by the speech recognition start instruction unit 2. I do.
  • the voice recognition start instruction unit 2 is pressed by the speaker and the second voice recognition unit 3b receives the voice recognition start signal output by the voice recognition start instruction unit 2, the second voice recognition unit 3b is triggered by the voice acquisition unit 1 using this as a trigger. Recognize the acquired audio data.
  • the recognition result of the first speech recognition unit 3a that is always performing the recognition is that of the second speech recognition unit 3b.
  • the accuracy is not as good as the recognition result.
  • the recognition result of the second speech recognition unit 3b starts speech recognition triggered by a speech recognition start instruction by the speaker, and therefore the speech recognition start point becomes clear, so that the accuracy of speech recognition is improved.
  • the operation of the speaker by the voice recognition start instruction unit 2 is necessarily required.
  • the speech recognition dictionary 4 is a vocabulary that may be extracted for the speech recognition unit 3 (the first speech recognition unit 3a and the second speech recognition unit 3b) to collate with feature amounts of speech data during speech recognition. Is remembered.
  • the control unit 5 acquires the results recognized by the speech recognition unit 3 (the first speech recognition unit 3a and the second speech recognition unit 3b), determines whether to output each recognition result, and will be described later. To the navigation unit 6 (the device to which the speech recognition device 10 is applied). At this time, the control unit 5 basically outputs the recognition result character string recognized by the first speech recognition unit 3a, but if the signal is output by the speech recognition start instruction unit 2, the second speech is output. The recognition result character string recognized by the recognition unit 3b is output with priority over the recognition result character string recognized by the first speech recognition unit 3a.
  • the navigation unit 6 performs facility search using the recognition result character string output by the control unit 5, displays the recognition result on the screen, and executes a function corresponding to the recognition result character string.
  • the navigation part 6 is provided with the basic function with which a normal navigation apparatus is provided, The illustration part is abbreviate
  • the control part 5 acquires the recognition result by the 1st audio
  • the first voice recognition unit 3a recognizes the spoken voice at all times while the voice recognition device 10 is activated, and the control unit 5 basically receives no instruction accordingly.
  • the recognition result from the first speech recognition unit 3a is acquired.
  • the control unit 5 determines whether or not a voice recognition start signal is output from the voice recognition start instruction unit 2 (step ST02). If the signal is not output and the signal is not received (NO in step ST02), the recognition result by the first speech recognition unit 3a acquired in step ST01 is output (step ST03). On the other hand, when the voice recognition start signal is output and the signal is received (in the case of YES in step ST02), the recognition result by the second voice recognition unit 3b is acquired (step ST04), and in step ST01 The recognition result by the second speech recognition unit 3b acquired in step ST04 is preferentially output instead of the acquired recognition result by the first speech recognition unit 3a (step ST05).
  • the operation of the voice recognition start instruction is accepted, and the voice recognition result with high accuracy by the voice recognition start instruction is preferentially outputted. Therefore, it is possible to make a speech recognition method with a high recognition rate by operating a speech recognition start instruction when the speaker desires, while avoiding the troublesome operation that normally requires a specific operation for each recognition. , Improve convenience.
  • the voice recognition dictionary 4 has been described as using the same dictionary for the first voice recognition unit 3a and the second voice recognition unit 3b, but different voice recognition dictionaries may be used for each voice recognition unit. Good.
  • the dictionary used in the second speech recognition unit 3b stores only the vocabulary for selecting the displayed list item, such as “next”, “Nth line”, “previous page”, etc.
  • the recognition vocabulary may be limited as compared with the speech recognition dictionary used by the speech recognition unit 3a.
  • the speech recognition dictionary By making the speech recognition dictionary different in this way, when the speech recognition start instruction unit 2 is pressed and uttered, the recognition rate is further improved, so that the speaker does not particularly want to fail to recognize. In some cases, the convenience is further improved.
  • FIG. FIG. 3 is a block diagram showing an example of a speech recognition apparatus according to Embodiment 2 of the present invention.
  • symbol is attached
  • the speech recognition device 20 of the second embodiment described below further includes a screen information acquisition unit (peripheral state acquisition unit) 7 and a screen information storage unit 8 as compared with the speech recognition device 10 of the first embodiment. Further, the operation of the control unit 5 is different from that of the first embodiment, and is an operation as described later.
  • the screen information acquisition unit (peripheral state acquisition unit) 7 is assigned to each type of screen (for example, assigned to each screen) displayed on the display unit of the navigation unit 6 (the display unit of the device to which the voice recognition device 20 is applied). ID, screen name, etc., the same applies hereinafter).
  • the screen information storage unit 8 is screen type information displayed on the display unit of the navigation unit 6, and the screen type information that the user does not want to make voice recognition unsuccessful, ie, Indicates that the screen is given a type that adopts the recognition result by the second voice recognition unit 3b, and stores the type information of the screen that is determined not to output the recognition result by the first voice recognition unit 3a is doing.
  • the control part 5 in the speech recognition apparatus 20 of this Embodiment 2 searches the screen information storage part 8 by using the screen information acquired by the screen information acquisition part 7 as a search key.
  • the recognition result by the first voice recognition unit 3a is sent to the navigation unit 6 (device to which the voice recognition device 20 is applied). If it is determined not to be output and does not exist, the recognition result by the first speech recognition unit 3a is output as usual. That is, based on the screen type information acquired by the screen information acquisition unit (peripheral information acquisition unit) 7, the control unit 5 is given a type in which the screen adopts the recognition result by the second voice recognition unit 3 b. If it is determined that the current screen is a screen, the recognition result by the first speech recognition unit 3a is not output.
  • voice recognition is performed by the first voice recognition unit 3a that is always performed as usual.
  • a menu screen or a list selection screen that does not want to cause recognition failure is displayed on the display unit, an instruction from the voice recognition start instruction unit 2 Since it is desired to use the recognition result of the second voice recognition unit 3b that performs voice recognition with high accuracy, the recognition result by the first voice recognition unit 3a is not output.
  • a type that adopts the recognition result of the second speech recognition unit 3b is assigned to a screen such as a menu screen or a list selection screen that does not particularly cause recognition failure, and the display unit (
  • the control unit 5 displays the type information of the displayed screen. Based on the above, it is possible to determine that the screen is a screen to which a type that adopts the recognition result of the second speech recognition unit 3b is assigned.
  • the screen information acquisition unit (peripheral state acquisition unit) 7 acquires the type information of the displayed screen. (Step ST11).
  • the control unit 5 searches the screen information storage unit 8 using the type information acquired by the screen information acquisition unit 7 as a search key (step ST12).
  • step ST11 When the screen type information acquired in step ST11 exists in the screen type information stored in the screen information storage unit 8 (in the case of YES in step ST13), the control unit 5 performs the first voice recognition.
  • the recognition result by the unit 3a is not output (step ST14).
  • the control unit 5 restarts the output of the recognition result by the first speech recognition unit 3a (step ST16).
  • the output of the recognition result by the first speech recognition unit 3a is not stopped (in step ST15). In the case of NO), the processing is terminated without doing anything, and the speech recognition and output processing is performed as usual.
  • the screen information storage unit 8 stores a screen type and a flag indicating whether or not to output a recognition result by the first voice recognition unit 3a in association with the screen type as shown in FIG. 4B.
  • the control unit 5 searches the screen information storage unit 8 using the screen type information acquired by the screen information acquisition unit 7 as a search key, and the flag corresponding to the matching screen type information is False. If there is, the output of the recognition result by the first speech recognition unit 3a may be stopped (the process of step ST14), and if it is True, the output is restarted (the process of steps ST15 and ST16).
  • 4A and 4B there may be a configuration in which either one of the screen name and the ID is not provided.
  • the display component displayed in a superimposed manner is, for example, a name list 13 that presents a result of a facility search as shown in FIG.
  • FIG. 6 is an example of a navigation screen displayed on the display unit of the navigation unit 6.
  • FIG. 6 shows a result of performing a restaurant search or a steakhouse search on a general navigation screen in which a vehicle mark 12 indicating the position of the vehicle is displayed on the map.
  • the name list 13 is superimposed and displayed, waiting for selection by the speaker.
  • the recognition result by the first speech recognition unit 3b is not used because it is not desired to cause the speech recognition to fail. Control not to output.
  • the control unit 5 does not output the recognition result by the first speech recognition unit when it is determined that the function is a function to which the type adopting the recognition result by the second speech recognition unit 3b is assigned.
  • the function being performed is an address search
  • the address is less ambiguous and, like the candidate selection from the list, it is the target that you want to be surely recognized and you do not want to fail the voice recognition.
  • the function of address search is assigned a type that adopts the recognition result by the second voice recognition unit 3b
  • the control unit 5 determines that the function is determined by the second voice recognition unit 3b based on the type information of the function. It is determined that the function is assigned a type that employs the recognition result, and control is performed so that the recognition result by the first speech recognition unit 3a is not output.
  • function information acquisition unit peripheral state acquisition unit
  • the type information of the function currently being executed is acquired from the navigation unit 6, and the screen information storage is performed. It is assumed that function type information is stored using the unit 8 as a function information storage unit. Then, the function information storage unit may be searched by the control unit 5 using the function type information as a search key.
  • the output of the recognition result by the first speech recognition unit that always recognizes speech is stopped / resumed. Therefore, for example, in a situation where it is not desired to make the recognition fail, such as selecting a list item on the list screen on which the search result is displayed, erroneous recognition is performed by pressing the voice recognition start instruction unit 2 and speaking. Convenience is reduced because the results of misrecognition or misdetection are not displayed or the operation based on the misrecognition or misdetection results is not displayed by voice recognition at all times. improves.
  • FIG. FIG. 7 is a block diagram showing an example of a speech recognition apparatus according to Embodiment 3 of the present invention.
  • symbol is attached
  • the voice recognition device 30 according to the third embodiment described below further includes a traveling state acquisition unit (peripheral state acquisition unit) 9 as compared with the voice recognition device 10 according to the first embodiment. Further, the operation of the control unit 5 is different from that of the first embodiment, and is an operation as described later.
  • the traveling state acquisition unit (peripheral state acquisition unit) 9 acquires the traveling state of the moving body in which the voice recognition device 30 exists, for example, information on whether or not the vehicle is stopped, the traveling speed, the engine speed, and the like. And the control part 5 of the speech recognition apparatus 30 in this Embodiment 3 determines whether the recognition result by the 1st audio
  • the control unit 5 determines that the moving body is accelerating or moving at high speed based on the traveling state of the moving body, the control unit 5 outputs the recognition result by the first voice recognition unit 3a. do not do.
  • the recognition result by the first voice recognition unit 3a that is always performed may be output, but during acceleration or moving at high speed, If it is expected that the recognition rate will be lower due to the loud noise, it is desirable to use the recognition result by the second voice recognition unit 3b that performs voice recognition with high accuracy in response to an instruction from the voice recognition start instruction unit 2. 1
  • the recognition result by the voice recognition unit 3a is not output.
  • the traveling state acquisition unit (peripheral state acquisition unit) 9 moves, for example, from the CAN (Controller Area Network) signal, the speed of the vehicle (moving body), the steering state, the parking state, the brake state, the engine speed, The running state of the body is acquired (step ST21).
  • the control unit 5 determines whether the moving body is traveling or stopped based on the information (the traveling state of the moving body) acquired by the traveling state acquisition unit 9 (step ST22).
  • step ST22 When the moving body is determined to be stopped (YES in step ST22) and the output of the recognition result by the first voice recognition unit 3a is stopped (YES in step ST23), the first voice Output of the recognition result by the recognition unit 3a is resumed (step ST24).
  • step ST23 if the output of the recognition result by the first voice recognition unit 3a is not stopped (NO in step ST23), the process ends without doing anything, and the normal voice recognition and output process is performed. I do.
  • step ST22 when it is determined that the moving body is traveling (NO in step ST22) and the traveling speed is equal to or less than (or less than) a predetermined value (YES in step ST25), the processes after step ST23 are performed. Execute. In step ST25, if the traveling speed is greater than (or greater than) the predetermined value (NO in step ST25), the recognition result by the first voice recognition unit 3a is not output (step ST26).
  • the output of the recognition result by the first voice recognition unit that always recognizes the voice is stopped / restarted according to the traveling state of the moving body, noise during acceleration, high speed traveling, etc. While it is possible to suppress the occurrence of misrecognition when it is predicted that the noise is large, it is troublesome because the voice can be recognized without a specific operation when the noise is expected to be small when the vehicle is stopped or the like. Therefore, convenience is improved.
  • the recognition result by the first voice recognition unit 3a is not output when the traveling speed is greater than (or more than) a predetermined value.
  • the output of the recognition result by the first speech recognition unit 3a may be stopped while the vehicle is stopped, and the output of the recognition result may be resumed when the traveling speed is greater than (or more than) a predetermined value.
  • the second voice recognition unit 3b operates by pressing the voice recognition start instruction unit 2. This means that the recognition result is adopted, and the recognition result of the first speech recognition unit 3a by the constant recognition may be output during traveling.
  • the recognition result of the first voice recognition unit 3a may be different values. Specifically, for example, a predetermined value when stopping output is set to 60 km / h, and a predetermined value when restarting is set to 70 km / h. Thereby, even when the traveling speed slightly changes near the predetermined value, it is possible to avoid the phenomenon that the output stop and the output restart of the recognition result are frequently repeated.
  • FIG. 9 is a block diagram showing an example of a speech recognition apparatus according to Embodiment 4 of the present invention.
  • symbol is attached
  • the speech recognition device 40 according to the fourth embodiment described below further includes a noise acquisition unit (peripheral state acquisition unit) 11 as compared with the speech recognition device 10 according to the first embodiment. Further, the operation of the control unit 5 is different from that of the first embodiment, and is an operation as described later.
  • the noise acquisition unit (peripheral state acquisition unit) 11 analyzes the sound collected by the microphone, calculates the noise volume, and outputs it. That is, the noise volume around the voice recognition device 40 is acquired. And the control part 5 of the speech recognition apparatus 40 in this Embodiment 4 stops or restarts the output of the recognition result by the 1st speech recognition part 3a according to the noise volume acquired by the noise acquisition part 11. FIG.
  • the control unit 5 does not output the recognition result by the first speech recognition unit 3a when the noise volume is equal to or higher than a predetermined value. For example, when the noise volume is low, the recognition result by the first voice recognition unit 3a that is always performed may be output, but when the noise volume is large and the recognition rate is expected to be lower, Since it is desired to use the recognition result by the second voice recognition unit 3b that performs voice recognition with high accuracy in accordance with an instruction from the voice recognition start instruction unit 2, the recognition result by the first voice recognition unit 3a is not output.
  • the noise acquisition unit (peripheral state acquisition unit) 11 analyzes the sound collected by the microphone and calculates the noise volume (step ST31).
  • the control unit 5 has the noise volume calculated by the noise acquisition unit 11 equal to or less than (or less than) a predetermined value (in the case of YES in step ST32), and the recognition result by the first voice recognition unit 3a. Is being stopped (in the case of YES in step ST33), the output processing of the recognition result by the first speech recognition unit 3a is resumed (step ST34). If the output of the recognition result by the first voice recognition unit 3a is not stopped (NO in step ST33), the process ends without doing anything, and the normal voice recognition and output process is performed.
  • step ST35 when the noise volume calculated by the noise acquisition unit 11 is greater than (or greater than) a predetermined value (NO in step ST32), the recognition result by the first voice recognition unit 3a is not output (step ST35).
  • the recognition result output by the first voice recognition unit 3a for the spoken voice is output. Until completion, the output of the recognition result by the first speech recognition unit 3a may not be stopped.
  • the noise volume is determined from the sound collected by the microphone.
  • the noise volume is determined based on the engine speed from the running state acquisition unit 9 in the third embodiment. May be. Specifically, the engine speed and the noise volume corresponding to the engine speed are stored in the noise acquisition unit 11 in association with each other, and the noise acquisition unit 11 acquires the engine speed from a CAN signal or the like. The engine speed is acquired from the acquisition unit 9, and the noise volume corresponding to the acquired engine speed is determined. And the control part 5 judges whether the recognition result by the 1st audio
  • the hysteresis is reduced by changing the predetermined value for restarting the output of the recognition result by the first speech recognition unit 3a and the predetermined value for stopping the output. You may have it.
  • the noise acquisition unit 11 acquires the road type being traveled from the map data via the navigation unit 6, and determines whether to output the recognition result by the first voice recognition unit 3a based on the road type. You may do it. Specifically, when the acquired road type is “road in tunnel”, it is determined that noise is likely to occur, and control is performed so that the recognition result by the first speech recognition unit 3a is not output. It is done.
  • the output of the recognition result by the first voice recognition unit that always recognizes the voice is stopped / restarted according to the noise volume around the voice recognition device, it is erroneously recognized when the noise is loud.
  • the voice can be recognized without a specific operation, so that troublesomeness can be eliminated and convenience is improved.
  • FIG. 11 is an example of a picture or a character that clearly indicates whether or not the recognition result is output by the first speech recognition unit 3a that always performs speech recognition.
  • FIG. 11 (b) shows what is shown by a picture. 11A and 11B, the left side shows that the first speech recognition unit 3a outputs the recognition result, and the right side shows the first speech recognition unit 3a.
  • the output of the recognition result is in a stopped state. In addition to these, it may be clearly indicated by a symbol or the like.
  • FIG. 12 shows a state in which a recognition result is output by the first voice recognition unit 3a as shown in FIG. 11 on a general navigation screen in which a vehicle mark 12 indicating the position of the vehicle is displayed on a map. This is an example in which a picture or a character 14 indicating whether or not is displayed. If the recognition result output by the first speech recognition unit 3a is currently being performed, for example, as shown in FIG. 12, the left character of FIG. 11B is displayed at the lower left of the screen. What should I do?
  • a signal indicating whether or not the display is necessary may be output from the control unit 5.
  • the color of the display screen may be changed depending on whether or not the recognition result output process is performed by the first voice recognition unit 3a, or the color of the voice recognition start instruction unit 2 displayed on the screen is changed. Etc. As a result, the speaker can immediately know whether or not the output of the recognition result by the first speech recognition unit 3a that is always performing speech recognition is stopped, and convenience is improved.
  • the noise volume 15 and a predetermined value (noise volume threshold) 16 may be visually displayed on the display unit.
  • FIG. 13 shows the noise volume 15 around the current voice recognition device and the noise volume at a predetermined value 16 on a general navigation screen in which the vehicle mark 12 indicating the position of the vehicle is displayed on the map.
  • a predetermined value 16 for clearly indicating whether or not the value is exceeded is displayed in a superimposed manner.
  • a picture or character 14 indicating whether or not the recognition result is output by the first speech recognition unit 3a is displayed, and then a noise volume 15 as shown in FIG. And a predetermined value (threshold value of noise volume) 16 may be displayed.
  • the voice recognition device has been described as being applied to a navigation device mounted on a moving body such as a vehicle.
  • the navigation device to be applied is not limited to a vehicle, but a person, a vehicle
  • the present invention can be applied to any form such as a navigation device for a moving body including a railway, a ship, an aircraft, etc., a navigation system installed in a smartphone, a tablet PC, a mobile phone, or the like.
  • the voice recognition device of the present invention can be applied to a navigation device mounted on a moving body such as a vehicle, a navigation system installed in a smartphone, a tablet PC, a mobile phone, or the like.
  • 1 speech acquisition unit 2 speech recognition start instruction unit, 3 speech recognition unit, 3a first speech recognition unit, 3b second speech recognition unit, 4 speech recognition dictionary, 5 control unit, 6 navigation unit, 7 screen information acquisition unit ( (Peripheral state acquisition unit), 8 screen information storage unit, 9 traveling state acquisition unit (peripheral state acquisition unit), 10, 20, 30, 40 voice recognition device, 11 noise acquisition unit (peripheral state acquisition unit), 12 own vehicle mark , 13 Name list, 14 Pictures and characters indicating whether or not the recognition result is output by the first voice recognition unit 3a, 15 noise volume, 16 predetermined value (noise volume threshold).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)

Abstract

 この発明の音声認識装置によれば、常時、発話された音声を認識している場合においても、音声認識開始指示の操作を受け付け可能としたので、認識の度に特定の操作を要する煩わしさを回避しつつ、発話者が所望する場合には、音声認識開始指示の操作により認識率が高い音声認識方法で認識させることができ、利便性を向上させることができる。

Description

音声認識装置
 この発明は、発話された音声を認識する音声認識装置に関するものである。
 音声認識の方法として、発話者による音声認識開始指示の操作の後に発話された音声を認識する方法と、当該操作無しに、常時、発話された音声を認識する方法が広く知られている。前者の方法では、発話された音声の始端が明示されることで区間検出が容易となるため認識率は高くなるが、認識の度に特定の操作が必要であるため煩わしい、という問題があった。一方、後者の方法では、特定の操作が必要ないため上述した欠点は解消されるが、音声の区間検出が困難であるため認識率が低くなる、という問題があった。
 そこで、それらの問題を解決するために、例えば特許文献1には、上述した2つの音声認識方法を備え、話者の状況または周囲の状況に応じて自動的に適切な音声認識方法に切り替える音声認識装置が開示されている。具体的には、例えば周囲の騒音が大きい場合には前者の音声認識方法に切り替え、騒音が小さい場合には後者の音声認識方法に切り替える。
特開2001-42894号公報
 しかしながら、例えば特許文献1のような従来の音声認識装置では、一方の音声認識方法に切り替わっているときは、他方の音声認識方法を使用することができない。そのため、例えば、騒音が小さい場所でより確実に音声を認識させたいようなときでも、前者の音声認識方法を使用することができず、発話者にとって利便性が低いという課題があった。
 この発明は、上記のような課題を解決するためになされたものであり、常時、発話された音声を認識している場合においても、発話者による音声認識開始指示の操作を受け付け可能な音声認識装置を提供することを目的とする。
 上記目的を達成するため、この発明は、発話された音声を認識する音声認識装置において、前記発話された音声を検知して取得する音声取得部と、前記音声認識装置が起動されている場合は常時、前記音声取得部により取得された音声データを認識する第1音声認識部と、音声認識開始の指示信号を出力する音声認識開始指示部と、前記音声認識開始指示部により出力された信号を受信すると、前記音声取得部により取得された音声データを認識する第2音声認識部と、前記第1音声認識部または前記第2音声認識部による認識結果を取得して出力する制御部と、を備え、前記制御部は、前記第1音声認識部による認識結果を取得し、前記音声認識開始指示部により出力された信号を受信していない場合には、前記第1音声認識部による認識結果を前記音声認識装置が適用される装置に出力し、前記音声認識開始指示部により出力された信号を受信した場合には、前記第2音声認識部による認識結果を取得し、当該第2音声認識部による認識結果を前記第1音声認識部による認識結果より優先して出力することを特徴とする。
 この発明の音声認識装置によれば、常時、発話された音声を認識している場合においても、音声認識開始指示の操作を受け付け可能としたので、認識の度に特定の操作を要する煩わしさを回避しつつ、発話者が所望する場合には、音声認識開始指示の操作により認識率が高い音声認識方法で認識させることができ、利便性を向上させることができる。
実施の形態1による音声認識装置の一例を示すブロック図である。 実施の形態1の音声認識装置における処理を示すフローチャートである。 実施の形態2による音声認識装置の一例を示すブロック図である。 画面の種別情報を記憶したテーブルである。 実施の形態2の音声認識装置における処理を示すフローチャートである。 ナビゲーション部の表示部に、名称リストが表示されている画面例を示す図である。 実施の形態3による音声認識装置の一例を示すブロック図である。 実施の形態3の音声認識装置における処理を示すフローチャートである。 実施の形態4による音声認識装置の一例を示すブロック図である。 実施の形態4の音声認識装置における処理を示すフローチャートである。 常時、音声認識を行っている第1音声認識部による認識結果の出力が行われる状態であるか否かを明示する絵や文字等の例である。 一般的なナビゲーション画面において、図11に示すような絵や文字等を表示した例である。 一般的なナビゲーション画面において、騒音音量を視覚的に表示した例である。
 以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
 この発明は、発話された音声を認識する音声認識装置であり、当該音声認識装置が起動されている場合は常時、音声を認識するものにおいて、発話者による音声認識開始指示の操作も受け付けるものである。なお、以下の実施の形態では、この発明の音声認識装置を車両等の移動体に搭載されるナビゲーション装置に適用した場合を例に挙げて説明するが、スマートフォン、タブレットPC、携帯電話等にインストールされるナビゲーションシステム等に適用してもよい。
実施の形態1.
 図1は、この発明の実施の形態1による音声認識装置の一例を示すブロック図である。この音声認識装置10は、音声取得部1と、音声認識開始指示部2と、音声認識部3と、音声認識辞書4と、制御部5とを備えている。また、この音声認識装置10は、ナビゲーション部6を備えたナビゲーション装置に適用されるものである。
 音声取得部1は、マイクにより集音された発話、すなわち、入力された音声を取込み、例えばPCM(Pulse Code Modulation)によりA/D(Analog/Digital)変換する。
 音声認識開始指示部2は、例えば、タッチパネルに表示されたアイコン、ハンドルやナビゲーションシステムに設置されているボタンやリモコン等の操作部であり、この音声認識開始指示部2が発話者によって押下されると、後述する第2音声認識部3bに対して音声認識処理の開始を指示する信号を出力する。また、後述する制御部5に対しても、音声認識開始指示部2が押下された旨を示す信号を出力する。
 音声認識部3は、第1音声認識部3aと第2音声認識部3bからなり、音声取得部1によりデジタル化された音声信号から、発話された内容に該当する音声区間を検出し、該音声区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書4を用いて認識処理を行い、音声認識結果の文字列を出力する。なお、認識処理としては、例えばHMM(Hidden Markov Model)法のような一般的な方法を用いて行えばよい。
 ここで、第1音声認識部3aは、発話者による音声認識開始指示がなくても、常に、発話者が発話した内容を認識している。すなわち、第1音声認識部3aは、音声認識開始指示部2により出力された音声認識開始指示信号を受理しなくても、音声取得部1により取得された音声データに対して常に上述した認識処理を行う。一方、第2音声認識部3bは、発話者によって音声認識開始指示部2が押下され、音声認識開始指示部2により出力された音声認識開始信号を受信すると、これをトリガーとして音声取得部1により取得された音声データを認識する。
 この第1音声認識部3aによる認識結果と、第2音声認識部3bによる認識結果とを比べると、常時認識を行っている第1音声認識部3aの認識結果は、第2音声認識部3bの認識結果ほど精度は良くない。ただし、発話者による音声認識開始指示がなくても、常に音声認識してくれるものであるため、利便性がよい。
 一方、第2音声認識部3bの認識結果は、発話者による音声認識開始指示をトリガーにして音声認識を開始するため、音声認識開始地点が明確になるので、音声認識の精度が良くなる。ただし、必ず音声認識開始指示部2による発話者の操作を必要とするものである。
 音声認識辞書4は、音声認識部3(第1音声認識部3aおよび第2音声認識部3b)が音声認識の際に音声データの特徴量と照合するための、抽出される可能性のある語彙を記憶している。
 制御部5は、音声認識部3(第1音声認識部3aおよび第2音声認識部3b)により認識された結果を取得して、それぞれの認識結果を出力するか否かを判断して、後述するナビゲーション部6(音声認識装置10が適用される装置)に出力する。この際、制御部5は、基本的には第1音声認識部3aにより認識された認識結果文字列を出力するが、音声認識開始指示部2により信号が出力されている場合は、第2音声認識部3bにより認識された認識結果文字列を第1音声認識部3aにより認識された認識結果文字列より優先して出力する。
 ナビゲーション部6は、制御部5により出力された認識結果文字列を用いて施設検索を実施したり、認識結果を画面に表示したり、認識結果文字列に対応する機能を実行したりする。なお、ナビゲーション部6は、通常のナビゲーション装置が備えている基本的な機能を備えるものであり、図示は省略するが、認識結果を画面表示するための表示部も備えている。
 次に、図2に示すフローチャートを用いて、実施の形態1の音声認識装置の動作を説明する。
 まず初めに、制御部5は、第1音声認識部3aによる認識結果を取得する(ステップST01)。第1音声認識部3aは上述のとおり、音声認識装置10が起動している間は常時、発話された音声を認識するものであり、それにしたがって制御部5も、基本的に何の指示がなくても第1音声認識部3aからの認識結果を取得している。
 次に、制御部5は、音声認識開始指示部2による音声認識開始信号が出力されているか否かを判定する(ステップST02)。当該信号が出力されておらず、当該信号を受信していない場合(ステップST02のNOの場合)には、ステップST01で取得した第1音声認識部3aによる認識結果を出力する(ステップST03)。一方、音声認識開始信号が出力されていて、当該信号を受信した場合(ステップST02のYESの場合)には、第2音声認識部3bによる認識結果を取得し(ステップST04)、ステップST01にて取得した第1音声認識部3aによる認識結果ではなく、ステップST04にて取得した第2音声認識部3bによる認識結果を優先して出力する(ステップST05)。
 このように、基本的には第1音声認識部3aにより常時、発話された音声を認識して出力している音声認識装置において、音声認識開始指示部2が押下された場合にのみ、第2音声認識部3bによる認識結果の出力を割り込ませて優先的に出力することができるようにしたので、例えば、騒音が小さい場所等で、より確実に音声を認識させたいようなときには、音声認識開始指示部2を押下することにより、認識率の高い音声認識結果を出力することができる。
 以上のように、常時、発話された音声を認識している場合においても、音声認識開始指示の操作も受け付けて、その音声認識開始指示による精度の高い音声認識結果を優先して出力することとしたので、通常は認識の度に特定の操作を要する煩わしさを回避しつつ、発話者が所望する場合には、音声認識開始指示の操作により認識率が高い音声認識方法で認識させることができ、利便性が向上する。
 なお、音声認識辞書4は、第1音声認識部3aと第2音声認識部3bとで同一の辞書を使用するものとして説明したが、各音声認識部で異なる音声認識辞書を使用するものとしてもよい。例えば、第2音声認識部3bで使用される辞書は、「次」「N行目」「前のページ」等の、表示されたリスト項目を選択する語彙のみを格納したもの、すなわち、第1音声認識部3aにより使用される音声認識辞書に比べて認識語彙が限定されているものとしてもよい。
 このように音声認識辞書を異なるものとすることで、音声認識開始指示部2を押下して発話した場合には、さらに認識率が向上するため、発話者が特に認識に失敗したくないような場合等において、さらに利便性が向上する。
実施の形態2.
 図3は、この発明の実施の形態2による音声認識装置の一例を示すブロック図である。なお、実施の形態1で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態2の音声認識装置20は、実施の形態1の音声認識装置10と比べると、画面情報取得部(周辺状態取得部)7と画面情報記憶部8をさらに備えている。また、制御部5の動作が実施の形態1とは異なり、後述するような動作となっている。
 画面情報取得部(周辺状態取得部)7は、ナビゲーション部6の表示部(音声認識装置20が適用される装置の表示部)に表示されている画面の種別情報(例えば、画面毎に割り当てられたID、または画面名等。以下、同様)を取得する。
 画面情報記憶部8は、図4(a)に示すように、ナビゲーション部6の表示部に表示される画面の種別情報であって、音声認識の失敗をさせたくない画面の種別情報、すなわち、その画面が第2音声認識部3bによる認識結果を採用する種別を付与されている画面であることを示し、第1音声認識部3aによる認識結果を出力しないと決定される画面の種別情報を記憶している。
 そして、この実施の形態2の音声認識装置20における制御部5は、画面情報取得部7により取得された画面情報を検索キーとして、画面情報記憶部8を検索する。そして、検索キーと一致する画面の種別情報が画面情報記憶部8に存在している場合は、第1音声認識部3aによる認識結果をナビゲーション部6(音声認識装置20が適用される装置)に出力しないと決定し、存在していない場合には、通常どおり第1音声認識部3aによる認識結果を出力する。すなわち、制御部5は、画面情報取得部(周辺情報取得部)7により取得された画面の種別情報に基づいて、当該画面が第2音声認識部3bによる認識結果を採用する種別を付与されている画面であると判断した場合は、第1音声認識部3aによる認識結果を出力しない。
 具体的には、例えば、メイン画面、施設検索画面、音楽検索画面等が表示部に表示されている場合には、通常どおり、常時行われている第1音声認識部3aによって音声認識が行われて認識結果が出力されればよいが、特に認識の失敗をさせたくないようなメニュー画面やリスト選択画面などが表示部に表示されている場合には、音声認識開始指示部2からの指示により精度よく音声認識を行ってくれる第2音声認識部3bの認識結果を使用したいため、第1音声認識部3aによる認識結果が出力されないようにする。
 すなわち、特に認識の失敗をさせたくないようなメニュー画面やリスト選択画面などの画面には、第2音声認識部3bの認識結果を採用する種別が付与されており、ナビゲーション部6の表示部(音声認識装置20が適用される装置の表示部)に表示されている画面がそれらメニュー画面やリスト選択画面などの画面である場合には、制御部5は、その表示されている画面の種別情報に基づいて、当該画面は第2音声認識部3bの認識結果を採用する種別が付与されている画面である、と判断することができる。
 次に、図5に示すフローチャートを用いて、実施の形態2の音声認識装置の動作を説明する。
 まず、画面情報取得部(周辺状態取得部)7は、ナビゲーション部6から表示部に表示されている画面が変更された旨の通知を受けると、当該表示されている画面の種別情報を取得する(ステップST11)。次に、制御部5は、画面情報取得部7により取得された種別情報を検索キーとして画面情報記憶部8を検索する(ステップST12)。
 画面情報記憶部8に記憶されている画面の種別情報の中に、ステップST11で取得した画面の種別情報が存在する場合(ステップST13のYESの場合)は、制御部5は、第1音声認識部3aによる認識結果を出力しない(ステップST14)。一方、当該種別情報が存在しない場合(ステップST13のNOの場合)であって、第1音声認識部3aによる認識結果の出力が停止中である場合(ステップST15のYESの場合)は、制御部5は、第1音声認識部3aによる認識結果の出力を再開させる(ステップST16)。また、取得した画面の種別情報が画面情報記憶部8に存在しない場合(ステップST13のNOの場合)であって、第1音声認識部3aによる認識結果の出力が停止中でない場合(ステップST15のNOの場合)は、何もせずに処理を終了し、通常どおりの音声認識および出力の処理を行う。
 なお、画面情報記憶部8を、図4(b)のように画面の種別と第1音声認識部3aによる認識結果を出力するか否かを表すフラグを、画面の種別に対応付けて記憶しておくものとし、制御部5は、画面情報取得部7により取得された画面の種別情報を検索キーとして、画面情報記憶部8を検索し、一致する画面の種別情報に対応するフラグがFalseであれば第1音声認識部3aによる認識結果の出力を停止(ステップST14の処理)し、Trueであれば出力を再開(ステップST15およびST16の処理)するようにしてもよい。
 また、図4(a)(b)において、画面名とIDのいずれか一方の項目がない構成としてもよい。
 また、表示部に表示された画面に重畳して表示される表示部品の種別に基づいて、第1音声認識部3aによる認識結果を出力するか否かの判断を行うものとしてもよい。ここで当該重畳して表示される表示部品とは、例えば図6に示すように、施設検索を行った結果を提示する名称リスト13等である。図6は、ナビゲーション部6の表示部に表示されているナビゲーション画面の一例である。
 図6は、地図上に自車の位置を示す自車マーク12が表示されている一般的なナビゲーション画面において、例えば、レストラン検索を行ったり、ステーキハウスの検索を行うなどした結果、ステーキハウスの名称リスト13が重畳して表示され、発話者による選択を待つ状態になっている。このように、発話者が何らかの選択をすべき状態の表示部品として名称リスト13の表示が行われた場合にも、音声認識の失敗をさせたくないため、第1音声認識部3bによる認識結果を出力しないように制御する。
 また、この実施の形態2では、ナビゲーション部6の表示部に表示される画面の種別情報に基づいて、第1音声認識部3aによる認識結果を出力するか否かを判断するものとして説明したが、ナビゲーション部6で実行されている機能の種別情報に基づいて、第1音声認識部3aによる認識結果を出力するか否かの判断を行うものとしてもよい。すなわち、制御部5は、その機能が第2音声認識部3bによる認識結果を採用する種別を付与されている機能である、と判断した場合に、第1音声認識部による認識結果を出力しない。
 例えば、実行されている機能が住所検索であった場合、住所はあいまい性が少なく、リストからの候補選択と同様、確実に認識させたい対象であり、音声認識の失敗をさせたくないため、その住所検索という機能には、第2音声認識部3bによる認識結果を採用する種別が付与されており、制御部5は、その機能の種別情報に基づいて、当該機能が第2音声認識部3bによる認識結果を採用する種別を付与されている機能である、と判断し、第1音声認識部3aによる認識結果を出力しないように制御する。この場合、図5に示すブロック図の画面情報取得部7を機能情報取得部(周辺状態取得部)として、ナビゲーション部6から現在実行されている機能の種別情報を取得するようにし、画面情報記憶部8を機能情報記憶部として、機能の種別情報を記憶するものとする。そして、制御部5によって、機能の種別情報を検索キーとして機能情報記憶部を検索するようにすればよい。
 以上のように、音声認識装置が適用される装置で表示されている画面や実行されている機能に応じて、常時、音声認識している第1音声認識部による認識結果の出力を停止・再開するようにしたので、例えば、検索結果が表示されたリスト画面においてリスト項目を選択する等、特に認識を失敗させたくない状況では音声認識開始指示部2を押下して発話することで誤認識が少なくなり、また、常時、音声認識することにより誤認識または誤検出した結果が表示されてしまったり、誤認識または誤検出した結果に基づいて動作してしまったりすることがなくなるため、利便性が向上する。
実施の形態3.
 図7は、この発明の実施の形態3による音声認識装置の一例を示すブロック図である。なお、実施の形態1で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態3の音声認識装置30は、実施の形態1の音声認識装置10と比べると、走行状態取得部(周辺状態取得部)9をさらに備えている。また、制御部5の動作が実施の形態1とは異なり、後述するような動作となっている。
 走行状態取得部(周辺状態取得部)9は、音声認識装置30が存する移動体の走行状態、例えば、停車中か否かの情報や、走行速度、エンジン回転数などを取得する。
 そして、この実施の形態3における音声認識装置30の制御部5は、走行状態取得部9により取得された走行状態に応じて、第1音声認識部3aによる認識結果を出力するか否かを決定する。
 具体的には、制御部5は、移動体の走行状態に基づいて、当該移動体が加速中または高速で移動中であると判断した場合には、第1音声認識部3aによる認識結果を出力しない。例えば、車両の停止中など、騒音が小さいと予想される場合には、常時行われている第1音声認識部3aによる認識結果が出力されればよいが、加速中や高速で移動中など、騒音が大きくて認識率がより低くなると予想される場合には、音声認識開始指示部2からの指示により精度よく音声認識を行ってくれる第2音声認識部3bによる認識結果を使用したいため、第1音声認識部3aによる認識結果が出力されないようにする。
 次に、図8に示すフローチャートを用いて、実施の形態3の音声認識装置の動作を説明する。
 まず、走行状態取得部(周辺状態取得部)9は、例えばCAN(Controller Area Network)信号等から、車両(移動体)の速度、ステアリング状態、パーキング状態、ブレーキ状態、エンジンの回転数など、移動体の走行状態を取得する(ステップST21)。次に、制御部5は、走行状態取得部9により取得された情報(移動体の走行状態)に基づいて、移動体が走行中か停車中か判断する(ステップST22)。
 そして、移動体が停車中と判断され(ステップST22のYESの場合)、かつ、第1音声認識部3aによる認識結果の出力が停止中の場合(ステップST23のYESの場合)は、第1音声認識部3aによる認識結果の出力を再開する(ステップST24)。また、ステップST23において、第1音声認識部3aによる認識結果の出力が停止中でない場合(ステップST23のNOの場合)は、何もせずに処理を終了し、通常どおりの音声認識および出力の処理を行う。
 一方、移動体が走行中と判断され(ステップST22のNOの場合)、かつ、走行速度が所定値以下(または、未満)である場合(ステップST25のYESの場合)は、ステップST23以降の処理を実行する。また、ステップST25において、走行速度が所定値より大きい(または、以上)である場合(ステップST25のNOの場合)は、第1音声認識部3aによる認識結果を出力しない(ステップST26)。
 以上のように、移動体の走行状態に応じて、常時、音声認識している第1音声認識部による認識結果の出力を停止・再開するようにしたので、加速中や高速で走行中等、騒音が大きいと予想される場合に誤認識が発生することを抑制することができる一方、停車中等の騒音が小さいと予想される場合には、特定の操作無しに音声を認識させることができるので煩わしさを解消することができ、利便性が向上する。
 なお、この実施の形態3では、走行速度が所定値より大きい(または、以上の)場合は、第1音声認識部3aによる認識結果を出力しないとして説明したが、それとは逆に、移動体が停車中には第1音声認識部3aによる認識結果の出力を停止し、走行速度が所定値より大きい(または、以上の)場合に、当該認識結果の出力を再開するようにしてもよい。これは、例えば運転初心者等にとっては、走行中にボタン等を操作することは危険であるため、移動体が停車中は音声認識開始指示部2を押下操作することによる第2音声認識部3bによる認識結果を採用し、走行中は常時認識による第1音声認識部3aの認識結果を出力するようにしてもよい、ということである。
 また、所定値付近で走行速度が変化することによって、第1音声認識部3aによる認識結果の出力停止・出力再開が短時間で繰り返されることを避けるため、第1音声認識部3aによる認識結果の出力を再開する所定値と出力を停止するときの所定値を異なる値とするとよい。具体的には、例えば、出力を停止するときの所定値を60km/h、再開するときの所定値を70km/hとする等、ヒステリシスを持たせるようにする。これにより、所定値付近で走行速度が微妙に変化した場合であっても、頻繁に認識結果の出力停止と出力再開が繰り返される現象を避けることができる。
実施の形態4.
 図9は、この発明の実施の形態4による音声認識装置の一例を示すブロック図である。なお、実施の形態1で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態4の音声認識装置40は、実施の形態1の音声認識装置10と比べると、騒音取得部(周辺状態取得部)11をさらに備えている。また、制御部5の動作が実施の形態1とは異なり、後述するような動作となっている。
 騒音取得部(周辺状態取得部)11は、マイクにより集音された音を解析し騒音音量を算出し出力する。すなわち、音声認識装置40周辺における騒音音量を取得する。
 そして、この実施の形態4における音声認識装置40の制御部5は、騒音取得部11により取得された騒音音量に応じて、第1音声認識部3aによる認識結果の出力を停止または再開する。
 具体的には、制御部5は、騒音音量が所定の値以上である場合には、第1音声認識部3aによる認識結果を出力しない。例えば、騒音音量が小さい場合には、常時行われている第1音声認識部3aによる認識結果が出力されればよいが、騒音音量が大きくて認識率がより低くなると予想される場合には、音声認識開始指示部2からの指示により精度よく音声認識を行ってくれる第2音声認識部3bによる認識結果を使用したいため、第1音声認識部3aによる認識結果が出力されないようにする。
 次に、図10に示すフローチャートを用いて、実施の形態4の音声認識装置の動作を説明する。
 まず、騒音取得部(周辺状態取得部)11は、マイクにより集音された音を解析し騒音音量を算出する(ステップST31)。次に、制御部5は、騒音取得部11により算出された騒音音量が所定の値以下(または、未満)であり(ステップST32のYESの場合)、かつ、第1音声認識部3aによる認識結果の出力が停止中である場合(ステップST33のYESの場合)は、第1音声認識部3aによる認識結果の出力処理を再開する(ステップST34)。また、第1音声認識部3aによる認識結果の出力が停止中でない場合(ステップST33のNOの場合)は、何もせずに処理を終了し、通常どおりの音声認識および出力の処理を行う。
 一方、騒音取得部11により算出された騒音音量が所定の値より大きい(または、以上である)場合(ステップST32のNOの場合)は、第1音声認識部3aによる認識結果を出力しない(ステップST35)。
 ここで、発話者が発話している最中に、騒音音量が所定の値より大きく(または、以上)なった場合は、その発話された音声について第1音声認識部3aによる認識結果の出力が完了するまで、第1音声認識部3aによる認識結果の出力を停止しないようにしてもよい。
 なお、この実施の形態4では、マイクにより集音された音から騒音音量を決定したが、実施の形態3における走行状態取得部9からのエンジンの回転数に基づいて騒音音量を決定するようにしてもよい。
 具体的には、騒音取得部11にエンジンの回転数と当該回転数に対応する騒音音量が対応付けて記憶されており、騒音取得部11はCAN信号等からエンジンの回転数を取得した走行状態取得部9からエンジンの回転数を取得し、当該取得した回転数に対応する騒音音量を決定する。
 そして、制御部5は、当該騒音音量が所定の値以下(または、未満)か否かによって、第1音声認識部3aによる認識結果を出力するか否かを判断する。
 また、実施の形態3の場合と同様に、第1音声認識部3aによる認識結果の出力を再開する所定の値と出力を停止するときの所定の値を異なる値とする等して、ヒステリシスを持たせてもよい。
 また、騒音取得部11は、ナビゲーション部6を介して地図データから走行中の道路種別を取得し、当該道路種別に基づいて第1音声認識部3aによる認識結果を出力するか否かを判断するようにしてもよい。具体的には、取得した道路種別が「トンネル内の道路」である場合は、騒音が発生しやすいと判断して、第1音声認識部3aによる認識結果の出力しないように制御する等が考えられる。
 以上のように、音声認識装置周辺の騒音音量に応じて、常時、音声認識している第1音声認識部による認識結果の出力を停止・再開するようにしたので、騒音が大きい場合に誤認識が発生することを抑制することができる一方、騒音が小さい場合は、特定の操作無しに音声を認識させることができるので煩わしさを解消することができ、利便性が向上する。
 なお、上述した実施の形態2~4において、第1音声認識部3aによる認識結果の出力が行われているか否かを示す絵や文字等(図11(a)または(b)参照)を図12のようにナビゲーション部6の表示部に表示するようにしてもよい。図11は、常時、音声認識を行っている第1音声認識部3aによる認識結果の出力が行われる状態であるか否かを明示する絵や文字等の例であり、図11(a)は絵によって示すもの、図11(b)は文字によって示すものである。図11(a)(b)いずれの図においても、左側が、第1音声認識部3aによる認識結果の出力が行われる状態であることを示しており、右側が、第1音声認識部3aによる認識結果の出力が停止している状態を示している。また、これら以外にも、記号等によって明示するようにしてもよい。
 図12は、地図上に自車の位置を示す自車マーク12が表示されている一般的なナビゲーション画面において、図11に示すような第1音声認識部3aによる認識結果の出力が行われる状態であるか否かを示す絵や文字等14を表示した例である。現在、第1音声認識部3aによる認識結果の出力が行われる状態である場合には、図12に示すように、例えば、当該画面の左下に、図11(b)の左側の文字を表示するようにすればよい。
 この場合、例えば、制御部5から当該表示の要否を示す信号を出力するようにしてもよい。また、第1音声認識部3aによる認識結果の出力処理が行われているか否かによって、表示画面の色を変えてもよいし、画面に表示されている音声認識開始指示部2の色を変えるなどしてもよい。これにより、常時、音声認識している第1音声認識部3aによる認識結果の出力が停止しているか否かを発話者が即座に知ることができるようになり、利便性が向上する。
 また、上述した実施の形態4において、図13に示すように、騒音音量15と所定の値(騒音音量の閾値)16を表示部に視覚的に表示してもよい。図13は、地図上に自車の位置を示す自車マーク12が表示されている一般的なナビゲーション画面において、現在の音声認識装置周辺の騒音音量15と、その騒音音量が所定の値16を超えているか否かを明示するための所定の値16とが重畳して表示されている。これにより、発話者は、騒音音量によって、常時、音声認識している第1音声認識部3aによる認識結果の出力が停止しているか否かを視覚的に把握することができるようになり、利便性が向上する。
 さらに、図12に示すように第1音声認識部3aによる認識結果の出力が行われる状態であるか否かを示す絵や文字等14を表示した上で、図13に示すような騒音音量15と所定の値(騒音音量の閾値)16を表示するようにしてもよい。これにより、常時、音声認識している第1音声認識部3aによる認識結果の出力が停止しているか否かということと、それは騒音音量が大きい(または小さい)からであるという理由も含めて、発話者が視覚的に即座に把握することができるようになり、さらに利便性が向上する。
 なお、以上の実施の形態では、この発明における音声認識装置を車両等の移動体に搭載されるナビゲーション装置に適用するものとして説明したが、適用するナビゲーション装置は車両用に限らず、人、車両、鉄道、船舶または航空機等を含む移動体用のナビゲーション装置や、スマートフォン、タブレットPC、携帯電話等にインストールされるナビゲーションシステム等、どのような形態のものにも適用することができる。
 なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
 この発明の音声認識装置は、車両等の移動体に搭載されるナビゲーション装置や、スマートフォン、タブレットPC、携帯電話等にインストールされるナビゲーションシステム等に適用することができる。
 1 音声取得部、2 音声認識開始指示部、3 音声認識部、3a 第1音声認識部、3b 第2音声認識部、4 音声認識辞書、5 制御部、6 ナビゲーション部、7 画面情報取得部(周辺状態取得部)、8 画面情報記憶部、9 走行状態取得部(周辺状態取得部)、10,20,30,40 音声認識装置、11 騒音取得部(周辺状態取得部)、12 自車マーク、13 名称リスト、14 第1音声認識部3aによる認識結果の出力が行われる状態であるか否かを示す絵や文字等、15 騒音音量、16 所定の値(騒音音量の閾値)。

Claims (8)

  1.  発話された音声を認識する音声認識装置において、
     前記発話された音声を検知して取得する音声取得部と、
     前記音声認識装置が起動されている場合は常時、前記音声取得部により取得された音声データを認識する第1音声認識部と、
     音声認識開始の指示信号を出力する音声認識開始指示部と、
     前記音声認識開始指示部により出力された信号を受信すると、前記音声取得部により取得された音声データを認識する第2音声認識部と、
     前記第1音声認識部または前記第2音声認識部による認識結果を取得して出力する制御部と、を備え、
     前記制御部は、前記第1音声認識部による認識結果を取得し、前記音声認識開始指示部により出力された信号を受信していない場合には、前記第1音声認識部による認識結果を前記音声認識装置が適用される装置に出力し、前記音声認識開始指示部により出力された信号を受信した場合には、前記第2音声認識部による認識結果を取得し、当該第2音声認識部による認識結果を前記第1音声認識部による認識結果より優先して出力する
     ことを特徴とする音声認識装置。
  2.  周辺状態を取得する周辺状態取得部をさらに備え、
     前記制御部は、前記周辺状態取得部により取得された周辺状態に基づいて、前記第1音声認識部による認識結果を出力するか否かを決定する
     ことを特徴とする請求項1記載の音声認識装置。
  3.  前記周辺状態は、前記音声認識装置が適用される装置の表示部に表示される画面の種別情報であり、
     前記制御部は、前記画面の種別情報に基づいて、当該画面が前記第2音声認識部による認識結果を採用する種別を付与されている画面である、と判断した場合に、前記第1音声認識部による認識結果を出力しない
     ことを特徴とする請求項2記載の音声認識装置。
  4.  前記周辺状態は、前記音声認識装置が適用される装置で実行されている機能の種別情報であり、
     前記制御部は、前記機能の種別情報に基づいて、当該機能が前記第2音声認識部による認識結果を採用する種別を付与されている機能である、と判断した場合に、前記第1音声認識部による認識結果を出力しない
     ことを特徴とする請求項2記載の音声認識装置。
  5.  前記音声認識装置は、移動体に搭載され、
     前記周辺状態は、前記移動体の走行状態であり、
     前記制御部は、前記移動体の走行状態に基づいて、当該移動体が加速中または高速で移動中であると判断した場合に、前記第1音声認識部による認識結果を出力しない
     ことを特徴とする請求項2記載の音声認識装置。
  6.  前記周辺状態は、前記音声認識装置周辺の騒音音量であり、
     前記制御部は、前記騒音音量が所定の値以上である場合に、前記第1音声認識部による認識結果を出力しない
     ことを特徴とする請求項2記載の音声認識装置。
  7.  前記制御部は、前記第1音声認識部による認識結果を出力しない状態であるか否かを、前記音声認識装置が適用される装置の表示部に表示する
     ことを特徴とする請求項2記載の音声認識装置。
  8.  前記制御部は、前記周辺状態取得部により取得された騒音音量を、前記音声認識装置が適用される装置の表示部に視覚的に表示する
     ことを特徴とする請求項6記載の音声認識装置。
PCT/JP2012/078625 2012-11-05 2012-11-05 音声認識装置 WO2014068788A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280076811.9A CN104756185B (zh) 2012-11-05 2012-11-05 语音识别装置
US14/430,840 US9378737B2 (en) 2012-11-05 2012-11-05 Voice recognition device
PCT/JP2012/078625 WO2014068788A1 (ja) 2012-11-05 2012-11-05 音声認識装置
DE112012007103.4T DE112012007103B4 (de) 2012-11-05 2012-11-05 Spracherkennungsvorrichtung
JP2014544199A JP5677650B2 (ja) 2012-11-05 2012-11-05 音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/078625 WO2014068788A1 (ja) 2012-11-05 2012-11-05 音声認識装置

Publications (1)

Publication Number Publication Date
WO2014068788A1 true WO2014068788A1 (ja) 2014-05-08

Family

ID=50626751

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/078625 WO2014068788A1 (ja) 2012-11-05 2012-11-05 音声認識装置

Country Status (5)

Country Link
US (1) US9378737B2 (ja)
JP (1) JP5677650B2 (ja)
CN (1) CN104756185B (ja)
DE (1) DE112012007103B4 (ja)
WO (1) WO2014068788A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086643A (ja) * 2017-11-07 2019-06-06 アルパイン株式会社 音声認識システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6418820B2 (ja) * 2014-07-07 2018-11-07 キヤノン株式会社 情報処理装置、表示制御方法、及びコンピュータプログラム
JP2016109725A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6744025B2 (ja) * 2016-06-21 2020-08-19 日本電気株式会社 作業支援システム、管理サーバ、携帯端末、作業支援方法およびプログラム
PT3533022T (pt) 2016-10-31 2024-05-10 Rovi Guides Inc Sistemas e métodos para a utilização flexível de temas em tendência como parâmetros para recomendar recursos multimédia que estão relacionados com o recurso multimédia visualizado
WO2018090252A1 (zh) * 2016-11-16 2018-05-24 深圳达闼科技控股有限公司 机器人语音指令识别的方法及相关机器人装置
JP2018116206A (ja) * 2017-01-20 2018-07-26 アルパイン株式会社 音声認識装置、音声認識方法及び音声認識システム
WO2018174884A1 (en) 2017-03-23 2018-09-27 Rovi Guides, Inc. Systems and methods for calculating a predicted time when a user will be exposed to a spoiler of a media asset
KR102428911B1 (ko) * 2017-05-24 2022-08-03 로비 가이드스, 인크. 자동 음성 인식을 사용하여 생성되는 입력을 음성에 기초하여 정정하기 위한 방법 및 시스템
CN109462694A (zh) * 2018-11-19 2019-03-12 维沃移动通信有限公司 一种语音助手的控制方法及移动终端
CN111629156A (zh) 2019-02-28 2020-09-04 北京字节跳动网络技术有限公司 图像特效的触发方法、装置和硬件装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0713591A (ja) * 1993-06-22 1995-01-17 Hitachi Ltd 音声認識装置および音声認識方法
JP2003140691A (ja) * 2001-11-07 2003-05-16 Hitachi Ltd 音声認識装置
JP2004219728A (ja) * 2003-01-15 2004-08-05 Matsushita Electric Ind Co Ltd 音声認識装置
JP2006215418A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 音声入力装置及び音声入力方法
JP2006251298A (ja) * 2005-03-10 2006-09-21 Nissan Motor Co Ltd 音声入力装置および音声入力方法
JP2010078986A (ja) * 2008-09-26 2010-04-08 Hitachi Ltd 音声認識による機器制御装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635497A (ja) 1992-07-16 1994-02-10 Nippon Telegr & Teleph Corp <Ntt> 音声入力装置
US7174299B2 (en) * 1995-08-18 2007-02-06 Canon Kabushiki Kaisha Speech recognition system, speech recognition apparatus, and speech recognition method
DE19533541C1 (de) 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
JP3764302B2 (ja) * 1999-08-04 2006-04-05 株式会社東芝 音声認識装置
US6754629B1 (en) * 2000-09-08 2004-06-22 Qualcomm Incorporated System and method for automatic voice recognition using mapping
GB2383459B (en) * 2001-12-20 2005-05-18 Hewlett Packard Co Speech recognition system and method
JP2004239963A (ja) * 2003-02-03 2004-08-26 Mitsubishi Electric Corp 車載制御装置
JP2004354722A (ja) 2003-05-29 2004-12-16 Nissan Motor Co Ltd 音声認識装置
US7418392B1 (en) * 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
JP2006010739A (ja) * 2004-06-22 2006-01-12 Toyota Central Res & Dev Lab Inc 音声認識装置
JP2007057844A (ja) * 2005-08-24 2007-03-08 Fujitsu Ltd 音声認識システムおよび音声処理システム
CN101034390A (zh) * 2006-03-10 2007-09-12 日电(中国)有限公司 用于语言模型切换和自适应的装置和方法
EP2019985B1 (en) * 2006-05-12 2018-04-04 Nuance Communications Austria GmbH Method for changing over from a first adaptive data processing version to a second adaptive data processing version
JP2008058409A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 音声認識方法及び音声認識装置
CN101039359B (zh) * 2007-04-30 2011-11-16 华为技术有限公司 电话会议中提示发言人信息的方法、设备和系统
DE102007042583B4 (de) * 2007-09-07 2010-12-09 Audi Ag Verfahren zur Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem sowie Kommunikationssystem
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US8364481B2 (en) * 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
US20110111805A1 (en) 2009-11-06 2011-05-12 Apple Inc. Synthesized audio message over communication links
US9620122B2 (en) * 2011-12-08 2017-04-11 Lenovo (Singapore) Pte. Ltd Hybrid speech recognition
EP2639793B1 (en) * 2012-03-15 2016-04-20 Samsung Electronics Co., Ltd Electronic device and method for controlling power using voice recognition
CN102750087A (zh) * 2012-05-31 2012-10-24 华为终端有限公司 控制语音识别功能的方法、装置和终端设备
US9275637B1 (en) * 2012-11-06 2016-03-01 Amazon Technologies, Inc. Wake word evaluation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0713591A (ja) * 1993-06-22 1995-01-17 Hitachi Ltd 音声認識装置および音声認識方法
JP2003140691A (ja) * 2001-11-07 2003-05-16 Hitachi Ltd 音声認識装置
JP2004219728A (ja) * 2003-01-15 2004-08-05 Matsushita Electric Ind Co Ltd 音声認識装置
JP2006215418A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 音声入力装置及び音声入力方法
JP2006251298A (ja) * 2005-03-10 2006-09-21 Nissan Motor Co Ltd 音声入力装置および音声入力方法
JP2010078986A (ja) * 2008-09-26 2010-04-08 Hitachi Ltd 音声認識による機器制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086643A (ja) * 2017-11-07 2019-06-06 アルパイン株式会社 音声認識システム
JP6996944B2 (ja) 2017-11-07 2022-01-17 アルパイン株式会社 音声認識システム

Also Published As

Publication number Publication date
DE112012007103T5 (de) 2015-07-30
US20150279363A1 (en) 2015-10-01
CN104756185B (zh) 2018-01-09
DE112012007103B4 (de) 2017-02-02
JPWO2014068788A1 (ja) 2016-09-08
CN104756185A (zh) 2015-07-01
JP5677650B2 (ja) 2015-02-25
US9378737B2 (en) 2016-06-28

Similar Documents

Publication Publication Date Title
JP5677650B2 (ja) 音声認識装置
CN106796786B (zh) 语音识别系统
JP5762660B2 (ja) 音声認識装置、認識結果表示装置および表示方法
JP4859982B2 (ja) 音声認識装置
JP6227209B2 (ja) 車載用音声認識装置および車載機器
WO2014109017A1 (ja) 音声認識装置および表示方法
WO2015128960A1 (ja) 車載制御装置および車載制御方法
JP2002041085A (ja) 音声認識装置及び記録媒体
JP4466379B2 (ja) 車載音声認識装置
WO2007069377A1 (ja) 音声認識装置
US8145487B2 (en) Voice recognition apparatus and navigation apparatus
JP6214297B2 (ja) ナビゲーション装置および方法
JP2009230068A (ja) 音声認識装置及びナビゲーションシステム
JP2016133378A (ja) カーナビゲーション装置
JP2010039099A (ja) 音声認識および車載装置
JP2006208486A (ja) 音声入力装置
WO2016103465A1 (ja) 音声認識システム
JP2007101892A (ja) 音声認識装置
JP5772214B2 (ja) 音声認識装置
US10158745B2 (en) Vehicle and communication control method for determining communication data connection for the vehicle
JP4453377B2 (ja) 音声認識装置、プログラム及びナビゲーション装置
JP2008145676A (ja) 音声認識装置及び車両ナビゲーション装置
JP7417488B2 (ja) 電子機器及び音声起動方法
JP2002132290A (ja) 車載用音声認識装置
JP2017187559A (ja) 音声認識装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12887451

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014544199

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14430840

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120120071034

Country of ref document: DE

Ref document number: 112012007103

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12887451

Country of ref document: EP

Kind code of ref document: A1