WO2011037264A1 - 電子機器および制御方法 - Google Patents

電子機器および制御方法 Download PDF

Info

Publication number
WO2011037264A1
WO2011037264A1 PCT/JP2010/066863 JP2010066863W WO2011037264A1 WO 2011037264 A1 WO2011037264 A1 WO 2011037264A1 JP 2010066863 W JP2010066863 W JP 2010066863W WO 2011037264 A1 WO2011037264 A1 WO 2011037264A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice recognition
unit
application
flag
recognition result
Prior art date
Application number
PCT/JP2010/066863
Other languages
English (en)
French (fr)
Inventor
創 市川
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US13/498,738 priority Critical patent/US20130054243A1/en
Publication of WO2011037264A1 publication Critical patent/WO2011037264A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Definitions

  • the present invention relates to an electronic device having a voice recognition function and a control method thereof.
  • control for starting a desired function from a character string obtained as a result of speech recognition is known (for example, see Patent Document 1).
  • a voice recognition function the user of an electronic device can operate the electronic device without performing the key operation when it is difficult or unfamiliar with the key operation or when the user cannot release his / her hand. Can do.
  • a user can start a route search application by saying “Root Kensaku”, or can start a browser application by saying “Internet”.
  • the electronic device needs to be in a utterance standby state according to a predetermined operation, and recognizes the voice input in this state and converts it into a character string.
  • the electronic device collates the converted character string with a predetermined registered name, thereby starting an application corresponding to the registered name that matches the character string.
  • an electronic device particularly a portable electronic device
  • it is often limited to one application that can accept an operation input, process an event, or display a screen.
  • a voice recognition application is activated from a standby screen (also called wallpaper)
  • the standby screen is interrupted.
  • the telephone application is activated by the voice recognition application
  • the voice recognition application is interrupted.
  • An object of the present invention is to provide an electronic device and a control method capable of realizing a simple interface when using voice recognition.
  • An electronic apparatus includes a voice recognition unit, an execution unit that executes a predetermined application, and a control unit that controls the voice recognition unit and the execution unit.
  • the execution unit is controlled by the control unit.
  • the execution unit changes a user interface of the predetermined application for voice input when the activation instruction is an instruction based on the voice recognition result.
  • control unit activates the voice recognition unit when the execution unit changes to the user interface for voice input.
  • a parameter indicating that the predetermined application is activated based on the voice recognition result is passed as the activation instruction from the voice recognition unit to the execution unit via the control unit.
  • the voice recognition unit turns on a flag indicating activation based on the voice recognition result
  • the control unit refers to the flag, and the flag is turned on.
  • a parameter indicating that the predetermined application is activated based on the voice recognition result is passed to the execution unit as the activation instruction.
  • the voice recognition unit turns on a flag indicating activation based on the voice recognition result, and the execution unit refers to the flag, and the flag is turned on. It is preferable to determine whether or not the instruction is based on the voice recognition result by the voice recognition unit depending on whether or not.
  • control unit turns on a flag indicating activation based on the voice recognition result when the voice recognition unit requests activation of the predetermined application, and the execution unit sets the flag to It is preferable to refer to and determine whether or not the instruction is based on the voice recognition result by the voice recognition unit according to whether or not the flag is on.
  • a control method is a control method in an electronic device including a voice recognition unit, an execution unit that executes a predetermined application, and a control unit that controls the voice recognition unit and the execution unit,
  • the execution unit receives an activation instruction for the predetermined application from the control unit
  • the execution unit determines whether the activation instruction is an instruction based on a voice recognition result by the voice recognition unit, and determines the result of the determination. In response to this, it includes an execution step of selecting the processing contents and executing the predetermined application.
  • the user interface of the predetermined application is preferably changed for voice input.
  • control method preferably includes a step of activating the voice recognition unit when the control unit is changed to the voice input user interface in the execution step.
  • the parameter indicating that the predetermined application is activated based on the voice recognition result as the activation instruction from the voice recognition unit to the execution unit via the control unit is preferably included.
  • control method includes a step of turning on a flag indicating that the voice recognition unit is activated based on the voice recognition result when the predetermined application is activated; and , Referring to the flag, and, when the flag is on, passing a parameter indicating that the predetermined application is activated based on the voice recognition result to the execution unit as the activation instruction. Is preferred.
  • control method includes a step of turning on a flag indicating that the voice recognition unit is started based on the voice recognition result when the predetermined application is started, and the execution step
  • a flag indicating that the control unit starts based on the voice recognition result is turned on.
  • the flag is referred to, and it is determined whether or not the instruction is based on a voice recognition result by the voice recognition unit according to whether or not the flag is on.
  • a simple interface can be realized when using voice recognition in an electronic device.
  • 1 is an external perspective view of a mobile phone according to a first embodiment. It is a block diagram which shows the function of the mobile telephone which concerns on 1st Embodiment. It is a figure which shows the example of a screen transition when not performing the change process of the user interface which concerns on 1st Embodiment. It is a figure which shows the example of a screen transition in the case of performing the change process of the user interface which concerns on 1st Embodiment. It is a flowchart which shows the process of the mobile telephone which concerns on 1st Embodiment. It is a block diagram which shows the function of the mobile telephone which concerns on 2nd Embodiment. It is a flowchart which shows the process of the mobile telephone which concerns on 2nd Embodiment.
  • a mobile phone 1 will be described as an example of an electronic device.
  • FIG. 1 is an external perspective view of a mobile phone 1 (electronic device) according to the present embodiment.
  • the mobile phone 1 includes an operation unit side body 2 and a display unit side body 3.
  • the operation unit side body 2 includes an operation unit 11 on the surface unit 10 and a microphone 12 to which a voice uttered when a user of the mobile phone 1 uses a voice recognition application during a call is configured.
  • the operation unit 11 includes a function setting operation button 13 for activating various functions such as various setting functions, a telephone book function, and a mail function, and an input operation button 14 for inputting numbers of telephone numbers, mail characters, and the like.
  • a determination operation button 15 for performing determination and scrolling in various operations.
  • the display unit side body 3 includes a display unit 21 for displaying various types of information on the surface unit 20 and a receiver 22 for outputting the voice of the other party of the call.
  • the upper end of the operation unit side body 2 and the lower end of the display unit side body 3 are connected via a hinge mechanism 4.
  • the mobile phone 1 relatively rotates the operation unit side body 2 and the display unit side body 3 connected via the hinge mechanism 4, so that the operation unit side body 2 and the display unit side body are rotated.
  • the body 3 can be in an open state (open state), or the operation unit side body 2 and the display unit side body 3 can be folded (folded state).
  • FIG. 2 is a block diagram showing functions of the mobile phone 1 according to the present embodiment.
  • the mobile phone 1 includes a voice recognition unit 30, an execution unit 40, and an OS 50 (control unit).
  • the voice recognition unit 30 includes a microphone 12, a driver 31, a voice recognition application 42, and a voice recognition determination table 60.
  • the driver 31 processes the audio signal input from the microphone 12 according to the control by the OS 50 and outputs the processed signal to the audio recognition application 42.
  • the voice recognition application 42 is an application that receives a voice input signal based on a user's utterance from the driver 31 and collates a voice recognition result with the voice recognition determination table 60 to determine an application to be activated and a process.
  • the voice recognition application 42 is one of applications executed by the execution unit 40.
  • the voice recognition determination table 60 includes, for example, a registered name “address butterfly” and an address book application, “mail” and an email application, “root Kensaku” and a route search application, “shashin” and a camera application, and “Internet”. And browser applications are stored in association with each other.
  • the voice recognition application 42 instructs the OS 50 to start the determined application, it passes a parameter indicating that the voice recognition application 42 is started based on the voice recognition result.
  • the execution unit 40 executes various applications of the mobile phone 1 such as the menu application 41, the voice recognition application 42, the route search application 43, and the like according to control by the OS 50.
  • the OS 50 controls the entire mobile phone 1 and controls the voice recognition unit 30 and the execution unit 40 in order to selectively activate a plurality of applications of the mobile phone 1. Specifically, the OS 50 instructs the execution unit 40 of an application to be started based on an instruction from the voice recognition unit 30 (voice recognition application 42). At this time, the OS 50 passes to the execution unit 40 a parameter that is passed from the speech recognition unit 30 (speech recognition application 42) and that indicates activation based on the speech recognition result.
  • the execution unit 40 determines whether or not the instruction is based on a voice recognition result by the voice recognition unit 30, and determines the processing contents according to the determination result. select. That is, the execution unit 40 provides a user interface for key input using the operation unit 11 when the application is started without being based on the voice recognition result, but the application is started based on the voice recognition result. In such a case, the user interface for key input is changed to the user interface for voice input.
  • the execution unit 40 automatically activates the voice recognition application 42 as a user interface for voice input. Thereby, the operation by voice input can be continued without requiring the user of the mobile phone 1 to input a key.
  • the menu application 41 activated by the execution unit 40 is selected for voice recognition by a key operation or the like from the user.
  • the menu application 41 instructs the OS 50 to start the voice recognition application 42.
  • the OS 50 instructs the execution unit 40 to interrupt the execution of the menu application 41 before starting the voice recognition application 42.
  • the OS 50 instructs the execution unit 40 to start the voice recognition application 42.
  • the user says “route search”.
  • the voice recognition application 42 receives this voice input via the microphone 12 and the driver 31.
  • the voice recognition application 42 obtains the character string “Root Kensaku” as the voice recognition result and collates it with the voice recognition determination table 60.
  • the speech recognition application 42 obtains the route search application 43 corresponding to the registered name that matches the character string “Root Kensaku”. Acquired as an application to be started.
  • the voice recognition application 42 instructs the OS 50 to start the route search application 43 and passes a parameter indicating that it is started based on the voice recognition result.
  • the OS 50 instructs the execution unit 40 to interrupt the execution of the voice recognition application 42.
  • the OS 50 instructs the execution unit 40 to start the route search application 43 together with a parameter indicating that the OS 50 is started based on the voice recognition result.
  • the route search application 43 refers to the received parameter, determines that the route search application 43 is activated based on the voice recognition result, and provides a user interface for voice input.
  • FIG. 3 is a diagram showing an example of screen transition when the user interface change processing according to the present embodiment is not performed.
  • the route search application 43 is activated based on the voice recognition result, and the voice recognition application 42 is interrupted.
  • the normal menu which is the initial screen of the route search application 43 is displayed (3).
  • the user When the user wants to perform further operation by voice recognition, the user selects voice recognition by key operation in this normal menu and starts the voice recognition application 42 again (4).
  • FIG. 4 is a diagram showing an example of screen transition when the user interface change process according to the present embodiment is performed.
  • the route search application 43 is activated based on the voice recognition result, and the voice recognition application 42 is interrupted. Further, the activated route search application 43 refers to a parameter indicating that it is activated based on the above-described voice recognition result, and when it is determined that it is based on the voice recognition result, automatically activates the voice recognition application 42 and (3).
  • FIG. 5 is a flowchart showing processing of the mobile phone 1 according to the present embodiment.
  • the menu application 41 is activated under the control of the OS 50.
  • This menu application 41 receives a selection input of a plurality of processes by key operation.
  • the case where the selection of “voice recognition” is received (step S102) and the case where the selection of “route search” is received (step S106) will be described separately.
  • the voice recognition application 42 is activated under the control of the OS 50 in step S103.
  • step S104 the user utters “Root Kensaku”, and the speech recognition application 42 determines to start the route search application 43 based on the speech recognition result.
  • step S105 the voice recognition application 42 sets a parameter (“voice ON”) indicating that the application is started based on the voice recognition result, and instructs the OS 50 to start the application.
  • a parameter (“voice ON”) indicating that the application is started based on the voice recognition result
  • step S106 when the menu application 41 accepts the selection of “route search” in step S106, this parameter (“voice ON”) is not set, and the process proceeds to step S107.
  • step S107 the OS 50 controls the execution unit 40 based on an instruction from the menu application 41 or the voice recognition application 42 to start the route search application 43. At this time, the OS 50 delivers the above-described parameter (“voice ON”) to the execution unit 40.
  • step S108 the execution unit 40 activates the route search application 43 under the control of the OS 50 in step S107.
  • step S109 the route search application 43 refers to the parameter delivered from the OS 50, and determines whether or not “voice ON”.
  • the route search application 43 moves the process to step S112 if it is “voice ON”, and moves the process to step S110 if it is not “voice ON”.
  • step S110 the route search application 43 displays a normal menu and accepts a key operation input from the user.
  • step S111 the route search application 43 receives a selection input of “voice menu” from the user.
  • the route search application 43 displays a voice menu that is a user interface for voice input.
  • the route search application 43 may activate the voice recognition application 42 as described above and accept an operation by voice input as a voice menu, for example.
  • a user interface for voice input is continuously provided even for an application newly started based on the voice recognition result. Can be realized. That is, the convenience of the user who uses the voice recognition function is improved.
  • a voice recognition use flag 70 described later that is referred to by the OS 50 is further provided.
  • symbol is attached
  • FIG. 6 is a block diagram showing functions of the mobile phone 1 according to the present embodiment.
  • the voice recognition application 42 instructs the OS 50 to start the determined application
  • the voice recognition use flag 70 indicating that the voice recognition application 42 is started based on the voice recognition result is written.
  • the OS 50 instructs the execution unit 40 of an application to be started based on an instruction from the voice recognition unit 30 (voice recognition application 42). At this time, the OS 50 refers to the speech recognition use flag 70 and, if this flag is set, passes a parameter indicating that the system is activated based on the speech recognition result to the execution unit 40.
  • the execution unit 40 determines whether or not the instruction is based on a voice recognition result by the voice recognition unit 30, and determines the processing contents according to the determination result. select. That is, the execution unit 40 provides a user interface for key input using the operation unit 11 when the application is started without being based on the voice recognition result, but the application is started based on the voice recognition result. In such a case, the user interface for key input is changed to the user interface for voice input.
  • the voice recognition application 42 instructs the OS 50 to start the route search application 43.
  • the voice recognition application 42 changes and writes the voice recognition use flag 70 indicating that the voice recognition application 42 is activated based on the voice recognition result from “OFF” to “ON”.
  • the OS 50 instructs the execution unit 40 to interrupt the execution of the voice recognition application 42.
  • the OS 50 refers to the voice recognition use flag 70, and if this flag is "ON”, the flag is returned from "ON” to "OFF” in preparation for the next application activation process.
  • the OS 50 instructs the execution unit 40 to start the route search application 43.
  • the voice recognition use flag 70 referred to in (11) is “ON”
  • the OS 50 passes a parameter indicating activation based on the voice recognition result to the execution unit 40.
  • the route search application 43 refers to the received parameter, determines that the route search application 43 is activated based on the voice recognition result, and provides a user interface for voice input.
  • FIG. 7 is a flowchart showing processing of the mobile phone 1 according to the present embodiment.
  • Step S201 to step S204 and step S206 are the same as step S101 to step S104 and step S106 of the first embodiment (FIG. 5), respectively, and activation of the route search application 43 is selected.
  • step S205 the voice recognition application 42 changes and writes the voice recognition use flag 70 indicating that the application is started based on the voice recognition result from “OFF” to “ON”, and instructs the OS 50 to start the application. .
  • step S206 When the menu application 41 accepts the selection of “route search” in step S206, the voice recognition use flag 70 is not written (still remains “OFF”), and the process proceeds to step S207.
  • step S207 the OS 50 refers to the voice recognition use flag 70 and determines whether this flag is “ON” or “OFF”. If the flag is “ON”, the OS 50 moves the process to step S208, and if it is “OFF”, the OS 50 moves the process to step S209.
  • step S208 the OS 50 sets a parameter (“voice ON”) indicating that the application is started based on the voice recognition result. Further, the OS 50 returns the voice recognition use flag 70 from “ON” to “OFF”, and prepares for the application activation process from the next time.
  • step S209 the OS 50 controls the execution unit 40 to start the route search application 43. At this time, the OS 50 delivers the above-described parameter (“voice ON”) to the execution unit 40.
  • step S210 the execution unit 40 activates the route search application 43 under the control of the OS 50 in step S209.
  • Step S211 to Step S214 are the same as Step S109 to Step S112 of the first embodiment (FIG. 5), respectively. That is, the route search application 43 refers to the parameter delivered from the OS 50, and displays the voice menu, which is a user interface for voice input, when “Voice ON” is selected. The normal menu is displayed and the selection input of “voice menu” is received from the user. Note that the route search application 43 may activate the voice recognition application 42 as described above and accept an operation by voice input as a voice menu, for example.
  • the activated application (route search application 43) has a function of referring to and writing the voice recognition use flag 70 instead of the OS 50 in the second embodiment.
  • symbol is attached
  • FIG. 8 is a block diagram showing functions of the mobile phone 1 according to the present embodiment.
  • the voice recognition application 42 instructs the OS 50 to start the determined application
  • the voice recognition use flag 70 indicating that the voice recognition application 42 is started based on the voice recognition result is written.
  • the OS 50 instructs the execution unit 40 of an application to be started based on an instruction from the voice recognition unit 30 (voice recognition application 42). At this time, the OS 50 does not need to refer to the voice recognition use flag 70, and gives the same instruction to the execution unit 40 regardless of whether or not it is based on the voice recognition result.
  • the execution unit 40 When the execution unit 40 is instructed to start an application by the OS 50, whether or not the instruction is based on the result of speech recognition by the speech recognition unit 30, whether the speech recognition use flag 70 is “ON” or “OFF ”And processing contents are selected according to the result of this determination. That is, the execution unit 40 provides a user interface for key input using the operation unit 11 when the application is started without being based on the voice recognition result, but the application is started based on the voice recognition result. In such a case, the user interface for key input is changed to the user interface for voice input.
  • the OS 50 instructs the execution unit 40 to start the route search application 43.
  • the route search application 43 refers to the voice recognition use flag 70. If this flag is “ON”, the route search application 43 determines that it has been started based on the voice recognition result, and provides a user interface for voice input. Also, the route search application 43 returns the speech recognition use flag 70 from “ON” to “OFF” in preparation for the next application activation process.
  • FIG. 9 is a flowchart showing processing of the mobile phone 1 according to the present embodiment.
  • Steps S301 to S306 are the same as steps S201 to S206 of the second embodiment (FIG. 7), respectively, and the route search application 43 is activated based on an instruction from the menu application 41 or the voice recognition application 42. Is selected and the speech recognition use flag 70 is set.
  • step S307 the OS 50 controls the execution unit 40 based on an instruction from the menu application 41 or the voice recognition application 42 to start the route search application 43.
  • step S308 the execution unit 40 activates the route search application 43 under the control of the OS 50 in step S307.
  • step S309 the route search application 43 refers to the voice recognition use flag 70 and determines whether this flag is “ON” or “OFF”. If the flag is “ON”, the route search application 43 moves the process to step S310, and if it is “OFF”, moves the process to step S311.
  • step S310 the route search application 43 returns the voice recognition use flag 70 from “ON” to “OFF”, and prepares for the application activation process from the next time.
  • Steps S311 to S313 are the same as steps S212 to S214 in the second embodiment (FIG. 7), respectively. That is, based on the determination result of step S309, the route search application 43 displays a voice menu that is a user interface for voice input when the flag is “ON”, and when it is “OFF”. The normal menu is displayed and the selection input of “voice menu” is received from the user. Note that the route search application 43 may activate the voice recognition application 42 as described above and accept an operation by voice input as a voice menu, for example.
  • the OS 50 may have the same configuration as when the change process is not performed even when the user interface change process based on the voice recognition result is performed. Therefore, compared with the first embodiment and the second embodiment, the mobile phone 1 is less modified, and the present invention can be realized only by modifying the application.
  • the OS 50 writes the voice recognition use flag 70.
  • symbol is attached
  • FIG. 10 is a block diagram showing functions of the mobile phone 1 according to the present embodiment.
  • the voice recognition application 42 instructs the OS 50 to start the determined application
  • the voice recognition application 42 passes a parameter indicating that the application is started based on the voice recognition result.
  • the OS 50 instructs the execution unit 40 of an application to be started based on an instruction from the voice recognition unit 30 (voice recognition application 42). At this time, the OS 50 writes the voice recognition use flag 70.
  • the execution unit 40 When the execution unit 40 is instructed to start an application by the OS 50, whether or not the instruction is based on the result of speech recognition by the speech recognition unit 30, whether the speech recognition use flag 70 is “ON” or “OFF ”And processing contents are selected according to the result of this determination. That is, the execution unit 40 provides a user interface for key input using the operation unit 11 when the application is started without being based on the voice recognition result, but the application is started based on the voice recognition result. In such a case, the user interface for key input is changed to the user interface for voice input.
  • the OS 50 changes the voice recognition use flag 70 indicating that the application is to be activated based on the voice recognition result from “OFF” to “ON” and writes the same.
  • the OS 50 instructs the execution unit 40 to interrupt the execution of the voice recognition application 42.
  • the OS 50 instructs the execution unit 40 to start the route search application 43.
  • the route search application 43 refers to the voice recognition use flag 70. If this flag is “ON”, the route search application 43 determines that it has been started based on the voice recognition result, and provides a user interface for voice input. Also, the route search application 43 returns the speech recognition use flag 70 from “ON” to “OFF” in preparation for the next application activation process.
  • the voice recognition use flag 70 is returned from “ON” to “OFF” by the OS 50 at a predetermined timing (for example, when the execution of the route search application 43 is finished or interrupted) after the route search application 43 is started. Also good.
  • FIG. 11 is a flowchart showing processing of the mobile phone 1 according to the present embodiment. Note that steps S401 to S406 are the same as steps S101 to S106 of the first embodiment (FIG. 5), respectively, and the route search application 43 is activated based on an instruction from the menu application 41 or the voice recognition application 42. Is selected, and the OS 50 is instructed to start an application together with setting of a parameter indicating whether to start based on the voice recognition result.
  • step S407 the OS 50 changes the voice recognition use flag 70 indicating that the application is to be activated based on the voice recognition result from “OFF” to “ON” and writes it.
  • this flag is not changed (it remains “OFF”), and the process proceeds to step S408.
  • Steps S408 to S414 are the same as steps S307 to S313 of the third embodiment (FIG. 9), respectively. That is, based on the voice recognition use flag 70, the route search application 43 displays a voice menu that is a user interface for voice input when the flag is “ON”, and when it is “OFF”. The normal menu is displayed and the selection input of “voice menu” is received from the user. Note that the route search application 43 may activate the voice recognition application 42 as described above and accept an operation by voice input as a voice menu, for example.
  • the OS 50 since the OS 50 writes the voice recognition use flag 70, the present invention can be implemented with little or no modification of the existing voice recognition application. Further, when the OS 50 is configured to perform the process of returning the voice recognition use flag 70 from “ON” to “OFF”, the application to be started (the route search application 43) does not support the user interface change process. Even if it is an application, it is executed normally.
  • the activation of the voice recognition application 42 is shown as an example of a user interface change.
  • the present invention is not limited to this.
  • the execution unit 40 may display not a normal menu based on key operations but a menu giving priority to the convenience of the user who uses voice recognition, voice reading, etc., that is, a voice user menu.
  • the execution unit 40 may change various settings and execution modes of the mobile phone 1 when triggered by the voice recognition result. Specifically, the execution unit 40 may be set to automatically read out a voice, or may display a menu narrowed down only to processing items frequently used by a user who uses voice recognition.
  • the execution unit 40 is requested to connect to a site including content or characters for which the speech reading function or the speech recognition function cannot be used. You may connect to another site that is different from the site and set in advance. Further, the execution unit 40 may hide images (still images and moving images) in order to shorten the time until voice reading and voice recognition operations become possible.
  • the mobile phone 1 is described as an electronic device.
  • the electronic device is not limited to this, and the present invention is not limited to PHS (registered trademark; Personal Handyphone System), PDA (Personal Digital Assistant). ), And can be applied to various electronic devices such as game machines, navigation devices, and personal computers.
  • PHS registered trademark; Personal Handyphone System
  • PDA Personal Digital Assistant
  • the mobile phone 1 is a type that can be folded by the hinge mechanism 4, but is not limited thereto.
  • the mobile phone 1 is not such a folding type, but a sliding type in which one case is slid in one direction from a state where the operation unit side case 2 and the display unit side case 3 are overlapped,
  • a rotary type (turn type) in which one casing is rotated around the axis line along the overlapping direction of the operation unit side body 2 and the display unit side body 3 or the operation unit side body 2 and the display.
  • the part side housing 3 may be a type (straight type) that is arranged in one housing and does not have a connecting portion.
  • the mobile phone 1 may be a so-called biaxial hinge type that can be opened and closed and rotated.

Abstract

 音声認識を利用する場合に簡便なインタフェースを実現できる電子機器および制御方法を提供する。 携帯電話機1は、音声認識部30と、所定のアプリケーションを実行する実行部40と、音声認識部30および実行部40を制御するOS50と、を備え、実行部40は、OS50により所定のアプリケーションの起動指示を受け付けた際に、当該起動指示が音声認識部30による音声認識結果に基づいた指示か否かを判断し、当該判断の結果に応じて処理内容を選択する。

Description

電子機器および制御方法
 本発明は、音声認識機能を有する電子機器およびその制御方法に関する。
 従来、音声認識の結果として得られる文字列から、所望の機能を起動する制御が知られている(例えば、特許文献1参照)。このような音声認識機能により、電子機器の利用者は、キー操作が難しい、または不慣れな場合や、手が離せない状態の場合等に、キー操作を行わずに、この電子機器を操作することができる。例えば、各種アプリケーションを有する電子機器において、利用者は、「ルートケンサク」と発声することでルート検索アプリケーションを起動したり、「インターネット」と発声することでブラウザアプリケーションを起動したりできる。
 このとき、電子機器は、所定の操作に応じて発声待機状態となっている必要があり、この状態で入力された音声を認識して文字列に変換する。電子機器は、変換された文字列を所定の登録名と照合することにより、文字列と一致する登録名に対応したアプリケーションを起動する。
 また、電子機器、特に携帯電子機器においては、リソースを節約するため、操作入力の受け付け、イベント処理または画面表示を行えるのは1つのアプリケーションに限定される場合が多い。例えば、待受画面(壁紙とも言われる)から音声認識アプリケーションが起動されると、待受画面は中断される。さらに、音声認識アプリケーションにより電話アプリケーションが起動されると、音声認識アプリケーションは中断される。
特開2002-351652号公報
 しかしながら、音声認識アプリケーションから他のアプリケーションが起動されたとき、上述のように音声認識アプリケーションが中断された場合、引き続き音声入力による操作を行うためには、起動されたアプリケーションの通常メニューから再度、キー操作により音声認識アプリケーションを呼び出す必要があった。したがって、音声入力を多用して電子機器を操作したい利用者にとって、音声認識に係るインタフェースの利便性は十分でなかった。
 本発明は、音声認識を利用する場合に簡便なインタフェースを実現できる電子機器および制御方法を提供することを目的とする。
 本発明に係る電子機器は、音声認識部と、所定のアプリケーションを実行する実行部と、前記音声認識部および前記実行部を制御する制御部と、を備え、前記実行部は、前記制御部により前記所定のアプリケーションの起動指示を受け付けた際に、当該起動指示が前記音声認識部による音声認識結果に基づいた指示か否かを判断し、当該判断の結果に応じて処理内容を選択する。
 また、前記実行部は、前記起動指示が前記音声認識結果に基づいた指示である場合に、前記所定のアプリケーションのユーザインタフェースを、音声入力用に変更することが好ましい。
 また、前記制御部は、前記実行部が前記音声入力用のユーザインタフェースに変更する際、前記音声認識部を起動することが好ましい。
 また、前記音声認識部から、前記制御部を経由して前記実行部へ、前記起動指示として前記音声認識結果に基づいて前記所定のアプリケーションを起動することを示すパラメータが渡されることが好ましい。
 また、前記音声認識部は、前記所定のアプリケーションを起動する場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにし、前記制御部は、前記フラグを参照し、当該フラグがオンの場合に、前記音声認識結果に基づいて前記所定のアプリケーションを起動することを示すパラメータを、前記起動指示として前記実行部へ渡すことが好ましい。
 また、前記音声認識部は、前記所定のアプリケーションを起動する場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにし、前記実行部は、前記フラグを参照し、当該フラグがオンであるか否かに応じて前記音声認識部による音声認識結果に基づいた指示か否かを判断することが好ましい。
 また、前記制御部は、前記音声認識部から前記所定のアプリケーションの起動を要求された場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにし、前記実行部は、前記フラグを参照し、当該フラグがオンであるか否かに応じて前記音声認識部による音声認識結果に基づいた指示か否かを判断することが好ましい。
 本発明に係る制御方法は、音声認識部と、所定のアプリケーションを実行する実行部と、前記音声認識部および前記実行部を制御する制御部と、を備えた電子機器における制御方法であって、前記実行部が、前記制御部により前記所定のアプリケーションの起動指示を受け付けた際に、当該起動指示が前記音声認識部による音声認識結果に基づいた指示か否かを判断し、当該判断の結果に応じて処理内容を選択して、当該所定のアプリケーションを実行する実行ステップを含む。
 また、前記実行ステップにおいて、前記起動指示が前記音声認識結果に基づいた指示である場合に、前記所定のアプリケーションのユーザインタフェースを、音声入力用に変更することが好ましい。
 また、本発明に係る制御方法は、前記制御部が、前記実行ステップにおいて前記音声入力用のユーザインタフェースに変更される際、前記音声認識部を起動するステップを含むことが好ましい。
 また、本発明に係る制御方法は、前記音声認識部から、前記制御部を経由して前記実行部へ、前記起動指示として前記音声認識結果に基づいて前記所定のアプリケーションを起動することを示すパラメータが渡されるステップを含むことが好ましい。
 また、本発明に係る制御方法は、前記音声認識部が、前記所定のアプリケーションを起動する場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにするステップと、前記制御部が、前記フラグを参照し、当該フラグがオンの場合に、前記音声認識結果に基づいて前記所定のアプリケーションを起動することを示すパラメータを、前記起動指示として前記実行部へ渡すステップと、を含むことが好ましい。
 また、本発明に係る制御方法は、前記音声認識部が、前記所定のアプリケーションを起動する場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにするステップを含み、前記実行ステップにおいて、前記フラグを参照し、当該フラグがオンであるか否かに応じて前記音声認識部による音声認識結果に基づいた指示か否かを判断することが好ましい。
 また、本発明に係る制御方法は、前記制御部が、前記音声認識部から前記所定のアプリケーションの起動を要求された場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにするステップを含み、前記実行ステップにおいて、前記フラグを参照し、当該フラグがオンであるか否かに応じて前記音声認識部による音声認識結果に基づいた指示か否かを判断することが好ましい。
 本発明によれば、電子機器において、音声認識を利用する場合に簡便なインタフェースを実現できる。
第1実施形態に係る携帯電話機の外観斜視図である。 第1実施形態に係る携帯電話機の機能を示すブロック図である。 第1実施形態に係るユーザインタフェースの変更処理を行わない場合の画面遷移例を示す図である。 第1実施形態に係るユーザインタフェースの変更処理を行う場合の画面遷移例を示す図である。 第1実施形態に係る携帯電話機の処理を示すフローチャートである。 第2実施形態に係る携帯電話機の機能を示すブロック図である。 第2実施形態に係る携帯電話機の処理を示すフローチャートである。 第3実施形態に係る携帯電話機の機能を示すブロック図である。 第3実施形態に係る携帯電話機の処理を示すフローチャートである。 第4実施形態に係る携帯電話機の機能を示すブロック図である。 第4実施形態に係る携帯電話機の処理を示すフローチャートである。
 <第1実施形態>
 以下、本発明の第1実施形態について説明する。なお、本実施形態では、電子機器の一例として、携帯電話機1を説明する。
 図1は、本実施形態に係る携帯電話機1(電子機器)の外観斜視図である。
 携帯電話機1は、操作部側筐体2と、表示部側筐体3と、を備えて構成される。操作部側筐体2は、表面部10に、操作部11と、携帯電話機1の使用者が通話時や音声認識アプリケーションを利用時に発した音声が入力されるマイク12と、を備えて構成される。操作部11は、各種設定機能や電話帳機能やメール機能等の各種機能を作動させるための機能設定操作ボタン13と、電話番号の数字やメールの文字等を入力するための入力操作ボタン14と、各種操作における決定やスクロール等を行う決定操作ボタン15と、から構成されている。
 また、表示部側筐体3は、表面部20に、各種情報を表示するための表示部21と、通話の相手側の音声を出力するレシーバ22と、を備えて構成されている。
 また、操作部側筐体2の上端部と表示部側筐体3の下端部とは、ヒンジ機構4を介して連結されている。また、携帯電話機1は、ヒンジ機構4を介して連結された操作部側筐体2と表示部側筐体3とを相対的に回転することにより、操作部側筐体2と表示部側筐体3とが互いに開いた状態(開放状態)にしたり、操作部側筐体2と表示部側筐体3とを折り畳んだ状態(折畳み状態)にしたりできる。
 図2は、本実施形態に係る携帯電話機1の機能を示すブロック図である。
 携帯電話機1は、音声認識部30と、実行部40と、OS50(制御部)と、を備える。
 ここで、音声認識部30は、マイク12と、ドライバ31と、音声認識アプリケーション42と、音声認識判定テーブル60と、を備える。
 ドライバ31は、OS50による制御に従って、マイク12から入力された音声信号を処理し、処理後の信号を音声認識アプリケーション42に出力する。
 音声認識アプリケーション42は、ドライバ31からユーザの発声に基づく音声入力信号を受け付け、音声認識結果を音声認識判定テーブル60と照合することにより、起動するアプリケーションや処理を決定するアプリケーションである。なお、音声認識アプリケーション42は、実行部40により実行されるアプリケーションの1つである。
 ここで、音声認識判定テーブル60は、例えば、登録名「アドレスチョウ」とアドレス帳アプリケーション、「メール」とEメールアプリケーション、「ルートケンサク」とルート検索アプリケーション、「シャシン」とカメラアプリケーション、「インターネット」とブラウザアプリケーション等を、それぞれ対応付けて記憶している。
 また、音声認識アプリケーション42は、決定したアプリケーションの起動をOS50へ指示する際に、音声認識結果に基づいて起動することを示すパラメータを渡す。
 実行部40は、メニューアプリケーション41、音声認識アプリケーション42、ルート検索アプリケーション43等、携帯電話機1が有する各種アプリケーションを、OS50による制御に従って実行する。
 OS50は、携帯電話機1の全体を制御しており、携帯電話機1が有する複数のアプリケーションを選択的に起動するため、音声認識部30および実行部40を制御する。具体的には、OS50は、音声認識部30(音声認識アプリケーション42)からの指示に基づいて、実行部40へ、起動するアプリケーションを指示する。このとき、OS50は、音声認識部30(音声認識アプリケーション42)から渡された、音声認識結果に基づいて起動することを示すパラメータを実行部40へ渡す。
 実行部40は、OS50によりアプリケーションの起動を指示された際に、この指示が音声認識部30による音声認識結果に基づくものか否かをパラメータにより判断し、この判断の結果に応じて処理内容を選択する。すなわち、実行部40は、音声認識結果に基づかないでアプリケーションが起動された場合には、操作部11を利用するキー入力用のユーザインタフェースを提供するが、音声認識結果に基づいてアプリケーションが起動された場合には、キー入力用のユーザインタフェースから音声入力用のユーザインタフェースへ変更する。
 具体的には、実行部40は、音声入力用のユーザインタフェースとして、音声認識アプリケーション42を自動的に起動する。このことにより、携帯電話機1の利用者にキー入力を要求することなく、音声入力による操作を継続させることができる。
 以下、ルート検索アプリケーション43を起動する処理を一例として説明する。
 (1)において、実行部40により起動されているメニューアプリケーション41は、ユーザからキー操作等により音声認識を選択される。
 (2)において、メニューアプリケーション41は、OS50へ音声認識アプリケーション42の起動を指示する。
 (3)において、OS50は、音声認識アプリケーション42の起動に先立って、実行部40へ指示してメニューアプリケーション41の実行を中断させる。
 (4)において、OS50は、実行部40へ指示して音声認識アプリケーション42を起動させる。
 (5)において、ユーザは、「ルート検索」と発声する。音声認識アプリケーション42は、この音声入力を、マイク12およびドライバ31を介して受け付ける。
 (6)において、音声認識アプリケーション42は、音声認識結果として文字列「ルートケンサク」を取得し、音声認識判定テーブル60と照合する。
 (7)において、音声認識アプリケーション42は、音声認識結果を音声認識判定テーブル60の登録名と照合した結果、文字列「ルートケンサク」と一致する登録名に対応しているルート検索アプリケーション43を、起動すべきアプリケーションとして取得する。
 (8)において、音声認識アプリケーション42は、OS50へ、ルート検索アプリケーション43の起動を指示すると共に、音声認識結果に基づいて起動することを示すパラメータを渡す。
 (9)において、OS50は、ルート検索アプリケーション43の起動に先立って、実行部40へ指示して音声認識アプリケーション42の実行を中断させる。
 (10)において、OS50は、音声認識結果に基づいて起動することを示すパラメータと共に、実行部40へ指示して、ルート検索アプリケーション43を起動させる。ルート検索アプリケーション43は、受け取ったパラメータを参照することにより、音声認識結果に基づいて起動されたと判断し、音声入力用のユーザインタフェースを提供する。
 図3は、本実施形態に係るユーザインタフェースの変更処理を行わない場合の画面遷移例を示す図である。
 この場合、メニューアプリケーション41の画面(1)において、ユーザがキー操作により音声認識を選択すると、音声認識アプリケーション42が起動されて、メニューアプリケーション41は中断される(2)。
 ここで、ユーザが「ルート検索」と発声すると、音声認識結果に基づいてルート検索アプリケーション43が起動されて、音声認識アプリケーション42は中断される。このとき、ルート検索アプリケーション43の初期画面である通常メニューが表示される(3)。
 ユーザは、さらに音声認識による操作を行いたい場合には、この通常メニューにおいて、キー操作により音声認識を選択し、再度、音声認識アプリケーション42を起動させる(4)。
 図4は、本実施形態に係るユーザインタフェースの変更処理を行う場合の画面遷移例を示す図である。
 この場合、メニューアプリケーション41の画面(1)において、ユーザがキー操作により音声認識を選択すると、音声認識アプリケーション42が起動されて、メニューアプリケーション41は中断される(2)。
 ここで、ユーザが「ルート検索」と発声すると、音声認識結果に基づいてルート検索アプリケーション43が起動されて、音声認識アプリケーション42は中断される。さらに、起動されたルート検索アプリケーション43は、上述の音声認識結果に基づいて起動することを示すパラメータを参照し、音声認識結果に基づくと判断すると、自動的に音声認識アプリケーション42を起動させ、ユーザによる目的地の発声待ち状態になる(3)。
 図5は、本実施形態に係る携帯電話機1の処理を示すフローチャートである。
 ステップS101では、OS50の制御により、メニューアプリケーション41が起動される。
 このメニューアプリケーション41は、キー操作により複数の処理の選択入力を受け付ける。以下、「音声認識」の選択を受け付けた場合(ステップS102)と、「ルート検索」の選択を受け付けた場合(ステップS106)と、に分けて説明する。
 ステップS102においてメニューアプリケーション41が「音声認識」の選択を受け付けた場合、ステップS103では、OS50の制御により、音声認識アプリケーション42が起動される。
 ステップS104では、ユーザが「ルートケンサク」と発声し、音声認識アプリケーション42は、音声認識結果により、ルート検索アプリケーション43を起動することを決定する。
 ステップS105では、音声認識アプリケーション42は、音声認識結果に基づいてアプリケーションを起動することを示すパラメータ(「音声ON」)をセットし、OS50へアプリケーションの起動を指示する。
 一方、ステップS106においてメニューアプリケーション41が「ルート検索」の選択を受け付けた場合、このパラメータ(「音声ON」)はセットされず、処理はステップS107に移る。
 ステップS107では、OS50は、メニューアプリケーション41または音声認識アプリケーション42からの指示に基づいて、実行部40を制御してルート検索アプリケーション43の起動処理を行う。このとき、OS50は、上述のパラメータ(「音声ON」)を実行部40へ引き渡す。
 ステップS108では、実行部40は、ステップS107におけるOS50の制御により、ルート検索アプリケーション43を起動する。
 ステップS109では、ルート検索アプリケーション43は、OS50から引き渡されたパラメータを参照し、「音声ON」であるか否かを判定する。ルート検索アプリケーション43は、「音声ON」である場合には、処理をステップS112に移し、「音声ON」でない場合には、処理をステップS110に移す。
 ステップS110では、ルート検索アプリケーション43は、通常メニューを表示し、ユーザからのキー操作入力を受け付ける。
 ステップS111では、ルート検索アプリケーション43は、ユーザから「音声メニュー」の選択入力を受け付ける。
 ステップS112では、ルート検索アプリケーション43は、音声入力用のユーザインタフェースである音声メニューを表示する。なお、ルート検索アプリケーション43は、音声メニューとして、例えば、上述のように音声認識アプリケーション42を起動させ、音声入力による操作を受け付けることとしてよい。
 本実施形態によれば、携帯電話機1において音声認識機能を利用する場合に、音声認識結果に基づいて新たに起動されたアプリケーションでも、引き続き音声入力用のユーザインタフェースが提供されるため、簡便なインタフェースを実現できる。すなわち、音声認識機能を使用するユーザの利便性が向上する。
 <第2実施形態>
 以下、本発明の第2実施形態について説明する。本実施形態では、OS50により参照される後述の音声認識使用フラグ70をさらに備える。なお、第1実施形態と同様の構成については、同一の符号を付し、説明を省略または簡略化する。
 図6は、本実施形態に係る携帯電話機1の機能を示すブロック図である。
 音声認識アプリケーション42は、決定したアプリケーションの起動をOS50へ指示する際に、音声認識結果に基づいて起動することを示す音声認識使用フラグ70を書き込む。
 OS50は、音声認識部30(音声認識アプリケーション42)からの指示に基づいて、実行部40へ、起動するアプリケーションを指示する。このとき、OS50は、音声認識使用フラグ70を参照し、このフラグが設定されていれば、音声認識結果に基づいて起動することを示すパラメータを実行部40へ渡す。
 実行部40は、OS50によりアプリケーションの起動を指示された際に、この指示が音声認識部30による音声認識結果に基づくものか否かをパラメータにより判断し、この判断の結果に応じて処理内容を選択する。すなわち、実行部40は、音声認識結果に基づかないでアプリケーションが起動された場合には、操作部11を利用するキー入力用のユーザインタフェースを提供するが、音声認識結果に基づいてアプリケーションが起動された場合には、キー入力用のユーザインタフェースから音声入力用のユーザインタフェースへ変更する。
 以下、ルート検索アプリケーション43を起動する処理を一例として説明する。
 なお、(1)から(7)までは、第1実施形態(図2)と同様であり、起動すべきアプリケーションとしてルート検索アプリケーション43が決定される。
 (8)において、音声認識アプリケーション42は、OS50へ、ルート検索アプリケーション43の起動を指示する。
 (9)において、音声認識アプリケーション42は、音声認識結果に基づいて起動することを示す音声認識使用フラグ70を「OFF」から「ON」へ変更して書き込む。
 (10)において、OS50は、ルート検索アプリケーション43の起動に先立って、実行部40へ指示して音声認識アプリケーション42の実行を中断させる。
 (11)において、OS50は、音声認識使用フラグ70を参照し、このフラグが「ON」であれば、次回からのアプリケーション起動の処理に備えて、フラグを「ON」から「OFF」へ戻す。
 (12)において、OS50は、実行部40へ指示して、ルート検索アプリケーション43を起動させる。このとき、OS50は、(11)で参照した音声認識使用フラグ70が「ON」であった場合に、音声認識結果に基づいて起動することを示すパラメータを実行部40へ渡す。ルート検索アプリケーション43は、受け取ったパラメータを参照することにより、音声認識結果に基づいて起動されたと判断し、音声入力用のユーザインタフェースを提供する。
 図7は、本実施形態に係る携帯電話機1の処理を示すフローチャートである。
 なお、ステップS201からステップS204、およびステップS206は、それぞれ第1実施形態(図5)のステップS101からステップS104、およびステップS106と同様であり、ルート検索アプリケーション43の起動が選択される。
 ステップS205では、音声認識アプリケーション42は、音声認識結果に基づいてアプリケーションを起動することを示す音声認識使用フラグ70を「OFF」から「ON」へ変更して書き込み、OS50へアプリケーションの起動を指示する。
 なお、ステップS206においてメニューアプリケーション41が「ルート検索」の選択を受け付けた場合には、この音声認識使用フラグ70は書き込まれず(「OFF」のまま)、処理はステップS207に移る。
 ステップS207では、OS50は、音声認識使用フラグ70を参照し、このフラグが「ON」であるか「OFF」であるかを判定する。OS50は、フラグが「ON」である場合は処理をステップS208に移し、「OFF」である場合は処理をステップS209に移す。
 ステップS208では、OS50は、音声認識結果に基づいてアプリケーションを起動することを示すパラメータ(「音声ON」)をセットする。また、OS50は、音声認識使用フラグ70を「ON」から「OFF」へ戻し、次回からのアプリケーション起動の処理に備える。
 ステップS209では、OS50は、実行部40を制御してルート検索アプリケーション43の起動処理を行う。このとき、OS50は、上述のパラメータ(「音声ON」)を実行部40へ引き渡す。
 ステップS210では、実行部40は、ステップS209におけるOS50の制御により、ルート検索アプリケーション43を起動する。
 ステップS211からステップS214は、それぞれ第1実施形態(図5)のステップS109からステップS112と同様である。すなわち、ルート検索アプリケーション43は、OS50から引き渡されたパラメータを参照し、「音声ON」である場合には、音声入力用のユーザインタフェースである音声メニューを表示し、「音声ON」でない場合には、通常メニューを表示してユーザから「音声メニュー」の選択入力を受け付ける。なお、ルート検索アプリケーション43は、音声メニューとして、例えば、上述のように音声認識アプリケーション42を起動させ、音声入力による操作を受け付けることとしてよい。
 <第3実施形態>
 以下、本発明の第3実施形態について説明する。本実施形態では、起動されるアプリケーション(ルート検索アプリケーション43)が第2実施形態におけるOS50の代わりに、音声認識使用フラグ70の参照および書き込み機能を備える。なお、第1実施形態または第2実施形態と同様の構成については、同一の符号を付し、説明を省略または簡略化する。
 図8は、本実施形態に係る携帯電話機1の機能を示すブロック図である。
 音声認識アプリケーション42は、決定したアプリケーションの起動をOS50へ指示する際に、音声認識結果に基づいて起動することを示す音声認識使用フラグ70を書き込む。
 OS50は、音声認識部30(音声認識アプリケーション42)からの指示に基づいて、実行部40へ、起動するアプリケーションを指示する。このとき、OS50は、音声認識使用フラグ70を参照する必要がなく、音声認識結果に基づくか否かによらず、実行部40へ同様の指示を行う。
 実行部40は、OS50によりアプリケーションの起動を指示された際に、この指示が音声認識部30による音声認識結果に基づくものか否かを、音声認識使用フラグ70が「ON」であるか「OFF」であるかにより判断し、この判断の結果に応じて処理内容を選択する。すなわち、実行部40は、音声認識結果に基づかないでアプリケーションが起動された場合には、操作部11を利用するキー入力用のユーザインタフェースを提供するが、音声認識結果に基づいてアプリケーションが起動された場合には、キー入力用のユーザインタフェースから音声入力用のユーザインタフェースへ変更する。
 以下、ルート検索アプリケーション43を起動する処理を一例として説明する。
 なお、(1)から(10)までは、第2実施形態(図6)と同様であり、音声認識結果に基づくルート検索アプリケーション43の起動に先立って、音声認識使用フラグ70が書き込まれると共に、音声認識アプリケーション42が中断される。
 (11)において、OS50は、実行部40へ指示して、ルート検索アプリケーション43を起動させる。
 (12)において、ルート検索アプリケーション43は、音声認識使用フラグ70を参照する。このフラグが「ON」であれば、ルート検索アプリケーション43は、音声認識結果に基づいて起動されたと判断し、音声入力用のユーザインタフェースを提供する。また、ルート検索アプリケーション43は、次回からのアプリケーション起動の処理に備えて、音声認識使用フラグ70を「ON」から「OFF」へ戻す。
 図9は、本実施形態に係る携帯電話機1の処理を示すフローチャートである。
 なお、ステップS301からステップS306は、それぞれ第2実施形態(図7)のステップS201からステップS206と同様であり、メニューアプリケーション41または音声認識アプリケーション42からの指示に基づいて、ルート検索アプリケーション43の起動が選択され、音声認識使用フラグ70が設定される。
 ステップS307では、OS50は、メニューアプリケーション41または音声認識アプリケーション42からの指示に基づいて、実行部40を制御してルート検索アプリケーション43の起動処理を行う。
 ステップS308では、実行部40は、ステップS307におけるOS50の制御により、ルート検索アプリケーション43を起動する。
 ステップS309では、ルート検索アプリケーション43は、音声認識使用フラグ70を参照し、このフラグが「ON」であるか「OFF」であるかを判定する。ルート検索アプリケーション43は、フラグが「ON」である場合は処理をステップS310に移し、「OFF」である場合は処理をステップS311に移す。
 ステップS310では、ルート検索アプリケーション43は、音声認識使用フラグ70を「ON」から「OFF」へ戻し、次回からのアプリケーション起動の処理に備える。
 ステップS311からステップS313は、それぞれ第2実施形態(図7)のステップS212からステップS214と同様である。すなわち、ルート検索アプリケーション43は、ステップS309の判定結果に基づいて、フラグが「ON」である場合には、音声入力用のユーザインタフェースである音声メニューを表示し、「OFF」である場合には、通常メニューを表示してユーザから「音声メニュー」の選択入力を受け付ける。なお、ルート検索アプリケーション43は、音声メニューとして、例えば、上述のように音声認識アプリケーション42を起動させ、音声入力による操作を受け付けることとしてよい。
 本実施形態によれば、OS50は、音声認識結果に基づくユーザインタフェースの変更処理を行う場合であっても、変更処理を行わない場合と同一の構成でよい。したがって、第1実施形態および第2実施形態に比べて、携帯電話機1の改変が少なく、アプリケーションの改変のみで本発明を実現することができる。
 <第4実施形態>
 以下、本発明の第4実施形態について説明する。本実施形態では、上述の実施形態と異なり、音声認識使用フラグ70の書き込みをOS50が行う。なお、第1実施形態から第3実施形態と同様の構成については、同一の符号を付し、説明を省略または簡略化する。
 図10は、本実施形態に係る携帯電話機1の機能を示すブロック図である。
 音声認識アプリケーション42は、決定したアプリケーションの起動をOS50へ指示する際に、音声認識結果に基づいて起動することを示すパラメータを渡す。
 OS50は、音声認識部30(音声認識アプリケーション42)からの指示に基づいて、実行部40へ、起動するアプリケーションを指示する。このとき、OS50は、音声認識使用フラグ70を書き込む。
 実行部40は、OS50によりアプリケーションの起動を指示された際に、この指示が音声認識部30による音声認識結果に基づくものか否かを、音声認識使用フラグ70が「ON」であるか「OFF」であるかにより判断し、この判断の結果に応じて処理内容を選択する。すなわち、実行部40は、音声認識結果に基づかないでアプリケーションが起動された場合には、操作部11を利用するキー入力用のユーザインタフェースを提供するが、音声認識結果に基づいてアプリケーションが起動された場合には、キー入力用のユーザインタフェースから音声入力用のユーザインタフェースへ変更する。
 以下、ルート検索アプリケーション43を起動する処理を一例として説明する。
 なお、(1)から(8)までは、第1実施形態(図2)と同様であり、起動すべきアプリケーションとしてルート検索アプリケーション43が決定され、音声認識結果に基づいて起動することを示すパラメータと共に、OS50へアプリケーションの起動が指示される。
 (9)において、OS50は、受け取ったパラメータに応じて、音声認識結果に基づいてアプリケーションを起動することを示す音声認識使用フラグ70を「OFF」から「ON」へ変更して書き込む。
 (10)において、OS50は、ルート検索アプリケーション43の起動に先立って、実行部40へ指示して音声認識アプリケーション42の実行を中断させる。
 (11)において、OS50は、実行部40へ指示して、ルート検索アプリケーション43を起動させる。
 (12)において、ルート検索アプリケーション43は、音声認識使用フラグ70を参照する。このフラグが「ON」であれば、ルート検索アプリケーション43は、音声認識結果に基づいて起動されたと判断し、音声入力用のユーザインタフェースを提供する。また、ルート検索アプリケーション43は、次回からのアプリケーション起動の処理に備えて、音声認識使用フラグ70を「ON」から「OFF」へ戻す。
 なお、音声認識使用フラグ70は、ルート検索アプリケーション43の起動後に、所定のタイミング(例えば、ルート検索アプリケーション43の実行が終了または中断したタイミング)でOS50により「ON」から「OFF」へ戻されてもよい。
 図11は、本実施形態に係る携帯電話機1の処理を示すフローチャートである。
 なお、ステップS401からステップS406は、それぞれ第1実施形態(図5)のステップS101からステップS106と同様であり、メニューアプリケーション41または音声認識アプリケーション42からの指示に基づいて、ルート検索アプリケーション43の起動が選択され、音声認識結果に基づいて起動するのか否かを示すパラメータの設定と共に、OS50へアプリケーションの起動が指示される。
 ステップS407では、OS50は、音声認識結果に基づいてアプリケーションを起動することを示す音声認識使用フラグ70を「OFF」から「ON」へ変更して書き込む。なお、ステップS406においてメニューアプリケーション41が「ルート検索」の選択を受け付けた場合、このフラグは変更されず(「OFF」のまま)、処理はステップS408に移る。
 ステップS408からステップS414は、それぞれ第3実施形態(図9)のステップS307からステップS313と同様である。すなわち、ルート検索アプリケーション43は、音声認識使用フラグ70に基づいて、フラグが「ON」である場合には、音声入力用のユーザインタフェースである音声メニューを表示し、「OFF」である場合には、通常メニューを表示してユーザから「音声メニュー」の選択入力を受け付ける。なお、ルート検索アプリケーション43は、音声メニューとして、例えば、上述のように音声認識アプリケーション42を起動させ、音声入力による操作を受け付けることとしてよい。
 本実施形態によれば、音声認識使用フラグ70の書き込みをOS50が行うので、既存の音声認識アプリケーションの改変を少なく、または無くして、本発明を実施することができる。さらに、音声認識使用フラグ70を「ON」から「OFF」へ戻す処理をOS50が行うように構成すると、起動されるアプリケーション(ルート検索アプリケーション43)は、ユーザインタフェースの変更処理に対応していない既存のアプリケーションの場合であっても、正常に実行される。
 <変形例>
 以上、好適な実施形態について説明したが、本発明は上述した実施形態に限定されることなく種々の形態で実施することができる。また、上述の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、上述のものに限定されない。
 上述の実施形態では、ユーザインタフェースの変更例として、音声認識アプリケーション42の起動を示したが、これには限られない。
 例えば、実行部40は、キー操作を前提とした通常のメニューではなく、音声認識や音声読み上げ等を利用するユーザの利便性を優先したメニュー、すなわち音声ユーザ用メニューを表示してもよい。
 また、実行部40は、音声認識結果に基づいて起動されたことを契機として、携帯電話機1の各種設定や実行モードを変更してもよい。具体的には、実行部40は、音声読み上げが自動で行われる設定としたり、音声認識を利用するユーザが頻繁に利用する処理項目のみに絞り込んだメニューを表示したりしてもよい。
 特に、起動されるアプリケーションがブラウザアプリケーションである場合には、実行部40は、音声読み上げ機能や音声認識機能が利用できないコンテンツや文字を含むサイトに接続されることを防ぐために、要求された接続先サイトとは異なる、予め設定されている他のサイトへ接続してもよい。また、実行部40は、音声読み上げや音声認識の操作が可能となるまでの時間を短縮させるため、画像(静止画および動画)を非表示にしてもよい。
 また、上述の実施形態において、電子機器として携帯電話機1について説明しているが、電子機器はこれに限定されず、本発明は、PHS(登録商標;Personal Handy phone System)、PDA(Personal Digital Assistant)、ゲーム機、ナビゲーション装置、パーソナルコンピュータ等の様々な電子機器に適用可能である。
 また、上述の実施形態において、携帯電話機1は、ヒンジ機構4により折り畳み可能な型式としたが、これには限られない。携帯電話機1は、このような折り畳み式ではなく、操作部側筐体2と表示部側筐体3とを重ね合わせた状態から一方の筐体を一方向にスライドさせるようにしたスライド式や、操作部側筐体2と表示部側筐体3との重ね合せ方向に沿う軸線を中心に一方の筐体を回転させるようにした回転式(ターンタイプ)や、操作部側筐体2と表示部側筐体3とが1つの筐体に配置され連結部を有さない型式(ストレートタイプ)でもよい。また、携帯電話機1は、開閉および回転可能ないわゆる2軸ヒンジタイプであってもよい。
 1 携帯電話機
 12 マイク
 30 音声認識部
 31 ドライバ
 40 実行部
 41 メニューアプリケーション
 42 音声認識アプリケーション
 43 ルート検索アプリケーション
 50 OS
 60 音声認識判定テーブル
 70 音声認識使用フラグ

Claims (14)

  1.  音声認識部と、
     所定のアプリケーションを実行する実行部と、
     前記音声認識部および前記実行部を制御する制御部と、を備え、
     前記実行部は、前記制御部により前記所定のアプリケーションの起動指示を受け付けた際に、当該起動指示が前記音声認識部による音声認識結果に基づいた指示か否かを判断し、当該判断の結果に応じて処理内容を選択する電子機器。
  2.  前記実行部は、前記起動指示が前記音声認識結果に基づいた指示である場合に、前記所定のアプリケーションのユーザインタフェースを、音声入力用に変更する請求項1に記載の電子機器。
  3.  前記制御部は、前記実行部が前記音声入力用のユーザインタフェースに変更する際、前記音声認識部を起動する請求項2に記載の電子機器。
  4.  前記音声認識部から、前記制御部を経由して前記実行部へ、前記起動指示として前記音声認識結果に基づいて前記所定のアプリケーションを起動することを示すパラメータが渡される請求項1に記載の電子機器。
  5.  前記音声認識部は、前記所定のアプリケーションを起動する場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにし、
     前記制御部は、前記フラグを参照し、当該フラグがオンの場合に、前記音声認識結果に基づいて前記所定のアプリケーションを起動することを示すパラメータを、前記起動指示として前記実行部へ渡す請求項1に記載の電子機器。
  6.  前記音声認識部は、前記所定のアプリケーションを起動する場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにし、
     前記実行部は、前記フラグを参照し、当該フラグがオンであるか否かに応じて前記音声認識部による音声認識結果に基づいた指示か否かを判断する請求項1に記載の電子機器。
  7.  前記制御部は、前記音声認識部から前記所定のアプリケーションの起動を要求された場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにし、
     前記実行部は、前記フラグを参照し、当該フラグがオンであるか否かに応じて前記音声認識部による音声認識結果に基づいた指示か否かを判断する請求項1に記載の電子機器。
  8.  音声認識部と、所定のアプリケーションを実行する実行部と、前記音声認識部および前記実行部を制御する制御部と、を備えた電子機器における制御方法であって、
     前記実行部が、前記制御部により前記所定のアプリケーションの起動指示を受け付けた際に、当該起動指示が前記音声認識部による音声認識結果に基づいた指示か否かを判断し、当該判断の結果に応じて処理内容を選択して、当該所定のアプリケーションを実行する実行ステップを含む制御方法。
  9.  前記実行ステップにおいて、前記起動指示が前記音声認識結果に基づいた指示である場合に、前記所定のアプリケーションのユーザインタフェースを、音声入力用に変更する請求項8に記載の制御方法。
  10.  前記制御部が、前記実行ステップにおいて前記音声入力用のユーザインタフェースに変更される際、前記音声認識部を起動するステップを含む請求項9に記載の制御方法。
  11.  前記音声認識部から、前記制御部を経由して前記実行部へ、前記起動指示として前記音声認識結果に基づいて前記所定のアプリケーションを起動することを示すパラメータが渡されるステップを含む請求項8に記載の制御方法。
  12.  前記音声認識部が、前記所定のアプリケーションを起動する場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにするステップと、
     前記制御部が、前記フラグを参照し、当該フラグがオンの場合に、前記音声認識結果に基づいて前記所定のアプリケーションを起動することを示すパラメータを、前記起動指示として前記実行部へ渡すステップと、を含む請求項8に記載の制御方法。
  13.  前記音声認識部が、前記所定のアプリケーションを起動する場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにするステップを含み、
     前記実行ステップにおいて、前記フラグを参照し、当該フラグがオンであるか否かに応じて前記音声認識部による音声認識結果に基づいた指示か否かを判断する請求項8に記載の制御方法。
  14.  前記制御部が、前記音声認識部から前記所定のアプリケーションの起動を要求された場合に、前記音声認識結果に基づいて起動することを示すフラグをオンにするステップを含み、
     前記実行ステップにおいて、前記フラグを参照し、当該フラグがオンであるか否かに応じて前記音声認識部による音声認識結果に基づいた指示か否かを判断する請求項8に記載の制御方法。
PCT/JP2010/066863 2009-09-28 2010-09-28 電子機器および制御方法 WO2011037264A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/498,738 US20130054243A1 (en) 2009-09-28 2010-09-28 Electronic device and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-223531 2009-09-28
JP2009223531A JP2011071937A (ja) 2009-09-28 2009-09-28 電子機器

Publications (1)

Publication Number Publication Date
WO2011037264A1 true WO2011037264A1 (ja) 2011-03-31

Family

ID=43796003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/066863 WO2011037264A1 (ja) 2009-09-28 2010-09-28 電子機器および制御方法

Country Status (3)

Country Link
US (1) US20130054243A1 (ja)
JP (1) JP2011071937A (ja)
WO (1) WO2011037264A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103842773A (zh) * 2011-09-13 2014-06-04 三菱电机株式会社 导航装置
WO2014106927A1 (ja) * 2013-01-07 2014-07-10 日立マクセル株式会社 携帯端末装置及び情報処理システム
JP2014132756A (ja) * 2013-01-07 2014-07-17 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
JP2015501106A (ja) * 2011-12-07 2015-01-08 クゥアルコム・インコーポレイテッドQualcomm Incorporated デジタル化された音声ストリームを分析するための低電力集積回路
JP2018060207A (ja) * 2017-11-08 2018-04-12 クゥアルコム・インコーポレイテッドQualcomm Incorporated デジタル化された音声ストリームを分析するための低電力集積回路
US9992745B2 (en) 2011-11-01 2018-06-05 Qualcomm Incorporated Extraction and analysis of buffered audio data using multiple codec rates each greater than a low-power processor rate
JP2020098342A (ja) * 2020-01-17 2020-06-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated デジタル化された音声ストリームを分析するための低電力集積回路

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6068901B2 (ja) * 2012-09-26 2017-01-25 京セラ株式会社 情報端末、音声操作プログラムおよび音声操作方法
JP6418820B2 (ja) * 2014-07-07 2018-11-07 キヤノン株式会社 情報処理装置、表示制御方法、及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222337A (ja) * 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
JP2007280179A (ja) * 2006-04-10 2007-10-25 Mitsubishi Electric Corp 携帯端末

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
FR2788615B1 (fr) * 1999-01-18 2001-02-16 Thomson Multimedia Sa Appareil comportant une interface utilisateur vocale ou manuelle et procede d'aide a l'apprentissage des commandes vocales d'un tel appareil
JP2001319045A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
JP2002108601A (ja) * 2000-10-02 2002-04-12 Canon Inc 情報処理システム及び装置及び方法
JP2002351652A (ja) * 2001-05-23 2002-12-06 Nec System Technologies Ltd 音声認識操作支援システム、音声認識操作支援方法、および、音声認識操作支援プログラム
JP2003291750A (ja) * 2002-04-01 2003-10-15 Nissan Motor Co Ltd 車載機器制御装置
US7240010B2 (en) * 2004-06-14 2007-07-03 Papadimitriou Wanda G Voice interaction with and control of inspection equipment
EP2102604A1 (en) * 2007-01-10 2009-09-23 TomTom International B.V. A navigation device and a method of operating the navigation device with emergency service access
US8139755B2 (en) * 2007-03-27 2012-03-20 Convergys Cmg Utah, Inc. System and method for the automatic selection of interfaces
US10705794B2 (en) * 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222337A (ja) * 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
JP2007280179A (ja) * 2006-04-10 2007-10-25 Mitsubishi Electric Corp 携帯端末

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103842773A (zh) * 2011-09-13 2014-06-04 三菱电机株式会社 导航装置
US9992745B2 (en) 2011-11-01 2018-06-05 Qualcomm Incorporated Extraction and analysis of buffered audio data using multiple codec rates each greater than a low-power processor rate
US11810569B2 (en) 2011-12-07 2023-11-07 Qualcomm Incorporated Low power integrated circuit to analyze a digitized audio stream
US11069360B2 (en) 2011-12-07 2021-07-20 Qualcomm Incorporated Low power integrated circuit to analyze a digitized audio stream
JP2015501106A (ja) * 2011-12-07 2015-01-08 クゥアルコム・インコーポレイテッドQualcomm Incorporated デジタル化された音声ストリームを分析するための低電力集積回路
US9564131B2 (en) 2011-12-07 2017-02-07 Qualcomm Incorporated Low power integrated circuit to analyze a digitized audio stream
US10381007B2 (en) 2011-12-07 2019-08-13 Qualcomm Incorporated Low power integrated circuit to analyze a digitized audio stream
JP2014132396A (ja) * 2013-01-07 2014-07-17 Hitachi Consumer Electronics Co Ltd 携帯端末装置及び情報処理システム
US10303433B2 (en) 2013-01-07 2019-05-28 Maxell, Ltd. Portable terminal device and information processing system
JP2014132756A (ja) * 2013-01-07 2014-07-17 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
US11487502B2 (en) 2013-01-07 2022-11-01 Maxell, Ltd. Portable terminal device and information processing system
WO2014106927A1 (ja) * 2013-01-07 2014-07-10 日立マクセル株式会社 携帯端末装置及び情報処理システム
US11861264B2 (en) 2013-01-07 2024-01-02 Maxell, Ltd. Portable terminal device and information processing system
JP2018060207A (ja) * 2017-11-08 2018-04-12 クゥアルコム・インコーポレイテッドQualcomm Incorporated デジタル化された音声ストリームを分析するための低電力集積回路
JP2020098342A (ja) * 2020-01-17 2020-06-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated デジタル化された音声ストリームを分析するための低電力集積回路

Also Published As

Publication number Publication date
US20130054243A1 (en) 2013-02-28
JP2011071937A (ja) 2011-04-07

Similar Documents

Publication Publication Date Title
WO2011037264A1 (ja) 電子機器および制御方法
JP4853302B2 (ja) 携帯端末用コマンド入力装置および携帯端末用コマンド入力方法
JP5184008B2 (ja) 情報処理装置および携帯電話端末
JP2005512226A (ja) グラフィクス支援された音声制御システムを備えたユーザインタフェース
JP5638210B2 (ja) 携帯電子機器
JP2011034140A (ja) 情報処理装置及びアプリケーションプログラムの起動方法
US20150169551A1 (en) Apparatus and method for automatic translation
JP2011070474A (ja) 携帯端末装置
WO2011052649A1 (ja) 電子機器及び電子機器の制御方法
JP5077691B2 (ja) 携帯端末装置及びプログラム
JP4070963B2 (ja) 移動体通信機器
JP5385744B2 (ja) 電子機器及びアプリケーションの起動方法
JP5826999B2 (ja) 電子機器及び制御方法
JP5246773B2 (ja) 携帯端末装置及びプログラム
JP2009031971A (ja) 文字入力装置、携帯電子機器及び文字入力方法
JP2012109724A (ja) 携帯電子機器、携帯電子機器の制御方法及び制御プログラム
JP5563422B2 (ja) 電子機器及び制御方法
JP4583875B2 (ja) 電子機器および電子機器の音声読み上げ制御方法
JP5623066B2 (ja) 携帯電子機器
JP5067094B2 (ja) 携帯端末、操作ガイダンス表示プログラム及び携帯端末の表示制御方法
JP5530881B2 (ja) 電子機器及び表示制御方法
JP2010198392A (ja) 携帯電子機器
JP2008011478A (ja) 電子機器及びプログラム
JP5551357B2 (ja) 携帯電子機器
JP5595831B2 (ja) 携帯電子機器及び携帯電子機器の機能起動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10818934

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13498738

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10818934

Country of ref document: EP

Kind code of ref document: A1