WO2014208665A1 - 携帯電話機、携帯端末および音声操作方法 - Google Patents

携帯電話機、携帯端末および音声操作方法 Download PDF

Info

Publication number
WO2014208665A1
WO2014208665A1 PCT/JP2014/066983 JP2014066983W WO2014208665A1 WO 2014208665 A1 WO2014208665 A1 WO 2014208665A1 JP 2014066983 W JP2014066983 W JP 2014066983W WO 2014208665 A1 WO2014208665 A1 WO 2014208665A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
function
proximity
voice
screen
Prior art date
Application number
PCT/JP2014/066983
Other languages
English (en)
French (fr)
Inventor
征 新谷
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2014208665A1 publication Critical patent/WO2014208665A1/ja
Priority to US14/983,297 priority Critical patent/US20160112554A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/66Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667Preventing unauthorised calls from a telephone set
    • H04M1/67Preventing unauthorised calls from a telephone set by electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Definitions

  • the present invention relates to a mobile phone, a mobile terminal, and a voice operation method, and more particularly to a mobile phone, a mobile terminal, and a voice operation method that recognize voice.
  • Japanese Patent Publication No. 6-18395 An example of background art is disclosed in Japanese Patent Publication No. 6-18395.
  • a recognition mode for recognizing voice is executed.
  • a dial signal is transmitted based on the telephone number associated with the registered voice. That is, automatic dialing operation by voice recognition is performed.
  • Patent Document 1 when the technology of Patent Document 1 is applied to a mobile phone, when the mobile phone is placed in a bag, the proximity switch may malfunction and the speech recognition mode may be executed. In this state, there is a possibility that the automatic dialing operation is performed against the operator's intention.
  • a new mobile phone, mobile terminal and voice operation method are required. Further, there is a need for a mobile phone and a voice operation method that can make a call when a call is instructed.
  • This invention employs the following configuration as one aspect.
  • the reference numerals in parentheses, supplementary explanations, and the like indicate the corresponding relationship with the embodiments described in order to help understanding of the present invention, and do not limit the present invention.
  • the invention according to the first aspect is a mobile phone having a display unit, wherein the detection unit detects the proximity of the object, and the detection unit detects the proximity of the object when a predetermined screen is displayed on the display unit A speech recognition unit for recognizing an input voice while the proximity of the object is detected when it is determined that the proximity of the object is detected by the determination unit; When a call is instructed according to the recognition result, the mobile phone includes a calling unit that makes a call based on the recognition result.
  • the invention according to the second aspect is a voice operation method in the cellular phone (10) having a display unit (14) and a detecting unit (24) for detecting the proximity of an object
  • the processor (30) of the cellular phone includes: A determination step (S7) for determining whether the detection unit has detected the proximity of the target object when the predetermined screen is displayed on the display unit; and if the determination step determines that the proximity of the target object has been detected, A voice recognition step (S13) for recognizing the input voice while the proximity of an object is detected, and when a call is instructed by the recognition result of the voice recognition step, a call is made based on the recognition result.
  • This is a voice operation method for executing a calling step (S33).
  • the invention according to the third aspect is a portable terminal having a display unit, the detection unit detecting the proximity of the object, the detection unit detects the proximity of the object when a predetermined screen is displayed on the display unit A speech recognition unit for recognizing an input voice while the proximity of the object is detected when it is determined that the proximity of the object is detected by the determination unit; When the recognition result is valid, the portable terminal includes an execution unit that executes a function based on the recognition result.
  • FIG. 1 is an external view showing a mobile phone according to an embodiment of the present invention.
  • FIG. 1 (A) shows the main surface of the mobile phone
  • FIG. 1 (B) shows the other surface of the mobile phone.
  • FIG. 2 is an illustrative view showing an electrical configuration of the mobile phone shown in FIG.
  • FIG. 3 is an illustrative view showing one example of a lock screen displayed on the display shown in FIG.
  • FIG. 4 is an illustrative view showing an example of an operation when releasing the lock state set in the mobile phone shown in FIG. 1, and
  • FIG. 4A shows a circle displayed further on the lock screen shown in FIG. 4B shows an example of the direction of the touch operation performed on the lock object shown in FIG. 3, and
  • FIG. 4C shows an example of the home screen.
  • FIG. 5 is an illustrative view showing another example of the operation when the lock state set in the mobile phone shown in FIG. 1 is released.
  • FIG. 5 (A) shows the lock object shown in FIG. 4 (A).
  • FIG. 5B illustrates an example of a state in which the camera function is executed after the lock state is released.
  • 6 is an illustrative view showing an example of a state in which a screen related to a telephone function is displayed on the display shown in FIG. 1
  • FIG. 6 (A) shows an example of a telephone number input screen
  • FIG. 7 is an illustrative view showing one example of a state in which a calling screen is displayed on the display shown in FIG. FIG.
  • FIG. 8 is an illustrative view showing another example of a state in which a screen related to the telephone function is displayed on the display shown in FIG. 1, and FIG. 8 (A) shows another example of the telephone number input screen. 8B shows another example of the address screen.
  • FIG. 9 is an illustrative view showing another example of a lock screen displayed on the display shown in FIG.
  • FIG. 10 is an illustrative view showing an example of a state in which a map function screen is displayed on the display shown in FIG. 1, FIG. 10 (A) shows an example of a map obtained by route search, and FIG. Indicates a map around a facility.
  • 11 is an illustrative view showing an example of a state in which a calendar function screen is displayed on the display shown in FIG. 1, FIG.
  • FIG. 11 (A) shows an example of a calendar for a certain month
  • FIG. 11 (B) shows a schedule.
  • 12 is an illustrative view showing one example of a state in which a notepad function screen is displayed on the display shown in FIG.
  • FIG. 13 is an illustrative view showing one example of a state in which a mail function screen is displayed on the display shown in FIG.
  • FIG. 14 is an illustrative view showing one example of a state in which a browser function screen is displayed on the display shown in FIG. 1.
  • 15 is an illustrative view showing an example of a state in which a clock function screen is displayed on the display shown in FIG. 1, FIG.
  • FIG. 15 (A) shows a state in which a certain time is displayed, and FIG. Shows an example of a state in which an alarm is set.
  • FIG. 16 is an illustrative view showing one example of a state in which a miniblog function screen is displayed on the display shown in FIG. 1.
  • FIG. 17 is an illustrative view showing one example of a configuration of a screen ID table stored in the RAM shown in FIG.
  • FIG. 18 is an illustrative view showing one example of a memory map of the RAM shown in FIG.
  • FIG. 19 is a flowchart showing an example of part of the voice operation processing of the processor shown in FIG. 20 is an example of another part of the voice operation processing of the processor shown in FIG. 2, and is a flowchart subsequent to FIG.
  • FIG. 21 is a flowchart showing an example of proximity detection processing of the processor shown in FIG.
  • a mobile phone 10 is a smartphone as an example, and includes a vertically long flat rectangular housing 12.
  • the present invention can be applied to any portable terminal such as a tablet terminal or a PDA.
  • a display 14 such as a liquid crystal or an organic EL that functions as a display unit is provided.
  • a touch panel 16 is provided on the display 14.
  • a speaker 18 is built in the main surface side of one end of the housing 12 in the vertical direction, and a microphone 20 is built in the main surface side of the other end in the vertical direction.
  • a call key 22a, an end key 22b, and a menu key 22c are provided on one main surface of the housing 12 as hard keys that constitute input operation means together with the touch panel 16.
  • a proximity sensor 24 is provided near the speaker 18 on one main surface of the housing 12.
  • a lens opening 26 communicating with the camera module 50 is provided at one longitudinal end of the other surface (back surface) of the housing 12.
  • the sensor surface of the proximity sensor 24 and the sensor surface of the image sensor included in the camera module 50 are provided so as to be exposed from the housing 12, and other portions are built in the housing 12.
  • the user can input a telephone number by touching the dial keys displayed on the display 14 with the touch panel 16, and can start a voice call by operating the call key 22a. If the end call key 22b is operated, the voice call can be ended. The user can turn on / off the power of the mobile phone 10 by pressing and holding the end call key 22b.
  • a menu screen is displayed on the display 14, and the menu is displayed by touching the touch panel 16 with respect to the soft keys and menu icons displayed on the display 14 in that state. Select and confirm the selection.
  • the camera module 50 is activated and a preview image (through image) corresponding to the object scene is displayed on the display 14. Then, the user can shoot the subject by performing a shooting operation with the other surface provided with the lens opening 26 directed toward the subject.
  • the mobile phone 10 of the embodiment shown in FIG. 1 includes a processor 30 called a computer or a CPU.
  • the processor 30 includes a proximity sensor 24, a wireless communication circuit 32, an A / D converter 36, a D / A converter 38, an input device 40, a display driver 42, a flash memory 44, a RAM 46, a touch panel control circuit 48, and a camera module 50. Etc. are connected.
  • the processor 30 manages the overall control of the mobile phone 10. All or part of the program preset in the flash memory 44 is expanded in the RAM 46 when used, and the processor 30 operates according to the program on the RAM 46.
  • the RAM 46 is further used as a working area or a buffer area for the processor 30.
  • the flash memory 44 or the RAM 46 may be called a storage unit.
  • the input device 40 includes the hard key 22 shown in FIG. Therefore, an operation receiving unit that receives a key operation from the user with respect to the hard key 22 is configured. Information on the hard key operated by the user (key data) is input to the processor 30.
  • the wireless communication circuit 32 is a circuit for transmitting and receiving radio waves for voice calls and mails through the antenna 34.
  • the wireless communication circuit 32 is a circuit for performing wireless communication by the CDMA method. For example, when the user operates the input device 40 to instruct voice transmission (calling), the wireless communication circuit 32 executes voice transmission processing under the instruction of the processor 30 and outputs a voice transmission signal via the antenna 34. Output. The voice transmission signal is transmitted to the other party's telephone through the base station and the communication network. When an incoming call process is performed at the other party's telephone, a communicable state is established, and the processor 30 executes a call process.
  • the microphone 20 shown in FIG. 1 is connected to the A / D converter 36, and an audio signal from the microphone 20 is input to the processor 30 as digital audio data through the A / D converter 36.
  • the speaker 18 is connected to the D / A converter 38.
  • the D / A converter 38 converts digital audio data into an audio signal and supplies the audio signal to the speaker 18 through an amplifier. Therefore, sound based on the sound data is output from the speaker 18.
  • the display driver 42 controls display on the display 14 connected to the display driver 42 under the instruction of the processor 30.
  • the display driver 42 includes a video memory that temporarily stores image data to be displayed.
  • the display 14 is provided with a backlight using, for example, an LED as a light source, and the display driver 42 controls the brightness of the backlight and lighting / extinguishing in accordance with instructions from the processor 30.
  • the touch panel 16 shown in FIG. 1 is connected to the touch panel control circuit 48.
  • the touch panel control circuit 48 applies necessary voltage and the like to the touch panel 16 and also displays a touch start signal indicating the start of touch by the user on the touch panel 16, an end signal indicating the end of touch by the user, and a touch position touched by the user.
  • the indicated coordinate data is input to the processor 30. Therefore, the processor 30 can determine which icon or key displayed on the display 14 is touched by the user based on the coordinate data.
  • the touch panel 16 is a capacitive touch panel that detects a change in capacitance that occurs between the surface of the touch panel 16 and an object such as a finger approaching the surface.
  • the touch panel 16 detects that one or more fingers touched the touch panel 16, for example. Therefore, the touch panel 16 is also called a pointing device.
  • the touch panel control circuit 48 functions as a touch detection unit, detects a touch operation within the effective touch range of the touch panel 16, and outputs coordinate data indicating the position of the touch operation to the processor 30. That is, the user inputs an operation position, an operation direction, and the like to the mobile phone 10 by performing a touch operation on the surface of the touch panel 16.
  • the touch operation of this embodiment includes a tap operation, a long tap operation, a flick operation, a slide operation, and the like.
  • the tap operation is an operation of releasing (releasing) the finger from the surface of the touch panel 16 in a short time after the finger touches (touches) the surface of the touch panel 16.
  • the long tap operation is an operation in which the finger is kept in contact with the surface of the touch panel 16 for a predetermined time or longer and then the finger is released from the surface of the touch panel 16.
  • the flick operation is an operation of bringing a finger into contact with the surface of the touch panel 16 and flipping the finger in an arbitrary direction at a predetermined speed or higher.
  • the slide operation is an operation of moving the finger in any direction while keeping the finger in contact with the surface of the touch panel 16 and then releasing the finger from the surface of the touch panel 16.
  • the above slide operation includes a so-called drag operation in which a finger touches an object displayed on the surface of the display 14 and moves the object.
  • an operation of releasing a finger from the surface of the touch panel 16 after a drag operation is referred to as a drop operation.
  • the touch operation, the long tap operation, the flick operation, the slide operation, the drag operation, and the drop operation may be described by omitting “operation”.
  • the objects of the present embodiment include icons for executing functions, shortcut icons, files, folders, and the like.
  • the detection method of the touch panel 16 may employ a resistance film method, an ultrasonic method, an infrared method, an electromagnetic induction method, or the like instead of the capacitance method described above.
  • the touch operation is not limited to the user's finger, and may be performed with a stylus pen or the like.
  • the proximity sensor 24 includes a light emitting element (for example, an infrared LED) and a light receiving element (for example, a photodiode), although not shown.
  • the processor 30 calculates the distance of an object (for example, a user's face) that is close to the proximity sensor 24 (the mobile phone 10) from the change in the output of the photodiode.
  • the light emitting element emits infrared rays
  • the light receiving element receives infrared rays reflected by a face or the like. For example, when the light receiving element is far from the user's face, the infrared light emitted from the light emitting element is hardly received by the light receiving element.
  • the proximity sensor 24 when the user's face comes close to the proximity sensor 24, the infrared light emitted from the light emitting element is reflected by the face and received by the light receiving element. In this manner, the amount of received infrared light of the light receiving element varies depending on whether the proximity sensor 24 is close to the user's face or not. For example, when the proximity sensor 24 is close to the user's face, the amount of received infrared light is large, and when the proximity sensor 24 is not close to the user's face, the amount of received infrared light is small. Note that the proximity sensor 24 may be referred to as a detection unit.
  • the camera module 50 includes a control circuit, a lens, an image sensor, and the like.
  • the processor 30 activates the control circuit and the image sensor.
  • image data based on the signal output from the image sensor is input to the processor 30, a preview image corresponding to the subject is displayed on the display 14.
  • the mobile phone 10 can set a lock state that restricts execution of a predetermined process based on the touch operation in order to prevent an erroneous operation due to an input unintended by the user on the touch panel 16. For example, when the end call key 22b is operated, the display 14 and the touch panel 16 are turned off and the locked state is set. When the menu key 22c or the like is operated in this state, the display 14 and the touch panel 16 are turned on, the lock screen shown in FIG. 3 is displayed, and the unlocking operation can be accepted. However, even if the display on the display 14 does not change for a certain time, the display 14 is automatically turned off and the locked state is set.
  • the power of the mobile phone 10 can be suppressed because the display 14 and the touch panel 16 are turned off until the lock screen is displayed.
  • the touch operation may be invalidated by not processing the touch operation input by the processor 30 without turning off the power of the touch panel 16.
  • the display range of display 14 displaying the lock screen includes a status display area 60 and a function display area 62.
  • a status display area 60 an icon (pict) indicating the radio wave reception status by the antenna 34, an icon indicating the remaining battery capacity of the secondary battery, and the date and time are displayed.
  • the function display area 62 the current date and time 60 are displayed, and a lock object RO, a release object DO, and a camera object CO are displayed on the lower side.
  • the lock state is released.
  • a home screen is displayed instead of the lock screen as shown in FIG. That is, the user can release the lock state by dragging the lock object RO and dropping it on the release object DO.
  • the lock object RO and the release object DO are displayed on the lower side of the display 14, the user can easily perform the release operation of the lock state using the lock object RO with one hand. Further, the user can perform the unlocking operation with either the left or right hand.
  • the lock object RO when the lock object RO is dropped onto the release object DO, the lock object RO may overlap with a part of the release object DO, or may overlap with the whole. That is, the locked state is released regardless of which state is dropped.
  • the home screen (FIG. 4C) includes a plurality of functions corresponding to a telephone function, an email function, a browser function, a calendar function, a clock function, a camera function, a map function, a miniblog function, and a memo pad function.
  • the object is placed.
  • the user can execute an arbitrary function by performing a touch operation on an arbitrary functional object among these functional objects.
  • FIG. 6A shows an example of a telephone number input screen displayed as a screen related to the telephone function. For example, when a function object (telephone object) corresponding to the telephone function is touched, the telephone number input screen is displayed. On this screen, address data included in the address book and a plurality of tabs are displayed, and a dial pad for making a call is displayed.
  • a function object telephone object
  • FIG. 6A shows an example of a telephone number input screen displayed as a screen related to the telephone function. For example, when a function object (telephone object) corresponding to the telephone function is touched, the telephone number input screen is displayed. On this screen, address data included in the address book and a plurality of tabs are displayed, and a dial pad for making a call is displayed.
  • the address data includes a name and a telephone number registered by the user, and a plurality of address data is displayed as an “address book” on the telephone number input screen.
  • the multiple tabs include a group switching tab for switching the address book from the character order (alphabetical order, etc.) to the group order set by the user, a history tab for displaying the outgoing / incoming call history, and an address book for displaying the address book.
  • An address book tab and a dial tab for making a call by directly entering a telephone number are included. In the state shown in FIG. 6A, the dial tab is selected, and the dial tab color is inverted.
  • the dial pad includes a dial key group for inputting a telephone number and a correction key for correcting the input telephone number.
  • FIG. 6B shows an example of an address screen displayed as a screen related to the telephone function.
  • the address screen is displayed when an address book tab is operated or a function object (address book object) for displaying the address book is touched.
  • address data is displayed so as to be selectable.
  • a search bar is displayed on the right side of the function display area 62.
  • address data is displayed based on characters (for example, A, B, C%) Corresponding to the touch position.
  • the address data displayed changes because the character corresponding to the touch position changes. That is, the user can efficiently search for necessary address data from the address book by using the search bar.
  • the user can make a call to the other party's telephone corresponding to the address data.
  • FIG. 7 is an illustrative view showing one example of a screen during voice call.
  • a calling screen is displayed in the function display area 62.
  • a message and an image indicating that a call is being made are displayed on the calling screen.
  • the user can interrupt the voice transmission process by operating the call termination key 22b before the call state with the other party is established.
  • a previous screen for example, a telephone number input screen shown in FIG. 6 (A) is displayed.
  • the mobile phone 10 has a voice recognition function, and the function of the mobile phone 10 is executed based on the recognition result. That is, the user can operate the cellular phone 10 by voice (voice operation). However, if the voice recognition function is always executed, some function may be executed against the user's intention due to ambient noise. There is also a problem that power consumption increases when the voice recognition function is always executed. Therefore, in this embodiment, by limiting the state in which the voice recognition function is executed, malfunctions due to voice operations are reduced and power consumption is reduced.
  • the voice recognition function is executed when a predetermined screen is displayed on the display 10 and the proximity of the user's face is detected.
  • the voice recognition function is executed.
  • the voice recognition icon SR is displayed in the status display area 60.
  • the voice recognition icon SR is displayed in the status display area 60.
  • the speech recognition icon SR is displayed. At this time, when a voice indicating address data is uttered, the voice is recognized and a call is made based on the address data indicated by the recognition result. Thus, if the screen related to the telephone function is displayed, the user can easily make a call.
  • a telephone number may be input by voice on the address screen, or a word designating address data may be input by voice on the telephone number input screen.
  • the voice recognition icon SR is displayed and the voice recognition function is executed.
  • the user can make a call to an arbitrary party by inputting a word or a telephone number designating address data and a word indicating a telephone function (for example, “call”). That is, the user can make a call without releasing the lock state.
  • the address screen or the telephone number input screen and the lock screen related to the telephone function are set as predetermined screens, and the user brings his face close to the screen while these predetermined screens are displayed on the display 14. If a call is instructed, the call can be made. In particular, since a call instruction is issued with the user's face approaching, the user can start a call in a natural manner.
  • the power consumption of the mobile phone 10 can be suppressed.
  • the user can make a call simply by speaking a word or telephone number that specifies the registered address data.
  • the proximity sensor 24 when proximity of the user's face or the like is detected by the proximity sensor 24, the touch operation on the touch panel 16 is invalidated. That is, an erroneous operation caused by touching the touch panel 16 with a face or the like is prevented from occurring.
  • functions other than the telephone function can be executed by voice operation by inputting the word specifying the function and the content of the action by voice.
  • “Route” included in the recognition result indicates a map function and a route search of the map function. Also shows usage. Therefore, when such voice input is performed, the map function is executed, and a route search from the current position to “XX station” is performed. The route of the search result and the map around the route are displayed on the display 14.
  • the “Peripheral map” included in the recognition result indicates the map function and the facility search. Also shows usage. Therefore, when such voice input is performed, the map function is executed, and the position on the map of “XX station” is searched. As a search result, a map around “XX station” is displayed on the display 14.
  • map function screen of the map function is also included in the predetermined screen, if you input “Route to XX station” and voice input on the map function screen, the route to the destination will be displayed and voice input “XX station” If is done, the surrounding map is displayed.
  • “Mail” included in the recognition result indicates a mail function and also indicates creation of a new mail.
  • “AAA” included in the recognition result is a word indicating address data. Therefore, the mail function is executed, and an edit screen for a new mail addressed to AAA is displayed on the display 14. In addition, when the mail function is being executed, even if a voice input “Mail to AAA” is made, editing of a new mail addressed to AAA is displayed.
  • “Search by Internet” included in the recognition result indicates a browser function and searches on a search site or the like. Indicates what to do. Therefore, after the browser function is executed, “Milky Way” is searched using a search site or the like. In addition, if a voice input “Milky Way” is performed while the browser function is being executed, the character string of the recognition result is searched on the search site.
  • the user can execute any function by voice operation without performing the unlocking operation of the lock screen.
  • FIG. 17 shows an example of the configuration of the screen ID table.
  • Each screen displayed on the display 14 is assigned a screen ID for identifying the screen.
  • the screen ID table includes a screen ID, a name, and a function column.
  • a screen ID (for example, 0X00008844) is stored in the screen ID column.
  • a screen name (for example, a telephone number input screen) is stored corresponding to the screen ID.
  • a function (for example, a telephone function) is stored in the function column in association with the screen ID.
  • Each row of the screen ID table may be called function information.
  • the function to be executed is associated with the screen ID of the predetermined screen. Therefore, when a predetermined screen other than the lock screen is displayed, the function corresponding to the predetermined screen can be executed even if a word designating the function is not input.
  • each function is not limited to “root”, “calendar”, and the like, and other words may be used.
  • the camera function is executed and a through image as shown in FIG. 5B is displayed on the display 14.
  • the recognition result may be displayed on the display 14 and the next operation may not be executed unless the user confirms the operation.
  • program storage area 302 and data storage area 304 are formed in RAM 46 shown in FIG. 2.
  • the program storage area 302 is an area for reading and storing (developing) part or all of the program data set in advance in the flash memory 44 (FIG. 2).
  • the program storage area 302 stores a speech recognition program 310 for recognizing speech, a speech operation program 312 for performing speech operations, a proximity detection program 314 for detecting the proximity of an object by the proximity sensor 24, and the like.
  • a touch buffer 330 a proximity buffer 332, a screen ID buffer 334, an input audio buffer 336, a recognition result buffer 338, and the like are provided, a touch coordinate map 340, a screen ID table 342, and the like. Is memorized.
  • the data storage area 304 is also provided with a touch flag 344, a touch invalid flag 346, a proximity flag 348, and the like.
  • touch buffer 330 touch coordinate data output from the touch panel control circuit 48 is temporarily stored.
  • the proximity buffer 332 temporarily stores the output of the proximity sensor 24.
  • the screen ID buffer 334 temporarily stores the screen ID of the displayed screen.
  • the input voice buffer 336 temporarily stores voice data of voice input by the user.
  • the recognition result buffer 338 temporarily stores the recognition result (character string) obtained by the speech recognition process.
  • the touch coordinate map 340 is data for associating the touch coordinates in the touch operation with the display coordinates on the display 14. That is, the result of the touch operation performed on the touch panel 16 based on the touch coordinate map 340 is reflected on the display 14.
  • the screen ID table 342 is a table in which functions are stored in association with screen IDs as shown in FIG. 17, for example.
  • the touch flag 344 is a flag for determining whether or not the touch panel 16 is touched.
  • the touch flag 344 is composed of a 1-bit register. When the touch flag 344 is turned on (established), a data value “1” is set in the register. On the other hand, when the touch flag 344 is turned off (not established), a data value “0” is set in the register. Touch flag 344 is switched on / off based on a signal output from touch panel control circuit 48.
  • the touch invalid flag 346 is a flag indicating whether the touch operation on the touch panel 16 is invalid. For example, if the touch invalid flag 346 is off, the touch operation is validated, and if the touch invalid flag 346 is on, the touch operation is invalidated.
  • the proximity flag 348 is a flag indicating whether the proximity sensor 24 has detected the proximity of the object. For example, if the proximity flag 348 is on, the proximity sensor 24 has detected the proximity of the object, and if the proximity flag 348 is off, the proximity sensor 24 has not detected the proximity of the object.
  • the data storage area 304 stores image data displayed in a standby state, character string data, and the like, and is provided with counters and flags necessary for the operation of the mobile phone 10.
  • a table for associating a word indicating a function with a function, address data, and dictionary data for speech recognition are stored in the flash memory 44.
  • the processor 30 is a Linux (registered trademark) -based OS such as Android (registered trademark) and REX, or the voice operation processing shown in FIGS. 19 and 20 and the proximity detection processing shown in FIG. Process multiple tasks including in parallel.
  • the voice operation process is executed, for example, when the mobile phone 10 is turned on.
  • the processor 30 determines whether a predetermined screen is displayed. That is, the processor 30 reads the screen ID of the displayed screen stored in the screen ID buffer 334, and determines whether the function is stored in the function column corresponding to the screen ID in the screen ID table 342. . If “NO” in the step S1, that is, if the predetermined screen is not displayed, the process of the step S1 is repeatedly executed.
  • step S1 if “YES” in the step S1, for example, if a lock screen set as a predetermined screen is displayed, the processor 30 turns on the proximity sensor 24 in a step S3. That is, the power of the proximity sensor 24 is turned on in order to detect the proximity of the object while the predetermined screen is displayed. Subsequently, in step S5, the processor 30 executes proximity detection processing. Note that the proximity detection processing will be described in detail with reference to the flowchart of FIG. Subsequently, in step S7, the processor 30 determines whether or not proximity has been detected. That is, it is determined whether the proximity flag 348 is on. Note that the processor 30 that executes the process of step S7 functions as a determination unit.
  • step S7 If “NO” in the step S7, that is, if the proximity of the object is not detected, the processor 30 returns to the process of the step S5. If “YES” in the step S7, for example, if the proximity of the user's face is detected and the proximity flag 348 is turned on, the processor 30 displays the voice recognition icon SR in a step S9. For example, the voice recognition icon SR is displayed in the state display area 60 as shown in FIG. Subsequently, in step S11, the processor 30 invalidates the touch operation. That is, the touch invalid flag 346 is turned on. Subsequently, in step S13, the processor 30 executes a voice recognition process. That is, the voice recognition function is executed. The processor 30 that executes the process of step S11 functions as an invalid unit. Further, the processor 30 that executes the process of step S13 functions as a voice recognition unit.
  • step S15 the processor 30 determines whether or not a valid voice has been input. For example, the processor 30 determines whether the recognition result of speech recognition stored in the recognition result buffer 338 indicates a number or a function. If “NO” in the step S15, for example, if no voice is input or if the input voice is not valid, the processor 30 executes a proximity detection process in a step S17. Subsequently, in step S19, the processor 30 determines whether or not proximity has been detected. That is, it is determined whether the proximity flag 348 is off.
  • step S19 If “YES” in the step S19, for example, if the user's face is not detected and the proximity flag 348 is switched off, the processor 30 enables the touch operation in a step S21. That is, the touch invalid flag 346 is turned off. Subsequently, in step S23, the processor 30 ends the voice recognition process. That is, the voice recognition function is terminated. Then, when the process of step S23 ends, the processor 30 returns to the process of step S1.
  • step S19 if “NO” in the step S19, for example, if the user's face is continuously detected, the processor 30 returns to the process of the step S15. If “YES” is determined in the step S15, for example, if such a recognition result is stored in the recognition result buffer 338 by voice input of “call to AAA”, the processor 30 causes the lock screen to be displayed in the step S25. Determine whether or not. That is, it is determined whether the screen ID stored in the screen ID buffer 334 matches the screen ID of the lock screen.
  • step S25 for example, if the displayed screen is an address screen, the processor 30 specifies the function based on the screen ID table 342 in a step S27. For example, when the telephone number input screen is displayed, the telephone function is specified based on the function column corresponding to the telephone number input screen in the screen ID table 342. And if the process of step S27 is complete
  • step S25 if “YES” in the step S25, for example, if the displayed screen is a lock screen, the processor 30 extracts information indicating the function from the recognition result in a step S29. For example, when “recognition result buffer 338 stores“ call to AAA ”,“ call ”is extracted as information indicating the function. Subsequently, in step S31, the processor 30 specifies a function from the extracted information. For example, if “call” is extracted, the telephone function is specified. And if the process of step S31 is complete
  • step S33 the processor 30 executes the function specified based on the recognition result. For example, when the telephone function is specified, if the character string included in the recognition result is a number, the calling process is executed using the number as a telephone number. If the character string included in the recognition result is not a number, it is searched whether the character string is registered as the name of the address data. If the corresponding address data is found, the telephone number included in the address data is searched. Based on this, the calling process is executed. And when a telephone function is performed in this way, the processor 30 which performs step S33 functions as a calling part.
  • step S ⁇ b> 27 the “map function” is specified based on the screen ID stored in the screen ID buffer 334 and the screen ID table 342.
  • the processor 30 that executes the process of step S27 functions as a first specifying unit.
  • “Route to XX station” is stored in the recognition result buffer 338, and if the lock screen is displayed, “YES” is determined in the step S25.
  • “route” is extracted as information indicating the function from the recognition results in step S29, and “map function” is specified based on “route” in step S31.
  • the processor 30 that executes the process of step S29 functions as an extraction unit, and the processor 30 that executes the process of step S31 functions as a second specifying unit.
  • step S33 the map function is executed based on the “route” and “XX station” included in the recognition result, and then from the current location to “XX station”. A route search for is performed. As a result, a screen as shown in FIG. Note that in step S33 other than the telephone function is also executed, the processor 30 that executes the process of step S33 may be called an execution unit.
  • step S33 the processor 30 executes proximity processing in step S35, and determines whether proximity is not detected in step S37. If “NO” in the step S37, for example, the face of the user who makes a call is detected, and if the proximity flag 348 is turned on, the processor 30 returns to the process of the step S35. On the other hand, if “YES” in the step S37, for example, if the call is ended and the user moves the face away from the mobile phone 10 and the proximity flag 348 is turned off, the step S30 enables the touch operation in the step S39, In step S41, the voice recognition process is terminated. Then, when the process of step S41 ends, the processor 30 ends the voice operation process.
  • steps S27 to S31 for specifying the function may be omitted.
  • FIG. 21 is a flowchart of proximity detection processing.
  • the processor 30 acquires the output of the proximity sensor 24 in step S61. That is, the value of the proximity sensor 24 is read from the proximity buffer 332. Subsequently, in step S63, the processor 30 determines whether or not the value of the proximity sensor 24 is greater than a threshold value. That is, it is determined whether or not the object detected by the proximity sensor 24 is in a state of being close to the mobile phone 10.
  • the processor 30 turns on the proximity flag 348 in a step S67. That is, it is determined that the proximity of the object is detected.
  • the processor 30 sets the proximity flag 348 in a step S69. Turn off. That is, it is determined that the proximity of the object is not detected.
  • the processor 30 ends the proximity detection process.
  • the functions that can be executed by voice operation from the lock screen may include an SMS function or the like.
  • the call of the telephone function includes a call by the Internet telephone function such as “skype (registered trademark)” and “LINE (registered trademark)” and a call by the IP telephone function.
  • the word “greater than” is used for the threshold such as the predetermined number of times, but “greater than the threshold” includes the meaning of “above threshold”. Further, “smaller than a threshold” includes the meanings of “below the threshold” and “below the threshold”.
  • the program used in this embodiment may be stored in the HDD of the data distribution server and distributed to the mobile phone 10 via the network. Further, the storage medium may be sold or distributed in a state where a plurality of programs are stored in a storage medium such as an optical disk such as a CD, a DVD, or a BD (Blue-Ray Disk), a USB memory, and a memory card.
  • a storage medium such as an optical disk such as a CD, a DVD, or a BD (Blue-Ray Disk), a USB memory, and a memory card.
  • the invention according to the first aspect is a mobile phone having a display unit, wherein the detection unit detects the proximity of the object, and the detection unit detects the proximity of the object when a predetermined screen is displayed on the display unit A speech recognition unit for recognizing an input voice while the proximity of the object is detected when it is determined that the proximity of the object is detected by the determination unit; When a call is instructed according to the recognition result, the mobile phone includes a calling unit that makes a call based on the recognition result.
  • the cellular phone (10: reference numerals exemplifying corresponding parts in the embodiment, hereinafter the same) has a display unit (14) such as an LCD or an organic EL.
  • a detection part (24) detects the proximity
  • the determination unit (30, S7) determines whether the proximity of the object is detected.
  • the voice recognition unit (30, S13) recognizes the input voice while the proximity of the target is detected.
  • the calling unit (30, S33) makes a call based on the recognition result. To do.
  • the user can make a call by instructing a call with a face close to the user while the predetermined screen is displayed on the display unit.
  • the invention according to the second aspect is dependent on the invention according to the first aspect, and when the calling unit includes a number in the recognition result of the voice recognition unit, the calling unit calls the number as a telephone number.
  • the voice recognition unit recognizes the input voice.
  • the calling unit calls the number as a telephone number.
  • the invention according to the third aspect is dependent on the invention according to the first aspect, and further includes a storage unit that stores address data including a telephone number, and the calling unit is configured such that the recognition result of the voice recognition unit indicates the address data. Then, a call is made based on the address data.
  • the storage unit (44) is, for example, a flash memory, and stores address book data including a plurality of address data. Each address data includes the telephone number of the other party.
  • the voice recognition unit recognizes the input voice.
  • the calling unit makes a call to the telephone number included in the address data.
  • the user can make a call only by voice input of a word or telephone number designating registered address data.
  • the invention according to the fourth aspect is dependent on the invention according to the first aspect, and the predetermined screen includes a screen related to a telephone function.
  • the screen related to the telephone function includes, for example, a telephone number input screen and an address screen for displaying the above address book data.
  • the user can easily make a call.
  • the invention according to the fifth aspect is dependent on the invention according to the first aspect, and the predetermined screen includes a lock screen.
  • the voice recognition unit recognizes the voice.
  • the calling unit makes a call based on the address data.
  • the user can make a call without releasing the lock state.
  • the invention according to the sixth aspect is dependent on the invention according to the first aspect, and invalidates the operation based on the touch panel when it is determined that the proximity of the object is detected by the touch panel provided in the display unit and the determination unit. It further includes an invalid part.
  • the touch panel (16) is also called a pointing device and is provided on the display unit.
  • a detection unit is provided around the touch panel. Therefore, when proximity of an object is detected, the invalid part (30, S11) invalidates the operation based on the touch panel.
  • the invention according to the seventh aspect is a voice operation method in the cellular phone (10) having a display unit (14) and a detecting unit (24) for detecting the proximity of an object
  • the processor (30) of the cellular phone includes: A determination step (S7) for determining whether the detection unit has detected the proximity of the object when the predetermined screen is displayed on the display unit, and when the determination step determines that the proximity of the object has been detected, A voice recognition step (S13) for recognizing the input voice while the proximity of an object is detected, and when a call is instructed by the recognition result of the voice recognition step, a call is made based on the recognition result.
  • This is a voice operation method for executing a calling step (S33).
  • the user can make a call by instructing a call with a face approaching in a state where the predetermined screen is displayed on the display unit.
  • the invention according to the eighth aspect is a portable terminal having a display unit, wherein the detection unit detects the proximity of the object, and the detection unit detects the proximity of the object when a predetermined screen is displayed on the display unit A speech recognition unit for recognizing an input voice while the proximity of the object is detected when it is determined that the proximity of the object is detected by the determination unit; When the recognition result is valid, the portable terminal includes an execution unit that executes a function based on the recognition result.
  • the portable terminal (10) having the display unit (14) is similar to the first invention in that the detection unit (24), the determination unit (30, S7), and the voice recognition unit (30, S13). ). Then, the execution unit (30, S33) of the portable terminal functions based on the recognition result when an effective recognition result is obtained when the proximity of the object is detected in a state where the predetermined screen is displayed. Execute.
  • the user can appropriately use the voice operation.
  • the invention according to the ninth aspect is dependent on the invention according to the eighth aspect, and specifies a function based on the function information stored in the storage unit that stores the function information indicating the function corresponding to the predetermined screen, and the function information stored in the storage unit
  • a first specifying unit is further provided, and the execution unit executes the function specified by the first specifying unit based on the recognition result of the voice recognition unit.
  • the function information is associated with the predetermined screen, and this is stored in the storage unit (46).
  • the first specifying unit (30, S27) specifies a function corresponding to the predetermined screen based on the function information. For example, if the identified function is a map function and the recognition result is a content for instructing a route search, the execution unit executes the map function to perform the route search.
  • the user can operate the function by voice operation.
  • the invention according to the tenth aspect is dependent on the invention according to the eighth aspect, wherein the predetermined screen includes a lock screen, and when the proximity of the object is detected when the lock screen is displayed, the voice recognition unit An extraction unit that extracts information indicating the function from the recognition result of the first and a second specifying unit that specifies the function based on the information extracted by the extraction unit, and the execution unit is based on the recognition result of the voice recognition unit The function specified by the second specifying unit is executed.
  • the voice recognition unit when voice is input while the lock screen is displayed, the voice recognition unit recognizes the input voice.
  • the extraction unit (30, S29) extracts information (such as “route”) indicating the function from the recognition result thus obtained.
  • specification part (30, S31) specifies the function performed based on the extracted information. For example, when a map function is specified and a route search is instructed, the execution unit executes the map function to perform a route search.
  • the user can execute any function by voice operation without performing the lock screen release operation.
  • 10 mobile phone 14 display, 16 touch panel, 24 proximity sensor, 30 processor, 40 input device, 44 flash memory, 46 RAM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)

Abstract

 携帯電話機(10)のハウジング(12)には、ディスプレイ(14)および近接センサ(24)などが設けられている。たとえば、所定画面としてロック画面が表示されている状態でユーザが携帯電話機(10)を自身の顔に近づけると顔の近接が検出され、音声認識機能が実行される。この状態で、登録されているアドレスデータを指定し、かつ発呼を指示する音声が入力されると、実行する機能として電話機能が特定され、認識結果から任意のアドレスデータが選択される。そして、そのアドレスデータに含まれる電話番号に基づいて、発呼処理が実行される。

Description

携帯電話機、携帯端末および音声操作方法
 この発明は、携帯電話機、携帯端末および音声操作方法に関し、特に音声を認識する携帯電話機、携帯端末および音声操作方法に関する。
 背景技術の一例が特公平6-18395号公報に開示されている。特公平6-18395号公報の電話機では、操作者がハンドセットを口の近くに持っていきハンドセット内に設置された近接スイッチによって近接が検出されると、音声を認識する認識モードが実行される。このとき、予め登録した音声と類似する音声が入力されれば、登録された音声と対応付けられている電話番号に基づいてダイヤル信号が送出される。つまり、音声認識による自動ダイヤリング操作が行われる。
 ところが、特許文献1の技術が携帯電話機に適用された場合、携帯電話機をカバンの中に入れた状態では、近接スイッチが誤動作して音声認識モードが実行されてしまう場合がある。この状態では、操作者の意図に反して自動ダイヤリング操作が行われてしまう可能性がある。
 それゆえに、新規な、携帯電話機、携帯端末および音声操作方法が求められている。
 さらに、発呼を指示すると発呼することが出来る携帯電話機および音声操作方法が求められている。
 さらに、音声認識機能による誤動作を軽減させることが出来る、携帯端末が求められている。
 この発明は、一態様として、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
 第1の態様による発明は、表示部を有する、携帯電話機であって、対象物の近接を検出する検出部、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断部、判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および音声認識部の認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼部を備える、携帯電話機である。
 第2の態様による発明は、表示部(14)および対象物の近接を検出する検出部(24)を有する、携帯電話機(10)における音声操作方法であって、携帯電話機のプロセッサ(30)が、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断ステップ(S7)、判断ステップによって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識ステップ(S13)、および音声認識ステップの認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼ステップ(S33)、を実行する、音声操作方法である。
 第3の態様による発明は、表示部を有する、携帯端末であって、対象物の近接を検出する検出部、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断部、判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および音声認識部の認識結果が有効な場合には、当該認識結果に基づき機能を実行する実行部を備える、携帯端末である。
 この発明の一態様によれば、発呼を指示すると発呼することが出来る。
 この発明の特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1はこの発明の一実施例の携帯電話機を示す外観図であり、図1(A)は携帯電話機の主面を示し、図1(B)は携帯電話機の他面を示す。 図2は図1に示す携帯電話機の電気的な構成を示す図解図である。 図3は図1に示すディスプレイに表示されるロック画面の一例を示す図解図である。 図4は図1に示す携帯電話機に設定されているロック状態を解除するときの操作の一例を示す図解図であり、図4(A)は図3に示すロック画面に円周がさらに表示された状態の一例を示し、図4(B)は図3に示すロックオブジェクトに対して行われるタッチ操作の方向の一例を示し、図4(C)はホーム画面の一例を示す。 図5は図1に示す携帯電話機に設定されているロック状態を解除するときの操作の他の一例を示す図解図であり、図5(A)は図4(A)に示すロックオブジェクトに対して行われるタッチ操作の方向の他の一例を示し、図5(B)はロック状態が解除された後にカメラ機能が実行された状態の一例を示す。 図6は図1に示すディスプレイに電話機能に関連する画面が表示されている状態の一例を示す図解図であり、図6(A)は電話番号入力画面の一例を示し、図6(B)はアドレス画面の一例を示す。 図7は図1に示すディスプレイに発呼中画面が表示されている状態の一例を示す図解図である。 図8は図1に示すディスプレイに電話機能に関連する画面が表示されている状態の他の一例を示す図解図であり、図8(A)は電話番号入力画面の他の一例を示し、図8(B)はアドレス画面の他の一例を示す。 図9は図1に示すディスプレイに表示されるロック画面の他の一例を示す図解図である。 図10は図1に示すディスプレイに地図機能画面が表示されている状態の一例を示す図解図であり、図10(A)はルート検索によって得られた地図の一例を示し、図10(B)は或る施設の周辺地図を示す。 図11は図1に示すディスプレイにカレンダー機能画面が表示されている状態の一例を示す図解図であり、図11(A)は或る月のカレンダーの一例を示し、図11(B)はスケジュールが登録されている状態の一例を示す。 図12は図1に示すディスプレイにメモ帳機能画面が表示されている状態の一例を示す図解図である。 図13は図1に示すディスプレイにメール機能画面が表示されている状態の一例を示す図解図である。 図14は図1に示すディスプレイにブラウザ機能画面が表示されている状態の一例を示す図解図である。 図15は図1に示すディスプレイに時計機能画面が表示されている状態の一例を示す図解図であり、図15(A)は或る時刻が表示されている状態を示し、図15(B)はアラームが設定されている状態一例を示す。 図16は図1に示すディスプレイにミニブログ機能画面が表示されている状態の一例を示す図解図である。 図17は図2に示すRAMに記憶される画面IDテーブルの構成の一例を示す図解図である。 図18は図2に示すRAMのメモリマップの一例を示す図解図である。 図19は図2に示すプロセッサの音声操作処理の一部の一例を示すフロー図である。 図20は図2に示すプロセッサの音声操作処理の他の一部の一例であって、図19に後続するフロー図である。 図21は図2に示すプロセッサの近接検出処理の一例を示すフロー図である。
 図1(A),(B)を参照して、この発明の一実施例の携帯電話機10は、一例としてスマートフォンであり、縦長の扁平矩形のハウジング12を含む。ただし、この発明は、タブレット端末、PDAなど任意の携帯端末に適用可能であることを予め指摘しておく。
 ハウジング12の一方主面(表面)には、表示部として機能する、たとえば液晶や有機ELなどのディスプレイ14が設けられる。ディスプレイ14の上には、タッチパネル16が設けられる。
 ハウジング12の縦方向一端の主面側にスピーカ18が内蔵され、縦方向他端の主面側にマイク20が内蔵される。
 ハウジング12の一方主面には、タッチパネル16と共に入力操作手段を構成するハードキーとして、この実施例では、通話キー22a、終話キー22bおよびメニューキー22cが設けられる。
 また、ハウジング12の一方主面においてスピーカ18の近くには、近接センサ24が設けられている。ハウジング12の他面(裏面)の縦方向一端には、カメラモジュール50(図2参照)に通じるレンズ開口26が設けられている。ただし、近接センサ24のセンサ面と、カメラモジュール50に含まれるイメージセンサのセンサ面とはハウジング12から露出するように設けられ、その他の部分はハウジング12に内蔵される。
 たとえば、ユーザは、ディスプレイ14に表示されたダイヤルキーに対して、タッチパネル16によってタッチ操作を行うことで電話番号を入力でき、通話キー22aを操作して音声通話を開始することができる。終話キー22bを操作すれば、音声通話を終了することができる。なお、ユーザは終話キー22bを長押しすることによって、携帯電話機10の電源をオン/オフすることができる。
 また、メニューキー22cを操作すれば、ディスプレイ14にメニュー画面が表示され、その状態でディスプレイ14に表示されているソフトキーやメニューアイコンなどに対して、タッチパネル16によるタッチ操作を行うことによってメニューを選択し、その選択を確定させることができる。
 さらに、詳細な説明は後述するが、カメラ機能が実行されると、カメラモジュール50が起動し、ディスプレイ14に被写界と対応するプレビュー画像(スルー画像)が表示される。そして、ユーザは、レンズ開口26が設けられている他面を被写体に向けて撮影操作を行うことで、被写体を撮影することが出来る。
 図2を参照して、図1に示す実施例の携帯電話機10は、コンピュータまたはCPUと呼ばれるプロセッサ30などを含む。プロセッサ30には、近接センサ24、無線通信回路32、A/D変換器36、D/A変換器38、入力装置40、表示ドライバ42、フラッシュメモリ44、RAM46、タッチパネル制御回路48およびカメラモジュール50などが接続される。
 プロセッサ30は、携帯電話機10の全体制御を司る。RAM46には、フラッシュメモリ44に予め設定されているプログラムの全部または一部が使用に際して展開され、プロセッサ30はこのRAM46上のプログラムに従って動作する。なお、RAM46はさらに、プロセッサ30のワーキング領域ないしバッファ領域として用いられる。また、フラッシュメモリ44またはRAM46は記憶部と呼ばれることもある。
 入力装置40は、図1に示すハードキー22を含むものである。そのため、ハードキー22に対するユーザからのキー操作を受け付ける操作受付部を構成する。ユーザが操作したハードキーの情報(キーデータ)はプロセッサ30に入力される。
 無線通信回路32は、アンテナ34を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路32は、CDMA方式での無線通信を行うための回路である。たとえば、ユーザが入力装置40を操作して音声発信(発呼)を指示すると、無線通信回路32は、プロセッサ30の指示の下、音声発信処理を実行し、アンテナ34を介して音声発信信号を出力する。音声発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ30は通話処理を実行する。
 A/D変換器36には図1に示すマイク20が接続され、マイク20からの音声信号はA/D変換器36を通してディジタルの音声データとしてプロセッサ30に入力される。D/A変換器38にはスピーカ18が接続される。D/A変換器38は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ18に与える。したがって、音声データに基づく音声がスピーカ18から出力される。
 表示ドライバ42には図1に示すディスプレイ14が接続され、したがって、ディスプレイ14はプロセッサ30から出力される映像または画像データに従って映像または画像を表示する。つまり、表示ドライバ42は、プロセッサ30の指示の下、当該表示ドライバ42に接続されたディスプレイ14の表示を制御する。また、表示ドライバ42は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ14には、たとえばLEDなどを光源とするバックライトが設けられており、表示ドライバ42はプロセッサ30の指示に従って、そのバックライトの明るさや、点灯/消灯を制御する。
 タッチパネル制御回路48には、図1に示すタッチパネル16が接続される。タッチパネル制御回路48は、タッチパネル16に必要な電圧などを付与するとともに、タッチパネル16に対するユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびユーザがタッチしたタッチ位置を示す座標データをプロセッサ30に入力する。したがって、プロセッサ30はこの座標データに基づいて、ユーザがディスプレイ14に表示されるどのアイコンやキーにタッチしたかを判断することができる。
 実施例では、タッチパネル16は、その表面と表面に接近した指などの対象物との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル16は、たとえば1本または複数本の指がタッチパネル16に触れたことを検出する。そのため、タッチパネル16はポインティングデバイスとも呼ばれる。タッチパネル制御回路48はタッチ検出部として機能し、タッチパネル16のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データをプロセッサ30に出力する。つまり、ユーザは、タッチパネル16の表面に対してタッチ操作を行うことによって、操作位置や、操作方向などを携帯電話機10に入力する。
 本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。
 タップ操作は、タッチパネル16の表面に指を接触(タッチ)させた後、短時間のうちにタッチパネル16の表面から指を離す(リリースする)操作である。ロングタップ操作は、所定時間以上、指をタッチパネル16の表面に接触させ続けた後、指をタッチパネル16の表面から離す操作である。フリック操作は、タッチパネル16の表面に指を接触させ、任意の方向へ所定速度以上で指を弾く操作である。スライド操作は、タッチパネル16の表面に指を接触させたまま任意の方向へ移動させた後、タッチパネル16の表面から指を離す操作である。
 また、上記のスライド操作には、ディスプレイ14の表面に表示されたオブジェクトに指を触れ、オブジェクトを移動させるスライド操作、いわゆるドラッグ操作も含まれる。
 なお、以下の説明では、ドラッグ操作の後、タッチパネル16の表面から指を離す操作をドロップ操作と呼ぶ。また、タッチ操作、ロングタップ操作、フリック操作、スライド操作、ドラッグ操作およびドロップ操作は、それぞれ「操作」を省略して記述することがある。また、本実施例のオブジェクトには、機能を実行するためのアイコン、ショートカットアイコン、ファイル、フォルダなどが含まれる。また、タッチパネル16の検出方式には、上述した静電容量方式に代えて、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。また、タッチ操作はユーザの指だけに限らず、スタイラスペンなどによって行われてもよい。
 近接センサ24は、図示は省略するが、発光素子(たとえば、赤外線LED)と受光素子(たとえば、フォトダイオード)とを含む。プロセッサ30は、フォトダイオードの出力の変化から、近接センサ24(携帯電話機10)に近接する対象物(たとえば、ユーザの顔)の距離を算出する。具体的には、発光素子は赤外線を発光し、受光素子は、顔などで反射した赤外線を受光する。たとえば、受光素子がユーザの顔から遠い場合は、発光素子から発せられた赤外線は受光素子によってほとんど受光されない。一方、近接センサ24にユーザの顔が近接すると、発光素子が発光した赤外線は顔に反射して受光素子によって受光される。このように、受光素子は近接センサ24がユーザの顔に近接している場合とそうでない場合とで赤外線の受光量が変化する。たとえば、近接センサ24がユーザの顔に近接している場合は赤外線の受光量が大きくなり、近接センサ24がユーザの顔に近接していない場合は赤外線の受光量が小さくなる。なお、近接センサ24は検出部と呼ばれることもある。
 カメラモジュール50は制御回路、レンズおよびイメージセンサなどを含む。プロセッサ30は、カメラ機能を実行する操作がされると、制御回路およびイメージセンサを起動する。そして、イメージセンサから出力された信号に基づく画像データがプロセッサ30に入力されると、被写体に対応するプレビュー画像がディスプレイ14に表示される。
 本実施例の携帯電話機10は、タッチパネル16に対するユーザの意図しない入力による誤操作を防止するために、タッチ操作に基づく所定の処理の実行を制限するロック状態を設定することができる。たとえば、終話キー22bが操作されると、ディスプレイ14およびタッチパネル16の電源がオフにされると共にロック状態が設定される。この状態で、メニューキー22cなどが操作されると、ディスプレイ14およびタッチパネル16の電源がオンとなり、図3に示すロック画面が表示され、ロック状態の解除操作が受け付けられるようになる。ただし、ディスプレイ14の表示が一定時間変化しなくても、ディスプレイ14は自動的にオフにされ、ロック状態が設定される。
 なお、本実施例のロック状態では、ロック画面が表示されるまでは、ディスプレイ14およびタッチパネル16の電源がオフにされているため、携帯電話機10の消費電力が抑えられる。ただし、他の実施例では、タッチパネル16の電源をオフにすることなく、プロセッサ30が入力されたタッチ操作を処理しないことで、タッチ操作を無効にしてもよい。
 図3を参照して、ロック画面を表示するディスプレイ14の表示範囲は、状態表示領域60および機能表示領域62を含む。状態表示領域60には、アンテナ34による電波受信状態を示すアイコン(ピクト)、二次電池の残電池容量を示すアイコンおよび日時が表示される。また、機能表示領域62には、現在日時60が表示され、下側にはロックオブジェクトRO、解除オブジェクトDOおよびカメラオブジェクトCOが表示される。
 図4(A)を参照して、ロックオブジェクトROに対してタッチされると、解除オブジェクトDOおよびカメラオブジェクトCOが軌道上に配置されるように、円周Cが表示される。また、ロックオブジェクトROに対してドラッグが行われると、その表示位置がユーザの指の位置、つまり現在のタッチ位置に合わせて変化する。
 図4(B)を参照して、ロックオブジェクトROに対してドラッグが行われ、ロックオブジェクトROが解除オブジェクトDOと重なった状態で、ロックオブジェクトROがドロップされると、ロック状態が解除される。ロック状態が解除されると、図4(C)に示すようにロック画面に代えてホーム画面が表示される。つまり、ユーザは、ロックオブジェクトROをドラッグして、解除オブジェクトDOにドロップすることで、ロック状態を解除することが出来る。
 このように、ロックオブジェクトROおよび解除オブジェクトDOがディスプレイ14の下側に表示されるため、ユーザはロックオブジェクトROを利用するロック状態の解除操作を片手で容易に行うことができる。また、ユーザは、左右の手のどちらでも、ロック状態の解除操作を行うことができる。
 なお、ロックオブジェクトROを解除オブジェクトDOにドロップする際は、ロックオブジェクトROが解除オブジェクトDOの一部と重なった状態であってもよいし、全部と重なった状態であってもよい。つまり、どちらの状態でドロップされたとしても、ロック状態は解除される。
 図5(A)を参照して、ロックオブジェクトROがドラッグされ、ディスプレイ14に表示されたカメラオブジェクトCO上でドロップされると、ロック状態が解除されると共に、カメラ機能が実行される。カメラ機能が実行されると、図5(B)に示すように、ディスプレイ14には、ロック画面に代えて、カメラ機能によって得らえるスルー画像が表示される。つまり、ユーザは、ロック状態を解除すると共にカメラ機能を実行することが出来る。
 また、上述したホーム画面(図4(C))には、電話機能、メール機能、ブラウザ機能、カレンダー機能、時計機能、カメラ機能、地図機能、ミニブログ機能およびメモ帳機能と対応する複数の機能オブジェクトが配置されている。ユーザは、これらの機能オブジェクトのうち任意の機能オブジェクトに対してタッチ操作を行うことで、任意の機能を実行することが出来る。
 図6(A)は電話機能に関連する画面として表示される電話番号入力画面の一例を示す。たとえば、電話機能に対応する機能オブジェクト(電話オブジェクト)にタッチされたときに、電話番号入力画面は表示される。この画面には、アドレス帳に含まれるアドレスデータおよび複数のタブが表示されると共に、発呼を行うためのダイヤルパッドが表示される。
 アドレスデータはユーザによって登録された氏名および電話番号などを含み、電話番号入力画面では複数のアドレスデータが「アドレス帳」として表示される。複数のタブには、アドレス帳を文字順(アルファベット順など)からユーザによって設定されたグループ順に切り替えるグループ切替タブ、発呼/着呼履歴を表示するための履歴タブ、アドレス帳を表示するためのアドレス帳タブおよび電話番号を直接入力して発呼するためのダイヤルタブが含まれる。なお、図6(A)に示す状態では、ダイヤルタブが選択されている状態となり、ダイヤルタブの色が反転している状態となる。
 ダイヤルパッドには、電話番号を入力するためのダイヤルキー群および入力した電話番号を修正するための修正キーなどが含まれる。
 図6(B)は電話機能に関連する画面として表示されるアドレス画面の一例を示す。たとえば、アドレス画面はアドレス帳タブが操作されるか、アドレス帳を表示するための機能オブジェクト(アドレス帳オブジェクト)にタッチされたときに表示される。そして、このアドレス画面では、アドレスデータが選択可能に表示される。また、機能表示領域62の右側には検索バーが表示される。たとえば、ユーザが検索バーにタッチすると、タッチ位置と対応する文字(たとえば、A,B,C…)に基づいてアドレスデータが表示される。そして、ユーザが検索バー上で指を上下にスライドすると、タッチ位置と対応するする文字が変化するため表示されるアドレスデータも変化する。つまり、ユーザは、検索バーを利用することで、アドレス帳から必要なアドレスデータを効率よく検索することが出来る。ユーザは任意のアドレスデータを選択することで、そのアドレスデータと対応する相手の電話機に発呼することが出来る。
 図7は音声発呼中画面の一例を示す図解図である。たとえば、ダイヤルパッドによって電話番号が入力された後に通話キー22aが操作されると、発呼中画面が機能表示領域62に表示される。発呼中画面には、発呼中であることを示すメッセージおよび画像が表示される。ユーザは、相手との通話状態が確立される前に終話キー22bを操作することで音声発信処理を中断することが出来る。音声発信処理が中断されると前の画面、たとえば図6(A)に示す電話番号入力画面が表示される。
 ここで、携帯電話機10は音声認識機能を有しており、認識結果に基づいて携帯電話機10の機能が実行される。つまり、ユーザは携帯電話機10を音声によって操作(音声操作)することが出来る。ところが、音声認識機能が常に実行されていると、周囲の雑音によってユーザの意図に反して何らかの機能が実行されてしまう可能性がある。また、音声認識機能を常に実行されている状態では消費電力が高くなってしまうという問題もある。そこで、本実施例では、音声認識機能が実行される状態を限定することで、音声操作による誤動作を軽減すると共に、消費電力を抑える。
 本実施例では、ディスプレイ10に所定画面が表示され、かつユーザの顔の近接が検出されたときに音声認識機能が実行される。図8(A)を参照して、電話番号入力画面が表示されている状態で近接センサ24によってユーザの顔の近接が検出されると、音声認識機能が実行される。音声認識機能が実行されるのと略同時に、音声認識アイコンSRが状態表示領域60に表示される。この状態で、ユーザが数字を示す音声(たとえば1,2,3…)を発話するとその音声が認識される。そして、認識結果が示す番号が電話番号として入力され、その電話番号に発呼される。音声認識が実行されている間に、所定の桁数の数字を示す音声が認識される、又は「発呼」という音声が認識されると発呼を行ってもよい。
 また、図8(B)を参照して、アドレス画面が表示されている場合もユーザの顔の近接によって音声認識機能が実行されると、音声認識アイコンSRが表示される。このとき、アドレスデータを示す音声が発話されるとその音声が認識され、認識結果によって示されるアドレスデータに基づいて発呼される。このように、ユーザは、電話機能に関連する画面が表示されていれば、ユーザは容易に発呼することが出来る。
 なお、アドレス画面で電話番号が音声入力されてもよいし、電話番号入力画面でアドレスデータを指定する単語が音声入力されてもよい。
 図9を参照して、ロック画面が表示されている状態でユーザの顔が近づけられた場合も、音声認識アイコンSRが表示されると共に、音声認識機能が実行される。この状態で、アドレスデータを指定する単語または電話番号と、電話機能を示す単語(たとえば、「発呼」など)とを音声入力することで、ユーザは任意の相手に発呼することが出来る。つまり、ユーザはロック状態を解除することなく発呼することが出来る。
 このように、本実施例では電話機能に関連するアドレス画面または電話番号入力画面およびロック画面などが所定画面とされ、ユーザは、これらの所定画面がディスプレイ14に表示されている状態で顔を近づけて発呼を指示すると発呼することが出来る。特に、ユーザの顔が接近した状態で発呼の指示が行われるため、ユーザは自然な流れで通話を開始することが出来る。
 また、音声認識機能が実行される状態が限定されるため、携帯電話機10の消費電力が抑えられる。
 また、ユーザは登録済みのアドレスデータを指定する単語または電話番号を発話するだけで発呼することが出来る。
 また、近接センサ24によってユーザの顔などの近接が検出されると、タッチパネル16に対するタッチ操作は無効にされる。つまり、顔などがタッチパネル16に触れることによって生じる誤操作が発生しないようにされている。
 ここで、音声認識機能が実行されているロック画面では、機能を特定する単語および動作の内容を音声入力することで、電話機能以外の機能も音声操作によって実行することが出来る。
 図10(A)を参照して、ロック画面で「XX駅までのルート」と音声入力が行われた場合、認識結果に含まれる「ルート」は地図機能を示すと共に、地図機能のルート検索の利用も示す。そのため、このような音声入力が行われると地図機能が実行され、現在位置から「XX駅」までのルート検索が行われる。そして、検索結果のルートおよびルート周辺の地図がディスプレイ14に表示される。
 また、図10(B)を参照して、ロック画面で「XX駅の周辺地図」と音声入力が行われた場合、認識結果に含まれる「周辺地図」は地図機能を示すと共に、施設検索の利用も示す。そのため、このような音声入力が行われると地図機能が実行され、「XX駅」の地図上の位置が検索される。そして、検索結果として「XX駅」の周辺地図がディスプレイ14に表示される。
 さらに、地図機能の地図機能画面も所定画面に含まれるため、地図機能画面で「XX駅までのルート」と音声入力が行われれば目的地までのルートが表示され、「XX駅」と音声入力が行われれば周辺地図が表示される。
 図11(A)を参照して、たとえばロック画面で「カレンダー」と音声入力が行われた場合、認識結果に含まれる「カレンダー」はカレンダー機能を示す。そのため、カレンダー機能が実行され、操作されている時点の日付を含むカレンダーがディスプレイに表示される。
 また、図11(B)を参照して、ロック画面で「天体観測を7月7日にスケジュール登録」と音声入力が行われた場合、認識結果に含まれる「スケジュール登録」はカレンダー機能を示すと共に、スケジュールの登録も示す。また、認識結果に含まれる「7月7日」はスケジュール登録を行う日付を示す。従って、「7月7日」において「天体観測」がスケジュールの内容として登録される。
 さらに、カレンダー機能のカレンダー画面を所定画面とし、「7月7日に天体観測」と音声入力が行われれば、「7月7日」のスケジュールに「天体観測」が追加される。
 図12を参照して、ロック画面で「telescopeをメモ帳に登録」と音声入力が行われた場合、認識結果に含まれる「メモ帳」はメモ帳機能を示す。そのため、メモ帳機能が実行されたうえで、認識結果に含まれる「telescope」が入力された状態となる。また、メモ帳機能が実行されている状態で「telescope」と音声入力が行われた場合、音声入力で文字を入力することが出来る。
 図13を参照して、ロック画面で「AAAにメール」と音声入力が行われた場合、認識結果に含まれる「メール」はメール機能を示すと共に、新規メールの作成も示す。また、認識結果に含まれる「AAA」はアドレスデータを示す単語である。そのため、メール機能が実行され、AAAを宛先とする新規メールの編集画面がディスプレイ14に表示される。また、メール機能が実行されているときに、「AAAにメール」と音声入力が行われても、AAAを宛先とする新規メールの編集が表示される。
 図14を参照して、ロック画面で「Milky Wayをネットで検索」と音声入力が行われた場合、認識結果に含まれる「ネットで検索」はブラウザ機能を示すと共に、検索サイトなどで検索を行うことを示す。そのため、ブラウザ機能が実行されたうえで、「Milky Way」が検索サイトなどを利用して検索される。また、ブラウザ機能が実行されている状態で、「Milky Way」と音声入力が行われれば、認識結果の文字列が検索サイトで検索される。
 図15(A)を参照して、ロック画面で「現在時刻」と音声入力が行われた場合、認識結果に含まれる「現在時刻」は時計機能を示す。そのため、時計機能が実行され現在時刻がディスプレイ14に表示される。
 また、図15(B)を参照して、ロック画面で「10時にアラーム」と音声入力が行われた場合、認識結果に含まれる「アラーム」は時計機能を示すと共に、アラームの登録を示す。そのため、時計機能が実行されたうえで「10時」にアラームが登録され、アラーム画面がディスプレイ14に表示される。
 さらに、時計機能の時計画面を所定画面として、「10時にアラーム」と音声入力がされても、「10時」にアラームが登録される。
 図16を参照して、ロック画面で「I began twitとつぶやき」と音声入力が行われた場合、認識結果に含まれる「つぶやき」はミニブログ機能を示すと共に、新規記事の投稿を示す。そのため、ミニブログ機能が実行され、「I began twit」の文字列がミニブログに投稿される。また、ミニブログ機能によってミニブログのサイトが表示さている状態で「I began twit」と音声入力が行われても、「I began twit」の文字列がミニブログに投稿される。
 これらの例から分かるように、ユーザはロック画面の解除操作を行うことなく、任意の機能を音声操作によって実行することが出来る。
 また、ロック画面で顔を近接させたときに音声認識機能が実行されるようにしたため、音声認識機能による誤動作を軽減させることが出来る。
 図17は画面IDテーブルの構成の一例を示す。ディスプレイ14に表示される各画面には、それぞれを識別するための画面IDが割り付けられている。そして、画面IDテーブルは、画面ID、名称、および機能の列を含む。画面IDの列には画面ID(たとえば、0X00008844など)がそれぞれ記憶される。名称の列には画面IDに対応して画面の名称(たとえば、電話番号入力画面など)が記憶される。機能の列には画面IDに対応付けて機能(たとえば、電話機能など)が記憶される。なお、画面IDテーブルの各行は機能情報と呼ばれることもある。
 そして、本実施例では、所定画面の画面IDに対して実行する機能を対応付けている。そのため、ロック画面以外の所定画面が表示されている場合は、機能を指定する単語が入力されていなくても、所定画面に対応する機能を実行することが出来る。
 このように、任意の機能が実行されている状態であっても、ユーザは音声操作によってその機能を操作することが出来る。
 なお、各機能を示す単語は、「ルート」、「カレンダー」などに限らず、他の単語が用いられてもよいことは言うまでもない。
 また、ロック画面で「カメラ撮影」と音声入力が行われた場合は、カメラ機能が実行されディスプレイ14には、図5(B)に示すようなスルー画像が表示される。
 また、他の実施例では、認識結果をディスプレイ14に表示し、ユーザの確認操作がされなければ、次の動作が実行されないようにしてもよい。
 上述では実施例の特徴を概説した。以下では、図18に示すメモリマップおよび図19-図21に示すフロー図を用いて詳細に説明する。
 図18を参照して、図2に示すRAM46には、プログラム記憶領域302とデータ記憶領域304とが形成される。プログラム記憶領域302は、先に説明したように、フラッシュメモリ44(図2)に予め設定しているプログラムデータの一部または全部を読み出して記憶(展開)しておくための領域である。
 プログラム記憶領域302には、音声を認識するための音声認識プログラム310、音声操作を行うための音声操作プログラム312および近接センサ24によって対象物の近接を検出するための近接検出プログラム314などが記憶される。なお、プログラム記憶領域302には、電話機能およびメール機能などを実行するためのプログラムも含まれる。
 続いて、RAM46のデータ記憶領域304には、タッチバッファ330、近接バッファ332、画面IDバッファ334、入力音声バッファ336および認識結果バッファ338などが設けられると共に、タッチ座標マップ340および画面IDテーブル342などが記憶される。また、データ記憶領域304には、タッチフラグ344、タッチ無効フラグ346および近接フラグ348なども設けられる。
 タッチバッファ330には、タッチパネル制御回路48が出力するタッチ座標のデータが一時的に記憶される。近接バッファ332には、近接センサ24の出力が一時的に記憶される。画面IDバッファ334には、表示されている画面の画面IDが一時的に記憶される。入力音声バッファ336には、ユーザが入力した音声の音声データが一時的に記憶される。認識結果バッファ338には、音声認識処理によって得られた認識結果(文字列)が一時的に記憶される。
 タッチ座標マップ340は、タッチ操作におけるタッチ座標とディスプレイ14の表示座標とを対応付けるためのデータである。つまり、タッチ座標マップ340に基づいて、タッチパネル16に対して行われたタッチ操作の結果が、ディスプレイ14の表示に反映される。画面IDテーブル342は、たとえば図17に示すように機能が画面IDに対応付けて記憶されているテーブルである。
 タッチフラグ344は、タッチパネル16に対してタッチされているか否かを判断するためのフラグである。たとえば、タッチフラグ344は、1ビットのレジスタで構成される。タッチフラグ344がオン(成立)されると、レジスタにはデータ値「1」が設定される。一方、タッチフラグ344がオフ(不成立)されると、レジスタにはデータ値「0」が設定される。なお、タッチフラグ344は、タッチパネル制御回路48が出力する信号に基づいてオン/オフが切り換えられる。
 タッチ無効フラグ346は、タッチパネル16に対するタッチ操作が無効にされているかを示すフラグである。たとえば、タッチ無効フラグ346がオフであればタッチ操作が有効にされており、タッチ無効フラグ346がオンであればタッチ操作が無効にされている。近接フラグ348は近接センサ24によって対象物の近接が検出されているかを示すフラグである。たとえば、近接フラグ348がオンであれば近接センサ24によって対象物の近接が検出されており、近接フラグ348がオフであれば近接センサ24によって対象物の近接は検出されていない。
 なお、データ記憶領域304には、待機状態で表示される画像データや、文字列のデータなどが記憶されると共に、携帯電話機10の動作に必要なカウンタや、フラグも設けられる。
 また、機能を示す単語と機能とを対応付けるテーブル、アドレスデータおよび音声認識用の辞書データはフラッシュメモリ44に記憶されている。
 プロセッサ30は、Android(登録商標)およびREXなどのLinux(登録商標)ベースのOSや、その他のOSの制御下で、図19、図20に示す音声操作処理および図21に示す近接検出処理などを含む複数のタスクを並列的に処理する。
 音声操作処理は、たとえば携帯電話機10の電源がオンにされると実行される。ステップS1でプロセッサ30は、所定画面が表示されたか否かを判断する。つまり、プロセッサ30は、画面IDバッファ334に記憶されている表示されている画面の画面IDを読み出し、画面IDテーブル342においてその画面IDと対応する機能の列に機能が記憶されているかを判断する。ステップS1で“NO”であれば、つまり所定画面が表示されていなければ、ステップS1の処理が繰り返して実行される。
 一方、ステップS1で“YES”であれば、たとえば所定画面として設定されているロック画面が表示されていれば、ステップS3でプロセッサ30は、近接センサ24をオンにする。つまり、所定画面が表示されている状態で対象物の近接を検出するために、近接センサ24の電源がオンにされる。続いて、ステップS5でプロセッサ30は、近接検出処理を実行する。なお、近接検出処理については、図21のフロー図を用いて詳細に説明するため、ここでの説明は省略する。続いて、ステップS7でプロセッサ30は、近接を検出したか否かを判断する。つまり、近接フラグ348がオンであるかが判断される。なお、ステップS7の処理を実行するプロセッサ30は判断部として機能する。
 ステップS7で“NO”であれば、つまり対象物の近接が検出されていなければ、プロセッサ30はステップS5の処理に戻る。また、ステップS7で“YES”であれば、たとえばユーザの顔の近接が検出され近接フラグ348がオンであれば、ステップS9でプロセッサ30は、音声認識アイコンSRを表示する。たとえば、図9に示すように状態表示領域60に音声認識アイコンSRが表示される。続いて、ステップS11でプロセッサ30は、タッチ操作を無効にする。つまり、タッチ無効フラグ346がオンにされる。続いて、ステップS13でプロセッサ30は、音声認識処理を実行する。つまり、音声認識機能が実行された状態となる。なお、ステップS11の処理を実行するプロセッサ30は無効部として機能する。また、ステップS13の処理を実行するプロセッサ30は音声認識部として機能する。
 続いて、ステップS15でプロセッサ30は、有効な音声が入力されたか否かを判断する。たとえば、プロセッサ30は、認識結果バッファ338に記憶される音声認識の認識結果が、数字または機能を示しているかを判断する。ステップS15で“NO”であれば、たとえば音声が入力されていなかったり、入力された音声が有効でなかったりすれば、ステップS17でプロセッサ30は、近接検出処理を実行する。続いて、ステップS19でプロセッサ30は、近接が検出されなくなったか否かを判断する。つまり、近接フラグ348がオフであるかが判断される。
 ステップS19で“YES”であれば、たとえばユーザの顔が検出されなくなり、近接フラグ348がオフに切り替わっていれば、ステップS21でプロセッサ30は、タッチ操作を有効にする。つまり、タッチ無効フラグ346がオフにされる。続いて、ステップS23でプロセッサ30は、音声認識処理を終了する。つまり音声認識機能を終了する。そして、ステップS23の処理が終了すれば、プロセッサ30はステップS1の処理に戻る。
 一方、ステップS19で“NO”であれば、たとえばユーザの顔が検出され続けていれば、プロセッサ30はステップS15の処理に戻る。また、ステップS15で“YES”であれば、たとえば「AAAに発呼」と音声入力されて認識結果バッファ338にこのような認識結果が記憶されていれば、ステップS25でプロセッサ30は、ロック画面か否かを判断する。つまり、画面IDバッファ334に記憶されている画面IDがロック画面の画面IDと一致するかが判断される。
 ステップS25で“NO”であれば、たとえば表示されている画面がアドレス画面であれば、ステップS27でプロセッサ30は、画面IDテーブル342に基づいて機能を特定する。たとえば、電話番号入力画面が表示されている場合、画面IDテーブル342において電話番号入力画面と対応する機能の欄に基づいて電話機能が特定される。そして、ステップS27の処理が終了すれば、プロセッサ30はステップS33の処理に進む。
 一方、ステップS25で“YES”であれば、たとえば表示されている画面がロック画面であれば、ステップS29でプロセッサ30は、認識結果から機能を示す情報を抽出する。たとえば、認識結果バッファ338に「AAAに発呼」と記憶されている場合、「発呼」が機能を示す情報として抽出される。続いて、ステップS31でプロセッサ30は、抽出された情報から機能を特定する。たとえば、「発呼」が抽出されていれば、電話機能が特定される。そして、ステップS31の処理が終了すれば、プロセッサ30はステップS33に進む。
 続いて、ステップS33でプロセッサ30は、認識結果に基づいて特定された機能を実行する。たとえば、電話機能が特定されている場合、認識結果に含まれる文字列が数字であれば、その数字を電話番号として発呼処理を実行する。また、認識結果に含まれる文字列が数字でなければ、その文字列がアドレスデータの名称として登録されているかを検索し、該当するアドレスデータが発見されればそのアドレスデータに含まれる電話番号に基づいて発呼処理が実行される。そして、このように電話機能が実行される場合、ステップS33を実行するプロセッサ30は発呼部として機能する。
 また、認識結果バッファ338に「XX駅までのルート」と記憶されており、地図機能画面が表示されていれば、ステップS25では“NO”と判断される。このとき、ステップS27では、画面IDバッファ334に記憶されている画面IDと画面IDテーブル342とに基づいて「地図機能」が特定される。なお、ステップS27の処理を実行するプロセッサ30は第1特定部として機能する。
 さらに、認識結果バッファ338に「XX駅までのルート」と記憶されており、ロック画面が表示されていれば、ステップS25では“YES”と判断される。このとき、ステップS29では認識結果うち、「ルート」が機能を示す情報として抽出され、ステップS31で「ルート」に基づいて「地図機能」が特定される。なお、ステップS29の処理を実行するプロセッサ30は抽出部として機能し、ステップS31の処理を実行するプロセッサ30は第2特定部として機能する。
 そして、ステップS27またはステップS31で機能が特定されるとステップS33では、認識結果に含まれる「ルート」および「XX駅」に基づいて、地図機能が実行されたうえで現在地から「XX駅」までのルート検索が行われる。その結果、図10(A)に示すような画面がディスプレイ14に表示される。なお、ステップS33では電話機能以外も実行されることから、ステップS33の処理を実行するプロセッサ30は実行部と呼ばれることもある。
 特定された機能がステップS33で実行されると、プロセッサ30は、ステップS35で近接処理を実行し、ステップS37で近接が検出されなくなったか否かを判断する。ステップS37で“NO”であれば、たとえば通話を行うユーザの顔が検出され、近接フラグ348がオンであれば、プロセッサ30はステップS35の処理に戻る。一方、ステップS37で“YES”であれば、たとえば通話が終了してユーザが顔を携帯電話機10から離し、近接フラグ348がオフであれば、ステップS30は、ステップS39でタッチ操作を有効にし、ステップS41で音声認識処理を終了する。そして、ステップS41の処理が終了すれば、プロセッサ30は音声操作処理を終了する。
 なお、所定画面で実行される機能が電話機能だけであれば、機能を特定するステップS27-S31の処理は省略されてもよい。
 図21は近接検出処理のフロー図である。たとえば、図19に示す音声操作処理でステップS5の処理が実行されると、プロセッサ30はステップS61で、近接センサ24の出力を取得する。つまり、近接バッファ332から近接センサ24の値が読み出される。続いて、ステップS63でプロセッサ30は、近接センサ24の値が閾値より大きいか否かを判断する。つまり、近接センサ24によって検出された対象物が携帯電話機10に近接している状態であるかが判断される。ステップS63で“YES”であれば、つまり近接センサ24と対象物との距離が近く、近接センサ24の値が閾値よりも大きければ、ステップS67でプロセッサ30は、近接フラグ348をオンにする。つまり、対象物の近接が検出されている状態と判断される。一方、ステップS63で“NO”であれば、たとえば近接センサ24と対象物との距離が離れており、近接センサ24の値が閾値よりも小さければ、ステップS69でプロセッサ30は、近接フラグ348をオフにする。つまり、対象物の近接が検出されていない状態と判断される。
 そして、近接フラグ348のオン/オフが設定されれば、プロセッサ30は近接検出処理を終了する。
 なお、ロック画面から音声操作によって実行可能な機能には、SMS機能などが含まれていてもよい。
 また、電話機能の発呼には、「skype(登録商標)」および「LINE(登録商標)」などのインターネット電話機能による発呼や、IP電話機能による発呼も含まれる。
 また、上述の実施例では、所定回数などの閾値に対して「より大きい」の言葉を用いたが「閾値より大きい」とは「閾値以上」の意味も含まれる。また、「閾値よりも小さい」とは「閾値以下」および「閾値未満」の意味も含まれる。
 また、本実施例で用いられたプログラムは、データ配信用のサーバのHDDに記憶され、ネットワークを介して携帯電話機10に配信されてもよい。また、CD,DVD,BD(Blue-Ray Disk)などの光学ディスク、USBメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本
実施例と同等の構成の携帯端末にインストールされた場合、本実施例と同等の効果が得られる。
 そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
 第1の態様による発明は、表示部を有する、携帯電話機であって、対象物の近接を検出する検出部、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断部、判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および音声認識部の認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼部を備える、携帯電話機である。
 第1の態様による発明では、携帯電話機(10:実施例において対応する部分を例示する参照符号。以下、同じ。)は、LCDまたは有機ELなどの表示部(14)を有する。検出部(24)は、たとえば赤外線を利用して、ユーザの顔などの対象部の近接を検出する。所定画面が表示されているときに、判断部(30,S7)は対象物の近接が検出されたかを判断する。所定画面が表示されている状態で対象物の近接が検出されると、音声認識部(30,S13)は対象物の近接が検出されている間に入力された音声を認識する。所定画面が表示されている状態で対象物の近接が検出されているときに発呼を指示する認識結果が得られたとき、発呼部(30,S33)はその認識結果に基づいて発呼する。
 第1の態様による発明によれば、ユーザは所定画面が表示部に表示されている状態で顔を近づけて発呼を指示すると発呼することが出来る。
 第2の態様による発明は、第1の態様による発明に従属し、発呼部は、音声認識部の認識結果に数字が含まれるとき、その数字を電話番号として発呼する。
 第2の態様による発明では、たとえば電話番号入力画面が表示されている状態で音声が入力されると、音声認識部は入力された音声を認識する。そして、発呼部は認識結果に数字が含まれている場合、その数字を電話番号として発呼する。
 第3の態様による発明は、第1の態様による発明に従属し、電話番号を含むアドレスデータを記憶する記憶部をさらに備え、発呼部は、音声認識部の認識結果がアドレスデータを示すとき、そのアドレスデータに基づいて発呼する。
 第3の態様による発明では、記憶部(44)はたとえばフラッシュメモリであり、複数のアドレスデータを含むアドレス帳データを記憶する。各アドレスデータには相手の電話番号などが含まれる。所定画面が表示されているときに音声が入力されると、音声認識部は入力された音声を認識する。そして、認識結果が記憶されているアドレスデータを指定しているとき、発呼部はそのアドレスデータに含まれる電話番号に対して発呼する。
 第3の態様による発明によれば、ユーザは、登録済みのアドレスデータを指定する単語または電話番号を音声入力するだけで発呼することが出来る。
 第4の態様による発明は、第1の態様による発明に従属し、所定画面は、電話機能に関連する画面を含む。
 第4の態様による発明では、電話機能に関連する画面には、たとえば電話番号入力画面や、上述のアドレス帳データを表示するアドレス画面などが含まれる。
 第4の態様による発明によれば、電話機能に関連する画面が表示されていれば、ユーザは容易に発呼することが出来る。
 第5の態様による発明は、第1の態様による発明に従属し、所定画面は、ロック画面を含む。
 第5の態様による発明では、ロック画面が表示されているときに音声が入力されると、音声認識部はその音声を認識する。このとき、記憶されているアドレスデータが指定された場合、発呼部はそのアドレスデータに基づいて発呼する。
 第5の態様による発明によれば、ユーザはロック状態を解除することなく発呼することが出来る。
 第6の態様による発明は、第1の態様による発明に従属し、表示部に設けられるタッチパネル、および判断部によって対象物の近接を検出したと判断されたとき、タッチパネルに基づく操作を無効にする無効部をさらに備える。
 第6の態様による発明では、タッチパネル(16)はポインティングデバイスとも呼ばれ、表示部の上に設けられる。タッチパネルの周囲に検出部は設けられる。そのため、対象物の近接が検出されたとき、無効部(30,S11)は、タッチパネルに基づく操作を無効化する。
 第6の態様による発明によれば、顔などがタッチパネルに近接することによって生じる誤操作が発生しないようにすることができる。
 第7の態様による発明は、表示部(14)および対象物の近接を検出する検出部(24)を有する、携帯電話機(10)における音声操作方法であって、携帯電話機のプロセッサ(30)が、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断ステップ(S7)、判断ステップによって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識ステップ(S13)、および音声認識ステップの認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼ステップ(S33)、を実行する、音声操作方法である。
 第7の態様による発明でも、第1の態様による発明と同様、ユーザは所定画面が表示部に表示されている状態で顔を近づけて発呼を指示すると発呼することが出来る。
 第8の態様による発明は、表示部を有する、携帯端末であって、対象物の近接を検出する検出部、表示部に所定画面が表示されているときに検出部が対象物の近接を検出したかを判断する判断部、判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および音声認識部の認識結果が有効な場合には、当該認識結果に基づき機能を実行する実行部を備える、携帯端末である。
 第8の態様による発明では、表示部(14)を有する携帯端末(10)は、第1の発明と同様、検出部(24)、判断部(30,S7)および音声認識部(30,S13)を備える。そして、携帯端末の実行部(30,S33)は、所定画面が表示されている状態で対象物の近接が検出されているときに有効な認識結果が得られると、その認識結果に基づいて機能を実行する。
 第8の態様による発明によれば、ユーザは音声操作を適切に利用することが出来る。
 第9の態様による発明は、第8の態様による発明に従属し、所定画面に対応する機能を示す機能情報を記憶する記憶部、および記憶部によって記憶された機能情報に基づいて機能を特定する第1特定部をさらに備え、実行部は、音声認識部の認識結果に基づいて第1特定部によって特定された機能を実行する。
 第9の態様による発明では、所定画面には機能情報が対応付けられており、このことが記憶部(46)に記憶されている。第1特定部(30,S27)は、機能情報にもとづいて、所定画面と対応する機能を特定する。たとえば、特定された機能が地図機能であり、認識結果がルート検索を指示する内容であれば、実行部は、ルート検索を行うように地図機能を実行する。
 第9の態様による発明によれば、任意の機能が実行されている状態であっても、ユーザは音声操作によってその機能を操作することが出来る。
 第10の態様による発明は、第8の態様による発明に従属し、所定画面は、ロック画面を含み、ロック画面が表示されているときに対象物の近接が検出されているとき、音声認識部の認識結果から機能を示す情報を抽出する抽出部、および抽出部によって抽出された情報に基づいて機能を特定する第2特定部をさらに備え、実行部は、音声認識部の認識結果に基づいて第2特定部によって特定された機能を実行する。
 第10の態様による発明では、ロック画面が表示されているときに音声が入力されると、音声認識部は入力された音声を認識する。抽出部(30,S29)は、このようにして得られた認識結果から機能を示す情報(「ルート」など)を抽出する。第2特定部(30,S31)は、抽出された情報に基づいて実行する機能を特定する。たとえば、地図機能が特定され、ルート検索が指示されている場合、実行部はルート検索を行うように地図機能を実行する。
 第10の態様による発明によれば、ユーザはロック画面の解除操作を行うことなく、任意の機能を音声操作によって実行することが出来る。
 10 携帯電話機、14 ディスプレイ、16 タッチパネル、24 近接センサ、30 プロセッサ、40 入力装置、44 フラッシュメモリ、46 RAM。

Claims (10)

  1.  表示部を有する、携帯電話機であって、
     対象物の近接を検出する検出部、
     前記表示部に所定画面が表示されているときに前記検出部が対象物の近接を検出したかを判断する判断部、
     前記判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および
     前記音声認識部の認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼部を備える、携帯電話機。
  2.  前記発呼部は、前記音声認識部の認識結果に数字が含まれるとき、その数字を電話番号として発呼する、請求項1記載の携帯電話機。
  3.  電話番号を含むアドレスデータを記憶する記憶部をさらに備え、
     前記発呼部は、前記音声認識部の認識結果がアドレスデータを示すとき、そのアドレスデータに基づいて発呼する、請求項1に記載の携帯電話機。
  4.  前記所定画面は、電話機能に関連する画面を含む、請求項1に記載の携帯電話機。
  5.  前記所定画面は、ロック画面を含む、請求項1に記載の携帯電話機。
  6.  前記表示部に設けられるタッチパネル、および
     前記判断部によって対象物の近接を検出したと判断されたとき、前記タッチパネルに基づく操作を無効にする無効部をさらに備える、請求項1に記載の携帯電話機。
  7.  表示部および対象物の近接を検出する検出部を有する、携帯電話機における音声操作方法であって、前記携帯電話機のプロセッサが、
     前記表示部に所定画面が表示されているときに前記検出部が対象物の近接を検出したかを判断する判断ステップ、
     前記判断ステップによって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識ステップ、および
     前記音声認識ステップの認識結果によって発呼が指示された場合には、当該認識結果に基づき発呼する発呼ステップを実行する、音声操作方法。
  8.  表示部を有する、携帯端末であって、
     対象物の近接を検出する検出部、
     前記表示部に所定画面が表示されているときに前記検出部が対象物の近接を検出したかを判断する判断部、
     前記判断部によって対象物の近接を検出したと判断されたとき、対象物の近接が検出されている間に入力された音声を認識する音声認識部、および
     前記音声認識部の認識結果が有効な場合には、当該認識結果に基づき機能を実行する実行部を備える、携帯端末。
  9.  前記所定画面に対応する機能を示す機能情報を記憶する記憶部、および
     前記記憶部によって記憶された機能情報に基づいて機能を特定する第1特定部をさらに備え、
     前記実行部は、前記音声認識部の認識結果に基づいて前記第1特定部によって特定された機能を実行する、請求項8記載の携帯端末。
  10.  前記所定画面は、ロック画面を含み、
     前記ロック画面が表示されているときに対象物の近接が検出されているとき、前記音声認識部の認識結果から機能を示す情報を抽出する抽出部、および
     前記抽出部によって抽出された情報に基づいて機能を特定する第2特定部をさらに備え、
     前記実行部は、前記音声認識部の認識結果に基づいて前記第2特定部によって特定された機能を実行する、請求項8に記載の携帯端末。
PCT/JP2014/066983 2013-06-26 2014-06-26 携帯電話機、携帯端末および音声操作方法 WO2014208665A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/983,297 US20160112554A1 (en) 2013-06-26 2015-12-29 Mobile phone, mobile terminal, and voice operation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-133646 2013-06-26
JP2013133646A JP2015012301A (ja) 2013-06-26 2013-06-26 携帯電話機、携帯端末、音声操作プログラムおよび音声操作方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/983,297 Continuation US20160112554A1 (en) 2013-06-26 2015-12-29 Mobile phone, mobile terminal, and voice operation method

Publications (1)

Publication Number Publication Date
WO2014208665A1 true WO2014208665A1 (ja) 2014-12-31

Family

ID=52141991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/066983 WO2014208665A1 (ja) 2013-06-26 2014-06-26 携帯電話機、携帯端末および音声操作方法

Country Status (3)

Country Link
US (1) US20160112554A1 (ja)
JP (1) JP2015012301A (ja)
WO (1) WO2014208665A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016114403A1 (ja) * 2015-01-16 2016-07-21 株式会社Nttドコモ 通信端末装置、発呼制御方法、及びプログラム
WO2017077866A1 (ja) * 2015-11-05 2017-05-11 コニカミノルタ株式会社 通信システム

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10791216B2 (en) 2013-08-06 2020-09-29 Apple Inc. Auto-activating smart responses based on activities from remote devices
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10097973B2 (en) 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP6727036B2 (ja) * 2016-06-01 2020-07-22 キヤノン株式会社 電子機器、その制御方法、プログラム及び記録媒体
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
WO2018079379A1 (ja) * 2016-10-27 2018-05-03 株式会社Nttドコモ 通信端末装置、プログラム及び情報処理方法
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
JP7339310B2 (ja) * 2017-06-13 2023-09-05 グーグル エルエルシー 登録されていないリソースによるオーディオベースのネットワークセッションの確立
KR102419597B1 (ko) 2017-09-29 2022-07-11 삼성전자주식회사 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10698582B2 (en) 2018-06-28 2020-06-30 International Business Machines Corporation Controlling voice input based on proximity of persons
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN117351956A (zh) * 2023-12-05 2024-01-05 广州一链通互联网科技有限公司 货运轨迹生成及查询方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63163498A (ja) * 1986-12-26 1988-07-06 株式会社日立製作所 音声ダイヤル装置
JP2003501959A (ja) * 1999-06-07 2003-01-14 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 音声制御による動作を制御するための装置および方法
JP2012095070A (ja) * 2010-10-27 2012-05-17 Kyocera Corp 携帯電話機およびその制御プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3885683T2 (de) * 1987-09-11 1994-03-10 Toshiba Audio Video Eng Telefonapparat.
JP2978916B1 (ja) * 1998-10-09 1999-11-15 埼玉日本電気株式会社 携帯電話端末
TW201113741A (en) * 2009-10-01 2011-04-16 Htc Corp Lock-state switching method, electronic apparatus and computer program product
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US20130055169A1 (en) * 2011-08-25 2013-02-28 Samsung Electronics Co. Ltd. Apparatus and method for unlocking a touch screen device
US9596084B2 (en) * 2011-09-09 2017-03-14 Facebook, Inc. Initializing camera subsystem for face detection based on sensor inputs
JP2013093698A (ja) * 2011-10-25 2013-05-16 Kyocera Corp 携帯端末、ロック制御プログラムおよびロック制御方法
US20130215250A1 (en) * 2012-02-16 2013-08-22 Research In Motion Limited Portable electronic device and method
KR101995428B1 (ko) * 2012-11-20 2019-07-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9723118B2 (en) * 2012-12-06 2017-08-01 Blackberry Limited Method of identifying contacts for initiating a communication using speech recognition
KR102075117B1 (ko) * 2013-04-22 2020-02-07 삼성전자주식회사 사용자 기기 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63163498A (ja) * 1986-12-26 1988-07-06 株式会社日立製作所 音声ダイヤル装置
JP2003501959A (ja) * 1999-06-07 2003-01-14 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 音声制御による動作を制御するための装置および方法
JP2012095070A (ja) * 2010-10-27 2012-05-17 Kyocera Corp 携帯電話機およびその制御プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016114403A1 (ja) * 2015-01-16 2016-07-21 株式会社Nttドコモ 通信端末装置、発呼制御方法、及びプログラム
JPWO2016114403A1 (ja) * 2015-01-16 2017-07-06 株式会社Nttドコモ 通信端末装置、発呼制御方法、及びプログラム
US10250759B2 (en) 2015-01-16 2019-04-02 Ntt Docomo, Inc. Communication terminal device, outgoing call control method, and program
WO2017077866A1 (ja) * 2015-11-05 2017-05-11 コニカミノルタ株式会社 通信システム
JPWO2017077866A1 (ja) * 2015-11-05 2017-11-02 コニカミノルタ株式会社 通信システム
JP2018152876A (ja) * 2015-11-05 2018-09-27 コニカミノルタ株式会社 通信システム

Also Published As

Publication number Publication date
US20160112554A1 (en) 2016-04-21
JP2015012301A (ja) 2015-01-19

Similar Documents

Publication Publication Date Title
WO2014208665A1 (ja) 携帯電話機、携帯端末および音声操作方法
JP5922522B2 (ja) 携帯端末
US10481773B2 (en) Mobile terminal, memory, and folder control method
JP5739303B2 (ja) 携帯端末、ロック制御プログラムおよびロック制御方法
JP5883745B2 (ja) 携帯端末、カーソル位置制御プログラムおよびカーソル位置制御方法
JP6494926B2 (ja) 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
WO2013061783A1 (ja) 携帯端末およびロック制御方法
US9703418B2 (en) Mobile terminal and display control method
US10261686B2 (en) Mobile terminal and control method thereof
US10152224B2 (en) Mobile terminal, non-transitory computer readable storage medium, and method for setting invalid area
KR20080068491A (ko) 터치 방식 정보 입력 단말기 및 그 방법
US9952760B2 (en) Mobile terminal, non-transitory computer readable storage medium, and combination control method
JP2013125286A (ja) 携帯端末、編集制御プログラムおよび編集制御方法
JP5814823B2 (ja) 携帯端末、特定モード設定プログラムおよび特定モード設定方法
KR101218820B1 (ko) 터치 방식 정보 입력 단말기 및 그 방법
JP2012231244A (ja) 携帯端末、ロック解除プログラムおよびロック解除方法
JP6139138B2 (ja) 携帯通信端末、送信制御プログラムおよび送信制御方法
JP2015144492A (ja) 携帯端末、ロック制御プログラムおよびロック制御方法
CN107491251B (zh) 移动终端及指纹控制方法
JP2013041348A (ja) 携帯端末、補助情報表示プログラムおよび補助情報表示方法
JP6422553B2 (ja) 携帯端末、フォルダ制御プログラムおよびフォルダ制御方法
JP6228948B2 (ja) 携帯端末、フォルダ制御プログラムおよびフォルダ制御方法
JP2016036144A (ja) 携帯端末、特定モード設定プログラムおよび特定モード設定方法
KR20130140361A (ko) 터치스크린을 구비하는 단말에서 데이터 입력 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14817094

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14817094

Country of ref document: EP

Kind code of ref document: A1