WO2012137382A1 - 無線通信端末及び操作システム - Google Patents

無線通信端末及び操作システム Download PDF

Info

Publication number
WO2012137382A1
WO2012137382A1 PCT/JP2011/076183 JP2011076183W WO2012137382A1 WO 2012137382 A1 WO2012137382 A1 WO 2012137382A1 JP 2011076183 W JP2011076183 W JP 2011076183W WO 2012137382 A1 WO2012137382 A1 WO 2012137382A1
Authority
WO
WIPO (PCT)
Prior art keywords
server
communication
voice
application
facility
Prior art date
Application number
PCT/JP2011/076183
Other languages
English (en)
French (fr)
Inventor
本間　健
則男 度曾
正嶋　博
杉山　誠
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP11863054.0A priority Critical patent/EP2696560B1/en
Priority to US14/110,394 priority patent/US9094956B2/en
Priority to CN201180069837.6A priority patent/CN103460677B/zh
Publication of WO2012137382A1 publication Critical patent/WO2012137382A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/20—Manipulation of established connections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/15—Information service where the information is dependent on the location of the subscriber

Definitions

  • the present invention relates to a wireless communication terminal and an operation system for operating an application.
  • a wireless communication terminal such as a mobile phone
  • when communication is interrupted by entering a tunnel or the like during a call when it moves to an environment where communication is possible after that, it automatically transmits to the other communication partner and the communication is interrupted
  • a terminal that does not make a call when communication is not possible for a predetermined period of time (see, for example, Patent Document 1).
  • the present invention has been made in view of the above-described circumstances, and provides a wireless communication terminal and an operation system that determine, depending on the application, whether or not to continue the operation of the application before the communication interruption after the communication is restored. Objective.
  • the present invention transmits an operation content for operating an application and an operation content input from the input device to a server.
  • Communication means for receiving a server processing result, and communication between the server and the server after the operation content is input from the input means until the server processing result corresponding to the operation content is received from the server
  • a control means for determining whether or not to continue the operation according to the operation content input before the interruption of communication after the communication with the server is returned according to the operation target application according to the operation content. It is characterized by that.
  • the search may be performed using the position after communication return as the current position.
  • the operation content may be voice.
  • the predetermined process may be a voice recognition process for recognizing the voice.
  • the present invention transmits a server for executing a predetermined process and an operation content for operating an application to the server, receives a server process result as a result of the predetermined process by the server, and responds to the operation
  • the wireless communication terminal receives a server processing result corresponding to the operation content after the operation content is input until the operation content is received from the server.
  • the server when the communication with the wireless communication terminal is interrupted before the transmission of the server processing result to the wireless communication terminal is completed, the server is configured to return the communication based on the server processing result. It may be determined whether or not the operation content continues to operate the application, and the server processing result corresponding to the operation content may be retained or deleted according to the determination result.
  • the operation content may be voice.
  • the predetermined process may be a voice recognition process for recognizing the voice.
  • the predetermined process may be a database search for searching data corresponding to the operation content from a database.
  • This specification includes all the contents of Japanese Patent Application No. 2011-85359 filed on Apr. 7, 2011.
  • the present invention it is possible to determine whether or not to continue the operation according to the operation content input before the communication interruption after returning to the communication with the server, according to the operation target application according to the operation content.
  • FIG. 1 is a block diagram showing a functional configuration of a voice operation system according to an embodiment of the present invention.
  • 2 is a diagram showing a voice information management table
  • FIG. 2A is a diagram showing a voice information management table of the navigation device
  • FIG. 2B is a diagram showing a voice information management table of the server.
  • FIG. 3 is a flowchart showing the operation of the facility search operation application when voice recognition is performed a plurality of times on the server.
  • FIG. 4 is a diagram illustrating a continuation determination table
  • FIG. 2A is a diagram illustrating a table including continuation conditions
  • FIG. 2B illustrates a table including processing after continuation of the facility search operation application.
  • FIG. FIG. 5 is a flowchart showing communication return processing.
  • FIG. 5 is a flowchart showing communication return processing.
  • FIG. 6 is a diagram showing a facility search screen before communication interruption.
  • FIG. 7 is a diagram showing a facility search screen after communication is cut off.
  • FIG. 8 is a diagram showing a facility search screen after communication is cut off.
  • FIG. 9 is a flowchart showing the information holding / deleting confirmation process.
  • FIG. 10 is a flowchart showing recognition result acquisition confirmation processing.
  • FIG. 11 is a flowchart showing the operation of the facility search operation application when performing a facility search as well as voice recognition on the server.
  • FIG. 1 is a block diagram showing a functional configuration of the voice operation system according to the present embodiment.
  • the voice operation system 1 includes a server 10 and a navigation device 20 mounted on the automobile 2.
  • the server 10 and the navigation device 20 can communicate with each other via a network 3 such as the Internet.
  • the server 10 includes a server communication unit 11, a voice recognition unit 12, a server storage unit 13, and a server control unit 14.
  • the server communication unit 11 receives audio data from the navigation device 20 under the control of the server control unit 14 and outputs the audio data to the server control unit 14.
  • the voice recognition unit 12 performs voice recognition processing (predetermined processing) on the voice data received by the server communication unit 11 under the control of the server control unit 14, and sends the recognition result (server processing result) to the server control unit 14.
  • Output The server storage unit 13 stores voice data received from the navigation device 20 and a recognition result output from the voice recognition unit 12 under the control of the server control unit 14.
  • the server communication unit 11 transmits the recognition result to the navigation device 20 under the control of the server control unit 14.
  • the navigation device 20 includes a position detection unit 21, a vehicle speed detection unit 22, a control unit (control unit) 23, a display unit 24, an operation unit (input unit) 25, a storage unit 26, and a voice input unit (input). Means) 27, a communication unit (communication means) 28, an audio reproduction unit 29, and a speaker 30.
  • the position detector 21 detects the absolute position (longitude, latitude) of the current position using, for example, GPS (Global Positioning System), and detects the relative orientation of the current position using a gyro sensor or the like.
  • the vehicle speed detection unit 22 processes vehicle speed pulses obtained from the automobile 2 and outputs the speed of the automobile 2 to the control unit 23.
  • the control unit 23 executes various processes such as control of each part of the navigation device 20, processing for the navigation function, and processing for the music reproduction function, and includes, for example, a CPU, a ROM, a RAM, and the like. Yes. Under the control unit 23, the display unit 24 displays various information such as an operation screen of the navigation device 20, a navigation screen showing a map for navigation, a current position, a route, and a music playback screen for music playback. For example, a display device such as an LCD (Liquid Crystal Display) or an EL (Electro Luminescent) display is provided.
  • LCD Liquid Crystal Display
  • EL Electro Luminescent
  • the operation unit 25 receives an instruction operation of a user such as a driver, and includes a plurality of operators arranged in the navigation device 20 and a touch panel (not shown) provided in a display device provided in the display unit 24. .
  • the operation unit 25 may be configured such that the navigation device 20 can be remotely operated by a remote controller or the like.
  • the storage unit 26 is, for example, a storage device such as a CD-ROM drive, a DVD-ROM drive, a hard disk drive, an SD card, or an SSD (Solid State Drive).
  • Various data such as facility data including the location of the facility, guide voice data such as route guidance, and music data reproduced during music reproduction are stored.
  • the voice input unit 27 includes, for example, a microphone that receives the user's voice, and outputs the user's voice data to the control unit 23.
  • a talk switch also referred to as an utterance button
  • voice input to the control unit 23 is permitted.
  • the communication unit 28 communicates with the server 10 via the network 3 under the control of the control unit 23, transmits voice data to the server 10, and receives a voice data recognition result from the server 10.
  • the audio reproduction unit 29 performs various processes necessary for reproduction such as a decoding process on the guide audio data and the music data to generate a digital audio signal, converts the generated digital signal into a digital analog signal, amplifies it with an amplifier, and a speaker 30. To output sound.
  • the control unit 23 assigns a voice ID to the voice data input from the voice input unit 27, and assigns the voice ID together with the voice data to the server 10.
  • the speech recognition unit 12 performs speech recognition processing on the input speech data, and transmits the recognition result and the speech ID thereof to the navigation device 20. Therefore, the voice data and the recognition result thereof are managed by the voice ID common to the navigation device 20 and the server 10.
  • Voice information management tables 31 and 32 (see FIG. 2) for managing voice data are stored in the storage unit 26 of the navigation device 20 and the server storage unit 13 of the server 10, respectively.
  • FIG. 2 is a diagram showing the voice information management tables 31 and 32
  • FIG. 2A is a diagram showing the voice information management table 31 of the navigation device 20
  • FIG. 2B is a voice information management table of the server 10.
  • the voice information management table 31 of the navigation device 20 includes a voice ID, voice data (voice file) input from the voice input unit 27, and voice data received from the server 10. The recognition results are listed and stored.
  • the voice information management table 32 of the server 10 recognizes the voice ID and voice data (voice file) received from the navigation device 20 and the voice data input from the voice recognition unit 12. The results are listed and stored.
  • the navigation device 20 has not acquired the recognition result for the audio data of the audio IDs 4 and 5.
  • the control unit 23 causes the navigation device 20 to operate in the music playback mode or the navigation mode.
  • the control unit 23 displays various screens for music playback operation, and plays back the music data in the storage unit 26 according to a user instruction.
  • the control unit 23 uses the position detection unit 21 to identify the current location and the traveling direction of the vehicle, and causes the display unit 24 to display a map around the current location.
  • the optimum route to the destination is calculated and displayed on the map to guide the route to the destination.
  • the navigation device 20 for example, a music search operation application for searching for music in the music playback mode and a peripheral facility or searching for a facility as a destination in the navigation mode as applications operated by voice.
  • Communication between the server 10 and the navigation device 20 according to the present embodiment is not limited to the case where the communication ends for one operation, but multiple communication occurs for one operation. It is also envisaged. A specific communication flow will be described by taking the operation of the facility search operation application as an example.
  • FIG. 3 is a flowchart showing the operation of the facility search operation application when voice recognition is performed a plurality of times in the server 10 until the facility name is determined.
  • the control unit 23 reproduces the guide voice or displays the screen, and prompts the user to speak (step S301).
  • the control unit 23 transmits the captured voice data to the server 10 (step S303).
  • the server control unit 14 performs voice recognition on the voice data and converts it into a character string (step S 402).
  • the vocabulary for speech recognition is limited to the facility name.
  • a recognition error may occur in voice recognition, in this embodiment, a plurality of facility name candidates are obtained as recognition results, and the user is allowed to select from the candidates.
  • the server control unit 14 transmits a list of facility name candidates as recognition results to the navigation device 20 (step S403).
  • the control unit 23 displays the facility name candidate list on the screen (step S305), reproduces the guide voice, and notifies the user of the facility name.
  • the user is prompted to select a desired facility name from the list of candidate names (step S306). This selection is also performed by voice recognition, but may be performed manually by using a touch panel or the like. Also, a means for displaying a cancel button or the like on the screen and allowing the user to correct it may be prepared.
  • the control unit 23 transmits the captured voice data to the server 10 (step S308).
  • the server control unit 14 executes voice recognition on the voice data (step S405).
  • the vocabulary that is the target of speech recognition is limited to the facility candidate list transmitted in step S403.
  • the numbers of the facility name list and correction words may be recognized.
  • the server control unit 14 transmits the facility name obtained as a recognition result to the navigation device 20 (step S406).
  • the control unit 23 when the facility name is received (step S309), the control unit 23 outputs voice (step S310), screen output (step S311), and route search (step S311) so as to set the facility name as the destination. S312) is executed.
  • the server 10 performs voice recognition twice, and communication occurs twice. In the present embodiment, communication can be resumed while maintaining high usability even when communication is interrupted in the middle of application operations involving these series of communications.
  • control unit 23 When the communication with the server 10 is interrupted until the operation of the application is completed, the control unit 23 continues the operation before the communication disconnection after the communication with the server 10 is restored according to the operation target application. A communication return process is performed to determine whether or not. In the communication return process, the control unit 23 refers to a continuation determination table TB (see FIG. 4) that stores for each application whether or not to continue after the communication return.
  • the continuation determination table TB is stored in the storage unit 26.
  • FIG. 4 is a diagram showing a continuation determination table TB
  • FIG. 4A is a diagram showing a table TB1 including continuation conditions
  • FIG. 4B is a table TB2 including processing after continuation of the facility search operation application.
  • FIG. In the device operation application the control unit 23 determines whether or not the communication interruption time is less than a predetermined time. When the communication interruption time is less than the predetermined time, the control unit 23 continues the operation of the device operation application before the communication interruption. On the other hand, when the communication interruption time is equal to or longer than the predetermined time, the control unit 23 stops the operation of the device operation application. In the music search operation application, the control unit 23 determines whether or not the communication interruption time is less than a predetermined time.
  • the control unit 23 When the communication interruption time is less than the predetermined time, the control unit 23 continues the operation of the music search operation application before the communication interruption. On the other hand, when the communication interruption time is equal to or longer than the predetermined time, the control unit 23 stops the operation of the music search operation application.
  • control unit 23 continues the operation of the facility search operation application regardless of the communication interruption time. Further, the control unit 23 functions as a search word classification unit that classifies search words from the recognition result received from the server 10. More specifically, when the search term represents a genre of a facility such as a ramen shop or a convenience store, the control unit 23 includes words that are intended to be nearby, such as “close to” or “along the route”. If it is included, and / or if the number of facility hits is large (a predetermined number or more), the search is classified as a nearby facility search.
  • search word classification unit that classifies search words from the recognition result received from the server 10. More specifically, when the search term represents a genre of a facility such as a ramen shop or a convenience store, the control unit 23 includes words that are intended to be nearby, such as “close to” or “along the route”. If it is included, and / or if the number of facility hits is large (a predetermined number or more), the search is classified as a nearby facility search.
  • the search term represents a facility (for example, a court or a government office) installed in an administrative division such as a country, a prefecture, a state, a municipality, etc.
  • the search is performed by area limited facility search. Classify as being.
  • the control unit 23 classifies the search as a specific facility search when the number of facility hits is small (less than a predetermined number) and / or when the number of facility hits is concentrated in a specific area.
  • the facility search classification method is not limited to the above method.
  • a menu screen that can be operated by the user is prepared, and items such as “search by facility name”, “search by nearby facility”, and “search by genre name” are prepared in this menu screen. Keep it.
  • “Search by facility name” and searches it is classified as a specific facility search
  • “Search by surrounding facility” and searches it is classified as a nearby facility search. It may be a method.
  • “Search by genre name” and then searches by specifying a genre such as a court or a government office it may be classified as an area limited facility search.
  • the control unit 23 determines whether or not the moving distance after the communication is cut off is longer than a predetermined distance. When the moving distance is longer than the predetermined distance, the control unit 23 searches again for the facility at the current position after the communication is restored. When the movement distance is equal to or less than the predetermined distance, the control unit 23 continues the operation of the device operation application before the communication is cut off.
  • the control unit 23 determines whether or not the administrative division of the current position has changed since the communication was interrupted. When the administrative division of the current position changes, the control unit 23 searches again for the facility with the administrative division of the current position after the communication is restored. When the administrative division of the current position is the same, the control unit 23 continues the operation of the device operation application before the communication is cut off. In the case of a specific facility search, the control unit 23 continues the operation of the device operation application before the communication interruption regardless of the current position.
  • FIG. 5 is a flowchart showing communication return processing.
  • the communication return process is executed by the control unit 23 when communication with the server 10 is interrupted.
  • the control unit 23 determines whether or not communication with the server 10 has been restored (step S1).
  • step S1: No the control unit 23 waits for a predetermined time (step S2), and the process proceeds to step S1.
  • step S3 the control unit 23 reads processing information before the communication is cut off (step S3).
  • the processing information is the type of application, the voice data, and the recognition result that were the operation target before the communication interruption.
  • control unit 23 refers to the continuation determination table TB and determines whether or not a condition for continuing the operation of the application is satisfied (step S4).
  • the control unit 23 determines whether the application is a device operation application and the communication interruption time is less than a predetermined time, or whether the application is a music search operation application and the communication interruption time is less than the predetermined time. Or whether the application is a facility search operation application.
  • the control unit 23 stops the operation of the application and discards the processing information before the communication is restored (step S5), and ends the processing.
  • step S6 determines whether there is a necessary process after the communication is restored.
  • the case where there is a necessary process after the return of communication is the case where the search classification in the facility search operation application is a nearby facility search and the moving distance is longer than a predetermined distance, or the search classification is limited to the region This is a case where the administrative division of the current position has changed in the facility search.
  • step S7 When there is a necessary process after the communication is restored (step S6: Yes), the control unit 23 executes a necessary process after the communication is restored (step S7).
  • the control unit 23 when a nearby facility search is performed and the movement distance during communication interruption is longer than a predetermined distance, the control unit 23 re-searches the facility by the administrative division of the current position after the communication is restored. If the administrative division at the current position changes during the communication cut-off in the area limited facility search, the control unit 23 searches the facility again by the administrative division at the current position after the communication is restored.
  • step S8 the control unit 23 changes the current state of the application operation to the state before the communication is interrupted (step S8), and ends the process.
  • the communication return process it is possible to determine whether or not to continue the operation input before the communication interruption after the communication return with the server 10 according to the operation target application.
  • the facility search operation application for example, when the user inputs a voice “convenience store”, the control unit 23 transmits the input voice data to the server 10, and the recognition result “convenience store” subjected to voice recognition processing by the server 10. Receive.
  • the control unit 23 searches the convenience store, classifies the “convenience store” as a nearby facility search, and outputs and / or displays a voice message such as “There are XX convenience stores nearby”.
  • An example of the facility search screen 40A displayed on the display unit 24 at this time is shown in FIG.
  • FIG. 6 is a diagram showing a facility search screen 40A before the communication is cut off.
  • the facility search screen 40A is divided into, for example, two parts, and includes a facility list area 50 that shows the searched facilities as a list, and a facility illustration area 60 that shows the searched facilities.
  • facility names 51 indicating the names of the searched facilities are displayed in order from the current position. Numbers may be assigned to the facility names 51 in order from the current position.
  • a map 61 is displayed in the facility illustration area 60. On this map 61, the current position 62 of the automobile 2 (FIG. 1), an icon 63 indicating the position of the searched facility, and a scale 64 indicating the scale of the map 61. Is displayed. When numbers are assigned to the facility names 51 in order from the current position 62, a number that matches the number of the facility name 51 may be attached to the icon 63.
  • the control unit 23 when the automobile 2 enters the tunnel and the communication is cut off, the control unit 23 outputs and / or displays a voice message such as “Currently communication cannot be made through the tunnel, so the server is connected after passing through the tunnel”. .
  • the control unit 23 When the vehicle 2 exits the tunnel and the communication is restored, the control unit 23 outputs a voice and / or display such as “Search the convenience store again because the current location has moved”, and the current position at the time when the communication is restored.
  • the convenience store information is searched again, and voice output and / or display such as “There are XX convenience stores in the vicinity.”
  • voice output and / or display such as “There are XX convenience stores in the vicinity.”
  • a facility that is prioritized to be close such as a convenience store
  • FIGS. 1-10 An example of the facility search screen 40B at this time is shown in FIGS.
  • FIG. 7 is a diagram showing the facility search screen 40B after the communication is cut off.
  • the facility search screen 40B is configured in the same manner as the facility search screen 40A shown in FIG. 6, but the facility search screen 40B includes a search result icon 63A before communication interruption and a search result icon 63B after communication return. , Displayed in different display forms (for example, color, shape). Thereby, visibility can be improved. Note that the numbers of the icons 63 are assigned in order from the current position 62 after the communication is restored.
  • FIG. 8 is a diagram showing a modification of FIG.
  • the facility search screen 40C is also configured in the same manner as the facility search screen 40A shown in FIG. 6, but in the facility search screen 40C, there are a search result icon 63A before communication interruption and a search result icon 63B after communication return. If there are many search results, or the number of search results is large, the scale of the map 61 is automatically changed so that a predetermined number of icons 63A and 63B can be displayed. Thereby, visibility can be improved.
  • the facility search screen 40C is configured to display the facility names 51 that cannot be displayed in the facility list area 50 on different pages when there are many search results and all the facility names 51 cannot be displayed in the facility list area 50. In this case, the facility search screen 40C displays a button 52 that is operated to send the page to the next page.
  • the control unit 23 transmits the input voice data to the server 10 and the recognition performed by the server 10 by the voice recognition process.
  • the result “ABC amusement park” is received.
  • the control unit 23 searches the information on the ABC amusement park, classifies that “ABC amusement park” is a specific facility search, and outputs voice output and / or “ABC amusement park candidates are XX”. indicate.
  • the control unit 23 outputs and / or displays a voice message such as “Since communication is not possible in the current tunnel, a connection is made to the server after passing through the tunnel”.
  • the control unit 23 continues the operation of the facility search operation application. For example, the control unit 23 outputs and / or displays a sound such as “Do you want to set the destination?”.
  • the server control unit 14 determines whether to hold or delete the processing information after the communication is restored, that is, the type of the application that was the operation target before the communication is cut off, the voice data, and the recognition result thereof. Execute. Further, the control unit 23 of the navigation device 20 checks whether or not there is voice data that has not been acquired as a recognition result after the communication is restored, and performs a recognition result acquisition confirmation process that re-acquires the recognition result if the recognition result has not been acquired. Execute.
  • FIG. 9 is a flowchart showing the information holding / deleting confirmation process.
  • the information holding / deleting confirmation process is executed by the server control unit 14 when communication with the navigation device 20 is interrupted before the transmission of the voice data recognition result to the navigation device 20 is completed.
  • the server storage unit 13 stores at least a table TB1 shown in FIG.
  • the server control unit 14 determines whether or not communication with the navigation device 20 has been restored (step S11). If communication has not been restored (step S11: No), the server control unit 14 waits for a predetermined time (step S12), and the process proceeds to step S11. When the communication is restored (step S11: Yes), the server control unit 14 reads processing information before the communication is cut off (step S13).
  • the processing information is the type of application, the voice data, and the recognition result that were the operation target before the communication interruption.
  • the type of application that was the operation target before the communication interruption is transmitted from the navigation device 20 together with the voice data, and stored in the server storage unit 13.
  • the server control unit 14 refers to the table TB1 to determine whether or not the condition for continuing the operation of the application is satisfied. It is determined whether or not the sound data is to be operated (step S14). In the present embodiment, the server control unit 14 determines in the same manner as in step S4 shown in FIG. When the condition for continuing the operation of the application is not satisfied (step S14: No), the server control unit 14 deletes the processing information before the communication return (step S15) and ends the processing. If the condition for continuing the operation of the application is satisfied (step S14: Yes), the server control unit 14 holds the processing information before the communication return in the server storage unit 13 (step S16), and ends the processing. The stored processing information is deleted by the server control unit 14 after receiving information indicating that the acquisition of the recognition result for the voice data has been completed from the navigation device 20.
  • FIG. 10 is a flowchart showing recognition result acquisition confirmation processing.
  • the recognition result acquisition confirmation process is executed by the control unit 23 after the communication is restored (step S1: Yes shown in FIG. 5).
  • the control unit 23 determines whether or not there is voice data for which the recognition result has not been acquired (step S21). If there is no voice data for which the recognition result has not been acquired (step S21: No), the process ends.
  • the control unit 23 transmits a voice ID that has not been acquired as a recognition result to the server 10 (step S22).
  • the server control unit 14 determines whether there is audio data with the audio ID received from the navigation device 20. If there is no audio data, the server control unit 14 resends the audio data to the navigation device 20. Request.
  • the control unit 23 determines whether or not the server 10 has requested retransmission of the audio data (step S23). When it is not requested to retransmit the voice data from the server 10 (step S23: No), the control unit 23 receives the recognition result of the voice data from the server 10 (step S24) and ends the process. For example, when the control unit 23 transmits the voice ID 4 shown in FIG. 2 to the server 10, since the server 10 has already recognized the voice ID 4, the server control unit 14 displays the voice ID 4 recognition result as the navigation device 20. Send to. In this case, since it is not necessary to retransmit the voice data, the response time is accelerated and the communication amount can be kept low.
  • the control unit 23 transmits the audio data to the server 10 (step S25), and receives the recognition result of the audio data from the server 10. (Step S24), and the process ends.
  • the control unit 23 transmits the voice ID 5 shown in FIG. 2 to the server 10
  • the server control unit 14 retransmits the voice data of the voice ID 5 to the navigation device 20.
  • the control unit 23 transmits the sound data of the sound ID 5 to the server 10.
  • the voice recognition unit 12 performs voice recognition processing on the received voice data of the voice ID 5
  • the server control unit 14 transmits the recognition result to the navigation device 20.
  • the voice input unit 27 that inputs the operation content for operating the application, and the operation content input from the voice input unit 27 are transmitted to the server 10.
  • the operation content is input from the communication unit 28 that receives the server processing result that is the result of the predetermined processing by the voice input unit 27 and the server processing result corresponding to the operation content is received from the server 10.
  • the communication with the server 10 is interrupted, it is determined whether or not the operation according to the operation content input before the communication interruption is continued after the communication with the server 10 is resumed according to the operation target application according to the operation content.
  • a control unit 23 With this configuration, it is possible to determine whether or not to continue the operation according to the operation content input before the communication is interrupted after the communication is restored according to the operation target application according to the operation content.
  • the search is performed using the position after the return of communication as the current position.
  • the vicinity can be searched for at the new current position after the return of communication, so that it is possible to search for a facility that is more easily accessible.
  • the operation content is a voice.
  • the predetermined process is a voice recognition process for recognizing voice.
  • the server 10 when communication with the navigation device 20 is interrupted before the transmission of the server processing result to the navigation device 20 is completed, the server 10 performs communication based on the server processing result. It is determined whether or not the operation content is to operate the application continued after the return, and the server processing result corresponding to the operation content is held or deleted according to the determination result. With this configuration, it is possible to prevent the server processing result from being deleted when communication with the navigation device 20 is interrupted before the transmission of the server processing result to the navigation device 20 is completed. It is possible to prevent the server processing result from being held more than necessary.
  • the above embodiment is an aspect of the present invention, and it is needless to say that the embodiment can be appropriately changed without departing from the gist of the present invention.
  • the facility search screen is divided into left and right parts, the facility list area is arranged on the left side, and the facility illustration area is arranged on the right side. Arrangement positions of the regions are arbitrary. Further, the facility name may be directly displayed on the map without dividing the facility search screen.
  • the applications operated by voice have been described as the apparatus operation application, the music search operation application, and the facility search operation application, but are not limited thereto.
  • the continuation determination table in FIG. 4 is merely an example, and application continuation conditions and processing required after communication return can be arbitrarily set.
  • the server performs only voice recognition as the predetermined process.
  • the server storage unit stores information (for example, music data, facility data) as a database (for example, music database).
  • the search operation application for example, music search operation application, facility search operation application
  • the server performs both voice recognition and database search, and the voice data recognition result and the recognition result are stored.
  • Corresponding information (for example, music data, facility data) may be transmitted to the navigation device.
  • the server performs speech recognition processing on the speech data transmitted from the navigation device, and further performs facility search using the speech recognition result as a search query (search request). Do.
  • the server transmits both the voice recognition result and the facility search result corresponding to the voice recognition result to the navigation device. That is, the communication between the server and the navigation device is not limited to the communication for the purpose of voice recognition, and it is assumed that the database is searched in the server and the result is used in the navigation device.
  • FIG. 11 is a flowchart illustrating the operation of the facility search operation application when the server 10 performs facility search as well as voice recognition until the facility name is determined.
  • the control unit 23 reproduces the guide voice or displays the screen, and prompts the user to speak (step S501).
  • the voice input unit microphone
  • the control unit 23 transmits the captured voice data to the server 10 (step S503).
  • the server control unit 14 When the server 10 receives the voice data transmitted from the navigation device 20 (step S601), the server control unit 14 performs voice recognition on the voice data and converts it into a character string (step S602).
  • the vocabulary to be recognized includes not only the official name of the facility name but also the partial name of the facility name, the common name, the facility genre word, and the like.
  • a vocabulary such as “Ueno Zoo”, which is a partial name, and “zoo”, which is a facility genre word, is also prepared as a recognition target vocabulary for a facility “Ueno Zoo, Tokyo”. Since recognition errors may occur in speech recognition, a plurality of recognition result candidates are obtained and the user is made to select a desired one.
  • the server control unit 14 transmits a list of recognition result candidates to the navigation device 20 (step S603).
  • the control unit 23 displays the list of recognition result candidates on the screen (step S505), reproduces the guide voice, and prompts the user. The user is prompted to select a desired one from the list of recognition result candidates (step S506).
  • the user selection may be performed by voice recognition, but here it is performed by a touch panel operation.
  • the control unit 23 transmits the selected authorization result character string to the server 10 (step S508).
  • the server control unit 14 searches the facility database in the server 10 using the character string (step S605).
  • the advantage of placing the facility database on the server 10 is that the update frequency is limited when the facility database is placed on the navigation device 20, whereas the latest state can be easily reflected if the facility database is placed on the server 10. Therefore, it is possible to search for the latest map and facility name.
  • a case will be described in which a plurality of facility names including the character string of the recognition result and position information of the facility names are acquired as search results of the facility database.
  • the server control unit 14 transmits the facility database search result to the navigation device 20 (step S606).
  • the control unit 23 displays the facility name and position as the search result on a map (step S510). Subsequent operations after this will be omitted, but an operation for allowing the user to select a desired one from the facility name candidates displayed on the screen, an operation for route search, and the like will continue. These operations may be selected by the user by voice recognition as shown in FIG. 3 (steps S307, S308, S404 to S406), or may be selected by the touch panel. In the example of FIG. 11, different tasks of voice recognition and facility search are executed in the server 10. In addition, communication between the server 10 and the navigation device 20 occurs a plurality of times during a series of facility search operations.
  • a plurality of communications may occur before the user performs an operation related to navigation.
  • communication is restored while maintaining good usability. Can be made.
  • a plurality of processes may operate on the server 10 when communication is performed a plurality of times before the application operation is performed.
  • the server 10 recognizes the voice and transmits the voice recognition result to the navigation device 20.
  • the artist name selected by the user A plurality of communications are performed such as transmitting to the server 10, searching the music database in the server 10, and transmitting the searched music data to the navigation device 20.
  • the device operation application in the case of an address search operation application that searches for an address as a destination in the navigation mode, the user utters each level of the address such as a country name, a prefecture name (state name), and a city name. Every time transmission of voice data to the server 10 and reception of the recognition result from the server 10 occur.
  • the present invention can be applied to all such applications.
  • the operation content transmitted from the navigation device to the server is voice data.
  • the navigation device includes a voice recognition unit
  • the navigation device transmits a voice data recognition result to the server.
  • the server may perform a database search using this recognition result as a search query.
  • the operation content for operating an application was the audio
  • the communication unit does not need to be included in the navigation device, and may be included in the mobile phone.
  • the communication function of the cellular phone may be controlled from the navigation device.
  • the function executed on the mobile phone may be configured to execute not only the communication unit but also functions of components of other navigation devices on the mobile phone.
  • a part of the navigation function may be executed on the smartphone by taking advantage of the high calculation processing performance of the smartphone.
  • an in-vehicle navigation device is exemplified as a wireless communication terminal.
  • the present invention is not limited to this, and the present invention is also applied to an information processing device such as a portable information device such as a mobile phone or a PDA, or a map display device. The invention can be applied.
  • Voice operation system (operation system) 10 server 12 server storage unit 13 voice recognition unit 14 server control unit 20 navigation device (wireless communication terminal) 23 Control unit (control means) 25 Operation part (input means) 27 Voice input part (input means) 28 Communication unit (communication means)

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephone Function (AREA)

Abstract

　通信遮断前のアプリケーションの操作を通信復帰後に継続するか否かをアプリケーションに応じて決定する無線通信端末及び操作システムを提供する。　無線通信端末２０は、アプリケーションを操作するための操作内容を入力する入力手段２５，２７と、入力手段２５，２７から入力された操作内容をサーバ１０に送信し、当該サーバ１０による所定処理の結果であるサーバ処理結果を受信する通信手段２８と、入力手段２５，２７から操作内容が入力された後、当該操作内容に対応するサーバ処理結果をサーバ１０から受信するまでの間に、サーバ１０との通信が遮断された場合、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバ１０との通信復帰後に継続するか否かを決定する制御手段２３と、を備える構成とする。

Description

無線通信端末及び操作システム
　本発明は、アプリケーションを操作する無線通信端末及び操作システムに関する。
　従来、携帯電話機等の無線通信端末において、通話中にトンネル等に入り通信が遮断した場合、その後通信可能な環境に移動した際に、先の通信相手に対して自動で発信し、通信の遮断から所定時間通信可能にならないときには発信を行わない端末が知られている（例えば、特許文献１参照）。
特開２００７－２５１６６２号公報
　しかしながら、上記従来の構成では、通信復帰後に通話の継続（電話の発信）をするか否かを決定するに過ぎない。
　例えば、アプリケーションを音声により操作する無線通信端末では、音声認識をサーバで行う場合、サーバとの通信遮断前のアプリケーションの操作をサーバとの通信復帰後に継続するか否かをアプリケーションに応じて決定したいという要望がある。
　本発明は、上述した事情に鑑みてなされたものであり、通信遮断前のアプリケーションの操作を通信復帰後に継続するか否かをアプリケーションに応じて決定する無線通信端末及び操作システムを提供することを目的とする。
　上記目的を達成するために、本発明は、アプリケーションを操作するための操作内容を入力する入力手段と、前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する制御手段と、を備えたことを特徴とする。
　上記構成において、前記アプリケーションが現在位置の周辺検索であり、前記操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索してもよい。
　上記構成において、前記操作内容は音声であってもよい。
　上記構成において、前記所定処理は、前記音声を音声認識する音声認識処理であってもよい。
　また、本発明は、所定処理を実行するサーバと、アプリケーションを操作するための操作内容を前記サーバに送信し、前記サーバによる所定処理の結果であるサーバ処理結果を受信して前記操作に応じた処理を実行する無線通信端末と、を備えた操作システムにおいて、前記無線通信端末は、前記操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定することを特徴とする。
　上記構成において、前記サーバは、前記無線通信端末への前記サーバ処理結果の送信が完了する前に、前記無線通信端末との通信が遮断された場合、前記サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除してもよい。
　上記構成において、前記操作内容は音声であってもよい。
　上記構成において、前記所定処理は、前記音声を音声認識する音声認識処理であってもよい。
　上記構成において、前記所定処理は、データベースから前記操作内容に対応するデータを検索するデータベース検索であってもよい。
　なお、この明細書には、２０１１年４月７日に出願された日本国特許出願・特願２０１１－８５３５９号の全ての内容が含まれるものとする。
　本発明によれば、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバとの通信復帰後に継続するか否かを決定できる。
図１は、本発明の実施の形態に係る音声操作システムの機能的構成を示すブロック図である。 図２は、音声情報管理表を示す図であり、図２（Ａ）はナビゲーション装置の音声情報管理表を示す図であり、図２（Ｂ）はサーバの音声情報管理表を示す図である。 図３は、サーバでの音声認識が複数回行われる場合の施設検索操作アプリケーションの動作を示すフローチャートである。 図４は、継続判断テーブルを示す図であり、図２（Ａ）は継続条件を含むテーブルを示す図であり、図２（Ｂ）は施設検索操作アプリケーションの継続後の処理を含むテーブルを示す図である。 図５は、通信復帰処理を示すフローチャートである。 図６は、通信遮断前の施設検索画面を示す図である。 図７は、通信遮断後の施設検索画面を示す図である。 図８は、通信遮断後の施設検索画面を示す図である。 図９は、情報保持／削除確認処理を示すフローチャートである。 図１０は、認識結果取得確認処理を示すフローチャートである。 図１１は、サーバにて音声認識だけでなく施設検索を行う場合の施設検索操作アプリケーションの動作を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態について説明する。以下の説明では、無線通信端末として、自動車に搭載される車載型のナビゲーション装置（いわゆる、カーナビゲーション装置）について例示する。また、操作システムとして、音声によりアプリケーションを操作する音声操作システムについて例示する。
　図１は、本実施の形態に係る音声操作システムの機能的構成を示すブロック図である。
　音声操作システム１は、サーバ１０と、自動車２に搭載されるナビゲーション装置２０とを備えて構成され、サーバ１０とナビゲーション装置２０はインターネット等のネットワーク３を介して相互に通信可能である。
　サーバ１０は、サーバ通信部１１と、音声認識部１２と、サーバ記憶部１３と、サーバ制御部１４とを備えている。サーバ通信部１１は、サーバ制御部１４の制御の下、ナビゲーション装置２０から音声データを受信し、サーバ制御部１４に出力する。音声認識部１２は、サーバ制御部１４の制御の下、サーバ通信部１１により受信した音声データに対して音声認識処理（所定処理）を施し、認識結果（サーバ処理結果）をサーバ制御部１４に出力する。サーバ記憶部１３には、サーバ制御部１４の制御の下、ナビゲーション装置２０から受信した音声データ及び音声認識部１２から出力された認識結果等が記憶される。上記サーバ通信部１１は、サーバ制御部１４の制御の下、認識結果をナビゲーション装置２０に送信する。
　ナビゲーション装置２０は、位置検出部２１と、車速検出部２２と、制御部（制御手段）２３と、表示部２４と、操作部（入力手段）２５と、記憶部２６と、音声入力部（入力手段）２７と、通信部（通信手段）２８と、音声再生部２９と、スピーカ３０とを備えている。
　位置検出部２１は、例えばＧＰＳ（Global Positioning System）を利用して現在位置の絶対位置（経度、緯度）を検出し、ジャイロセンサ等を使って現在位置の相対的な方位を検出する。車速検出部２２は、自動車２より得られる車速パルスを処理して、自動車２の速度を制御部２３に出力する。
　制御部２３は、ナビゲーション装置２０の各部の制御や、ナビゲーション機能のための処理、楽曲再生機能のための処理とった各種の処理を実行するものであり、例えばＣＰＵやＲＯＭ、ＲＡＭ等を備えている。
　表示部２４は、制御部２３の下、ナビゲーション装置２０の操作画面、ナビゲーションのための地図や現在位置、経路等を示すナビゲーション画面、楽曲再生のための楽曲再生画面等の各種の情報を表示するものであり、例えばＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescent）ディスプレイ等のディスプレイ装置を備えている。操作部２５は、運転者等のユーザの指示操作を受け付け、ナビゲーション装置２０に配設される複数の操作子や、表示部２４が備えるディスプレイ装置に設けられたタッチパネル（不図示）を備えている。なお、操作部２５は、ナビゲーション装置２０をリモートコントローラ等により遠隔操作可能に構成されてもよい。
　記憶部２６は、例えばＣＤ－ＲＯＭドライブやＤＶＤ-ＲＯＭドライブ、ハードディスクドライブ、ＳＤカード、ＳＳＤ（Solid State Drive）といった記憶装置であり、制御部２３の制御の下、ナビゲーションに使用される地図データや、施設の場所を含む施設データ、経路案内等のガイド音声データ、並びに楽曲再生時に再生される楽曲データ等の各種のデータを記憶する。
　音声入力部２７は、ユーザの音声を受音する例えばマイクを含んで構成され、ユーザの音声データを制御部２３に出力する。本実施の形態では、操作部２５が備えるトークスイッチ（発話ボタンとも言う）（不図示）が操作された場合に、制御部２３への音声入力が許可される。通信部２８は、制御部２３の制御の下、ネットワーク３を介してサーバ１０と通信し、音声データをサーバ１０に送信するとともに、サーバ１０から音声データの認識結果を受信する。音声再生部２９は、ガイド音声データや楽曲データにデコード処理などの再生に必要な各種処理を施してデジタル音声信号を生成し、生成したデジタル信号をデジタルアナログ変換し、アンプにより増幅してスピーカ３０から音声出力させる。
　以上の構成の下、音声入力部２７にユーザの音声が入力されると、制御部２３は、音声入力部２７から入力された音声データにそれぞれ音声ＩＤを振り、音声データとともに音声ＩＤをサーバ１０に送信する。サーバ１０では、入力された音声データに対し音声認識部１２により音声認識処理を施し、認識結果及びその音声ＩＤをナビゲーション装置２０に送信する。したがって、音声データ及びその認識結果は、ナビゲーション装置２０とサーバ１０で共通の音声ＩＤで管理されることとなる。音声データを管理する音声情報管理表３１，３２（図２参照）は、ナビゲーション装置２０の記憶部２６、サーバ１０のサーバ記憶部１３にそれぞれ記憶されている。
　図２は音声情報管理表３１，３２を示す図であり、図２（Ａ）はナビゲーション装置２０の音声情報管理表３１を示す図であり、図２（Ｂ）はサーバ１０の音声情報管理表３２を示す図である。
　図２（Ａ）に示すように、ナビゲーション装置２０の音声情報管理表３１には、音声ＩＤと、音声入力部２７から入力された音声データ（音声ファイル）と、サーバ１０から受信した音声データの認識結果とがリスト化されて記憶される。
　図２（Ｂ）に示すように、サーバ１０の音声情報管理表３２には、ナビゲーション装置２０から受信した音声ＩＤ及び音声データ（音声ファイル）と、音声認識部１２から入力された音声データの認識結果とがリスト化されて記憶される。
　図２の例では、音声ＩＤ４，５の音声データについて、ナビゲーション装置２０は認識結果未取得である。
　制御部２３は、ナビゲーション装置２０を楽曲再生モード或いはナビゲーションモードで動作させる。
　楽曲再生モードの場合には、制御部２３は、楽曲再生操作用の各種画面を表示させ、ユーザ指示に応じて記憶部２６内の楽曲データを再生する。
　ナビゲーションモードの場合には、制御部２３は、位置検出部２１により車両の現在地および進行方向を特定し、表示部２４に現在地周辺の地図を表示させる。また、目的地が設定された場合には、目的地までの最適経路を計算し、地図中に表示して目的地まで経路を案内する。
　本実施の形態のナビゲーション装置２０は、音声により操作するアプリケーションとして、例えば、楽曲再生モード時に楽曲を検索する楽曲検索操作アプリケーションと、周辺の施設を検索する、或いはナビゲーションモード時に目的地として施設を検索する施設検索（周辺検索）操作アプリケーションと、楽曲検索操作アプリケーション及び施設検索操作アプリケーション以外の場合にナビゲーション装置２０を音声操作する装置操作アプリケーションとを備えている。
　本実施の形態のサーバ１０とナビゲーション装置２０との通信は、１回の操作に対して１回の通信で終わる場合に限られるものではなく、１回の操作に対して複数回の通信が発生する場合も想定される。
　具体的な通信の流れを、施設検索操作アプリケーションの動作を例に説明する。
　図３は、施設名の決定に至るまで、サーバ１０での音声認識が複数回行われる場合の施設検索操作アプリケーションの動作を示すフローチャートである。
　最初に、ナビゲーション装置２０では、制御部２３は、ガイド音声の再生又は画面表示を行い、ユーザに発話を促す（ステップＳ３０１）。ユーザが発話した音声が音声入力部２７から取り込まれると（ステップＳ３０２）、制御部２３は、取り込まれた音声データをサーバ１０へ送信する（ステップＳ３０３）。
　サーバ１０では、まず、ナビゲーション装置２０から送信された音声データを受信すると（ステップＳ４０１）、サーバ制御部１４は、この音声データに対して音声認識を実行し、文字列へ変換する（ステップＳ４０２）。ここで、音声認識対象とする語彙は、施設名に限定することとする。また、音声認識では認識誤りが発生することがあるため、本実施の形態では、認識結果として複数の施設名候補を得て、その候補の中からユーザに選択させることとする。サーバ制御部１４は、認識結果である施設名候補のリストをナビゲーション装置２０へ送信する（ステップＳ４０３）。
　ナビゲーション装置２０では、施設名候補のリストをサーバ１０から受信すると（ステップＳ３０４）、制御部２３は、施設名候補のリストを画面へ表示し（ステップＳ３０５）、ガイド音声を再生し、ユーザに施設名候補のリストから希望する施設名を選択するように促す（ステップＳ３０６）。この選択も、音声認識で行うこととするが、タッチパネル等を用いた手操作で行ってもよい。また、画面にキャンセルボタン等を表示し、ユーザに訂正させる手段を用意してもよい。ユーザが発話した音声が取り込まれると（ステップＳ３０７）、制御部２３は、取り込まれた音声データをサーバ１０へ送信する（ステップＳ３０８）。
　サーバ１０では、音声データを受信すると（ステップＳ４０４）、サーバ制御部１４は、この音声データに対して音声認識を実行する（ステップＳ４０５）。ここで、音声認識対象とする語彙は、ステップＳ４０３で送信した施設名候捕のリストに限定する。また、施設名リストの番号や、訂正のための言葉（「キャンセル」、「戻る」等)も認識対象としてよい。サーバ制御部１４は、認識結果として得られた施設名をナビゲーション装置２０へ送信する（ステップＳ４０６）。
　ナビゲーション装置２０では、施設名を受信すると（ステップＳ３０９）、制御部２３は、この施設名を目的地に設定するように、音声出力（ステップＳ３１０）、画面出力（ステップＳ３１１）、ルート検索（ステップＳ３１２）を実行する。
　図３の例では、サーバ１０において２回の音声認識を行っており、通信も２回発生している。本実施の形態では、これらの一連の通信をともなうアプリケーション操作において、途中で通信が遮断された場合であっても、使い勝手の良さを高く保ったまま通信を復帰させることができる。
　制御部２３は、アプリケーションの操作を完了するまでの間に、サーバ１０との通信が遮断された場合、操作対象のアプリケーションに応じて、通信遮断前の操作をサーバ１０との通信復帰後に継続するか否かを決定する通信復帰処理を実行する。制御部２３は、通信復帰処理において、通信復帰後に継続するか否かをアプリケーション毎に記憶した継続判断テーブルＴＢ（図４参照）を参照する。この継続判断テーブルＴＢは、記憶部２６に記憶されている。
　図４は継続判断テーブルＴＢを示す図であり、図４（Ａ）は継続条件を含むテーブルＴＢ１を示す図であり、図４（Ｂ）は施設検索操作アプリケーションの継続後の処理を含むテーブルＴＢ２を示す図である。
　装置操作アプリケーションにおいて、制御部２３は、通信の遮断時間が所定時間未満か否か判別する。通信の遮断時間が所定時間未満の場合には、制御部２３は、通信遮断前の装置操作アプリケーションの操作を継続する。一方、通信の遮断時間が所定時間以上の場合には、制御部２３は、装置操作アプリケーションの操作を中止する。
　楽曲検索操作アプリケーションにおいて、制御部２３は、通信の遮断時間が所定時間未満か否か判別する。通信の遮断時間が所定時間未満の場合には、制御部２３は、通信遮断前の楽曲検索操作アプリケーションの操作を継続する。一方、通信の遮断時間が所定時間以上の場合には、制御部２３は、楽曲検索操作アプリケーションの操作を中止する。
　施設検索操作アプリケーションにおいて、制御部２３は、通信の遮断時間に係わらず、施設検索操作アプリケーションの操作を継続する。また、制御部２３は、サーバ１０から受信した認識結果から、検索語を分類する検索語分類手段として機能する。より詳細には、制御部２３は、検索語がラーメン屋やコンビニ等の施設のジャンルを表す場合、検索語に例えば「近くの～」や「ルート沿いの～」等の近隣を意図する語が含まれる場合、及び／又は、施設のヒット件数が多い（所定件数以上の）場合に、検索が近隣施設検索であると分類する。
　また、制御部２３は、検索語が、例えば国、都道府県、州、市町村等の行政区分に設置される施設（例えば、裁判所や役所等）を表す場合に、その検索が地域限定施設検索であると分類する。
　さらに、制御部２３は、施設ヒット件数が少ない（所定件数未満の）場合、及び／又は、施設ヒット件数が特定の地域に集中している場合に、検索が特定施設検索であると分類する。
　施設検索の分類方法は、上記の方法に限られるものではない。例えば、施設検索操作アプリケーションにおいて、ユーザが操作できるメニュー画面を用意しておき、このメニュー画面に「施設名で探す」、「周辺の施設で探す」、「ジャンル名で探す」といった項目を用意しておく。そして、ユーザが「施設名で探す」を選んで検索した場合には特定施設検索であると分類し、ユーザが「周辺の施設で探す」を選んで検索した場合には近隣施設検索に分類する方法でもよい。また、ユーザが「ジャンル名で探す」を選択し、その後、ユーザが裁判所や役所等のジャンルを指定して検索したときには、地域限定施設検索であると分類してもよい。
　近隣施設検索の場合には、制御部２３は、通信が遮断してからの移動距離が所定距離より長いか否か判別する。移動距離が所定距離より長い場合、制御部２３は、通信復帰後の現在位置で施設を再検索する。移動距離が所定距離以下の場合、制御部２３は、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
　地域限定施設検索の場合には、制御部２３は、通信が遮断してから現在位置の行政区分が変化したか否か判別する。現在位置の行政区分が変化した場合、制御部２３は、通信復帰後の現在位置の行政区分で施設を再検索する。現在位置の行政区分が同一の場合、制御部２３は、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
　特定施設検索の場合には、制御部２３は、現在位置に係わらず、通信遮断前の装置操作アプリケーションの操作をそのまま継続する。
　次いで、通信復帰処理の手順について説明する。図５は、通信復帰処理を示すフローチャートである。
　上述したように、通信復帰処理は、サーバ１０との通信が遮断した際に制御部２３によって実行される。まず、制御部２３は、サーバ１０との通信が復帰したか否か判別する（ステップＳ１）。
　通信が復帰していない場合（ステップＳ１：Ｎｏ）、制御部２３は、所定時間待機し（ステップＳ２）、処理をステップＳ１に移行する。
　通信が復帰すると（ステップＳ１：Ｙｅｓ）、制御部２３は、通信遮断前の処理情報を読み込む（ステップＳ３）。ここで、処理情報とは、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果である。
　次いで、制御部２３は、継続判断テーブルＴＢを参照し、アプリケーションの操作を継続する条件を満たすか否か判別する（ステップＳ４）。本実施の形態では、制御部２３は、アプリケーションが装置操作アプリケーションであって通信の遮断時間が所定時間未満か否か、アプリケーションが楽曲検索操作アプリケーションであって通信の遮断時間が所定時間未満か否か、アプリケーションが施設検索操作アプリケーションか否かを判別する。
　アプリケーションの操作を継続する条件を満たさない場合（ステップＳ４：Ｎｏ）、制御部２３は、アプリケーションの操作を中止するとともに通信復帰前の処理情報を破棄し（ステップＳ５）、処理を終了する。
　アプリケーションの操作を継続する条件を満たす場合（ステップＳ４：Ｙｅｓ）、制御部２３は、通信復帰後に必要な処理があるか否か判別する（ステップＳ６）。本実施の形態では、通信復帰後に必要な処理がある場合とは、施設検索操作アプリケーションにおいて検索の分類が近隣施設検索であって移動距離が所定距離より長い場合、あるいは、検索の分類が地域限定施設検索であって現在位置の行政区分が変化した場合である。
　通信復帰後に必要な処理がある場合（ステップＳ６：Ｙｅｓ）、制御部２３は、通信復帰後に必要な処理を実行する（ステップＳ７）。本実施の形態では、近隣施設検索であって通信遮断中の移動距離が所定距離より長い場合には、制御部２３は、通信復帰後の現在位置の行政区分で施設を再検索する。地域限定施設検索であって通信遮断中に現在位置の行政区分が変化した場合には、制御部２３は、通信復帰後の現在位置の行政区分で施設を再検索する。
　通信復帰後に必要な処理がない場合（ステップＳ６：Ｎｏ）、制御部２３は、アプリケーション操作の現在の状態を通信遮断前の状態に変更し（ステップＳ８）、処理を終了する。
　このように、通信復帰処理により、操作対象のアプリケーションに応じて、通信遮断前に入力された操作をサーバ１０との通信復帰後に継続するか否かを決定できる。
　次に、施設検索操作アプリケーションを例にアプリケーションの具体的な動作を説明する。
　施設検索操作アプリケーションにおいて、例えば、ユーザから「コンビニ」と音声入力されると、制御部２３は、入力された音声データをサーバ１０に送信し、サーバ１０で音声認識処理された認識結果「コンビニ」を受信する。制御部２３は、当該コンビニを検索するとともに、「コンビニ」が近隣施設検索であると分類し、「近辺にコンビニは××件あります」等と音声出力及び／又は表示する。このときに表示部２４に表示する施設検索画面４０Ａの一例を図６に示す。
　図６は、通信遮断前の施設検索画面４０Ａを示す図である。
　施設検索画面４０Ａは、例えば２分割され、検索した施設をリストとして示す施設リスト領域５０と、検索した施設を図示する施設図示領域６０とを備えている。施設リスト領域５０には、検索した施設の名称を示す施設名５１が現在位置から近い順に表示される。施設名５１に現在位置から近い順に番号を付してもよい。
　施設図示領域６０には地図６１が表示され、この地図６１上に、自動車２（図１）の現在位置６２と、検索した施設の位置を示すアイコン６３と、地図６１の縮尺を示すスケール６４とが表示される。施設名５１に現在位置６２から近い順に番号を付す場合には、アイコン６３に施設名５１の番号と一致する番号を付してもよい。
　ここで、例えば自動車２がトンネルに入って通信が遮断した場合には、制御部２３は、「現在トンネルで通信できませんので、トンネル通過後にサーバに接続します」等と音声出力及び／又は表示する。自動車２がトンネルを出て通信が復帰すると、制御部２３は、「現在地が移動したため、再度コンビニを検索します」等と音声出力及び／又は表示し、通信が復帰した時点での現在位置でコンビニの情報を再検索し、「近辺にコンビニは××件あります」等と音声出力及び／又は表示する。このように、コンビニ等のように近傍であることが優先される施設が入力された場合には、通信復帰後の新しい現在位置にて検索し直すことにより、より行きやすい施設を表示できる。このときの施設検索画面４０Ｂの例を図７及び図８に示す。
　図７は、通信遮断後の施設検索画面４０Ｂを示す図である。
　施設検索画面４０Ｂは、図６に示す施設検索画面４０Ａと同様に構成されるが、施設検索画面４０Ｂには、通信遮断前の検索結果のアイコン６３Ａと、通信復帰後の検索結果のアイコン６３Ｂは、異なる表示形態（例えば、色、形）で表示される。これにより、視認性を高めることができる。なお、アイコン６３の番号は、通信復帰後の現在位置６２から近い順に付される。
　図８は、図７の変形例を示す図である。
　施設検索画面４０Ｃも、図６に示す施設検索画面４０Ａと同様に構成されるが、施設検索画面４０Ｃにおいては、通信遮断前の検索結果のアイコン６３Ａと、通信復帰後の検索結果のアイコン６３Ｂのすべて、あるいは、検索結果が多い場合には所定件数のアイコン６３Ａ，６３Ｂを表示できるように、地図６１の縮尺が自動変更される。これにより、視認性を高めることができる。施設検索画面４０Ｃは、検索結果が多く施設リスト領域５０に施設名５１のすべてを表示できない場合には、施設リスト領域５０に表示しきれない施設名５１を異なるページに表示するように構成されており、その場合、施設検索画面４０Ｃには、ページを次のページに送るために操作されるボタン５２が表示される。
　また、例えば、施設検索操作アプリケーションにおいて、ユーザから「ＡＢＣ遊園地」と音声入力されると、制御部２３は、入力された音声データをサーバ１０に送信し、サーバ１０で音声認識処理された認識結果「ＡＢＣ遊園地」を受信する。制御部２３は、当該ＡＢＣ遊園地の情報を検索するとともに、「ＡＢＣ遊園地」が特定施設検索であると分類し、「ＡＢＣ遊園地の候補は××件あります」等と音声出力及び／又は表示する。
　例えば、ここで、自動車２がトンネルに入って通信が遮断すると、制御部２３は、「現在トンネルで通信できませんので、トンネル通過後にサーバに接続します」等と音声出力及び／又は表示する。自動車２がトンネルを出て通信が復帰すると、制御部２３は施設検索操作アプリケーションの操作を継続する。例えば、制御部２３は、「目的地に設定しますか？」等と音声出力及び／又は表示する。
　図５に示す通信復帰処理において、通信復帰後にアプリケーションの操作を継続する場合、ナビゲーション装置２０は音声データに対する認識結果の取得が完了していない場合がある。そこで、サーバ制御部１４は、通信復帰後に処理情報、すなわち、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果を保持又は削除するかを決定する情報保持／削除処理を実行する。
　また、ナビゲーション装置２０の制御部２３は、通信復帰後に認識結果未取得の音声データがないか否かを調べ、認識結果を未取得の場合には認識結果を再取得する認識結果取得確認処理を実行する。
　図９は、情報保持／削除確認処理を示すフローチャートである。
　情報保持／削除確認処理は、ナビゲーション装置２０への音声データの認識結果の送信が完了する前に、ナビゲーション装置２０との通信が遮断された際にサーバ制御部１４によって実行される。なお、サーバ記憶部１３には、少なくとも図４（Ａ）に示すテーブルＴＢ１が記憶されている。
　まず、サーバ制御部１４は、ナビゲーション装置２０との通信が復帰したか否か判別する（ステップＳ１１）。
　通信が復帰していない場合（ステップＳ１１：Ｎｏ）、サーバ制御部１４は、所定時間待機し（ステップＳ１２）、処理をステップＳ１１に移行する。
　通信が復帰すると（ステップＳ１１：Ｙｅｓ）、サーバ制御部１４は、通信遮断前の処理情報を読み込む（ステップＳ１３）。ここで、処理情報とは、通信遮断前に操作対象であったアプリケーションの種類、音声データ、及びその認識結果である。なお、通信遮断前に操作対象であったアプリケーションの種類は、音声データとともにナビゲーション装置２０から送信され、サーバ記憶部１３に記憶される。
　次いで、サーバ制御部１４は、テーブルＴＢ１を参照し、アプリケーションの操作を継続する条件を満たすか否か、換言すれば、送信が中断した認識結果の音声データが、通信復帰後に継続されるアプリケーションを操作する音声データか否か判別する（ステップＳ１４）。本実施の形態では、サーバ制御部１４は、図５に示すステップＳ４と同様に判別する。
　アプリケーションの操作を継続する条件を満たさない場合（ステップＳ１４：Ｎｏ）、サーバ制御部１４は、通信復帰前の処理情報を削除し（ステップＳ１５）、処理を終了する。
　アプリケーションの操作を継続する条件を満たす場合（ステップＳ１４：Ｙｅｓ）、サーバ制御部１４は、通信復帰前の処理情報をサーバ記憶部１３に保持し（ステップＳ１６）、処理を終了する。保持された処理情報は、ナビゲーション装置２０から音声データに対する認識結果の取得が完了した旨の情報を受信した後に、サーバ制御部１４により削除される。
　図１０は、認識結果取得確認処理を示すフローチャートである。
　認識結果取得確認処理は、通信が復帰した後（図５に示すステップＳ１：Ｙｅｓ）に制御部２３によって実行される。まず、制御部２３は、認識結果未取得の音声データがあるか否か判別し（ステップＳ２１）、認識結果未取得の音声データがない場合（ステップＳ２１：Ｎｏ）、処理を終了する。
　認識結果未取得の音声データがある場合（ステップＳ２１：Ｙｅｓ）、制御部２３は、サーバ１０に認識結果未取得の音声ＩＤを送信する（ステップＳ２２）。サーバ１０では、サーバ制御部１４が、ナビゲーション装置２０から受信した音声ＩＤが付された音声データがあるか否か判別し、当該音声データがない場合、ナビゲーション装置２０に当該音声データの再送信を要求する。
　ナビゲーション装置２０では、制御部２３は、サーバ１０から音声データの再送信を要求されたか否か判別する（ステップＳ２３）。
　サーバ１０から音声データの再送信を要求されない場合（ステップＳ２３：Ｎｏ）、制御部２３は、サーバ１０から音声データの認識結果を受信し（ステップＳ２４）、処理を終了する。例えば、制御部２３が図２に示す音声ＩＤ４をサーバ１０に送信した場合、すでにサーバ１０には音声ＩＤ４の認識結果ができているので、サーバ制御部１４は音声ＩＤ４の認識結果をナビゲーション装置２０に送信する。この場合、音声データを再送信する必要がないため、応答時間が早まり、通信量を低く抑えることができる。
　一方、サーバ１０から音声データの再送信を要求された場合（ステップＳ２３：Ｙｅｓ）、制御部２３は、音声データをサーバ１０に送信し（ステップＳ２５）、サーバ１０から音声データの認識結果を受信し（ステップＳ２４）、処理を終了する。例えば、制御部２３が図２に示す音声ＩＤ５をサーバ１０に送信した場合、サーバ１０には音声ＩＤ５の音声データがないので、サーバ制御部１４はナビゲーション装置２０に音声ＩＤ５の音声データの再送信を要求する。制御部２３は音声ＩＤ５の音声データをサーバ１０に送信する。サーバ１０では、受信した音声ＩＤ５の音声データに対し音声認識部１２により音声認識処理を行い、サーバ制御部１４はその認識結果をナビゲーション装置２０に送信する。
　以上説明したように、本実施の形態によれば、アプリケーションを操作するための操作内容を入力する音声入力部２７と、音声入力部２７から入力された操作内容をサーバ１０に送信し、サーバ１０による所定処理の結果であるサーバ処理結果を受信する通信部２８と、音声入力部２７から操作内容が入力された後、当該操作内容に対応するサーバ処理結果をサーバ１０から受信するまでの間に、サーバ１０との通信が遮断された場合、操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作をサーバ１０との通信復帰後に継続するか否かを決定する制御部２３と、を備える構成とする。この構成により、通信遮断前に入力された操作内容による操作を通信復帰後に継続するか否かを、操作内容による操作対象のアプリケーションに応じて決定できる。
　また、本実施の形態によれば、アプリケーションが現在位置の周辺検索であり、操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索する構成とする。この構成により、通信復帰後の新しい現在位置にて周辺検索できるので、より行きやすい施設を検索できる。
　また、本実施の形態によれば、操作内容は音声である構成とする。この構成により、通信遮断前に入力された音声による操作を通信復帰後に継続するか否かを、音声による操作対象のアプリケーションに応じて決定できる。
　また、本実施の形態によれば、所定処理は、音声を音声認識する音声認識処理である構成とする。この構成により、音声入力部２７から音声が入力された後、当該音声の認識結果をサーバ１０から受信するまでの間に、サーバ１０との通信が遮断された場合、音声による操作対象のアプリケーションに応じて、通信遮断前に入力された音声による操作をサーバ１０との通信復帰後に継続するか否かを決定できる。
　また、本実施の形態によれば、サーバ１０は、ナビゲーション装置２０へのサーバ処理結果の送信が完了する前に、ナビゲーション装置２０との通信が遮断された場合、サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除する構成とする。この構成により、ナビゲーション装置２０へのサーバ処理結果の送信が完了する前に、ナビゲーション装置２０との通信が遮断された場合に、サーバ処理結果を削除してしまうことを防止できるとともに、サーバ１０に必要以上のサーバ処理結果が保持されることを防止できる。
　但し、上記実施の形態は本発明の一態様であり、本発明の趣旨を逸脱しない範囲において適宜変更可能であるのは勿論である。
　例えば、上記実施の形態では、施設検索画面が左右に２分割され、左側に施設リスト領域が、右側に施設図示領域が配置されているが、施設検索画面の分割方向や施設リスト領域及び施設図示領域の配置位置は任意である。また、施設検索画面を分割せずに、地図上に施設名を直接表示してもよい。
　上記実施の形態では、音声により操作するアプリケーションを、装置操作アプリケーション、楽曲検索操作アプリケーション、及び施設検索操作アプリケーションとして説明したが、これらに限定されない。図４の継続判断テーブルは一例に過ぎず、アプリケーションの継続条件や、通信復帰後に必要な処理は任意に設定可能である。
　また、上記実施の形態では、サーバは、所定処理として音声認識のみを行っていたが、例えば、サーバ記憶部に検索対象となる情報（例えば、楽曲データ、施設データ）をデータベース（例えば、楽曲データベース、施設データベース）として記憶しておき、検索操作アプリケーション（例えば、楽曲検索操作アプリケーション、施設検索操作アプリケーション）において、サーバは、音声認識及びデータベース検索の両方を行い、音声データの認識結果及び認識結果に対応する情報（例えば、楽曲データ、施設データ）をナビゲーション装置に送信してもよい。サーバに施設データを置く場合においては、サーバは、ナビゲーション装置から送信された音声データに対して音声認識処理を行った後、さらに、音声認識結果を検索クエリ（検索要求）として用いて施設検索も行う。そして、サーバは、音声認識結果と音声認識結果に対応する施設検索結果との両方をナビゲーション装置へ送信する。すなわち、サーバとナビゲーション装置との間で通信は、音声認識を目的とした通信に限られるものではなく、サーバにおいてデータベース検索を行い、その結果をナビゲーション装置で使用する場合にも想定される。
　図１１は、施設名の決定に至るまで、サーバ１０にて音声認識だけでなく施設検索を行う場合の施設検索操作アプリケーションの動作を示すフローチャートである。
　最初に、ナビゲーション装置２０では、制御部２３がガイド音声の再生又は画面表示を行い、ユーザに発話を促す（ステップＳ５０１）。ユーザが発話した音声が音声入力部(マイク)から取り込まれると（ステップＳ５０２）、制御部２３は、取り込まれた音声データをサーバ１０へ送信する（ステップＳ５０３）。
　サーバ１０では、ナビゲーション装置２０から送信された音声データを受信すると（ステップＳ６０１）、サーバ制御部１４は、この音声データに対して音声認識を実行し、文字列に変換する（ステップＳ６０２）。ここで、認識対象とする語彙は、施設名の正式名称だけでなく、施設名の部分名称、通称、施設ジャンル語等も含める。例えば、「東京都恩賜上野動物園」という施設に対して、部分名称である「上野動物園」や施設ジャンル語である「動物園」といった語彙も認識対象の語彙に用意しておく。音声認識では認識誤りが発生することがあるため、複数の認識結果候補を得ることとし、ユーザに所望のものを選択させることとする。サーバ制御部１４は、認識結果候補のリストをナビゲーション装置２０へ送信する（ステップＳ６０３）。
　ナビゲーション装置２０では、認識結果候補のリストをサーバ１０から受信した（ステップＳ５０４）のち、制御部２３は、認識結果候補のリストを画面へ表示し（ステップＳ５０５）、ガイド音声を再生し、ユーザに認識結果候補のリストから希望するものを選択するように促す（ステップＳ５０６）。ユーザの選択は、音声認識で行ってもよいが、ここではタッチパネル操作により行うこととする。タッチパネル操作を取得すると（ステップＳ５０７）、制御部２３は、選択された認職結果文字列をサーバ１０へ送信する（ステップＳ５０８）。
　サーバ１０では、ナビゲーション装置２０から送られた認識結果文字列を受信すると（ステップＳ６０４）、サーバ制御部１４は、その文字列にて、サーバ１０にある施設データベースを検索する（ステップＳ６０５）。施設データベースをサーバ１０に置く長所としては、ナビゲーション装置２０に施設データベースを置くと更新頻度が限定されるのに対して、サーバ１０に施設データベースを置けば、最新の状態を反映することが容易であるため、最新の地図や施設名を対象として検索できることである。ここでは、施設データベースの検索結果として、認識結果の文字列を含む複数の施設名と、その施設名の位置情報を取得する場合を説明する。サーバ制御部１４は、施設データベースの検索結果をナビゲーション装置２０に送信する（ステップＳ６０６）。
　ナビゲーション装置２０では、サーバ１０から送信された検索結果を受信すると（ステップＳ５０９）、制御部２３は、検索結果である施設名と位置を地図に表示する（ステップＳ５１０）。これ以降の後続の操作は説明を省略するが、画面に表示された施設名候補からユーザに希望のものを選択させる動作、ルート検索する動作等が続く。これらの動作は、図３に示した通り、音声認識によってユーザに選択させてもよいし（ステップＳ３０７，Ｓ３０８，Ｓ４０４～Ｓ４０６）、タッチパネルによって選択させてもよい。
　図１１の例では、サーバ１０において、音声認識と施設検索という異なるタスクを実行している。また、施設検索の一連の操作の中で、複数回のサーバ１０・ナビゲーション装置２０間の通信が発生する。
　上記図１１の例で示したとおり、ユーザがナビゲーションに関する操作を遂行するまでに、複数回の通信が発生することがある。また、サーバ１０におけるタスクの種類が複数存在し、また、通信も複数の目的で行われる場合がある。上記図１１の例では、これらの一連の通信をともなうアプリケーション操作において、途中で通信が遮断された場合であっても、本発明を適用することで、使い勝手の良さを高く保ったまま通信を復帰させることができる。
　上記図３及び図１１の例は、施設検索操作アプリケーションを例にとって説明した。しかし、他のアプリケーションにおいても、アプリケーションの操作を遂行するまでの間に、複数回の通信が行われる場合、複数の処理がサーバ１０で動作する場合がある。例えば、楽曲検索操作アプリケーションの場合、（１）ユーザが最初にアーティスト名を発話してサーバ１０で音声認識し、音声認識結果をナビゲーション装置２０へ送信する、（２）ユーザが選択したアーティスト名をサーバ１０へ送信し、サーバ１０において楽曲データベースを検索し、検索された楽曲データをナビゲーション装置２０へ送信する、といった複数の通信が行われる。また例えば、装置操作アプリケーションの一例として、ナビゲーションモード時に目的地として住所を検索する住所検索操作アプリケーションの場合、ユーザが、国名、都道府県名(州名)、市名といった住所の各階層を発話するたびに、音声データのサーバ１０への送信、認識結果のサーバ１０からの受信が発生する。こういったあらゆるアプリケーションにおいても、本発明を適用することができる。
　また、上記実施の形態では、ナビゲーション装置からサーバに送信する操作内容は音声データであったが、ナビゲーション装置が音声認識部を備える場合には、ナビゲーション装置からサーバに音声データの認識結果を送信し、サーバでこの認識結果を検索クエリとしてデータベース検索を行ってもよい。
　また、上記実施の形態では、アプリケーションを操作するための操作内容は、音声入力部から入力される音声であったが、これに限定されるものではなく、例えば、操作部から入力される文字列等であってもよい。
　また、上記実施の形態では、図１に記載したナビゲーション装置の構成を前提にしていたが、図１の構成でなくてもよい。例えば、通信部は、ナビゲーション装置に備わっている必要は無く、携帯電話に備わっていてもよい。携帯電話に通信部を置く場合には、ナビゲーション装置と携帯電話の間の通信を、広く知られているＵＳＢケーブルによる有線での通信や、Bluetooth（登録商標）による無線での通信によって実現し、ナビゲーション装置から携帯電話の通信機能を制御するようにすればよい。
　また、携帯電話で実行する機能は、通信部だけではなく、他のナビゲーション装置の構成要素の機能も携帯電話上で実行する構成でもよい。とくに、近年市場に広まっている高機能携帯電話（スマートフォン）を用いる場合には、スマートフォンの高い計算処理性能を生かして、ナビゲーションの機能の一部をスマートフォン上で実行してもよい。
　また、上記実施の形態では、無線通信端末として車載型のナビゲーション装置を例示したが、これに限らず、携帯電話やＰＤＡ等の携帯型情報機器や、地図表示装置などの情報処理装置にも本発明を適用可能である。
　１　音声操作システム（操作システム）
　１０　サーバ
　１２　サーバ記憶部
　１３　音声認識部
　１４　サーバ制御部
　２０　ナビゲーション装置（無線通信端末）
　２３　制御部（制御手段）
　２５　操作部（入力手段）
　２７　音声入力部（入力手段）
　２８　通信部（通信手段）

Claims (9)

  1. 　アプリケーションを操作するための操作内容を入力する入力手段と、
    　前記入力手段から入力された操作内容をサーバに送信し、当該サーバによる所定処理の結果であるサーバ処理結果を受信する通信手段と、
    　前記入力手段から操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する制御手段と、を備えたことを特徴とする無線通信端末。
  2. 　前記アプリケーションが現在位置の周辺検索であり、前記操作が検索語の入力操作である場合、通信復帰後の位置を現在位置として周辺検索する
    　ことを特徴とする請求項１に記載の無線通信端末。
  3. 　前記操作内容は音声であることを特徴とする請求項１又は２に記載の無線通信端末。
  4. 　前記所定処理は、前記音声を音声認識する音声認識処理であることを特徴とする請求項３に記載の無線通信端末。
  5. 　所定処理を実行するサーバと、
    　アプリケーションを操作するための操作内容を前記サーバに送信し、前記サーバによる所定処理の結果であるサーバ処理結果を受信して前記操作に応じた処理を実行する無線通信端末と、を備えた操作システムにおいて、
    　前記無線通信端末は、
    　前記操作内容が入力された後、当該操作内容に対応するサーバ処理結果を前記サーバから受信するまでの間に、前記サーバとの通信が遮断された場合、前記操作内容による操作対象のアプリケーションに応じて、通信遮断前に入力された操作内容による操作を前記サーバとの通信復帰後に継続するか否かを決定する
    　ことを特徴とする操作システム。
  6. 　前記サーバは、
    　前記無線通信端末への前記音声の認識結果の送信が完了する前に、前記無線通信端末との通信が遮断された場合、前記サーバ処理結果に基づいて、通信復帰後に継続されるアプリケーションを操作する操作内容か否かを判断し、判断結果に応じて当該操作内容に対応するサーバ処理結果を保持又は削除する
    　ことを特徴とする請求項５に記載の操作システム。
  7. 　前記操作内容は音声であることを特徴とする請求項５又は６に記載の操作システム。
  8. 　前記所定処理は、前記音声を音声認識する音声認識処理であることを特徴とする請求項７に記載の操作システム。
  9. 　前記所定処理は、データベースから前記操作内容に対応するデータを検索するデータベース検索であることを特徴とする請求項５乃至８のいずれかに記載の操作システム。
PCT/JP2011/076183 2011-04-07 2011-11-14 無線通信端末及び操作システム WO2012137382A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11863054.0A EP2696560B1 (en) 2011-04-07 2011-11-14 Wireless communication terminal and operating system
US14/110,394 US9094956B2 (en) 2011-04-07 2011-11-14 Wireless communication terminal and operating system
CN201180069837.6A CN103460677B (zh) 2011-04-07 2011-11-14 无线通信终端及操作系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011085359A JP5889542B2 (ja) 2011-04-07 2011-04-07 無線通信端末及び操作システム
JP2011-085359 2011-04-07

Publications (1)

Publication Number Publication Date
WO2012137382A1 true WO2012137382A1 (ja) 2012-10-11

Family

ID=46968804

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/076183 WO2012137382A1 (ja) 2011-04-07 2011-11-14 無線通信端末及び操作システム

Country Status (5)

Country Link
US (1) US9094956B2 (ja)
EP (1) EP2696560B1 (ja)
JP (1) JP5889542B2 (ja)
CN (1) CN103460677B (ja)
WO (1) WO2012137382A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633656B2 (en) 2010-07-27 2017-04-25 Sony Corporation Device registration process from second display
JP6291643B2 (ja) * 2013-09-06 2018-03-14 株式会社ユピテル システム及びプログラム
JP6173477B2 (ja) * 2013-10-22 2017-08-02 三菱電機株式会社 ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
DE112014006669T5 (de) * 2014-05-15 2017-02-16 Mitsubishi Electric Corporation Routenführungssteuereinrichtung, Routenführungssteuerverfahren und Navigationssystem
JP6512750B2 (ja) * 2014-05-21 2019-05-15 クラリオン株式会社 支援システム、及び支援装置
US10116748B2 (en) 2014-11-20 2018-10-30 Microsoft Technology Licensing, Llc Vehicle-based multi-modal interface
JP2017207957A (ja) * 2016-05-19 2017-11-24 アイシン・エィ・ダブリュ株式会社 検索システムおよび検索プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094228A (ja) * 2003-09-16 2005-04-07 Sharp Corp 無線通信システム、無線通信端末、無線通信端末の自動再接続方法、コンピュータプログラム
JP2007251662A (ja) 2006-03-16 2007-09-27 Nec Corp 通信切断時における再発信方法および移動無線通信端末
JP2008128799A (ja) * 2006-11-21 2008-06-05 Xanavi Informatics Corp 車載情報送信方法、車載管理装置、車載端末および車載情報システム
JP2009175233A (ja) * 2008-01-22 2009-08-06 Hitachi Ltd 音声認識装置、ナビゲーション装置、及び目的地設定プログラム
JP2011038925A (ja) * 2009-08-12 2011-02-24 Navitime Japan Co Ltd ナビゲーションシステム、ナビゲーション装置、ナビゲーションサーバ、および、ナビゲーション方法
JP2011059313A (ja) * 2009-09-09 2011-03-24 Clarion Co Ltd 情報検索装置，情報検索方法及びナビゲーションシステム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5564070A (en) * 1993-07-30 1996-10-08 Xerox Corporation Method and system for maintaining processing continuity to mobile computers in a wireless network
US6810247B1 (en) * 2000-02-17 2004-10-26 Wysdom Wirless, Inc. Recovery in a wireless environment
GB2369538B (en) * 2000-11-24 2004-06-30 Ibm Recovery following process or system failure
JP3902730B2 (ja) * 2001-03-30 2007-04-11 株式会社日立製作所 通信管理方法及びその実施システム並びにその処理プログラム
US6590868B2 (en) * 2001-06-02 2003-07-08 Redback Networks Inc. Method and apparatus for restart communication between network elements
US7225260B2 (en) * 2001-09-28 2007-05-29 Symbol Technologies, Inc. Software method for maintaining connectivity between applications during communications by mobile computer terminals operable in wireless networks
US7539127B1 (en) * 2001-12-13 2009-05-26 Cisco Technology, Inc. System and method for recovering from endpoint failure in a communication session
US7747244B2 (en) * 2003-01-23 2010-06-29 Research In Motion Limited Methods and apparatus for re-establishing communication for a wireless communication device after a communication loss in a wireless communication network
US7366672B2 (en) * 2005-05-13 2008-04-29 Nokia Corporation Method and device for recovering interrupted voice input
GB2429874B (en) * 2005-09-02 2007-09-19 Motorola Inc Network element manager resynchronization
US8068824B2 (en) 2006-09-29 2011-11-29 Avaya, Inc. Automated reconnection of interrupted voice call session
JP4984814B2 (ja) * 2006-10-18 2012-07-25 富士通株式会社 通信管理装置および通信管理方法
US8331969B2 (en) * 2007-04-25 2012-12-11 Qualcomm Incorporated Methods and apparatus for service acquisition in a broadcast system
CN101493331A (zh) 2008-01-23 2009-07-29 厦门雅迅网络股份有限公司 一种手机网络导航中矢量地图数据的显示方法
US20090315766A1 (en) 2008-06-19 2009-12-24 Microsoft Corporation Source switching for devices supporting dynamic direction information
CN101754112A (zh) * 2008-12-05 2010-06-23 中兴通讯股份有限公司 移动电子邮件业务处理方法和装置
JP5011424B2 (ja) * 2009-08-06 2012-08-29 アイシン・エィ・ダブリュ株式会社 車載端末装置及び車載端末装置用の無線接続プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094228A (ja) * 2003-09-16 2005-04-07 Sharp Corp 無線通信システム、無線通信端末、無線通信端末の自動再接続方法、コンピュータプログラム
JP2007251662A (ja) 2006-03-16 2007-09-27 Nec Corp 通信切断時における再発信方法および移動無線通信端末
JP2008128799A (ja) * 2006-11-21 2008-06-05 Xanavi Informatics Corp 車載情報送信方法、車載管理装置、車載端末および車載情報システム
JP2009175233A (ja) * 2008-01-22 2009-08-06 Hitachi Ltd 音声認識装置、ナビゲーション装置、及び目的地設定プログラム
JP2011038925A (ja) * 2009-08-12 2011-02-24 Navitime Japan Co Ltd ナビゲーションシステム、ナビゲーション装置、ナビゲーションサーバ、および、ナビゲーション方法
JP2011059313A (ja) * 2009-09-09 2011-03-24 Clarion Co Ltd 情報検索装置，情報検索方法及びナビゲーションシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2696560A4

Also Published As

Publication number Publication date
CN103460677A (zh) 2013-12-18
US9094956B2 (en) 2015-07-28
US20140057611A1 (en) 2014-02-27
EP2696560A1 (en) 2014-02-12
EP2696560A4 (en) 2014-10-15
EP2696560B1 (en) 2018-11-07
CN103460677B (zh) 2015-12-09
JP2012222552A (ja) 2012-11-12
JP5889542B2 (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
US11205421B2 (en) Selection system and method
US8903651B2 (en) Information terminal, server device, searching system, and searching method thereof
JP5889542B2 (ja) 無線通信端末及び操作システム
JP4859447B2 (ja) ナビゲーション装置
KR102000267B1 (ko) 컨텍스트에 기초한 입력 명확화
US9046375B1 (en) Navigation for a passenger on a public conveyance based on current location relative to a destination
CN101925799B (zh) 具有空中搜索模块的导航装置、系统及方法
JP2013101535A (ja) 情報検索装置および情報検索方法
JP2015148582A (ja) 案内装置
JP6076027B2 (ja) ナビゲーションシステム
JP2012026750A (ja) 携帯端末および通信システム
KR20120022959A (ko) 기지국의 고유 위치 식별자를 이용한 내비게이션 방법, 시스템 및 장치
KR20080078300A (ko) 카네비게이션 시스템 및 그 제어방법
JP5056784B2 (ja) 音声認識システム
JPWO2019009039A1 (ja) リスト作成プログラム、リスト作成方法、リスト作成装置、リスト作成システム、および記憶媒体
JP2008101979A (ja) 情報通信システム
US20190078907A1 (en) Navigation device
JP2015175818A (ja) ナビゲーション装置
JP2017075968A (ja) 表示装置
US20150192425A1 (en) Facility search apparatus and facility search method
JP2010086399A (ja) 施設検索装置、施設検索方法、施設検索システム及び施設検索プログラム
JP2007240307A (ja) 端末装置及び情報提供制御方法
JP6109373B2 (ja) サーバー装置および検索方法
JP2018207170A (ja) 電子機器、制御方法、およびプログラム
JP2007121153A (ja) 携帯端末装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11863054

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011863054

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14110394

Country of ref document: US