WO2022019145A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2022019145A1
WO2022019145A1 PCT/JP2021/025837 JP2021025837W WO2022019145A1 WO 2022019145 A1 WO2022019145 A1 WO 2022019145A1 JP 2021025837 W JP2021025837 W JP 2021025837W WO 2022019145 A1 WO2022019145 A1 WO 2022019145A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
data
input field
information processing
field
Prior art date
Application number
PCT/JP2021/025837
Other languages
English (en)
French (fr)
Inventor
裕士 瀧本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/005,025 priority Critical patent/US20230297328A1/en
Publication of WO2022019145A1 publication Critical patent/WO2022019145A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • Patent Document 1 discloses a technique of acquiring text data generated from an audio signal and input to an input field from divided text data and inputting the text data to the corresponding input field.
  • the information processing apparatus is based on the meaning of the utterance content indicated by the first data obtained by capturing the voice of the speaker and the attributes of a plurality of input fields. Then, in the operation of moving the first data from the first input field to the second input field and the first input unit for inputting the first data into the first input field selected from the plurality of input fields. Accordingly, a second input field for inputting second data belonging to the attribute of the second input field of the first data into the second input field is provided.
  • a plurality of information processing methods are based on the meaning of the utterance content indicated by the first data obtained by the computer capturing the voice of the speaker and the attributes of a plurality of input fields.
  • the first data It includes inputting the second data belonging to the attribute of the second input field to the second input field.
  • a plurality of information processing programs are based on the meaning of the utterance content indicated by the first data obtained by capturing the voice of the speaker into a computer and the attributes of a plurality of input fields.
  • the first data In response to the operation of inputting the first data into the first input field selected from the input fields and moving the first data from the first input field to the second input field, the first data The second data belonging to the attribute of the second input field is input to the second input field.
  • FIG. 1 is a diagram for explaining an example of an information processing system according to an embodiment.
  • the information processing system 1 shown in FIG. 1 is a voice input system that inputs data to a plurality of input fields by voice emitted by a user U.
  • the information processing system 1 includes, for example, an information processing terminal 10 and an information processing device 100.
  • an example in which the information processing system 1 realizes the voice input of the user U by linking the information processing terminal 10 and the information processing device 100 will be described.
  • the user U is an example of a speaker, and is a person who inputs voice in the information processing system 1.
  • the information processing terminal 10 is an electronic device that can be input by the user U.
  • Electronic devices include, for example, smartphones, tablet terminals, game devices, head-mounted displays (HMDs), televisions, home speakers, home electric appliances, and the like.
  • the information processing terminal 10 is configured to be able to collect the voice of the user U and the like.
  • the information processing terminal 10 has a function of supplying the information processing apparatus 100 with utterance data obtained by collecting the voice of the user U.
  • the utterance data includes data indicating the utterance content obtained by capturing the voice of the user U.
  • the information processing terminal 10 may have, for example, various sensors for not only collecting ambient sounds but also acquiring various other information.
  • the information processing terminal 10 has, for example, a touch panel, and has a configuration capable of detecting contact, a position where contact is detected, a change in a position where contact is detected, and the like.
  • the information processing terminal 10 has a function of detecting the operation of the user U based on the detection result of the touch panel.
  • the information processing device 100 is a so-called cloud server (Cloud Server), and is a server device that executes information processing in cooperation with the information processing terminal 10.
  • the information processing terminal 10 and the information processing apparatus 100 have a configuration capable of communicating via a network or directly communicating without a network, for example.
  • the information processing device 100 may be incorporated in the information processing terminal 10, for example.
  • the information processing device 100 has a function of acquiring the utterance data of the user U from the information processing terminal 10 and performing a semantic analysis of the utterance data. Semantic analysis can be performed using, for example, natural language understanding (NLU: Natural Language understanding), natural language processing (NLP: Natural Language Processing), or the like.
  • NLU Natural Language understanding
  • NLP Natural Language Processing
  • the information processing system 1 displays an input screen having a plurality of input fields on the information processing terminal 10, and the information processing terminal 10 collects speech data of the user U.
  • the information processing apparatus 100 semantically analyzes the utterance data of the user U, and automatically inputs the utterance data according to the attribute of the input field of the input screen. Entering the utterance data in the input field includes, for example, setting the utterance data in the input field, displaying the utterance data in the input field, and the like.
  • the information processing system 1 may input the utterance data of the user U into the input field.
  • the information processing system 1 analyzes the utterance data in a semantic manner, selects an input field suitable for the utterance data from the plurality of input fields, and inputs the selected input. Automatically enter the spoken data in the field. Therefore, the information processing system 1 may input utterance data in an input field not intended by the user U.
  • FIG. 2 is a diagram for explaining an example of an operation outline of the information processing system 1 according to the embodiment.
  • the user U emits the utterance C11 to the information processing terminal 10.
  • the utterance C11 is, for example, "Mr. Sato, email asking if you would like to go to dinner.”
  • the information processing system 1 activates the mail application on the information processing terminal 10 as a result of the information processing device 100 executing the semantic analysis of the utterance data of the utterance C11.
  • the information processing system 1 inputs the utterance data of "Would you like to go to dinner with Mr. Sato" in the input field 311 of the title of the new mail input screen 300.
  • the mail application provides, for example, a mail function for composing, sending, receiving, displaying, and the like of an e-mail.
  • the information processing apparatus 100 causes the information processing terminal 10 to display a new mail input screen 300.
  • the input screen 300 is a screen (object) that can be input by the user U, and is displayed so that the user U can be visually recognized by the information processing terminal 10.
  • the input screen 300 may be displayed in a virtual space, for example, when the information processing terminal 10 is an HMD.
  • the input screen 300 has an input field 311 whose attribute is the destination and an input field 312 whose attribute is the title.
  • the input field 311 and the input field 312 are described as "input field 310".
  • the input screen 300 shown in FIG. 2 omits the description of the text, the send button, the cancel button, and the like.
  • the information processing system 1 recognizes the utterance data of "Why don't you go to dinner with Mr. Sato" as the title of the new mail by the information processing device 100. Therefore, as shown in step S1, the information processing system 1 inputs the input screen 300 in which the utterance data of "Would you like to go to dinner with Mr. Sato?" Is input to the input field 312 whose attribute is the title of the input screen 300. , The information processing device 100 is displayed on the information processing terminal 10. Further, in the information processing system 1, the information processing apparatus 100 displays the input screen 300 on the information processing terminal 10 so that the attribute of the input screen leaves the input field 311 of the destination blank.
  • the information processing system 1 displays a GUI (Graphical User Interface) 400 that can be operated by the user U on the input screen 300 so that it can be moved.
  • the GUI 400 is displayed so as to be located near an input field that can be operated on the input screen 300. That is, in step S1, the information processing system 1 indicates to the user U that the input field 312 is activated and the input field 312 can be operated by displaying the GUI 400 near the input field 312. There is.
  • GUI Graphic User Interface
  • step S1 as a result of referring to the input screen 300 of the information processing terminal 10, the user U determines that the utterance data is not correctly input to the input field 310 of the input screen 300. That is, the user U wanted the data of the utterance data "Mr. Sato" to be input as an e-mail address in the input field 311 of the destination of the new e-mail. Therefore, the user U moves the GUI 400 on the input screen 300 from the title input field 312 to the vicinity of the destination input field 311 to perform the movement operation.
  • the information processing system 1 detects a move operation for moving the GUI 400 from the input field 312 to the vicinity of the input field 311, the information processing system 1 moves the speech data input in the input field 312 of the move source to the input field 311 of the move destination. Execute the process.
  • the information processing system 1 re-executes the semantic analysis of the utterance data of "Why don't you go to dinner with Mr. Sato?".
  • the information information system 1 has accepted the operation of moving the utterance data to the input field 311 of the destination, so that the semantic analysis focusing on the destination is performed, and the utterance data is used as "Mr. Sato" or "Mr. Sato” corresponding to the destination. Extract the data of "Sato".
  • the extracted destination of Sato sato @ xxx. com (email address) is acquired from the address book data or the like.
  • the attribute is set to the input field 311 of the destination, and sato @ xxx.
  • the information processing apparatus 100 causes the information processing terminal 10 to display the input screen 300 in which com (email address) is input as the second data.
  • the information processing system 1 moves "Mr. Sato" to the input field 301 in the utterance data of "Would you like to go to rice with Mr. Sato?", So he said "Would you like to go to rice?" Change the data.
  • the information processing apparatus 100 causes the information processing terminal 10 to display an input screen 300 in which the utterance data input in the title input field 312 is changed so as to be the changed utterance data.
  • step S2 in the input screen 300 shown in step S2, in the input field 311 whose attribute is the destination, sato @ xxx.
  • the data of com (email address) is input, and the data of "Would you like to go to rice?" Is input in the input field 312 of the attribute title.
  • the user U confirms that the utterance data can be input to the intended input field 311 and the input field 312 of the input screen 300.
  • the information processing system 1 (information processing apparatus 100) is selected from the plurality of input fields 310 based on the meaning of the utterance content indicated by the utterance data (first data) and the attributes of the plurality of input fields 310.
  • the utterance data is input to the selected input field 312.
  • the information processing system 1 moves the second data belonging to the attribute of the destination input field 310 among the spoken data to the destination input field 310 in response to the operation of moving the spoken data from the input field 312 to the input field 311. input.
  • the information processing system 1 can move the utterance data to another input field between the plurality of input fields 310. Data can be easily moved. As a result, the information processing system 1 can improve the operability of moving the data automatically input to the input field 310 to another input field 319.
  • FIG. 3 is a diagram showing an example of the configuration of the information processing terminal 10 according to the embodiment.
  • the information processing terminal 10 includes a sensor unit 11, an input unit 12, a touch panel 13, a communication unit 14, a storage unit 15, and a control unit 16.
  • the control unit 16 is electrically connected to the sensor unit 11, the input unit 12, the touch panel 13, the communication unit 14, and the storage unit 15.
  • the sensor unit 11 has a function of collecting various sensor information related to the user U and the surroundings.
  • the sensor unit 11 includes, for example, a microphone, a camera, a ToF (Time of Flight) sensor, an inertial sensor, and the like.
  • the sensor unit 11 may include various sensors such as a geomagnetic sensor, a touch sensor, an infrared sensor, a temperature sensor, and a humidity sensor.
  • the sensor unit 11 supplies the collected sensor information to the control unit 16.
  • the sensor unit 11 supplies the utterance data obtained by capturing the voice of the user U to the control unit 16.
  • the input unit 12 has a function of detecting a physical input operation by the user U.
  • the input unit 12 includes, for example, an operation device such as a power switch and an operation button.
  • the input unit 12 supplies input information indicating the detected input operation to the control unit 16.
  • the touch panel 13 is an electronic device that combines a display device and a position input device.
  • the display device includes, for example, a liquid crystal display (LCD: Liquid Crystal Display) device and the like.
  • the position input device includes, for example, a touch pad and the like.
  • the touch panel 13 has a function of displaying various information and detecting contact with the touch panel 13.
  • the touch panel 13 displays various information under the control of the control unit 16, for example.
  • the touch panel 13 supplies, for example, a detection result such as a contact or a position where the contact is detected to the control unit 16.
  • the communication unit 14 communicates with, for example, the information processing device 100, another external device, and the like.
  • the communication unit 14 transmits / receives various data via, for example, a wired or wireless network.
  • the communication unit 14 transmits the utterance data to the information processing apparatus 100.
  • the communication unit 14 may transmit not only the utterance data but also the identification information for identifying the user U and the like to the information processing apparatus 100.
  • the communication unit 14 supplies, for example, various data received from the information processing device 100 to the control unit 16.
  • the storage unit 15 stores various data and programs.
  • the storage unit 15 is, for example, a RAM (Random Access Memory), a semiconductor memory element such as a flash memory, a hard disk, an optical disk, or the like.
  • the storage unit 15 stores various application data such as a mail application 15A, a message application 15B, a browser application 15C, and a calendar application 15D.
  • the mail application 15A provides, for example, a mail function for creating, sending, receiving, displaying, and the like of an e-mail.
  • the message application 15B provides, for example, message functions such as message creation, transmission, reception, and display.
  • the browser application 15C provides, for example, a browsing function for displaying a Web page or the like.
  • the calendar application 15D provides, for example, a calendar function for managing a schedule.
  • the storage unit 15 can store an application different from the mail application 15A, the message application 15B, the browser application 15C, and the calendar application 15D.
  • Other applications include, for example, address changes, travel inn reservations, train and plane reservations, and the like.
  • the storage unit 15 can store the utterance data D1 detected by the sensor unit 11 in time series.
  • the control unit 16 controls the information processing terminal 10 by executing a program.
  • the control unit 16 has a function of controlling each configuration included in the information processing terminal 10.
  • the control unit 16 controls, for example, the start and stop of each configuration.
  • the control unit 16 executes, for example, an application instructed by the user U, the information processing apparatus 100, and the like.
  • the control unit 16 controls the touch panel 13 so as to display various information instructed by the information processing apparatus 100.
  • the control unit 16 controls the touch panel 13 so as to realize display of the input screen 300, input of data to the input field 310, and the like according to an instruction from the information processing apparatus 100, for example.
  • the control unit 16 controls to transmit the utterance data indicating the utterance content to the information processing apparatus 100 when the utterance of the user U is collected by the sensor unit 11.
  • the control unit 16 detects the operation information of the user U based on the contact detected by the touch panel 13, the change in the contact position, and the like, and controls the operation information to be transmitted to the information processing apparatus 100.
  • the operation information includes, for example, information that can identify the input field 310 to which the GUI 400 is moved.
  • the functional configuration example of the information processing terminal 10 according to the present embodiment has been described above.
  • the above configuration described with reference to FIG. 3 is merely an example, and the functional configuration of the information processing terminal 10 according to the present embodiment is not limited to such an example.
  • the functional configuration of the information processing terminal 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • FIG. 4 is a diagram showing an example of the configuration of the information processing apparatus 100 according to the embodiment.
  • the information processing apparatus 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the control unit 130 is electrically connected to the communication unit 110 and the storage unit 120.
  • the communication unit 110 communicates with, for example, an information processing terminal 10, another external device, or the like.
  • the communication unit 110 transmits / receives various data via, for example, a wired or wireless network.
  • the communication unit 110 supplies, for example, the data received from the information processing terminal 10 to the control unit 130.
  • the communication unit 110 transmits, for example, the data instructed by the control unit 130 to the instructed destination.
  • the storage unit 120 stores various data and programs.
  • the storage unit 120 is, for example, a semiconductor memory element such as a RAM or a flash memory, a hard disk, an optical disk, or the like.
  • the storage unit 120 stores data received via the communication unit 110.
  • the storage unit 120 stores various data such as attribute data D100, user data D200, and utterance data D1.
  • the attribute data D100 has data indicating, for example, an input field 310 included in the input screen 300, attributes of the input field 310, items of the input field 310, and the like.
  • the attribute data D100 has, for example, data indicating the attributes (type) of the user interface for data input in the input field 310, the display position on the screen, and the like.
  • the attribute data D100 has data that can identify an interface such as a destination, a title, a text, a text, a numerical value, a date, a time, a search text, a telephone number, a URL (Uniform Resource Locator), and a password.
  • the attribute data D100 is associated with the input field 310 and the attribute information based on the HTML source code.
  • the attribute data D100 can be configured to have data such as a table and a database showing the relationship between the input field 310 and the attribute.
  • the attributes of the input field 310 can be configured to include, for example, data that can identify the type of data to be input to the input field 310, the change method, and the like.
  • the attribute data D100 has a configuration in which the attribute of the input field 311 is the destination and the attribute of the input field 312 is the title (text).
  • the attribute data D100 can have data corresponding to a plurality of input screens.
  • the user data D200 has data related to the user U.
  • the user data D200 includes, for example, information about the individual of the user U, information about the information processing terminal 10 used by the user U, and the like.
  • the user data D200 includes data indicating a correspondence relationship between the user U and the information processing terminal 10 used by the user U.
  • the user data D200 includes information that can identify an application or the like that can be executed by the information processing terminal 10.
  • the storage unit 120 stores the utterance data D1 received from the information processing terminal 10 in association with the user data D200.
  • the utterance data D1 is the utterance data D1 from the information processing terminal 10, and can be associated with information indicating an analysis result or the like of the utterance data D1.
  • the storage unit 120 can store an analysis program, model data, and the like for analyzing the utterance data D1.
  • the control unit 130 is, for example, a dedicated or general-purpose computer.
  • the control unit 130 is, for example, an integrated control unit that controls the information processing apparatus 100.
  • the control unit 130 includes each functional unit that realizes the voice input of the user U of the information processing terminal 10 by cooperating with the information processing terminal 10.
  • the control unit 130 includes a first input unit 131, a second input unit 132, an analysis unit 133, a change unit 134, and a display control unit 135.
  • a program stored inside the information processing apparatus 100 is executed by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like with the RAM or the like as a work area. It will be realized. Further, each functional unit may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the first input unit 131 is in the plurality of input fields 310 based on the meaning of the utterance content indicated by the utterance data D1 (first data) obtained by capturing the voice of the user U and the attributes of the plurality of input fields.
  • the utterance data D1 is input to the input field 310 (first input field) selected from.
  • the first input unit 131 controls for inputting data to the input field 310. For example, the first input unit 131 selects the attribute input field 310 to which the meaning of the utterance data D1 belongs based on the attribute data D100, and inputs the utterance data D1 to the input field 310.
  • the first input unit 131 selects the input field 310 of the attribute having the highest probability of belonging to the meaning.
  • the first input unit 131 has a function of recognizing the relationship between the input field 310 and the attributes of the input field 310 on the input screen 300 of the application activated by the utterance data D1 of the user U based on the attribute data D100 and the like.
  • the second input unit 132 belongs to the attribute of the input field 310 of the movement destination in the speech data D1 in response to the operation of moving the utterance data D1 from the input field 310 of the movement source to the input field 310 of the movement destination.
  • the data is input to the input field 310 of the destination.
  • the movement source input field 310 is, for example, an example of a first input field, and is an input field 310 in which data to be moved is input.
  • the destination input field 310 is, for example, an example of a second input field, and is an input field 310 for inputting data to be moved.
  • the second input unit 132 inputs the second data belonging to the attribute of the movement destination input field 310 in the utterance data D1 to the movement destination input field 310.
  • the second input unit 132 controls for inputting the second data into the input field 310 of the destination.
  • the second input unit 132 transfers some data of the utterance data D1 to the input field 310 at the destination based on the meaning of the utterance data D1 analyzed by the analysis unit 133 and the attributes of the input field 310 at the destination.
  • the second data converted into attributes is input to the input field 310 of the destination.
  • the second input unit 132 moves all of the utterance data D1 to the input field 310 of the move destination as the second data.
  • the second input unit 132 moves the spoken data D1 from the input field 310 of the move source to the input field 310 of the move destination according to the move operation (second operation), the input field 310 of the move destination.
  • the second data based on the attributes of the above and some data is input to the input field 310 of the destination.
  • the second operation includes, for example, an operation of selecting and moving a part of the utterance data D1.
  • the second input unit 132 inputs a part of the data selected from the utterance data D1 as the second data in the input field 310 of the movement destination.
  • the second input unit 132 may semantically analyze a part of the data selected from the utterance data D1 by the analysis unit 133.
  • the second input unit 132 speaks to the input data already input to the input field 310 of the move destination in response to the move operation of moving the speech data D1 from the input field 310 of the move source to the input field 310 of the move destination. It is possible to provide a function of combining data D1 or second data. That is, the second input unit 132 inputs new second data, which is a combination of the second data from the input field 310 of the movement source or the utterance data D1 and the input data, into the input field 310 of the movement destination.
  • the analysis unit 133 analyzes the meaning of the utterance data D1 and a part of the utterance data D1. For example, the analysis unit 133 understands the meaning of the user's utterance by analyzing the character information representing the utterance content of the user U, and generates the utterance meaning information based on the understood result. For example, the analysis unit 133 decomposes the character information representing the utterance content into words for each part of speech by word decomposition, and analyzes the sentence structure from the part of speech information of the decomposed words. The analysis unit 133 can generate semantic information represented by the utterance of the user U by referring to the meaning of each word included in the utterance content of the user U and the analyzed sentence structure.
  • the analysis unit 133 may generate semantic information represented by the utterance of the user U by analyzing the character information representing the utterance content of the user U by using, for example, a machine learning technique such as deep learning.
  • the analysis unit 133 may generate the semantic information represented by the user U's utterance by analyzing the character information representing the user U's utterance content by using a known semantic analysis technique.
  • the analysis unit 133 can start an application based on the user data D200 or the like from the text information in which the user U expresses the utterance content as a character string, and can generate semantic information indicating input or the like in the input field of the input screen.
  • the changing unit 134 changes the utterance data D1 of the moving source input field 310 so as to delete a part of the data moved from the utterance data D1 input to the moving source input field 310 to the moving destination input field 310. change.
  • the utterance data D1 of "Would you like to go to dinner with Mr. Sato?" Is input in the input field 310 of the move source, and "Mr. Sato" is moved to the input field 310 of the move destination as a part of the data.
  • the changing unit 134 changes the utterance data D1 of the input field 310 of the moving source to "Would you like to go to rice?” In consideration of the meaning of the sentence, the sentence structure, and the like.
  • the display control unit 135 controls the display device so as to display the input screen 300 including the plurality of input fields 310.
  • the display control unit 135 controls the information processing terminal 10 so that the input screen 300 is displayed on the touch panel 13.
  • the display control unit 135 controls the information processing terminal 10 so that the second input unit 132 displays the input screen 300 in which the second data is input to the second input field.
  • the display control unit 135 controls the information processing terminal 10 so that the GUI 400, which is an object for instructing the user U to instruct the input field 310 of the movement destination, is displayed near the input field 310.
  • the display control unit 135 may display the active input field 310 in a display mode different from that of other input fields 310.
  • the functional configuration example of the information processing apparatus 100 according to the embodiment has been described above.
  • the above configuration described with reference to FIG. 4 is merely an example, and the functional configuration of the information processing apparatus 100 according to the embodiment is not limited to such an example.
  • the functional configuration of the information processing apparatus 100 according to the embodiment can be flexibly modified according to specifications and operations.
  • FIG. 5 is a diagram showing a transition example of an input screen of the information processing apparatus 100 according to the embodiment.
  • FIG. 5 shows a transition example when the utterance data D1 is moved to another input field 310.
  • FIG. 6 is a diagram showing an example of an outline of information processing according to a transition example of the input screen 300 shown in FIG.
  • the information processing shown in FIG. 6 is realized by the information processing apparatus 100 executing a program.
  • the information processing apparatus 100 displays the input screen 300 on the information processing terminal 10.
  • the input screen 300 has an input field 311 in which the item is the destination and the attribute is the address, an input field 312 in which the item is the title and the attribute is the text, and an input field 313 in which the item is the text and the attribute is the text.
  • the information processing apparatus 100 inputs the utterance data D1 of "going to rice" into the input field 313 based on the result of the semantic analysis.
  • step S11 the user U performs the operation R1 to move the GUI 400 on the input screen 300 from the input field 313 of the text to the vicinity of the input field 312 of the title.
  • the information processing apparatus 100 detects the operation R1 for moving the utterance data D1 to the input field 312
  • the utterance data D1 of "going to rice” and the input field 312 and the input field 313 Performs semantic analysis based on the attributes of. Since the input field 312 and the input field 313 have the same attributes in the information processing apparatus 100, the utterance data D1 of "go to rice" in the input field 313 is moved and input to the input field 312.
  • step S12 shown in FIG. 5 the information processing apparatus 100 inputs the speech data D1 of "going to rice" into the input field 312, and the input field 311 and the input field 313 display a blank input screen 300. It controls the information processing terminal 10. As described above, the information processing apparatus 100 can move the utterance data D1 as it is when the input destination of the utterance data D1 is wrong, but the attributes of the input fields 310 of the movement source and the movement destination are the same.
  • FIG. 7 is a diagram showing another transition example of the input screen of the information processing apparatus 100 according to the embodiment.
  • FIG. 7 shows a transition example when the utterance data D1 is moved to another input field 310.
  • FIG. 8 is a diagram showing an example of an outline of information processing related to the transition example of the input screen 300 shown in FIG. 7.
  • the information processing shown in FIG. 8 is realized by the information processing apparatus 100 executing a program.
  • the information processing apparatus 100 displays the input screen 300 on the information processing terminal 10.
  • the input screen 300 has an input field 311, an input field 312, and an input field 313, similarly to the input screen 300 shown in FIG.
  • the information processing apparatus 100 inputs the utterance data D1 of "Would you like to go to dinner with Mr. Sato" in the title input field 312 based on the result of the semantic analysis.
  • step S21 the user U performs an operation R2 for moving the GUI 400 on the input screen 300 from the input field 312 of the main text to the vicinity of the input field 311 of the destination.
  • the information processing apparatus 100 detects the operation R2 for moving the utterance data D1 to the input field 311, the information processing device 100 inputs the utterance data D1 of "Would you like to go to Mr. Sato for rice?" Semantic analysis is performed based on the attributes of field 311 and input field 312. Since the information processing apparatus 100 has different attributes of the input field 311 and the input field 312, the data to be moved is extracted based on the utterance data D1 and the attributes of the destination.
  • the information processing apparatus 100 extracts the data of "Mr. Sato” regarding the destination from the utterance data D1 and acquires the address data corresponding to "Mr. Sato” from the address book data or the like.
  • the information processing apparatus 100 inputs the address data of "sato@xxx.com” in the input field 313 of the destination, and changes the input field 312 of the title to the data of "Would you like to go to rice?".
  • step S22 shown in FIG. 7 the information processing apparatus 100 inputs the address data into the input field 311 and changes the input field 312 to the data of "Would you like to go to rice?", And the input field 313 is a blank input screen.
  • the information processing terminal 10 is controlled so as to display 300.
  • the information processing apparatus 100 has the attributes of the input field 310 of the movement destination in the utterance data D1. It is possible to move some data suitable for.
  • FIG. 9 is a flowchart showing an example of information processing (1) of the information processing apparatus 100 according to the embodiment.
  • the processing procedure shown in FIG. 9 is realized by the control unit 130 of the information processing apparatus 100 executing a program.
  • the processing procedure shown in FIG. 9 is repeatedly executed when the voice input is controlled by the information processing apparatus 100. That is, the processing procedure shown in FIG. 9 is repeatedly executed by the information processing apparatus 100, for example, when the utterance data D1 of the user U is received from the information processing terminal 10.
  • the control unit 130 of the information processing apparatus 100 acquires the utterance data D1 (step S101).
  • the control unit 130 acquires the utterance data D1 from the information processing terminal 10 received by the communication unit 110 and stores it in the storage unit 120.
  • the control unit 130 may spontaneously acquire the utterance data D1 from the information processing terminal 10 via the communication unit 110.
  • the control unit 130 advances the process to step S102.
  • the control unit 130 executes the semantic analysis of the utterance data D1 (step S102). For example, the control unit 130 decomposes the character information representing the utterance content indicated by the utterance data D1 into words for each part of speech by executing a semantic analysis program, and analyzes the sentence structure from the part of speech information of the decomposed words. do. The control unit 130 generates analysis information indicating the analysis result of the utterance data D1 of the user U in the storage unit 120 by referring to the meaning of each word included in the utterance content of the user U and the analyzed sentence structure.
  • step S102 the control unit 130 advances the process to step S103.
  • the control unit 130 starts the application based on the analysis information (step S103). For example, when the analysis information indicates the transmission of mail, the control unit 130 instructs the information processing terminal 10 to start the mail application 15A via the communication unit 110. For example, when the analysis information indicates the transmission of a message, the control unit 130 instructs the information processing terminal 10 to start the message application 15B via the communication unit 110. For example, when indicating browsing of a Web page, the control unit 130 instructs the information processing terminal 10 to start the browser application 15C via the communication unit 110. For example, when indicating registration, change, or the like of a schedule, the control unit 130 instructs the information processing terminal 10 to start the calendar application 15D via the communication unit 110. When the control unit 130 starts the application, the process proceeds to step S104.
  • the control unit 130 selects the input field 310 from the plurality of input fields 310 based on the meaning of the utterance data D1 (step S104). For example, the control unit 130 selects the input field 310 having the highest probability of matching the meaning of the utterance data D1 by matching the meaning of the utterance data D1 with the items, attributes, and the like of the plurality of input fields 310.
  • step S104 the control unit 130 advances the process to step S105.
  • the control unit 130 displays the input screen 300 in which the utterance data D1 is input to the selected input field 310 (step S105). For example, the control unit 130 instructs the information processing terminal 10 to display the input screen 300 in which the utterance data D1 is input to the selected input field 310 via the communication unit 110. As a result, the information processing terminal 10 displays the input screen 300 in which the utterance data D1 is input in the input field 310 on the touch panel 13. When the process of step S105 is completed, the control unit 130 advances the process to step S106.
  • the control unit 130 determines whether or not a movement operation has been detected (step S106). For example, the control unit 130 determines that the movement operation has been detected when the operation information received from the information processing terminal 10 via the communication unit 110 indicates a movement operation. For example, the control unit 130 determines that the movement operation has been detected when the operation information indicates the movement, the movement destination, or the like of the GUI 400. When the control unit 130 determines that the movement operation has not been detected (No in step S106), the control unit 130 ends the processing procedure shown in FIG.
  • step S107 The control unit 130 executes the semantic analysis of the utterance data D1 based on the attribute of the input field 310 of the movement destination (step S107). For example, the control unit 130 analyzes the utterance content according to the attribute of the input field 310 of the movement destination from the utterance data D1 by executing the semantic analysis program. For example, the control unit 130 analyzes the utterance content (data) suitable for the attribute of the input field 310 of the movement destination, the presence / absence of the utterance content, and the like in the utterance data D1. When the control unit 130 stores the analysis information indicating the analysis result in the storage unit 120, the process proceeds to step S108.
  • the control unit 130 specifies the second data to be input to the input field 310 of the destination from the utterance data D1 based on the analysis information (step S108). For example, when the analysis information indicates that the utterance data D1 contains the data corresponding to the attribute of the input field 310 of the movement destination, the control unit 130 inputs the data corresponding to the attribute of the utterance data D1. Specify as the second data. For example, when the analysis information indicates that the data corresponding to the attribute of the input field 310 of the movement destination is all of the utterance data D1, the control unit 130 may specify the utterance data D1 as the second data. .. When the process of step S108 is completed, the control unit 130 advances the process to step S109.
  • the control unit 130 determines whether or not the attributes of the input field 310 of the transfer destination and the transfer source are the same (step S109). For example, the control unit 130 compares the attribute of the movement destination input field 310 with the attribute of the movement source input field 310 based on the attribute data D100, and if they match, the transfer destination and the movement source input. It is determined that the attributes of column 310 are the same. When the control unit 130 determines that the attributes of the input field 310 of the transfer destination and the transfer source are the same (Yes in step S109), the control unit 130 advances the process to step S110.
  • the control unit 130 inputs the second data to the input field 310 of the movement destination (step S110). For example, since the attributes of the input field 310 of the transfer destination and the transfer source are the same, the control unit 130 extracts the second data from the utterance data D1 and moves the destination on the input screen 300 without changing the second data. Input in the input field 310 of. When the process of step S110 is completed, the control unit 130 advances the process to step S113, which will be described later.
  • step S111 If the control unit 130 determines that the attributes of the input field 310 of the transfer destination and the transfer source are not the same (No in step S109), the process proceeds to step S111.
  • the control unit 130 converts the second data so as to be an attribute of the input field 310 of the movement destination.
  • the control unit 130 executes the conversion process of the second data (step S111).
  • the conversion process includes, for example, a process of converting data from attributes such as the title and body to the attributes of the destination, a process of converting the sentence structure of the data, and the like.
  • the control unit 130 inputs the converted second data into the input field 310 of the destination (step S112). For example, the control unit 130 inputs the second data into the input field 310 of the destination on the input screen 300. When the process of step S112 is completed, the control unit 130 advances the process to step S113.
  • the control unit 130 determines whether or not a part of the utterance data D1 has been moved to the destination input field 310 (step S113). For example, when the second data is a part of the utterance data D1, the control unit 130 determines that a part of the data has been moved to the input field 310 of the destination. When the control unit 130 determines that some data has been moved to the input field 310 of the move destination (Yes in step S113), the control unit 130 advances the process to step S114.
  • the control unit 130 deletes a part of the data from the utterance data D of the movement source (step S114). For example, the control unit 130 deletes a part of the data from the utterance data D1 input to the input field 310 of the movement source. For example, the control unit 130 may execute a process of modifying the sentence structure of the utterance data D1 in which some data is deleted. For example, if the data of "Mr. Sato" is moved from the utterance data D1 of "Would you like to go to rice for Mr. Sato?", The control unit 130 will change "Would you like to go to rice for rice?" Correct the sentence structure. When the process of step S114 is completed, the control unit 130 advances the process to step S116, which will be described later.
  • step S115 the control unit 130 deletes the utterance data D1 in the input field 310 of the movement source (step S115). For example, the control unit 130 deletes the utterance data D1 input to the input field 310 of the movement source, and leaves the input field 310 blank.
  • step S115 the control unit 130 advances the process to step S116.
  • the control unit 130 controls the display so as to update the input field 310 of the input screen 300 (step S116). For example, the control unit 130 instructs the information processing terminal 10 to display the input screen 300 with the updated input field 310 via the communication unit 110. As a result, the information processing terminal 10 displays the input screen 300 on which the utterance data D1 is moved on the touch panel 13.
  • the control unit 130 ends the processing procedure shown in FIG.
  • control unit 130 functions as the first input unit 131 by executing the processing from step S103 to step S104.
  • the control unit 130 functions as the second input unit 132 by executing the processes of steps S108 to S112 and S116 from step S108.
  • the control unit 130 functions as the analysis unit 133 by executing the processes of steps S102 and S107.
  • the control unit 130 functions as the change unit 134 by executing the processes of steps S113 to S115.
  • control unit 130 functions as the display control unit 135 by executing the processes of steps S105 and S116.
  • FIG. 10 is a diagram showing an operation example of the information processing apparatus according to the embodiment.
  • the user U emits an utterance C21 to the information processing terminal 10.
  • the utterance C21 is, for example, "Mr. Fuji's mail.”
  • the information processing apparatus 100 mistakenly recognizes the personal name "Mt. Fuji” as "Mt. Fuji” and recognizes that the start of the mail application 15A is instructed.
  • the information processing apparatus 100 activates the mail application 15A, inputs the utterance data D1 of "Mt.
  • the information processing apparatus 100 causes the information processing terminal 10 to display the mail input screen 300.
  • the information processing apparatus 100 controls the information processing terminal 10 so that the GUI 400 is displayed near the input field 313 of the destination of the input screen 300.
  • the input screen 300 has an input field 311 whose attribute is the destination, an input field 312 whose attribute is the title, and an input field 313 whose attribute is the text.
  • the utterance data D1 of "Mt. Fuji” is input in the input field 313 of the main text.
  • the input field 313 is described as "input field 310".
  • the user U determines that the utterance data is not correctly input to the input field 310 of the input screen 300. That is, the user U wanted the utterance data D1 "Mt. Fuji" to be input as an e-mail address in the input field 311 of the e-mail destination. Therefore, the user U performs a correction operation so as to move the GUI 400 on the input screen 300 from the title input field 313 to the vicinity of the destination input field 311.
  • the user U may perform a move operation of selecting the data of "Fuji" from the utterance data D1 of "Mt. Fuji” in the input field 313 and moving it to the input field 311.
  • the information processing apparatus 100 When the information processing apparatus 100 detects a move operation for moving the GUI 400 from the input field 313 to the vicinity of the input field 311, the information processing apparatus 100 executes a process of moving the utterance data D1 input to the input field 313 to the input field 311.
  • the information processing apparatus 100 re-executes the semantic analysis of the utterance data D1 based on the attribute of the input field 310 of the destination in consideration of the possibility that the semantic analysis has an error.
  • the information processing apparatus 100 has accepted the operation of moving the utterance data D1 to the input field 311 whose attribute is the destination, so that the second data of "Fuji" or "Mr. Fuji" corresponding to the destination is input from the utterance data D1.
  • the information processing apparatus 100 is, for example, the extracted destination of Fuji: fuji @ xxx. com (email address) is acquired from the address book data or the like.
  • step S32 in the information processing apparatus 100, in the input field 311 whose attribute is the destination, fuji @ xxx.
  • the second data converted into com is input, and the input screen 300 in which the input field 315 of the text is changed to blank is displayed on the information processing terminal 10.
  • the information processing apparatus 100 controls the information processing terminal 10 so that the GUI 400 is displayed near the input field 311 of the destination of the input screen 300.
  • the user U confirms that the utterance data D1 can be input to the input field 311 of the intended destination of the input screen 300.
  • the information processing apparatus 100 when the information processing apparatus 100 detects the movement operation for the utterance data D1 in the input field 310, the information processing apparatus 100 inputs a part of the second data of the utterance data D1 based on the attribute of the input field 310 of the movement destination. Enter in the field 310.
  • the information processing apparatus 100 has a plurality of input fields according to the movement operation of moving the utterance data D1 to another input field 310 when the utterance data D1 cannot be input to the input field 310 intended by the user U. Data can be easily changed between 310s. As a result, the information processing apparatus 100 can improve the operability of correcting the voice input for the plurality of input fields 310.
  • the information processing apparatus 100 may activate an application different from the instruction of the user U and input the utterance data D1 into the input field 310 of the application. Therefore, the information processing apparatus 100 can provide a function of moving to the input field 310 of another application according to the operation of the user U.
  • FIG. 11 is a diagram showing a transition example of the input screen according to the information processing (2) according to the embodiment.
  • FIG. 11 shows a transition example when the utterance data D1 is moved to the input field 310 of another application.
  • step S41 shown in FIG. 11 the user U emits an utterance C31 to the information processing terminal 10.
  • the utterance C31 is, for example, "contact Mr. Sato.”
  • the information processing apparatus 100 activates the message application 15B as a result of executing the semantic analysis of the utterance data D1 of the utterance C31.
  • the information processing apparatus 100 acquires the destination data of Mr. Sato based on the result of the semantic analysis, and inputs the destination data into the destination input field 314 of the new message input screen 300A.
  • the information processing apparatus 100 causes the information processing terminal 10 to display a new message input screen 300A.
  • the information processing apparatus 100 controls the information processing terminal 10 so that the GUI 400 is displayed near the input field 314 of the destination of the input screen 300A.
  • the input screen 300A has an input field 314 whose attribute is the destination and an input field 315 whose attribute is the message. "Mr. Sato's destination data" is input in the destination input field 314.
  • the message input field 315 is blank.
  • the user U recognizes the message input screen 300A on the touch panel 13 of the information processing terminal 10.
  • the input field 314 and the input field 315 are referred to as "input field 310".
  • the information processing apparatus 100 displays an icon 500 for activating the mail application 15A on the information processing terminal 10 at a position deviated from the input screen 300A.
  • the icon 500 is displayed on the home screen, background screen, or the like of the information processing terminal 10.
  • the user U recognizes that the message application 15B is started without starting the mail application 15A. Therefore, in order to move the utterance data D1 to the input field 310 of the mail application 15A, the user U is performing an operation R3 to move the GUI 400 in the vicinity of the input field 314 so as to overlap the icon 500.
  • the information processing apparatus 100 when the information processing apparatus 100 detects the operation R3 for moving the utterance data D1 to the input field 310 of the mail application 15A, the information processing device 100 activates the mail application 15A, and the utterance data D1 and the plurality of input fields 310 of the mail application 15A. Perform semantic analysis based on attributes.
  • the information processing apparatus 100 extracts the data of "Mr. Sato” or “Mr. Sato” as the destination of the new mail from "Contact Mr. Sato" of the utterance data D1.
  • the information processing apparatus 100 extracts Sato's destination data: sato @ xxx. com (email address) is acquired from the address book data or the like.
  • the attribute is set to the input field 311 of the destination, and SATO @ xxx.
  • the input screen 300 in which the com (email address) is input is displayed on the information processing terminal 10.
  • the information processing apparatus 100 controls the information processing terminal 10 so that the input field 312 of the title of the input screen 300 and the input field 313 of the text are blank and the GUI 400 is displayed near the input field 311 of the destination.
  • the information processing apparatus 100 can change the display content of the information processing terminal 10 from the input screen 300A of the message application 15B to the input screen 300 in which the mail address is input in the input field 311 of the destination of the mail application 15A. can.
  • the information processing apparatus 100 continues the voice input of the user U to the input screen 300 of the mail application 15A.
  • FIG. 12 is a flowchart showing an example of information processing (2) of the information processing apparatus 100 according to the embodiment.
  • the processing procedure shown in FIG. 12 is realized by the control unit 130 of the information processing apparatus 100 executing a program.
  • the processing procedure shown in FIG. 12 is repeatedly executed when the voice input is controlled by the information processing apparatus 100. That is, the processing procedure shown in FIG. 12 is repeatedly executed by the information processing apparatus 100, for example, when the utterance data D1 of the user U is received from the information processing terminal 10.
  • the processing procedure shown in FIG. 12 is the same as the processing of steps S101 to S106 shown in FIG. 9, since the processing of steps S101 to S106 is the same as the processing of steps S101 to S106, and therefore detailed description thereof will be omitted.
  • the control unit 130 of the information processing apparatus 100 acquires the utterance data D1 (step S101).
  • the control unit 130 executes a semantic analysis of the utterance data D1 (step S102).
  • the control unit 130 starts the application based on the analysis information (step S103).
  • the control unit 130 selects the input field 310 from the plurality of input fields 310 based on the meaning of the utterance data D1 (step S104).
  • the control unit 130 displays the input screen 300 in which the utterance data D1 is input to the selected input field 310 (step S105).
  • the control unit 130 determines whether or not a movement operation has been detected (step S106). When the control unit 130 determines that the movement operation has not been detected (No in step S106), the control unit 130 ends the processing procedure shown in FIG. If the control unit 130 determines that the movement operation has been detected (Yes in step S106), the control unit 130 advances the process to step S131.
  • the control unit 130 determines whether or not the destination is another application (step S131). For example, when the destination of the GUI 400 is an icon of another application, an input screen 300, or the like, the control unit 130 determines that the destination is another application. For example, when the control unit 130 receives a change instruction, a voice, or the like from the user U to another application, the control unit 130 may determine that the destination is another application. When the control unit 130 determines that the movement destination is not another application (No in step S131), the control unit 130 advances the process to step S132.
  • the control unit 130 executes a change process according to the movement operation (step S132).
  • the change process includes, for example, a series of processes from step S107 to step S116 shown in FIG. That is, in the change process, the utterance data D1 input in the input field 310 of the movement source is moved to the input field 310 of the movement destination, and the input field 310 of the movement source is blanked in accordance with the movement operation of the user U. It includes a process of changing the utterance data D1.
  • the control unit 130 ends the process procedure shown in FIG.
  • control unit 130 determines that the destination is another application (Yes in step S131)
  • the control unit 130 proceeds to the process in step S133.
  • the control unit 130 terminates the running application and starts the destination application (step S133). For example, when the other application at the destination is the mail application 15A, the control unit 130 terminates the application being started by the information processing terminal 10 via the communication unit 110, and starts the mail application 15A.
  • the control unit 130 advances the process to step S134.
  • the control unit 130 selects the input field 310 from the plurality of input fields 310 based on the meaning of the utterance data D1 (step S134). For example, the control unit 130 selects the input field 310 having the highest probability of matching the meaning of the utterance data D1 by matching the plurality of input fields 310 of the newly activated application with the meaning of the utterance data D1. When the process of step S134 is completed, the control unit 130 advances the process to step S135.
  • the control unit 130 displays the input screen 300 in which the utterance data D1 is input to the selected input field 310 (step S135).
  • the control unit 130 instructs the information processing terminal 10 to display the input screen 300 in which the utterance data D1 is input to the selected input field 310 via the communication unit 110.
  • the information processing terminal 10 displays the input screen 300 input to the input field 310 of the application newly activated by the utterance data D1 on the touch panel 13.
  • the control unit 130 advances the process to step S136.
  • the control unit 130 determines whether or not a movement operation has been detected (step S136). For example, when the operation information received from the information processing terminal 10 via the communication unit 110 indicates a movement operation for the newly activated application, it is determined that the movement operation has been detected. When the control unit 130 determines that the movement operation has not been detected (No in step S136), the control unit 130 ends the processing procedure shown in FIG. If the control unit 130 determines that the movement operation has been detected (Yes in step S136), the control unit 130 proceeds to step S132 described above.
  • the control unit 130 executes a change process according to the movement operation (step S132). As a result, the control unit 130 moves the utterance data D1 input to the input field 310 of the movement source to the input field 310 of the movement destination of the same input screen 300 in response to the movement operation of the user U. When the process of step S132 is completed, the control unit 130 ends the process procedure shown in FIG.
  • control unit 130 functions as the second input unit 132 by executing the processing of steps S131 and S133 to S134.
  • the control unit 130 functions as the display control unit 135 by executing the process of step S135.
  • the information processing apparatus 100 when the information processing apparatus 100 detects the operation of moving the utterance data D1 of the input field 310 to another application, the information processing apparatus 100 activates the other application and the utterance data is based on the attribute of the input field 310 of the other application. Enter D1 in the input field 310 of the destination.
  • the information processing apparatus 100 responds to the movement operation of moving the utterance data D1 to another application, and the utterance data is spoken between different applications. D1 can be moved.
  • the information processing apparatus 100 can improve the operability of modifying the voice input to the input field 310 of the application.
  • FIG. 13 is a diagram showing an example of information processing (3) of the information processing apparatus according to the embodiment.
  • Information processing (3) shown in FIG. 13 shows an example of a case where the data in the input field 310 is moved to another input field 310 by the voice of the user U.
  • step S51 shown in FIG. 13 the user U emits an utterance C41 to the information processing terminal 10 with the mail application 15A activated.
  • the utterance C41 is, for example, "rice with Mr. Sato.”
  • the information processing apparatus 100 inputs the first utterance data in the title input field 312, leaving the destination input field 311 and the text input field 313 blank. ..
  • the information processing apparatus 100 causes the information processing terminal 10 to display the input screen 300.
  • the information processing apparatus 100 controls the information processing terminal 10 so that the GUI 400 is displayed near the input field 312 of the title of the input screen 300.
  • the user U After referring to the input screen 300 in step S51, the user U emits an utterance C42 to the information processing terminal 10.
  • the utterance C42 is, for example, "Mr. Sato is the destination.”
  • the user U may make an utterance such as "Mr. Sato is the input field one level higher.”
  • the information processing apparatus 100 semantically analyzes the second utterance data of the utterance C42 and recognizes that "Mr. Sato" is included in the first utterance data.
  • the information processing apparatus 100 detects the utterance content of "Mr. Sato is the destination" as the second operation, and performs a process of moving a part of the utterance data D1 (data of Mr. Sato).
  • the information processing apparatus 100 acquires the destination data corresponding to the data of "Mr. Sato" from the first utterance data, and inputs the destination data into the destination input field 310.
  • the information processing apparatus 100 changes the first utterance data to "rice” so as to delete the data of "Mr. Sato” moved from the first utterance data.
  • step S52 the information processing apparatus 100 inputs the data of "Mr. Sato" in the input field 311 of the destination, and the input screen 300 in which the first speech data of the title input field 312 is changed to "rice". Is displayed on the information processing terminal 10.
  • the user U confirms that a part of the first utterance data can be input to the input field 311 of the destination of the input screen 300 instructed by voice.
  • the information processing apparatus 100 when the information processing apparatus 100 detects the movement operation of the voice with respect to the utterance data D1 of the input field 310, the information processing apparatus 100 transfers a part of the data of the utterance data D1 to the movement destination based on the attribute of the input field 310 of the movement destination. Input in the input field 310.
  • the information processing apparatus 100 has a plurality of input fields 310 according to the voice for moving the utterance data D1 to another input field 310 when the utterance data D1 cannot be input to the input field 310 intended by the user U. Data can be easily changed between each other. As a result, the information processing apparatus 100 can improve the operability of correcting the voice input for the plurality of input fields 310.
  • the information processing apparatus 100 detects the movement operation of a part of the utterance data D1 by voice has been described, but the present invention is not limited to this.
  • the information processing apparatus 100 can be configured to detect a movement operation based on the gesture of the user U who selects and moves a part of the data for the touch panel 13.
  • FIG. 14 is a diagram showing an example of information processing (4) of the information processing apparatus according to the embodiment.
  • the information processing (4) shown in FIG. 14 shows an example of inputting data by voice into a plurality of input fields 310.
  • step S61 shown in FIG. 14 the user U emits the utterance C51 to the information processing terminal 10 with the mail application 15A activated.
  • the utterance C51 is, for example, "rice with Mr. Sato.”
  • the information processing apparatus 100 inputs the first utterance data in the title input field 312, leaving the destination input field 311 and the text input field 313 blank. ..
  • the information processing apparatus 100 causes the information processing terminal 10 to display the input screen 300.
  • the information processing apparatus 100 controls the information processing terminal 10 so that the GUI 400 is displayed near the input field 312 of the title of the input screen 300.
  • the user U refers to the input screen 300 in step S61, recognizes that the voice has been input correctly, and then emits the utterance C52 to the information processing terminal 10.
  • the utterance C52 is, for example, "Mr. Suzuki is the destination.”
  • the information processing apparatus 100 semantically analyzes the second utterance data of the utterance C52, and selects the destination input field 312 as the input destination.
  • the information processing apparatus 100 acquires the destination data of "Mr. Suzuki” from an address book or the like, and inputs the destination address data of Mr. Sato into the destination input field 311.
  • the information processing apparatus 100 has an input screen 300 in which Mr. Suzuki's destination data is input to the destination input field 311 and the first speech data of "Mr. Sato and rice" is input to the title input field 312. Is displayed on the information processing terminal 10.
  • the information processing apparatus 100 controls the information processing terminal 10 so that the GUI 400 is displayed near the input field 311 of the destination of the input screen 300.
  • the user U confirms that a part of the first utterance data can be input to the input field 311 of the destination of the input screen 300 instructed by voice.
  • the information processing apparatus 100 may display the GUI 400 near the input field 312 of the title of the input screen 300, or may display the two GUI 400s near both the input field 311 and the input field 312. ..
  • the information processing apparatus 100 when the information processing apparatus 100 detects the movement operation of the voice with respect to the utterance data D1 of the input field 310, the information processing apparatus 100 inputs a part of the data of the utterance data D1 based on the attribute of the input field 310 of the movement destination. Enter in the field 310.
  • the information processing apparatus 100 has a plurality of input fields 310 according to the voice for moving the utterance data D1 to another input field 310 when the utterance data D1 cannot be input to the input field 310 intended by the user U. Data can be easily changed between each other. As a result, the information processing apparatus 100 can improve the operability of correcting the voice input for the plurality of input fields 310.
  • FIG. 15 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing apparatus 100.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versaille Disc), a magneto-optical recording medium such as MO (Magnet-Optical disk), a tape medium, a magnetic recording medium, a semiconductor memory, or the like.
  • the CPU 1100 of the computer 1000 executes the information processing program loaded on the RAM 1200 to execute the first input unit 131 and the second input unit 132. , Analysis unit 133, change unit 134, display control unit 135, and the like are realized. Further, the information processing program according to the present disclosure and the data in the storage unit 120 are stored in the HDD 1400. The CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the information processing apparatus 100 has described the case where the information processing system 1 executes information processing in cooperation with the information processing terminal 10, but the present invention is not limited to this.
  • the information processing apparatus 100 may independently execute information processing. That is, the information processing apparatus 100 may incorporate the function of the information processing terminal 10.
  • the information processing terminal 10 may be configured such that the control unit 16 realizes the first input unit 131, the second input unit 132, the analysis unit 133, the change unit 134, and the like of the information processing device 100.
  • each step related to the processing of the information processing apparatus 100 of the present specification does not necessarily have to be processed in chronological order in the order described in the flowchart.
  • each step related to the processing of the information processing apparatus 100 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • the information processing apparatus 100 has described a case where the input screen 300 having a plurality of input fields 310 is displayed on the touch panel 13 of the information processing terminal 10, but the present invention is not limited to this.
  • the information processing apparatus 100 may be configured to display a plurality of input fields 310 and GUI 400 in a predetermined area in the virtual space.
  • the information processing apparatus 100 describes a case where the information processing apparatus 100 detects a movement operation by a touch operation or a voice with respect to the GUI 400, but the present invention is not limited to this.
  • the information processing apparatus 100 may be configured to detect a movement operation by, for example, sign language, an electroencephalogram, a gesture for the touch panel 13, or the like.
  • the information processing apparatus 100 is a first selected from a plurality of input fields 310 based on the meaning of the utterance content indicated by the first data obtained by capturing the voice of the speaker and the attributes of the plurality of input fields 310.
  • the attributes of the second input field of the first data are set to the first input unit 131 for inputting the first data in the input field.
  • a second input unit 132 for inputting the second data to which the data belongs to the second input field is provided.
  • the information processing apparatus 100 responds to the operation of moving the first data to another input field 310, and the information processing apparatus 100 has a plurality of input fields 310. Data can be easily moved between each other. As a result, the information processing apparatus 100 only needs to indicate the input field to which the first data is moved, so that the information processing apparatus 100 has an operability of moving the first data automatically input to the input field 310 to another input field. Can be improved.
  • the second input unit 132 uses the second data belonging to the attribute of the second input field of the first data as the second data. 2 Enter in the input field.
  • the information processing apparatus 100 moves the second data belonging to the attribute of the second input field of the first data to the second input field in response to the operation of moving the first data to the second input field having different attributes. Can be entered in.
  • the information processing apparatus 100 can improve the operability of modifying the voice input for the plurality of input fields 310. ..
  • the information processing apparatus 100 further includes an analysis unit 133 capable of semantic analysis of the first data based on the attributes of the input field of the destination.
  • the second input unit 132 converted some data of the first data into the attributes of the second input field based on the meaning of the first data analyzed by the analysis unit 133 and the attributes of the second input field.
  • the second data is input in the second input field.
  • the information processing apparatus 100 converts some of the first data into the attributes of the second input field in response to the operation of moving the first data to the second input field having different attributes. Data can be entered in the second input field. As a result, the information processing apparatus 100 can move the data corresponding to the attribute of the input field 310 of the destination among the first data to the second input field, so that the voice input to the plurality of input fields 310 can be modified. The operability of the above can be further improved.
  • the second input unit 132 uses a part of the first data as an attribute of the second input field in response to an operation of moving the first data from the first input field to the second input field. Enter the converted second data in the second input field.
  • the information processing apparatus 100 converts a part of the data of the first data into the attributes of the second input field in response to the operation of moving the first data from the first input field to the second input field. Data can be entered in the second input field.
  • the information processing apparatus 100 moves the first data to the second input field, the user U does not need to be aware of the attributes of the input field of the move destination, so that the voice input to the plurality of input fields 310 can be performed.
  • the operability related to correction can be further improved.
  • the information processing apparatus 100 further includes a change unit 134 that changes the first data so as to delete a part of the data moved from the first data input in the first input field to the second input field.
  • the information processing apparatus 100 can change the first data in the first input field when a part of the first data is moved from the first input field to the second input field. ..
  • the user U does not need to modify the data in the input field of the move source, so that a plurality of input fields are not required.
  • the operability related to the correction of the voice input for 310 can be further improved.
  • the second input unit 132 inputs the first data as the second data in the second input field.
  • the information processing apparatus 100 transfers the first data to the second input field in response to the operation of moving the first data to the second input field 310. You can move to the input field. As a result, the information processing apparatus 100 moves the first data in the first input field to the second input field only by the user U instructing the input field having the same attributes as the first input field as the move destination of the first data. Therefore, it is possible to improve the operability regarding the correction of the voice input for the plurality of input fields 310.
  • the second input unit 132 receives a part of the data of the first data in response to the second operation of moving a part of the data of the first data from the first input field to the second input field. Enter the second data based on the above in the second input field.
  • the information processing apparatus 100 transfers a part of the data of the first data to the second input field in response to the second operation of moving a part of the data of the first data from the first input field to the second input field. Can be entered in.
  • the information processing apparatus 100 allows the user U to easily input a part of the first data in the first input field into the second input field, so that the efficiency of voice input to the plurality of input fields 310 is high. Can be improved.
  • the information processing device 100 further includes a display control unit 135 that controls the display device so as to display an input screen including a plurality of input fields 310.
  • the display control unit 135 controls the display device so that the second input field displays the input screen in which the second data is input to the second input field.
  • the information processing apparatus 100 can display the input screen on the display device in response to the input of the second data to the second input field.
  • the information processing apparatus 100 can confirm the result of the user U moving the first data to the second input field, so that the first data automatically input to the input field 310 can be used in another input field. It is possible to support the operation of moving to.
  • the information processing device 100 controls the display device so that the display control unit 135 displays an object capable of instructing the input field 310 at the destination near the input field in which the first data is input. do.
  • the second input unit 132 detects an operation of moving the first data from the first input field to the second input field based on the move instruction for the object.
  • the information processing apparatus 100 can detect the operation of moving the first data from the first input field to the second input field according to the movement of the object from the first input field to the second input field. .. As a result, the information processing apparatus 100 can improve the efficiency of voice input to the plurality of input fields 310 because the user U only needs to move the object from the first input field to the second input field.
  • the second input unit 132 receives the second screen in response to the third operation of moving the first data from the first input field of the first screen to the second screen different from the first screen.
  • the first data is input to the third input field selected based on the meaning of the utterance content indicated by the first data from the plurality of input fields of.
  • the information processing apparatus 100 has attributes suitable for the first data on the second screen in response to the third operation of moving the first data input in the first input field of the first screen to the second screen.
  • the first data can be input in the third input field.
  • the information processing apparatus 100 can input the first data into the input field of the second screen suitable for the first data only by the user U instructing the second screen as the destination of moving the first data. It is possible to improve the efficiency of voice input for a plurality of input fields 310 on the screen of.
  • the third operation includes an operation of moving the first data from the first input field of the first screen to the application using the second screen, and the second input unit responds to the third operation.
  • the application is started, and the first data is input to the third input field selected based on the meaning of the utterance content indicated by the first data from the plurality of input fields on the second screen.
  • the information processing apparatus 100 when the information processing apparatus 100 starts the application in response to the third operation, the first data is entered in the second input field suitable for the first data among the plurality of input fields on the second screen of the application. Can be entered. As a result, the information processing apparatus 100 can start the application only by the user U selecting the application as the transfer destination of the first data, and the first is entered in the input field of the second screen suitable for the first data. Since data can be input, the efficiency of voice input to a plurality of input fields 310 on a plurality of screens can be improved.
  • the information processing apparatus 100 includes a third input field and a fourth input field on the second screen.
  • the second input unit 132 transfers the second data belonging to the attribute of the fourth input field of the first data to the fourth in response to the fourth operation of moving the first data from the third input field to the fourth input field. Enter in the input field.
  • the information processing apparatus 100 moves the first data to another input field 310 of the second screen. Accordingly, data can be easily moved between the plurality of input fields 310. As a result, in the information processing apparatus 100, since the user U only needs to indicate the input field to which the first data is moved, the first data automatically input to the input field 310 is input to another on a plurality of input screens. The operability of moving to the column can be improved.
  • the operation of moving the first data from the first input field to the second input field includes a voice operation.
  • the information processing apparatus 100 can receive the operation of moving the first data from the first input field to the second input field by voice. As a result, the information processing apparatus 100 can move the first data in the first input field to the second input field only by the user U instructing the second input field to which the first data is moved by voice. Therefore, it is possible to improve the operability regarding the correction of the voice input for the plurality of input fields 310.
  • the information processing method is selected from a plurality of input fields 310 based on the meaning of the utterance content indicated by the first data obtained by capturing the voice of the speaker and the attributes of the plurality of input fields by the computer. 1
  • the computer when the first data cannot be input to the input field 310 intended by the user U, the computer inputs a plurality of inputs according to the operation of moving the first data to another input field 310. Data can be easily moved between columns 310. As a result, as the information processing method, the user U only needs to indicate the input field to which the first data is moved, so that the operability of moving the first data automatically input to the input field 310 to another input field is improved. Can be improved.
  • the information processing program selects from a plurality of input fields 310 based on the meaning of the utterance content indicated by the first data obtained by capturing the voice of the speaker into the computer and the attributes of the plurality of input fields. 1
  • the second data belonging to the attribute of the second input field of the first data according to the operation of inputting the first data in the input field and moving the first data from the first input field to the second input field. To be executed in the second input field.
  • the information processing program receives a plurality of inputs according to the operation of moving the first data to another input field 310 to the computer. Data can be easily moved between columns 310.
  • the user U only needs to indicate the input field to which the first data is moved, so that the operability of moving the first data automatically input to the input field 310 to another input field is improved. Can be improved.
  • the first data is input to the first input field selected from the plurality of input fields.
  • the first input part to input In response to the operation of moving the first data from the first input field to the second input field, the second data belonging to the attribute of the second input field of the first data is input to the second input field. 2nd input section and Information processing device equipped with.
  • the second input unit uses the second data belonging to the attribute of the second input field of the first data to be the second data.
  • the information processing device which is input in the input field.
  • the second input unit uses a part of the first data in the second input field based on the meaning of the first data analyzed by the analysis unit and the attributes of the second input field.
  • the information processing apparatus according to (1) or (2), wherein the second data converted into attributes is input to the second input field.
  • the second input unit converts a part of the data of the first data into the attribute of the second input field in response to the operation of moving the first data from the first input field to the second input field.
  • the information processing apparatus according to any one of (1) to (3), wherein the second data is input to the second input field.
  • the (4) further includes a change unit for changing the first data so as to delete a part of the data moved from the first data input in the first input field to the second input field.
  • the information processing device described. When the first input field and the second input field have the same attributes, the second input unit inputs the first data as the second data in the second input field (1).
  • the second input unit has the attributes of the second input field and the part of the second input field according to the second operation of moving a part of the first data from the first input field to the second input field.
  • the information processing apparatus according to any one of (1) to (6) above, wherein the second data based on the data is input to the second input field.
  • a display control unit for controlling the display device so as to display an input screen having the plurality of input fields.
  • the display control unit controls the display device so that the second input unit displays the input screen in which the second data is input to the second input field. Any of the above (1) to (7).
  • Information processing device described in Crab. (9)
  • the display control unit controls the display device so that an object capable of instructing the input field of the movement destination is displayed near the input field in which the first data is input.
  • the information processing apparatus according to (8), wherein the second input unit detects an operation of moving the first data from the first input field to the second input field based on a movement instruction for the object.
  • the second input unit is a plurality of the second screens according to a third operation of moving the first data from the first input field of the first screen to a second screen different from the first screen.
  • the information according to any one of (1) to (9) above, in which the first data is input to the third input field selected based on the meaning of the utterance content indicated by the first data.
  • Processing device. (11) The third operation includes an operation of moving the first data from the first input field of the first screen to an application using the second screen.
  • the second input unit starts the application in response to the third operation, and is selected from a plurality of input fields on the second screen based on the meaning of the utterance content indicated by the first data.
  • the information processing apparatus according to (10), wherein the first data is input to the input field.
  • the second screen includes the third input field and the fourth input field.
  • the second input unit belongs to the attribute of the fourth input field of the first data in response to the fourth operation of moving the first data from the third input field to the fourth input field.
  • 2 The information processing apparatus according to (10) or (11), wherein data is input to the fourth input field.
  • (13) The information processing apparatus according to any one of (1) to (12), wherein the operation of moving the first data from the first input field to the second input field includes an operation by voice.
  • the computer Based on the meaning of the utterance content indicated by the first data obtained by capturing the voice of the speaker and the attributes of the plurality of input fields, the first data is input to the first input field selected from the plurality of input fields.
  • the second data belonging to the attribute of the second input field of the first data is input to the second input field.
  • Information processing methods including. (15) On the computer Based on the meaning of the utterance content indicated by the first data obtained by capturing the voice of the speaker and the attributes of the plurality of input fields, the first data is input to the first input field selected from the plurality of input fields.
  • the second data belonging to the attribute of the second input field of the first data is input to the second input field.
  • Information processing program to execute.
  • An information processing terminal that obtains the first data by capturing the voice of the speaker
  • An information processing device capable of communicating with the information processing terminal and It is an information processing system equipped with
  • the information processing device is A first input unit for inputting the first data into the first input field selected from the plurality of input fields based on the meaning of the utterance content indicated by the first data and the attributes of the plurality of input fields.
  • the second data belonging to the attribute of the second input field of the first data is input to the second input field. 2nd input section and Information processing system equipped with.
  • Information processing system 10 Information processing terminal 11 Sensor unit 12 Input unit 13 Touch panel 14 Communication unit 15 Storage unit 15A Mail application 15B Message application 16 Control unit 100 Information processing device 110 Communication unit 120 Storage unit 130 Control unit 131 First input unit 132 2nd input unit 133 Analysis unit 134 Change unit 135 Display control unit D1 Speech data D100 Attribute data D200 User data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置（１００）は、話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の入力欄の中から選択した第１入力欄に第１データを入力する第１入力部（１３１）と、第１入力欄から第２入力欄に第１データを移動させる操作に応じて、第１データのうちの第２入力欄の属性に属する第２データを第２入力欄に入力する第２入力部（１３２）と、を備える。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　近年、ユーザの発話によって音声入力を可能とする装置が知られている。例えば、特許文献１には、音声信号から生成されかつ入力欄に入力する対象となるテキストデータを、分割テキストデータから取得して、対応する入力欄に入力する技術が開示されている。
特開２０１８－７２５０８号公報
　しかしながら、従来技術では、複数の入力欄に対して音声入力を行う場合、意図した入力欄にデータが入力されない場合がある。このため、従来技術では、入力欄に入力されたデータを他の入力欄へ移動する操作性の向上が望まれている。
　そこで、本開示では、入力欄に自動で入力されたデータを他の入力欄へ移動する操作性を向上させることができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力する第１入力部と、前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力する第２入力欄と、を備える。
　また、本開示に係る一形態の情報処理方法は、コンピュータが、話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力すること、前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力すること、を含む。
　また、本開示に係る一形態の情報処理プログラムは、コンピュータに、話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力すること、前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力すること、を実行させる。
実施形態に係る情報処理システムの一例を説明するための図である。 実施形態に係る情報処理システムの動作概要の一例を説明するための図である。 実施形態に係る情報処理端末の構成の一例を示す図である。 実施形態に係る情報処理装置の構成の一例を示す図である。 実施形態に係る情報処理装置の入力画面の遷移例を示す図である。 図５に示す入力画面の遷移例に係る情報処理の概要の一例を示す図である。 実施形態に係る情報処理装置の入力画面の他の遷移例を示す図である。 図７に示す入力画面の遷移例に係る情報処理の概要の一例を示す図である。 実施形態に係る情報処理装置の情報処理（１）の一例を示すフローチャートである。 実施形態に係る情報処理装置に係る動作例を示す図である。 実施形態に係る情報処理（２）に係る入力画面の遷移例を示す図である。 実施形態に係る情報処理装置の情報処理（２）の一例を示すフローチャートである。 実施形態に係る情報処理装置の情報処理（３）の一例を示す図である。 実施形態に係る情報処理装置の情報処理（４）の一例を示す図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（実施形態）
［実施形態に係る情報処理システムの概要］
　図１は、実施形態に係る情報処理システムの一例を説明するための図である。図１に示す情報処理システム１は、ユーザＵが発した音声によって複数の入力欄にデータを入力する音声入力システムである。情報処理システム１は、例えば、情報処理端末１０と、情報処理装置１００と、を備える。以下の説明では、情報処理システム１は、情報処理端末１０と情報処理装置１００とが連携することで、ユーザＵの音声入力を実現する一例について説明する。ユーザＵは、話者の一例であり、情報処理システム１で音声入力を行う人物である。
　情報処理端末１０は、ユーザＵが入力可能な電子機器である。電子機器は、例えば、スマートフォン、タブレット端末、ゲーム機器、ヘッドマウントディスプレイ（ＨＭＤ：Head　Mounted　Display）、テレビジョン、ホームスピーカー、家庭用電気製品等を含む。情報処理端末１０は、ユーザＵの音声等を集音可能なように構成されている。情報処理端末１０は、ユーザＵの音声を集音した発話データを情報処理装置１００に供給する機能を有する。発話データは、ユーザＵの音声を取り込むことで得た発話内容を示すデータを含む。情報処理端末１０は、例えば、周囲の音を集音するのみならず、その他の各種情報を取得するための各種センサを有していてもよい。情報処理端末１０は、例えば、タッチパネルを有し、接触、接触が検出された位置、接触が検出された位置の変化等が検出可能な構成となっている。情報処理端末１０は、タッチパネルの検出結果に基づいて、ユーザＵの操作を検出する機能を有する。
　情報処理装置１００は、いわゆるクラウドサーバ（Cloud　Server）であり、情報処理端末１０と連携して情報処理を実行するサーバ装置である。情報処理端末１０と情報処理装置１００とは、例えば、ネットワークを介して通信したり、ネットワークを介さずに直に通信したりすることが可能な構成となっている。情報処理装置１００は、例えば、情報処理端末１０に組み込まれてもよい。
　情報処理装置１００は、情報処理端末１０からユーザＵの発話データを取得し、発話データの意味解析を行う機能を有する。意味解析は、例えば、自然言語理解（ＮＬＵ：Natural　Language　understanding）、自然言語処理（ＮＬＰ：Natural　　Language　Processing）等を用いて解析することができる。
　情報処理システム１は、複数の入力欄を有する入力画面を情報処理端末１０に表示し、情報処理端末１０がユーザＵの発話データを集音する。情報処理システム１は、情報処理装置１００がユーザＵの発話データを意味解析し、当該発話データを入力画面の入力欄の属性に応じて自動的に入力する。入力欄に発話データを入力するとは、例えば、発話データを入力欄に設定すること、入力欄に発話データを表示させること等を含む。
　例えば、入力画面が１つの入力欄で構成されている場合、情報処理システム１は、ユーザＵの発話データを当該入力欄に入力すればよい。しかし、入力画面が複数の入力欄で構成されている場合、情報処理システム１は、発話データを意味解析し、複数の入力欄の中から発話データに適した入力欄を選択し、選択した入力欄に発話データを自動で入力する。このため、情報処理システム１は、ユーザＵが意図しない入力欄に、発話データを入力する可能性がある。
　本開示では、情報処理システム１がユーザＵの意図しない入力欄に発話データを入力した場合に、入力欄に自動で入力されたデータを他の入力欄へ移動する操作性を向上させることを可能とする技術を提供する。
　図２は、実施形態に係る情報処理システム１の動作概要の一例を説明するための図である。図２に示す一例では、ユーザＵは、情報処理端末１０に対して発話Ｃ１１を発している。発話Ｃ１１は、例えば、「佐藤さん　ご飯に行きませんかとメール。」である。情報処理システム１は、情報処理装置１００が発話Ｃ１１の発話データの意味解析を実行した結果、情報処理端末１０でメールアプリケーションを起動させる。情報処理システム１は、新規メールの入力画面３００のタイトルの入力欄３１１に、「佐藤さんにご飯に行きませんか」の発話データを入力する。メールアプリケーションは、例えば、電子メールの作成、送信、受信、表示等のためのメール機能を提供する。情報処理システム１は、情報処理装置１００が新規メールの入力画面３００を情報処理端末１０に表示させる。
　図２に示す一例では、入力画面３００は、ユーザＵが入力可能な画面（オブジェクト）であり、情報処理端末１０でユーザＵが視認可能なように表示される。入力画面３００は、例えば、情報処理端末１０がＨＭＤである場合、仮想空間に表示されてもよい。入力画面３００は、属性が宛先の入力欄３１１と、属性がタイトルの入力欄３１２と、を有する。以下、入力欄３１１及び入力欄３１２を区別しない場合、入力欄３１１及び入力欄３１２を「入力欄３１０」と記載する。また、説明を簡単化するために、図２に示す入力画面３００は、本文、送信ボタン、キャンセルボタン等の記載を省略している。
　情報処理システム１は、「佐藤さんにご飯に行きませんか」の発話データを、情報処理装置１００が新規メールのタイトルと認識している。このため、ステップＳ１に示すように、情報処理システム１は、入力画面３００の属性がタイトルの入力欄３１２に、「佐藤さんにご飯に行きませんか」の発話データを入力した入力画面３００を、情報処理装置１００が情報処理端末１０に表示させている。また、情報処理システム１は、入力画面の属性が宛先の入力欄３１１をブランクとなるように、入力画面３００を情報処理装置１００が情報処理端末１０に表示させている。
　情報処理システム１は、ユーザＵが操作可能なＧＵＩ（Graphical　User　Interface）４００を、移動可能なように入力画面３００上に表示させている。ＧＵＩ４００は、入力画面３００で操作可能な入力欄の近くに位置するように表示されている。すなわち、ステップＳ１では、情報処理システム１は、入力欄３１２の近くにＧＵＩ４００を表示させることで、入力欄３１２が活性化しており、入力欄３１２の操作が可能であることをユーザＵに示している。
　ステップＳ１では、ユーザＵは、情報処理端末１０の入力画面３００を参照した結果、発話データが入力画面３００の入力欄３１０に正しく入力されていないと判断している。すなわち、ユーザＵは、発話データの「佐藤さん」のデータを、新規メールの宛先の入力欄３１１に、メールアドレスとして入力されることを望んでいた。このため、ユーザＵは、入力画面３００上のＧＵＩ４００を、タイトルの入力欄３１２から宛先の入力欄３１１の近くに移動させることで、移動操作を行っている。
　情報処理システム１は、ＧＵＩ４００を入力欄３１２から入力欄３１１の近くに移動させる移動操作を検出すると、移動元の入力欄３１２に入力されている発話データを、移動先の入力欄３１１に移動させる処理を実行する。情報処理システム１は、「佐藤さんにご飯に行きませんか」の発話データの意味解析を再度実行する。これにより、情報処理システム１は、発話データを属性が宛先の入力欄３１１へ移動させる操作を受け付けたので、宛先に着目した意味解析を実行し、発話データから宛先に該当する「佐藤さん」または「佐藤」のデータを抽出する。情報処理システム１は、例えば、抽出した佐藤の宛先：ｓａｔｏ＠ｘｘｘ．ｃｏｍ（メールアドレス）を、アドレス帳データ等から取得する。
　ステップＳ２に示すように、情報処理システム１は、属性が宛先の入力欄３１１に、ｓａｔｏ＠ｘｘｘ．ｃｏｍ（メールアドレス）を第２データとして入力した入力画面３００を、情報処理装置１００が情報処理端末１０に表示させている。また、情報処理システム１は、「佐藤さんにご飯に行きませんか」の発話データのうち、「佐藤さん」を入力欄３０１に移動させているので、「ご飯に行きませんか」と発話データを変更する。情報処理システム１は、変更した発話データとなるように、タイトルの入力欄３１２に入力している発話データを変更した入力画面３００を、情報処理装置１００が情報処理端末１０に表示させている。すなわち、ステップＳ２に示す入力画面３００は、属性が宛先の入力欄３１１に、ｓａｔｏ＠ｘｘｘ．ｃｏｍ（メールアドレス）のデータが入力され、属性がタイトルの入力欄３１２に、「ご飯に行きませんか」のデータが入力されている。その結果、ユーザＵは、発話データを入力画面３００の意図する入力欄３１１及び入力欄３１２に入力できたことを確認する。
　このように、情報処理システム１（情報処理装置１００）は、発話データ（第１データ）が示す発話内容の意味と複数の入力欄３１０の属性とに基づいて、複数の入力欄３１０の中から選択した入力欄３１２に発話データを入力する。情報処理システム１は、入力欄３１２から入力欄３１１に発話データを移動させる操作に応じて、発話データのうちの移動先の入力欄３１０の属性に属する第２データを移動先の入力欄３１０に入力する。これにより、情報処理システム１は、発話データがユーザの意図した入力欄３１０に入力できなかった場合、他の入力欄に発話データを移動させる操作に応じて、複数の入力欄３１０同士の間でデータを容易に移動することができる。その結果、情報処理システム１は、入力欄３１０に自動で入力されたデータを他の入力欄３１９へ移動する操作性を向上させることができる。
［実施形態に係る情報処理端末の構成例］
　図３は、実施形態に係る情報処理端末１０の構成の一例を示す図である。図３に示すように、情報処理端末１０は、センサ部１１と、入力部１２と、タッチパネル１３と、通信部１４と、記憶部１５と、制御部１６と、を備える。制御部１６は、センサ部１１、入力部１２、タッチパネル１３、通信部１４及び記憶部１５と電気的に接続されている。
　センサ部１１は、ユーザＵや周囲に係る種々のセンサ情報を収集する機能を有する。本実施形態に係るセンサ部１１は、例えば、マイクロフォン、カメラ、ＴｏＦ（Time　of　Flight）センサ、慣性センサ等を含む。センサ部１１は、例えば、地磁気センサ、タッチセンサ、赤外線センサ、温度センサ、湿度センサなどの様々なセンサを含んでもよい。センサ部１１は、収集したセンサ情報を制御部１６に供給する。センサ部１１は、ユーザＵの音声を取り込むことで得た発話データを制御部１６に供給する。
　入力部１２は、ユーザＵによる物理的な入力操作を検出する機能を有する。入力部１２は、例えば、電源スイッチ、操作ボタンなどの操作機器を備える。入力部１２は、検出した入力操作を示す入力情報を制御部１６に供給する。
　タッチパネル１３は、表示装置と位置入力装置とを組み合わせた電子機器である。表示装置は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）装置等を含む。位置入力装置は、例えば、タッチパッド等を含む。タッチパネル１３は、各種情報を表示し、タッチパネル１３に対する接触を検出する機能を有する。タッチパネル１３は、例えば、制御部１６の制御によって各種情報を表示する。タッチパネル１３は、例えば、接触、接触が検出された位置等の検出結果を制御部１６に供給する。
　通信部１４は、例えば、情報処理装置１００、他の外部装置等と通信を行う。通信部１４は、例えば、有線又は無線ネットワーク等を介して各種データを送受信する。通信部１４は、例えば、発話が集音された場合に、発話データを情報処理装置１００に送信する。通信部１４は、例えば、発話データのみならず、ユーザＵを識別するための識別情報等を情報処理装置１００に送信してもよい。通信部１４は、例えば、情報処理装置１００から受信した各種データを制御部１６に供給する。
　記憶部１５は、各種データ及びプログラムを記憶する。例えば、記憶部１５は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。記憶部１５は、例えば、メールアプリケーション１５Ａ、メッセージアプリケーション１５Ｂ、ブラウザアプリケーション１５Ｃ、カレンダーアプリケーション１５Ｄ等の各種アプリケーションデータを記憶する。メールアプリケーション１５Ａは、例えば、電子メールの作成、送信、受信、表示等のためのメール機能を提供する。メッセージアプリケーション１５Ｂは、例えば、メッセージの作成、送信、受信、表示等のメッセージ機能を提供する。ブラウザアプリケーション１５Ｃは、例えば、Ｗｅｂページ等を表示するためのブラウジング機能を提供する。カレンダーアプリケーション１５Ｄは、例えば、スケジュールを管理するためのカレンダー機能を提供する。記憶部１５は、メールアプリケーション１５Ａ、メッセージアプリケーション１５Ｂ、ブラウザアプリケーション１５Ｃ及びカレンダーアプリケーション１５Ｄとは異なるアプリケーションを記憶することができる。他のアプリケーションは、例えば、住所変更、旅行の旅館予約、電車や飛行機の予約等を行うアプリケーションを含む。記憶部１５は、センサ部１１が検出した発話データＤ１を時系列で記憶できる。
　制御部１６は、プログラムを実行することにより、情報処理端末１０の制御を行う。制御部１６は、情報処理端末１０が備える各構成を制御する機能を有する。制御部１６は、例えば、各構成の起動や停止を制御する。制御部１６は、例えば、ユーザＵ、情報処理装置１００等から指示されたアプリケーションを実行する。制御部１６は、情報処理装置１００から指示された各種情報を表示するように、タッチパネル１３を制御する。制御部１６は、例えば、情報処理装置１００からの指示により、入力画面３００の表示、入力欄３１０に対するデータの入力等を実現するように、タッチパネル１３を制御する。制御部１６は、センサ部１１によってユーザＵの発話が集音された場合に、発話内容を示す発話データを情報処理装置１００に送信する制御を行う。制御部１６は、タッチパネル１３によって検出された接触、接触位置の変化等に基づいてユーザＵの操作情報を検出し、操作情報を情報処理装置１００に送信する制御を行う。操作情報は、例えば、ＧＵＩ４００の移動先の入力欄３１０を識別可能な情報を含む。
　以上、本実施形態に係る情報処理端末１０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は係る例に限定されない。本実施形態に係る情報処理端末１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
［実施形態に係る情報処理装置の構成例］
　図４は、実施形態に係る情報処理装置１００の構成の一例を示す図である。図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、を備える。制御部１３０は、通信部１１０及び記憶部１２０と電気的に接続されている。
　通信部１１０は、例えば、情報処理端末１０、他の外部装置等と通信を行う。通信部１１０は、例えば、有線又は無線ネットワーク等を介して各種データを送受信する。通信部１１０は、例えば、情報処理端末１０から受信したデータを制御部１３０に供給する。通信部１１０は、例えば、制御部１３０が指示したデータを指示された送信先に送信する。
　記憶部１２０は、各種データ及びプログラムを記憶する。例えば、記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。記憶部１２０は、通信部１１０を介して受信したデータを記憶する。記憶部１２０は、例えば、属性データＤ１００、ユーザデータＤ２００、発話データＤ１等の各種データを記憶する。
　属性データＤ１００は、例えば、入力画面３００が備える入力欄３１０、入力欄３１０の属性、入力欄３１０の項目等を示すデータを有する。属性データＤ１００は、例えば、入力欄３１０のデータ入力用のユーザインターフェイスの属性（タイプ）、画面における表示位置等を示すデータを有する。属性データＤ１００は、例えば、宛先、タイトル、本文、テキスト、数値、日付、時間、サーチ用テキスト、電話番号、ＵＲＬ（Uniform　Resource　Locator）、パスワード等のインターフェイスを識別可能なデータを有する。例えば、入力画面３００がＨＴＭＬ（Hyper　Text　Markup　Language）で記述されている場合、属性データＤ１００は、ＨＴＭＬソースコードに基づいて、入力欄３１０と属性情報とが紐付けられる。属性データＤ１００は、入力欄３１０と属性との関係を示すテーブル、データベース等のデータを有するように構成することができる。
　本実施形態では、入力欄３１０の属性は、インターフェイスのタイプ、項目（名称）等を含む場合について説明するが、これに限定されない。入力欄３１０の属性は、例えば、入力欄３１０に入力するデータの種類、変更方法等が識別可能なデータを含むように構成することができる。
　図２に示した入力画面３００の場合、属性データＤ１００は、入力欄３１１の属性が宛先と、入力欄３１２の属性がタイトル（テキスト）とを示すデータを有する構成となっている。属性データＤ１００は、複数の入力画面に対応したデータを有することができる。
　図３に戻り、ユーザデータＤ２００は、ユーザＵに関するデータを有する。ユーザデータＤ２００は、例えば、ユーザＵの個人に関する情報、ユーザＵが使用する情報処理端末１０に関する情報等を含む。ユーザデータＤ２００は、ユーザＵと当該ユーザＵが使用する情報処理端末１０との対応関係を示すデータを含む。ユーザデータＤ２００は、情報処理端末１０で実行可能なアプリケーション等を識別可能な情報を含む。
　記憶部１２０は、情報処理端末１０から受信した発話データＤ１をユーザデータＤ２００に紐付けて記憶する。発話データＤ１は、情報処理端末１０からの発話データＤ１であり、発話データＤ１の解析結果等を示す情報を関連付けることができる。記憶部１２０は、発話データＤ１を解析するための解析プログラム、モデルデータ等を記憶することができる。
　制御部１３０は、例えば、専用または汎用のコンピュータである。制御部１３０は、例えば、情報処理装置１００を制御する統合制御ユニットである。制御部１３０は、情報処理端末１０と連携することで、情報処理端末１０のユーザＵの音声入力を実現する各機能部を備える。
　制御部１３０は、第１入力部１３１と、第２入力部１３２と、解析部１３３と、変更部１３４と、表示制御部１３５との各機能部を備える。制御部１３０の各機能部は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、情報処理装置１００の内部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、各機能部は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field-Programmable　Gate　Array）等の集積回路により実現されてもよい。
　第１入力部１３１は、ユーザＵの音声を取り込むことで得た発話データＤ１（第１データ）が示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の入力欄３１０の中から選択した入力欄３１０（第１入力欄）に発話データＤ１を入力する。第１入力部１３１は、入力欄３１０にデータを入力するための制御を行う。第１入力部１３１は、例えば、属性データＤ１００に基づいて、発話データＤ１の意味が属する属性の入力欄３１０を選択し、当該入力欄３１０に発話データＤ１を入力する。第１入力部１３１は、発話データＤ１の意味が属する属性が複数存在する場合、当該意味が属する確率が最も高い属性の入力欄３１０を選択する。第１入力部１３１は、ユーザＵの発話データＤ１によって起動されたアプリケーションの入力画面３００における入力欄３１０と入力欄３１０の属性との関係を、属性データＤ１００等に基づいて認識する機能を有する。
　第２入力部１３２は、移動元の入力欄３１０から移動先の入力欄３１０に発話データＤ１を移動させる操作に応じて、発話データＤ１のうちの移動先の入力欄３１０の属性に属する第２データを移動先の入力欄３１０に入力する。移動元の入力欄３１０は、例えば、第１入力欄の一例であり、移動対象のデータが入力された入力欄３１０である。移動先の入力欄３１０は、例えば、第２入力欄の一例であり、移動対象のデータを入力する入力欄３１０である。第２入力部１３２は、発話データＤ１のうち、移動先の入力欄３１０の属性に属する第２データを移動先の入力欄３１０に入力する。第２入力部１３２は、移動先の入力欄３１０に第２データを入力するための制御を行う。
　第２入力部１３２は、解析部１３３が解析した発話データＤ１の意味と移動先の入力欄３１０の属性とに基づいて、発話データＤ１のうちの一部のデータを移動先の入力欄３１０の属性に変換した第２データを移動先の入力欄３１０に入力する。移動元の入力欄３１０と移動先の入力欄３１０とが同じ属性である場合、第２入力部１３２は、発話データＤ１の全てを第２データとして移動先の入力欄３１０に移動させる。
　第２入力部１３２は、移動元の入力欄３１０から移動先の入力欄３１０に、発話データＤ１の一部のデータを移動させる移動操作（第２操作）に応じて、移動先の入力欄３１０の属性と一部のデータとに基づく第２データを移動先の入力欄３１０に入力する。第２操作は、例えば、発話データＤ１の一部を選択して移動させる操作を含む。第２入力部１３２は、発話データＤ１から選択された一部のデータを第２データとして移動先の入力欄３１０に入力する。この場合、第２入力部１３２は、発話データＤ１から選択された一部のデータを解析部１３３によって意味解析してもよい。
　第２入力部１３２は、発話データＤ１を移動元の入力欄３１０から移動先の入力欄３１０に移動させる移動操作に応じて、移動先の入力欄３１０に既に入力されている入力データに、発話データＤ１または第２データを組み合わせる機能を提供できる。すなわち、第２入力部１３２は、移動元の入力欄３１０からの第２データまたは発話データＤ１と入力データを組み合わせた、新たな第２データを移動先の入力欄３１０に入力する。
　解析部１３３は、発話データＤ１及び発話データＤ１の一部のデータの意味を解析する。例えば、解析部１３３は、ユーザＵの発話内容を表す文字情報を解析することで、ユーザの発話の意味を理解し、理解した結果に基づいて発話の意味情報を生成する。例えば、解析部１３３は、発話内容を表す文字情報を単語分解によって品詞ごとの単語に分解し、分解した単語の品詞情報から文構造を解析する。解析部１３３は、ユーザＵの発話内容に含まれる単語の各々の意味、及び解析した文構造を参照することで、ユーザＵの発話が表す意味情報を生成することができる。
　解析部１３３は、例えば、ディープラーニング等の機械学習技術を用いて、ユーザＵの発話内容を表す文字情報を解析することで、ユーザＵの発話が表す意味情報を生成してもよい。解析部１３３は、公知の意味解析技術を用いて、ユーザＵの発話内容を表す文字情報を解析することで、ユーザＵの発話が表す意味情報を生成してもよい。解析部１３３は、ユーザＵが発話内容を文字列で表したテキスト情報から、ユーザデータＤ２００等に基づいてアプリケーションを起動、入力画面の入力欄へ入力等を表す意味情報を生成することができる。
　変更部１３４は、移動元の入力欄３１０に入力された発話データＤ１から移動先の入力欄３１０に移動させた一部のデータを削除するように、移動元の入力欄３１０の発話データＤ１を変更する。例えば、移動元の入力欄３１０に「佐藤さんにご飯に行きませんか。」の発話データＤ１が入力されており、「佐藤さん」が一部のデータとして移動先の入力欄３１０に移動されたとする。この場合、変更部１３４は、文章の意味、文構造等を考慮して、移動元の入力欄３１０の発話データＤ１を「ご飯に行きませんか。」に変更する。
　表示制御部１３５は、複数の入力欄３１０を備える入力画面３００を表示するように、表示装置を制御する。本実施形態では、表示制御部１３５は、入力画面３００をタッチパネル１３に表示するように、情報処理端末１０を制御する。表示制御部１３５は、第２入力部１３２が第２データを第２入力欄に入力した入力画面３００を表示するように、情報処理端末１０を制御する。表示制御部１３５は、移動先の入力欄３１０をユーザＵに指示させるためのオブジェクトであるＧＵＩ４００を、入力欄３１０の近くに表示するように、情報処理端末１０を制御する。本実施形態では、表示制御部１３５は、ＧＵＩ４００を表示させる制御を行う場合について説明するが、これに限定されない。例えば、表示制御部１３５は、アクティブな入力欄３１０を、他の入力欄３１０とは異なる表示態様で表示させてもよい。
　以上、実施形態に係る情報処理装置１００の機能構成例について説明した。なお、図４を用いて説明した上記の構成はあくまで一例であり、実施形態に係る情報処理装置１００の機能構成は係る例に限定されない。実施形態に係る情報処理装置１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　［実施形態に係る情報処理の概要］
　図５は、実施形態に係る情報処理装置１００の入力画面の遷移例を示す図である。図５は、発話データＤ１を他の入力欄３１０に移動させる場合の遷移例を示している。図６は、図５に示す入力画面３００の遷移例に係る情報処理の概要の一例を示す図である。図６に示す情報処理は、情報処理装置１００がプログラムを実行することによって実現される。
　図５に示す一例では、情報処理装置１００は、入力画面３００を情報処理端末１０に表示させている。入力画面３００は、項目が宛先で属性がアドレスの入力欄３１１と、項目がタイトルで属性がテキストの入力欄３１２と、項目が本文で属性がテキストの入力欄３１３と、を有する。情報処理装置１００は、「ご飯に行く」の発話データＤ１を、意味解析の結果に基づいて入力欄３１３に入力している。
　ステップＳ１１では、ユーザＵは、入力画面３００上のＧＵＩ４００を、本文の入力欄３１３からタイトルの入力欄３１２の近くに移動させる操作Ｒ１を行っている。この場合、情報処理装置１００は、図６に示すように、発話データＤ１を入力欄３１２に移動する操作Ｒ１を検出すると、「ご飯に行く」の発話データＤ１と、入力欄３１２及び入力欄３１３の属性とに基づいて意味解析を実行する。情報処理装置１００は、入力欄３１２及び入力欄３１３が同一の属性であるので、入力欄３１３の「ご飯に行く」の発話データＤ１を、移動させて入力欄３１２に入力する。
　図５に示すステップＳ１２では、情報処理装置１００は、「ご飯に行く」の発話データＤ１を入力欄３１２に入力し、入力欄３１１及び入力欄３１３がブランクの入力画面３００を表示するように、情報処理端末１０を制御している。このように、情報処理装置１００は、発話データＤ１の入力先が間違っているが、移動元と移動先の入力欄３１０の属性が同一である場合、発話データＤ１をそのまま移動させることができる。
　図７は、実施形態に係る情報処理装置１００の入力画面の他の遷移例を示す図である。図７は、発話データＤ１を他の入力欄３１０に移動させる場合の遷移例を示している。図８は、図７に示す入力画面３００の遷移例に係る情報処理の概要の一例を示す図である。図８に示す情報処理は、情報処理装置１００がプログラムを実行することによって実現される。
　図７に示す一例では、情報処理装置１００は、入力画面３００を情報処理端末１０に表示させている。入力画面３００は、図５に示す入力画面３００と同様に、入力欄３１１と、入力欄３１２と、入力欄３１３と、を有する。情報処理装置１００は、「佐藤さんにご飯に行きませんか」の発話データＤ１を、意味解析の結果に基づいてタイトルの入力欄３１２に入力している。
　ステップＳ２１では、ユーザＵは、入力画面３００上のＧＵＩ４００を、本文の入力欄３１２から宛先の入力欄３１１の近くに移動させる操作Ｒ２を行っている。この場合、情報処理装置１００は、図８に示すように、発話データＤ１を入力欄３１１に移動する操作Ｒ２を検出すると、「佐藤さんにご飯に行きませんか」の発話データＤ１と、入力欄３１１及び入力欄３１２の属性とに基づいて意味解析を実行する。情報処理装置１００は、入力欄３１１と入力欄３１２との属性が異なるので、発話データＤ１と移動先の属性とに基づいて、移動させるデータを抽出する。情報処理装置１００は、発話データＤ１から宛先に関する「佐藤さん」のデータを抽出し、「佐藤さん」に対応したアドレスデータをアドレス帳データ等から取得する。情報処理装置１００は、宛先の入力欄３１３に「ｓａｔｏ＠ｘｘｘ．ｃｏｍ」のアドレスデータを入力し、タイトルの入力欄３１２を「ご飯に行きませんか」のデータに変更する。
　図７に示すステップＳ２２では、情報処理装置１００は、アドレスデータを入力欄３１１に入力し、入力欄３１２を「ご飯に行きませんか」のデータに変更し、入力欄３１３がブランクの入力画面３００を表示するように、情報処理端末１０を制御している。このように、情報処理装置１００は、発話データＤ１の入力先が間違っており、移動元と移動先の入力欄３１０の属性が異なる場合、発話データＤ１のうち、移動先の入力欄３１０の属性に適した一部のデータを移動させることができる。
［実施形態に係る情報処理（１）］
　図９は、実施形態に係る情報処理装置１００の情報処理（１）の一例を示すフローチャートである。図９に示す処理手順は、情報処理装置１００の制御部１３０がプログラムを実行することによって実現される。図９に示す処理手順は、情報処理装置１００によって音声入力を制御する場合に、繰り返し実行される。すなわち、図９に示す処理手順は、例えば、情報処理端末１０からユーザＵの発話データＤ１を受信した場合等に、情報処理装置１００によって繰り返し実行される。
　図９に示すように、情報処理装置１００の制御部１３０は、発話データＤ１を取得する（ステップＳ１０１）。例えば、制御部１３０は、例えば、通信部１１０が受信した情報処理端末１０からの発話データＤ１を取得し、記憶部１２０に記憶する。例えば、制御部１３０は、通信部１１０を介して、情報処理端末１０から発話データＤ１を自発的に取得してもよい。制御部１３０は、ステップＳ１０１の処理が終了すると、処理をステップＳ１０２に進める。
　制御部１３０は、発話データＤ１の意味解析を実行する（ステップＳ１０２）。例えば、制御部１３０は、意味解析プログラムを実行することで、発話データＤ１が示す発話内容を表す文字情報を単語分解によって品詞ごとの単語に分解し、分解した単語の品詞情報から文構造を解析する。制御部１３０は、ユーザＵの発話内容に含まれる単語の各々の意味及び解析した文構造を参照することで、ユーザＵの発話データＤ１の解析結果を示す解析情報を生成して記憶部１２０に記憶する。制御部１３０は、ステップＳ１０２の処理が終了すると、処理をステップＳ１０３に進める。
　制御部１３０は、解析情報に基づいて、アプリケーションを起動させる（ステップＳ１０３）。例えば、解析情報がメールの送信を示している場合、制御部１３０は、通信部１１０を介して、メールアプリケーション１５Ａの起動を情報処理端末１０に指示する。例えば、解析情報がメッセージの送信を示している場合、制御部１３０は、通信部１１０を介して、メッセージアプリケーション１５Ｂの起動を情報処理端末１０に指示する。例えば、Ｗｅｂページの閲覧を示している場合、制御部１３０は、通信部１１０を介して、ブラウザアプリケーション１５Ｃの起動を情報処理端末１０に指示する。例えば、スケジュールの登録、変更等を示している場合、制御部１３０は、通信部１１０を介して、カレンダーアプリケーション１５Ｄの起動を情報処理端末１０に指示する。制御部１３０は、アプリケーションを起動させると、処理をステップＳ１０４に進める。
　制御部１３０は、発話データＤ１の意味に基づいて、複数の入力欄３１０の中から入力欄３１０を選択する（ステップＳ１０４）。例えば、制御部１３０は、発話データＤ１の意味と複数の入力欄３１０の項目、属性等とのマッチングにより、発話データＤ１の意味と一致する確率が最も高い入力欄３１０を選択する。制御部１３０は、ステップＳ１０４の処理が終了すると、処理をステップＳ１０５に進める。
　制御部１３０は、選択した入力欄３１０に発話データＤ１を入力した入力画面３００を表示する（ステップＳ１０５）。例えば、制御部１３０は、選択した入力欄３１０に発話データＤ１を入力した入力画面３００の表示を、通信部１１０を介して情報処理端末１０に指示する。その結果、情報処理端末１０は、発話データＤ１が入力欄３１０に入力された入力画面３００をタッチパネル１３に表示する。制御部１３０は、ステップＳ１０５の処理が終了すると、処理をステップＳ１０６に進める。
　制御部１３０は、移動操作を検出したか否かを判定する（ステップＳ１０６）。例えば、制御部１３０は、通信部１１０を介して情報処理端末１０から受信した操作情報が移動操作を示している場合に、移動操作を検出したと判定する。例えば、制御部１３０は、操作情報が上記のＧＵＩ４００の移動、移動先等を示している場合に、移動操作を検出したと判定する。制御部１３０は、移動操作を検出していないと判定した場合（ステップＳ１０６でＮｏ）、図９に示す処理手順を終了させる。
　また、制御部１３０は、移動操作を検出したと判定した場合（ステップＳ１０６でＹｅｓ）、処理をステップＳ１０７に進める。制御部１３０は、移動先の入力欄３１０の属性に基づいて、発話データＤ１の意味解析を実行する（ステップＳ１０７）。例えば、制御部１３０は、意味解析プログラムを実行することで、移動先の入力欄３１０の属性に応じた発話内容を発話データＤ１から解析する。例えば、制御部１３０は、発話データＤ１において、移動先の入力欄３１０の属性に適した発話内容（データ）、発話内容の存在の有無等を解析する。制御部１３０は、解析結果を示す解析情報を記憶部１２０に記憶すると、処理をステップＳ１０８に進める。
　制御部１３０は、解析情報に基づいて、発話データＤ１から移動先の入力欄３１０に入力する第２データを特定する（ステップＳ１０８）。例えば、移動先の入力欄３１０の属性に応じたデータが発話データＤ１に含まれていたことを解析情報が示している場合、制御部１３０は、発話データＤ１のうちの属性に応じたデータを第２データとして特定する。例えば、移動先の入力欄３１０の属性に応じたデータが発話データＤ１の全てであることを解析情報が示している場合、制御部１３０は、発話データＤ１を第２データとして特定してもよい。制御部１３０は、ステップＳ１０８の処理が終了すると、処理をステップＳ１０９に進める。
　制御部１３０は、移送先と移動元の入力欄３１０の属性が同一であるか否かを判定する（ステップＳ１０９）。例えば、制御部１３０は、属性データＤ１００に基づいて、移動先の入力欄３１０の属性と移動元の入力欄３１０の属性とを比較し、一致している場合に、移送先と移動元の入力欄３１０の属性が同一であると判定する。制御部１３０は、移送先と移動元の入力欄３１０の属性が同一であると判定した場合（ステップＳ１０９でＹｅｓ）、処理をステップＳ１１０に進める。
　制御部１３０は、第２データを移動先の入力欄３１０に入力する（ステップＳ１１０）。例えば、移送先と移動元の入力欄３１０の属性が同一であるため、制御部１３０は、発話データＤ１から第２データを抽出し、第２データを変更することなく、入力画面３００における移動先の入力欄３１０に入力する。制御部１３０は、ステップＳ１１０の処理が終了すると、処理を後述するステップＳ１１３に進める。
　また、制御部１３０は、移送先と移動元の入力欄３１０の属性が同一ではないと判定した場合（ステップＳ１０９でＮｏ）、処理をステップＳ１１１に進める。制御部１３０は、移動先の入力欄３１０の属性となるように第２データを変換する。例えば、制御部１３０は、第２データの変換処理を実行する（ステップＳ１１１）。例えば、メールの入力画面３００である場合、変換処理は、例えば、タイトル、本文等の属性から宛先の属性となるようにデータを変換する処理、データの文構造を変換する処理等を含む。制御部１３０は、ステップＳ１１１の処理が終了すると、処理をステップＳ１１２に進める。
　制御部１３０は、変換した第２データを移動先の入力欄３１０に入力する（ステップＳ１１２）。例えば、制御部１３０は、第２データを入力画面３００における移動先の入力欄３１０に入力する。制御部１３０は、ステップＳ１１２の処理が終了すると、処理をステップＳ１１３に進める。
　制御部１３０は、発話データＤ１の一部のデータを移動先の入力欄３１０に移動したか否かを判定する（ステップＳ１１３）。例えば、制御部１３０は、第２データが発話データＤ１の一部である場合に、一部のデータを移動先の入力欄３１０に移動したと判定する。制御部１３０は、一部のデータを移動先の入力欄３１０に移動したと判定した場合（ステップＳ１１３でＹｅｓ）、処理をステップＳ１１４に進める。
　制御部１３０は、移動元の発話データＤから一部のデータを削除する（ステップＳ１１４）。例えば、制御部１３０は、移動元の入力欄３１０に入力している発話データＤ１から一部のデータを削除する。例えば、制御部１３０は、一部のデータを削除した発話データＤ１の文構造を修正する処理を実行してもよい。例えば、「佐藤さんにご飯に行きませんか」の発話データＤ１から「佐藤さん」のデータを移動させた場合、制御部１３０は、「にご飯に行きませんか」を「ご飯に行きませんか」と文構造を修正する。制御部１３０は、ステップＳ１１４の処理が終了すると、処理を後述するステップＳ１１６に進める。
　また、制御部１３０は、一部のデータを移動先の入力欄３１０に移動していないと判定した場合（ステップＳ１１３でＮｏ）、処理をステップＳ１１５に進める。制御部１３０は、移動元の入力欄３１０の発話データＤ１を削除する（ステップＳ１１５）。例えば、制御部１３０は、移動元の入力欄３１０に入力している発話データＤ１を削除し、入力欄３１０をブランクにする。制御部１３０は、ステップＳ１１５の処理が終了すると、処理をステップＳ１１６に進める。
　制御部１３０は、入力画面３００の入力欄３１０を更新するように表示を制御する（ステップＳ１１６）。例えば、制御部１３０は、入力欄３１０を更新した入力画面３００の表示を、通信部１１０を介して情報処理端末１０に指示する。その結果、情報処理端末１０は、発話データＤ１を移動させた入力画面３００をタッチパネル１３に表示する。制御部１３０は、ステップＳ１１６の処理が終了すると、図９に示す処理手順を終了させる。
　図９に示す処理手順では、制御部１３０は、ステップＳ１０３からステップＳ１０４の処理を実行することで、第１入力部１３１として機能する。制御部１３０は、ステップＳ１０８からステップＳ１１２及びステップＳ１１６の処理を実行することで、第２入力部１３２として機能する。制御部１３０は、ステップＳ１０２及びステップＳ１０７の処理を実行することで、解析部１３３として機能する。制御部１３０は、ステップＳ１１３からステップＳ１１５の処理を実行することで、変更部１３４として機能する。制御部１３０は、ステップＳ１０５及びステップＳ１１６の処理を実行することで、表示制御部１３５として機能する。
　［実施形態に係る情報処理装置の動作例］
　図１０は、実施形態に係る情報処理装置に係る動作例を示す図である。図１０に示すステップＳ３１では、ユーザＵは、情報処理端末１０に対して発話Ｃ２１を発している。発話Ｃ２１は、例えば、「富士さん　メール。」である。情報処理装置１００は、発話Ｃ２１の発話データＤ１を意味解析した結果、人名の「富士さん」を「富士山」と誤認識し、メールアプリケーション１５Ａの起動が指示されたと認識している。情報処理装置１００は、メールアプリケーション１５Ａを起動させ、意味解析の結果と複数の入力欄３１０の属性とに基づいて、本文の入力欄３１３に「富士山」の発話データＤ１を入力し、宛先の入力欄３１１及びタイトルの入力欄３１２をブランクとしている。情報処理装置１００は、メールの入力画面３００を情報処理端末１０に表示させる。情報処理装置１００は、ＧＵＩ４００を入力画面３００の宛先の入力欄３１３の近くに表示するように、情報処理端末１０を制御する。
　図１０に示す一例では、入力画面３００は、属性が宛先の入力欄３１１と、属性がタイトルの入力欄３１２と、属性が本文の入力欄３１３と、を有する。入力画面３００は、本文の入力欄３１３に「富士山」の発話データＤ１が入力されている。以下、入力欄３１３を他の入力欄３１０と区別しない場合、入力欄３１３を「入力欄３１０」と記載する。
　ユーザＵは、ステップＳ３１の入力画面３００を参照した結果、発話データが入力画面３００の入力欄３１０に正しく入力されていないと判断する。すなわち、ユーザＵは、発話データＤ１の「富士山」は、メールの宛先の入力欄３１１に、メールアドレスとして入力されることを望んでいた。このため、ユーザＵは、入力画面３００上のＧＵＩ４００を、タイトルの入力欄３１３から宛先の入力欄３１１の近くに移動させるように、修正操作を行っている。なお、ユーザＵは、入力欄３１３の「富士山」の発話データＤ１のうち、「富士」のデータを選択して入力欄３１１に移動させる移動操作を行ってもよい。
　情報処理装置１００は、ＧＵＩ４００を入力欄３１３から入力欄３１１の近くに移動させる移動操作を検出すると、入力欄３１３に入力されている発話データＤ１を入力欄３１１に移動させる処理を実行する。情報処理装置１００は、意味解析に誤りがあった可能性を考慮し、移動先の入力欄３１０の属性に基づいて発話データＤ１の意味解析を再度実行する。これにより、情報処理装置１００は、発話データＤ１を属性が宛先の入力欄３１１へ移動させる操作を受け付けたので、発話データＤ１から宛先に該当する「富士」または「富士さん」の第２データを抽出する。情報処理装置１００は、例えば、抽出した富士の宛先：ｆｕｊｉ＠ｘｘｘ．ｃｏｍ（メールアドレス）を、アドレス帳データ等から取得する。
　ステップＳ３２に示すように、情報処理装置１００は、属性が宛先の入力欄３１１に、ｆｕｊｉ＠ｘｘｘ．ｃｏｍ（メールアドレス）に変換した第２データを入力し、本文の入力欄３１５をブランクに変更した入力画面３００を、情報処理端末１０に表示させる。情報処理装置１００は、ＧＵＩ４００を入力画面３００の宛先の入力欄３１１の近くに表示するように、情報処理端末１０を制御する。その結果、ユーザＵは、発話データＤ１を入力画面３００の意図する宛先の入力欄３１１に入力できたことを確認する。
　このように、情報処理装置１００は、入力欄３１０の発話データＤ１に対する移動操作を検出すると、移動先の入力欄３１０の属性に基づいて発話データＤ１の一部の第２データを移動先の入力欄３１０に入力する。これにより、情報処理装置１００は、発話データＤ１がユーザＵの意図した入力欄３１０に入力できなかった場合、他の入力欄３１０に発話データＤ１を移動させる移動操作に応じて、複数の入力欄３１０同士でデータを容易に変更することができる。その結果、情報処理装置１００は、複数の入力欄３１０に対する音声入力の修正に関する操作性を向上させることができる。
　［実施形態に係る情報処理（２）の概要］
　例えば、音声入力の場合、情報処理装置１００は、ユーザＵの指示とは異なるアプリケーションを起動させ、そのアプリケーションの入力欄３１０に発話データＤ１を入力することがある。このため、情報処理装置１００は、ユーザＵの操作に応じて、他のアプリケーションの入力欄３１０に移動させる機能を提供できる。
　図１１は、実施形態に係る情報処理（２）に係る入力画面の遷移例を示す図である。図１１は、発話データＤ１を他のアプリケーションの入力欄３１０に移動させる場合の遷移例を示している。
　図１１に示すステップＳ４１では、ユーザＵは、情報処理端末１０に対して発話Ｃ３１を発している。発話Ｃ３１は、例えば、「佐藤さんに連絡。」である。情報処理装置１００は、発話Ｃ３１の発話データＤ１の意味解析を実行した結果、メッセージアプリケーション１５Ｂを起動させている。情報処理装置１００は、意味解析の結果に基づいて佐藤さんの宛先データを取得し、当該宛先データを新規メッセージの入力画面３００Ａの宛先の入力欄３１４に入力している。情報処理装置１００は、新規メッセージの入力画面３００Ａを情報処理端末１０に表示させる。情報処理装置１００は、ＧＵＩ４００を入力画面３００Ａの宛先の入力欄３１４の近くに表示するように、情報処理端末１０を制御する。
　図１１に示す一例では、入力画面３００Ａは、属性が宛先の入力欄３１４と、属性がメッセージの入力欄３１５とを有する。宛先の入力欄３１４には、「佐藤さんの宛先データ」が入力されている。メッセージの入力欄３１５は、ブランクになっている。その結果、ユーザＵは、情報処理端末１０のタッチパネル１３に、メッセージの入力画面３００Ａを認識する。以下、入力欄３１４及び入力欄３１５を区別しない場合、入力欄３１４及び入力欄３１５を「入力欄３１０」と記載する。また、情報処理装置１００は、入力画面３００Ａからずれた位置に、メールアプリケーション１５Ａの起動させるアイコン５００を情報処理端末１０に表示させている。例えば、アイコン５００は、情報処理端末１０のホーム画面、背景画面等に表示されている。
　ユーザＵは、ステップＳ４１の入力画面３００Ａを参照した結果、メールアプリケーション１５Ａが起動されずに、メッセージアプリケーション１５Ｂが起動されたことを認識する。このため、ユーザＵは、発話データＤ１をメールアプリケーション１５Ａの入力欄３１０に移動させるために、入力欄３１４の近傍のＧＵＩ４００をアイコン５００に重なるように移動させる操作Ｒ３を行っている。
　この場合、情報処理装置１００は、発話データＤ１をメールアプリケーション１５Ａの入力欄３１０に移動する操作Ｒ３を検出すると、メールアプリケーション１５Ａを起動させ、発話データＤ１とメールアプリケーション１５Ａの複数の入力欄３１０の属性とに基づいて意味解析を実行する。情報処理装置１００は、発話データＤ１の「佐藤さんに連絡」から新規メールの宛先として「佐藤さん」または「佐藤」のデータを抽出する。情報処理装置１００は、抽出した佐藤の宛先データ：ｓａｔｏ＠ｘｘｘ．ｃｏｍ（メールアドレス）を、アドレス帳データ等から取得する。
　ステップＳ４２に示すように、情報処理装置１００は、属性が宛先の入力欄３１１に、ｓａｔｏ＠ｘｘｘ．ｃｏｍ（メールアドレス）を入力した入力画面３００を、情報処理端末１０に表示させる。情報処理装置１００は、入力画面３００のタイトルの入力欄３１２及び本文の入力欄３１３がブランクとなり、宛先の入力欄３１１の近くにＧＵＩ４００が表示されるように、情報処理端末１０を制御する。これにより、情報処理装置１００は、メッセージアプリケーション１５Ｂの入力画面３００Ａから、メールアプリケーション１５Ａの宛先の入力欄３１１にメールアドレスを入力した入力画面３００に、情報処理端末１０の表示内容を変更することができる。そして、情報処理装置１００は、メールアプリケーション１５Ａの入力画面３００に対するユーザＵの音声入力を継続する。
［実施形態に係る情報処理（２）の処理手順例］
　図１２は、実施形態に係る情報処理装置１００の情報処理（２）の一例を示すフローチャートである。図１２に示す処理手順は、情報処理装置１００の制御部１３０がプログラムを実行することによって実現される。図１２に示す処理手順は、情報処理装置１００によって音声入力を制御する場合に、繰り返し実行される。すなわち、図１２に示す処理手順は、例えば、情報処理端末１０からユーザＵの発話データＤ１を受信した場合等に、情報処理装置１００によって繰り返し実行される。
　図１２に示す処理手順は、ステップＳ１０１からステップＳ１０６の処理は、図９に示すステップＳ１０１からステップＳ１０６の処理と同一であるため、詳細な説明は省略する。
　図１２に示すように、情報処理装置１００の制御部１３０は、発話データＤ１を取得する（ステップＳ１０１）。制御部１３０は、発話データＤ１の意味解析を実行する（ステップＳ１０２）。制御部１３０は、解析情報に基づいて、アプリケーションを起動させる（ステップＳ１０３）。制御部１３０は、発話データＤ１の意味に基づいて、複数の入力欄３１０の中から入力欄３１０を選択する（ステップＳ１０４）。制御部１３０は、選択した入力欄３１０に発話データＤ１を入力した入力画面３００を表示する（ステップＳ１０５）。
　制御部１３０は、移動操作を検出したか否かを判定する（ステップＳ１０６）。制御部１３０は、移動操作を検出していないと判定した場合（ステップＳ１０６でＮｏ）、図１２に示す処理手順を終了させる。また、制御部１３０は、移動操作を検出したと判定した場合（ステップＳ１０６でＹｅｓ）、処理をステップＳ１３１に進める。
　制御部１３０は、移動先が他のアプリケーションであるか否かを判定する（ステップＳ１３１）。例えば、制御部１３０は、ＧＵＩ４００の移動先が他のアプリケーションのアイコン、入力画面３００等である場合に、移動先が他のアプリケーションであると判定する。例えば、制御部１３０は、ユーザＵからの他のアプリケーションへの変更指示、音声等を受け付けた場合に、移動先が他のアプリケーションであると判定してもよい。制御部１３０は、制御部１３０は、移動先が他のアプリケーションではないと判定した場合（ステップＳ１３１でＮｏ）、処理をステップＳ１３２に進める。
　制御部１３０は、移動操作に応じた変更処理を実行する（ステップＳ１３２）。変更処理は、例えば、図９に示したステップＳ１０７からステップＳ１１６の一連の処理を含む。すなわち、変更処理は、ユーザＵの移動操作に応じて、移動元の入力欄３１０に入力された発話データＤ１を移動先の入力欄３１０に移動させ、移動元の入力欄３１０をブランクにしたり、発話データＤ１を変更したりする処理を含む。制御部１３０は、ステップＳ１３２の処理が終了すると、図１２に示す処理手順を終了させる。
　また、制御部１３０は、移動先が他のアプリケーションであると判定した場合（ステップＳ１３１でＹｅｓ）、処理をステップＳ１３３に進める。制御部１３０は、起動しているアプリケーションを終了させ、移動先のアプリケーションを起動させる（ステップＳ１３３）。例えば、移動先の他のアプリケーションがメールアプリケーション１５Ａである場合、制御部１３０は、通信部１１０を介して、情報処理端末１０に起動中のアプリケーシを終了させ、メールアプリケーション１５Ａを起動させる。制御部１３０は、ステップＳ１３３の処理が終了すると、処理をステップＳ１３４に進める。
　制御部１３０は、発話データＤ１の意味に基づいて、複数の入力欄３１０の中から入力欄３１０を選択する（ステップＳ１３４）。例えば、制御部１３０は、新たに起動させたアプリケーシの複数の入力欄３１０と発話データＤ１の意味とのマッチングにより、発話データＤ１の意味と一致する確率が最も高い入力欄３１０を選択する。制御部１３０は、ステップＳ１３４の処理が終了すると、処理をステップＳ１３５に進める。
　制御部１３０は、選択した入力欄３１０に発話データＤ１を入力した入力画面３００を表示する（ステップＳ１３５）。例えば、制御部１３０は、選択した入力欄３１０に発話データＤ１を入力した入力画面３００の表示を、通信部１１０を介して情報処理端末１０に指示する。その結果、情報処理端末１０は、発話データＤ１が新たに起動させたアプリケーシの入力欄３１０に入力された入力画面３００をタッチパネル１３に表示する。制御部１３０は、ステップＳ１３５の処理が終了すると、処理をステップＳ１３６に進める。
　制御部１３０は、移動操作を検出したか否かを判定する（ステップＳ１３６）。例えば、通信部１１０を介して情報処理端末１０から受信した操作情報が、新たに起動させたアプリケーシに対する移動操作を示している場合に、移動操作を検出したと判定する。制御部１３０は、移動操作を検出していないと判定した場合（ステップＳ１３６でＮｏ）、図１２に示す処理手順を終了させる。また、制御部１３０は、移動操作を検出したと判定した場合（ステップＳ１３６でＹｅｓ）、処理を既に説明したステップＳ１３２に進める。
　制御部１３０は、移動操作に応じた変更処理を実行する（ステップＳ１３２）。これにより、制御部１３０は、ユーザＵの移動操作に応じて、移動元の入力欄３１０に入力された発話データＤ１を、同一の入力画面３００の移動先の入力欄３１０に移動させる。制御部１３０は、ステップＳ１３２の処理が終了すると、図１２に示す処理手順を終了させる。
　図１２に示す処理手順では、制御部１３０は、ステップＳ１３１、ステップＳ１３３からステップＳ１３４の処理を実行することで、第２入力部１３２として機能する。制御部１３０は、ステップＳ１３５の処理を実行することで、表示制御部１３５として機能する。
　このように、情報処理装置１００は、入力欄３１０の発話データＤ１に対する他のアプリケーシへの移動操作を検出すると、他のアプリケーシを起動させ、他のアプリケーシの入力欄３１０の属性に基づいて発話データＤ１を移動先の入力欄３１０に入力する。これにより、情報処理装置１００は、発話データＤ１がユーザＵの意図した入力欄３１０に入力できなかった場合、他のアプリケーションに発話データＤ１を移動させる移動操作に応じて、異なるアプリケーション同士で発話データＤ１を移動させることができる。その結果、情報処理装置１００は、アプリケーションの入力欄３１０に対する音声入力の修正に関する操作性を向上させることができる。
　［実施形態に係る情報処理（３）］
　図１３は、実施形態に係る情報処理装置の情報処理（３）の一例を示す図である。図１３に示す情報処理（３）は、入力欄３１０のデータをユーザＵの音声によって他の入力欄３１０を移動させる場合の一例を示している。
　図１３に示すステップＳ５１では、ユーザＵは、メールアプリケーション１５Ａを起動させた状態で、情報処理端末１０に対して発話Ｃ４１を発している。発話Ｃ４１は、例えば、「佐藤さんとご飯。」である。情報処理装置１００は、発話Ｃ４１の第１の発話データを意味解析した結果、タイトルの入力欄３１２に第１の発話データを入力し、宛先の入力欄３１１及び本文の入力欄３１３をブランクとする。情報処理装置１００は、当該入力画面３００を情報処理端末１０に表示させる。情報処理装置１００は、ＧＵＩ４００を入力画面３００のタイトルの入力欄３１２の近くに表示するように、情報処理端末１０を制御する。
　ユーザＵは、ステップＳ５１の入力画面３００を参照した後、情報処理端末１０に対して発話Ｃ４２を発している。発話Ｃ４２は、例えば、「佐藤さんは宛先。」である。なお、ユーザＵは、例えば、「佐藤さんは一つ上の入力欄だよ。」等の発話を発してもよい。情報処理装置１００は、発話Ｃ４２の第２の発話データを意味解析し、第１の発話データに「佐藤さん」が含まれていることを認識する。情報処理装置１００は、「佐藤さんは宛先。」の発話内容を第２操作として検出し、発話データＤ１のうちの一部のデータ（佐藤さんのデータ）を移動する処理を行う。これにより、情報処理装置１００は、第１の発話データから「佐藤さん」のデータに対応する宛先データを取得し、宛先データを宛先の入力欄３１０に入力する。情報処理装置１００は、第１の発話データから移動させた「佐藤さん」のデータを削除するように、第１の発話データを「ご飯」に変更する。
　ステップＳ５２に示すように、情報処理装置１００は、宛先の入力欄３１１に「佐藤さん」のデータを入力し、タイトルの入力欄３１２の第１の発話データを「ご飯」に変更した入力画面３００を、情報処理端末１０に表示させる。その結果、ユーザＵは、第１の発話データの一部を、音声によって指示した入力画面３００の宛先の入力欄３１１に入力できたことを確認する。
　このように、情報処理装置１００は、入力欄３１０の発話データＤ１に対する音声の移動操作を検出すると、移動先の入力欄３１０の属性に基づいて、発話データＤ１の一部のデータを移動先の入力欄３１０に入力する。これにより、情報処理装置１００は、発話データＤ１がユーザＵの意図した入力欄３１０に入力できなかった場合、他の入力欄３１０に発話データＤ１を移動させる音声に応じて、複数の入力欄３１０同士でデータを容易に変更することができる。その結果、情報処理装置１００は、複数の入力欄３１０に対する音声入力の修正に関する操作性を向上させることができる。
　上述の情報処理（３）では、情報処理装置１００は、音声によって発話データＤ１の一部のデータの移動操作を検出する場合について説明したが、これに限定されない。例えば、情報処理装置１００は、タッチパネル１３に対する一部のデータを選択して移動させるユーザＵのジェスチャに基づいて、移動操作を検出する構成とすることができる。
　［実施形態に係る情報処理（４）］
　図１４は、実施形態に係る情報処理装置の情報処理（４）の一例を示す図である。図１４に示す情報処理（４）は、複数の入力欄３１０に音声でデータを入力する一例を示している。
　図１４に示すステップＳ６１では、ユーザＵは、メールアプリケーション１５Ａを起動させた状態で、情報処理端末１０に対して発話Ｃ５１を発している。発話Ｃ５１は、例えば、「佐藤さんとご飯。」である。情報処理装置１００は、発話Ｃ５１の第１の発話データを意味解析した結果、タイトルの入力欄３１２に第１の発話データを入力し、宛先の入力欄３１１及び本文の入力欄３１３をブランクとする。情報処理装置１００は、当該入力画面３００を情報処理端末１０に表示させる。情報処理装置１００は、ＧＵＩ４００を入力画面３００のタイトルの入力欄３１２の近くに表示するように、情報処理端末１０を制御する。
　ユーザＵは、ステップＳ６１の入力画面３００を参照し、正しく音声入力されたことを認識した後、情報処理端末１０に対して発話Ｃ５２を発している。発話Ｃ５２は、例えば、「鈴木さんが宛先。」である。情報処理装置１００は、発話Ｃ５２の第２の発話データを意味解析し、宛先の入力欄３１２を入力先と選択する。情報処理装置１００は、「鈴木さん」の宛先データをアドレス帳等から取得し、佐藤さんの先アドレスデータを宛先の入力欄３１１に入力する。
　ステップＳ６２に示すように、情報処理装置１００は、宛先の入力欄３１１に鈴木さんの宛先データ、タイトルの入力欄３１２に「佐藤さんとご飯」の第１の発話データが入力された入力画面３００を、情報処理端末１０に表示させる。情報処理装置１００は、ＧＵＩ４００を入力画面３００の宛先の入力欄３１１の近くに表示するように、情報処理端末１０を制御する。その結果、ユーザＵは、第１の発話データの一部を、音声によって指示した入力画面３００の宛先の入力欄３１１に入力できたことを確認する。
　なお、情報処理装置１００は、ＧＵＩ４００を入力画面３００のタイトルの入力欄３１２の近くに表示させてもよいし、２つのＧＵＩ４００を入力欄３１１及び入力欄３１２の双方の近くに表示させてもよい。
　このように、情報処理装置１００は、入力欄３１０の発話データＤ１に対する音声の移動操作を検出すると、移動先の入力欄３１０の属性に基づいて発話データＤ１の一部のデータを移動先の入力欄３１０に入力する。これにより、情報処理装置１００は、発話データＤ１がユーザＵの意図した入力欄３１０に入力できなかった場合、他の入力欄３１０に発話データＤ１を移動させる音声に応じて、複数の入力欄３１０同士でデータを容易に変更することができる。その結果、情報処理装置１００は、複数の入力欄３１０に対する音声入力の修正に関する操作性を向上させることができる。
［ハードウェア構成］
　上述してきた実施形態に係る情報処理システム１の情報機器は、例えば図１５に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る情報処理装置１００を例に挙げて説明する。図１５は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、第１入力部１３１、第２入力部１３２、解析部１３３、変更部１３４、表示制御部１３５等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　上記の本実施形態では、情報処理装置１００は、情報処理システム１において、情報処理端末１０と連携して情報処理を実行する場合について説明したが、これに限定されない。例えば、情報処理装置１００は、単独で情報処理を実行してもよい。すなわち、情報処理装置１００は、情報処理端末１０の機能を組み込んでもよい。例えば、情報処理端末１０は、情報処理装置１００の第１入力部１３１、第２入力部１３２、解析部１３３、変更部１３４等を制御部１６で実現するように構成してもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理装置１００が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　また、本明細書の情報処理装置１００の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置１００の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　上述した実施形態では、情報処理装置１００は、複数の入力欄３１０を有する入力画面３００を情報処理端末１０のタッチパネル１３に表示させる場合について説明したが、これに限定されない。情報処理装置１００は、複数の入力欄３１０及びＧＵＩ４００を仮想空間における所定の領域に表示させるように構成してもよい。
　上述した実施形態では、情報処理装置１００は、ＧＵＩ４００に対するタッチ操作や音声によって移動操作を検出する場合について説明するが、これに限定されない。情報処理装置１００は、例えば、手話、脳波、タッチパネル１３に対するジェスチャ等によって移動操作を検出する構成としてもよい。
（効果）
　情報処理装置１００は、話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄３１０の属性とに基づいて、複数の入力欄３１０の中から選択した第１入力欄に第１データを入力する第１入力部１３１と、第１入力欄から第２入力欄に第１データを移動させる操作に応じて、第１データのうちの第２入力欄の属性に属する第２データを第２入力欄に入力する第２入力部１３２と、を備える。
　これにより、情報処理装置１００は、第１データがユーザＵの意図した入力欄３１０に入力できなかった場合、他の入力欄３１０に第１データを移動させる操作に応じて、複数の入力欄３１０同士の間でデータを容易に移動することができる。その結果、情報処理装置１００は、ユーザＵが第１データの移動先の入力欄を指示すればよいので、入力欄３１０に自動で入力された第１データを他の入力欄へ移動する操作性を向上させることができる。
　情報処理装置１００では、第２入力部１３２は、第１入力欄と第２入力欄との属性が異なっている場合、第１データのうちの第２入力欄の属性に属する第２データを第２入力欄に入力する。
　これにより、情報処理装置１００は、属性が異なる第２入力欄に第１データを移動させる操作に応じて、第１データのうちの第２入力欄の属性に属する第２データを第２入力欄に入力することができる。その結果、情報処理装置１００は、ユーザＵが第１データの移動先の入力欄の属性を意識する必要がないので、複数の入力欄３１０に対する音声入力の修正に関する操作性を向上させることができる。
　情報処理装置１００は、移動先の入力欄の属性に基づいて第１データの意味解析可能な解析部１３３をさらに備える。第２入力部１３２は、解析部１３３が解析した第１データの意味と第２入力欄の属性とに基づいて、第１データのうちの一部のデータを第２入力欄の属性に変換した第２データを、第２入力欄に入力する。
　これにより、情報処理装置１００は、属性が異なる第２入力欄に第１データを移動させる操作に応じて、第１データのうちの一部のデータを第２入力欄の属性に変換した第２データを第２入力欄に入力することができる。その結果、情報処理装置１００は、第１データのうち、移動先の入力欄３１０の属性に応じたデータを第２入力欄に移動させることができるので、複数の入力欄３１０に対する音声入力の修正に関する操作性をより一層向上させることができる。
　情報処理装置１００では、第２入力部１３２は、第１入力欄から第２入力欄に第１データを移動させる操作に応じて、第１データの一部のデータを第２入力欄の属性に変換した第２データを第２入力欄に入力する。
　これにより、情報処理装置１００は、第１入力欄から第２入力欄に第１データを移動させる操作に応じて、第１データの一部のデータを第２入力欄の属性に変換した第２データを、第２入力欄に入力することができる。その結果、情報処理装置１００は、第１データを第２入力欄に移動する場合に、ユーザＵが移動先の入力欄の属性を意識する必要がなくなるので、複数の入力欄３１０に対する音声入力の修正に関する操作性をより一層向上させることができる。
　情報処理装置１００では、第１入力欄に入力された第１データから第２入力欄に移動させた一部のデータを削除するように第１データを変更する変更部１３４をさらに備える。
　これにより、情報処理装置１００は、第１入力欄から第１データのうちの一部のデータを第２入力欄に移動させた場合に、第１入力欄の第１データを変更することができる。その結果、情報処理装置１００は、第１データの一部のデータを第２入力欄に移動する場合に、ユーザＵが移動元の入力欄のデータを修正する必要がなくなるので、複数の入力欄３１０に対する音声入力の修正に関する操作性をより一層向上させることができる。
　情報処理装置１００では、第２入力部１３２は、第１入力欄と第２入力欄とが同じ属性である場合、第１データを第２データとして第２入力欄に入力する。
　これにより、情報処理装置１００は、第１データがユーザＵの意図した入力欄３１０に入力できなかった場合、第２入力欄に第１データを移動させる操作に応じて、第１データを第２入力欄に移動することができる。その結果、情報処理装置１００は、ユーザＵが第１データの移動先として第１入力欄と同じ属性の入力欄を指示するだけで、第１入力欄の第１データを第２入力欄に移動させることができるため、複数の入力欄３１０に対する音声入力の修正に関する操作性を向上させることができる。
　情報処理装置１００は、第２入力部１３２は、第１入力欄から第２入力欄に、第１データの一部のデータを移動させる第２操作に応じて、第１データの一部のデータに基づく第２データを第２入力欄に入力する。
　これにより、情報処理装置１００は、第１入力欄から第２入力欄に第１データの一部のデータを移動させる第２操作に応じて、第１データの一部のデータを第２入力欄に入力することができる。その結果、情報処理装置１００は、ユーザＵが第１入力欄の第１データの一部のデータを第２入力欄に容易に入力させることができるので、複数の入力欄３１０に対する音声入力の効率を向上させることができる。
　情報処理装置１００は、複数の入力欄３１０を備える入力画面を表示するように表示装置を制御する表示制御部１３５をさらに備える。表示制御部１３５は、第２入力欄が第２データを第２入力欄に入力した入力画面を表示するように、表示装置を制御する。
　これにより、情報処理装置１００は、第２入力欄に対する第２データの入力に応じて、入力画面を表示装置に表示させることができる。その結果、情報処理装置１００は、ユーザＵが第１データを第２入力欄に移動させた結果を確認させることができるので、入力欄３１０に自動で入力された第１データを他の入力欄へ移動させる操作を支援することができる。
　情報処理装置１００は、表示制御部１３５は、移動先の入力欄３１０を指示可能なオブジェクトを、前記第１データが入力されている前記入力欄の近くに表示するように、前記表示装置を制御する。第２入力部１３２は、オブジェクトに対する移動指示に基づいて、第１入力欄から第２入力欄に第１データを移動させる操作を検出する。
　これにより、情報処理装置１００は、第１入力欄から第２入力欄へのオブジェクトの移動に応じて、第１入力欄から第２入力欄に第１データを移動させる操作を検出することができる。その結果、情報処理装置１００は、ユーザＵがオブジェクトを第１入力欄から第２入力欄に移動させればよいので、複数の入力欄３１０に対する音声入力の効率を向上させることができる。
　情報処理装置１００は、第２入力部１３２は、第１画面の第１入力欄から、第１画面とは異なる第２画面へ、第１データを移動させる第３操作に応じて、第２画面の複数の入力欄の中から第１データが示す発話内容の意味に基づいて選択した第３入力欄に、第１データを入力する。
　これにより、情報処理装置１００は、第１画面の第１入力欄に入力された第１データを第２画面に移動させる第３操作に応じて、第２画面における第１データに適した属性の第３入力欄に、第１データを入力することができる。その結果、情報処理装置１００は、ユーザＵが第１データの移動先として第２画面を指示するだけで、第１データに適した第２画面の入力欄に第１データを入力できるので、複数の画面における複数の入力欄３１０に対する音声入力の効率を向上させることができる。
　情報処理装置１００では、第３操作は、第１画面の第１入力欄から、第２画面を用いるアプリケーションへ第１データを移動させる操作を含み、第２入力部は、第３操作に応じてアプリケーションを起動させ、第２画面の複数の入力欄の中から前記第１データが示す発話内容の意味に基づいて選択した第３入力欄に、第１データを入力する。
　これにより、情報処理装置１００は、第３操作に応じてアプリケーションを起動させると、当該アプリケーシの第２画面の複数の入力欄のうち、第１データに適した第２入力欄に、第１データを入力することができる。その結果、情報処理装置１００は、ユーザＵが第１データの移動先としてアプリケーシを選択するだけで、当該アプリケーシを起動させることができ、第１データに適した第２画面の入力欄に第１データを入力できるので、複数の画面における複数の入力欄３１０に対する音声入力の効率を向上させることができる。
　情報処理装置１００は、第２画面は、第３入力欄と第４入力欄とを備える。第２入力部１３２は、第３入力欄から第４入力欄に第１データを移動させる第４操作に応じて、第１データのうちの第４入力欄の属性に属する第２データを第４入力欄に入力する。
　これにより、情報処理装置１００は、第１データがユーザＵの意図した第２画面の入力欄３１０に入力できなかった場合、第２画面の他の入力欄３１０に第１データを移動させる操作に応じて、複数の入力欄３１０同士の間でデータを容易に移動することができる。その結果、情報処理装置１００は、ユーザＵが第１データの移動先の入力欄を指示すればよいので、複数の入力画面において、入力欄３１０に自動で入力された第１データを他の入力欄へ移動する操作性を向上させることができる。
　情報処理装置１００では、第１データを第１入力欄から第２入力欄に移動させる操作は、音声による操作を含む。
　これにより、情報処理装置１００は、第１データを第１入力欄から第２入力欄に移動させる操作を音声で受け付けることができる。その結果、情報処理装置１００は、ユーザＵが第１データの移動先の第２入力欄を音声で指示するだけで、第１入力欄の第１データを第２入力欄に移動させることができるため、複数の入力欄３１０に対する音声入力の修正に関する操作性を向上させることができる。
　情報処理方法は、コンピュータが、話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の入力欄３１０の中から選択した第１入力欄に第１データを入力すること、第１入力欄から第２入力欄に第１データを移動させる操作に応じて、第１データのうちの第２入力欄の属性に属する第２データを第２入力欄に入力すること、を含む。
　これにより、情報処理方法は、第１データがユーザＵの意図した入力欄３１０に入力できなかった場合、コンピュータが、他の入力欄３１０に第１データを移動させる操作に応じて、複数の入力欄３１０同士の間でデータを容易に移動することができる。その結果、情報処理方法は、ユーザＵが第１データの移動先の入力欄を指示すればよいので、入力欄３１０に自動で入力された第１データを他の入力欄へ移動する操作性を向上させることができる。
　情報処理プログラムは、コンピュータに、話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の入力欄３１０の中から選択した第１入力欄に第１データを入力すること、第１入力欄から第２入力欄に第１データを移動させる操作に応じて、第１データのうちの第２入力欄の属性に属する第２データを第２入力欄に入力すること、を実行させる。
　これにより、情報処理プログラムは、第１データがユーザＵの意図した入力欄３１０に入力できなかった場合、コンピュータに、他の入力欄３１０に第１データを移動させる操作に応じて、複数の入力欄３１０同士の間でデータを容易に移動させることができる。その結果、情報処理方法は、ユーザＵが第１データの移動先の入力欄を指示すればよいので、入力欄３１０に自動で入力された第１データを他の入力欄へ移動する操作性を向上させることができる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力する第１入力部と、
　前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力する第２入力部と、
　を備える情報処理装置。
（２）
　前記第２入力部は、前記第１入力欄と前記第２入力欄との属性が異なっている場合、前記第１データのうちの前記第２入力欄の属性に属する前記第２データを前記第２入力欄に入力する
　前記（１）に記載の情報処理装置。
（３）
　移動先の入力欄の属性に基づいて前記第１データの意味解析可能な解析部をさらに備え、
　前記第２入力部は、前記解析部が解析した前記第１データの意味と前記第２入力欄の属性とに基づいて、前記第１データのうちの一部のデータを前記第２入力欄の属性に変換した前記第２データを前記第２入力欄に入力する
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記第２入力部は、前記第１入力欄から前記第２入力欄に前記第１データを移動させる操作に応じて、前記第１データの一部のデータを前記第２入力欄の属性に変換した前記第２データを前記第２入力欄に入力する
　前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記第１入力欄に入力された前記第１データから前記第２入力欄に移動させた前記一部のデータを削除するように前記第１データを変更する変更部をさらに備える
　前記（４）に記載の情報処理装置。
（６）
　前記第２入力部は、前記第１入力欄と前記第２入力欄とが同じ属性である場合、前記第１データを前記第２データとして前記第２入力欄に入力する
　前記（１）から（５）のいずれかに記載の情報処理装置。
（７）
　前記第２入力部は、前記第１入力欄から第２入力欄に、前記第１データの一部のデータを移動させる第２操作に応じて、前記第２入力欄の属性と前記一部のデータとに基づく前記第２データを前記第２入力欄に入力する
　前記（１）から（６）のいずれかに記載の情報処理装置。
（８）
　複数の前記入力欄を備える入力画面を表示するように表示装置を制御する表示制御部をさらに備え、
　前記表示制御部は、前記第２入力部が前記第２データを前記第２入力欄に入力した前記入力画面を表示するように、前記表示装置を制御する
　前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
　前記表示制御部は、移動先の前記入力欄を指示可能なオブジェクトを、前記第１データが入力されている前記入力欄の近くに表示するように、前記表示装置を制御し、
　前記第２入力部は、前記オブジェクトに対する移動指示に基づいて、前記第１入力欄から前記第２入力欄に前記第１データを移動させる操作を検出する
　前記（８）に記載の情報処理装置。
（１０）
　前記第２入力部は、第１画面の前記第１入力欄から、前記第１画面とは異なる第２画面へ、前記第１データを移動させる第３操作に応じて、前記第２画面の複数の前記入力欄の中から前記第１データが示す発話内容の意味に基づいて選択した第３入力欄に、前記第１データを入力する
　前記（１）から（９）のいずれかに記載の情報処理装置。
（１１）
　前記第３操作は、前記第１画面の前記第１入力欄から、前記第２画面を用いるアプリケーションへ前記第１データを移動させる操作を含み、
　前記第２入力部は、前記第３操作に応じて前記アプリケーションを起動させ、前記第２画面の複数の前記入力欄の中から前記第１データが示す発話内容の意味に基づいて選択した第３入力欄に、前記第１データを入力する
　前記（１０）に記載の情報処理装置。
（１２）
　前記第２画面は、前記第３入力欄と第４入力欄とを備え、
　前記第２入力部は、前記第３入力欄から第４入力欄に前記第１データを移動させる第４操作に応じて、前記第１データのうちの前記第４入力欄の属性に属する前記第２データを前記第４入力欄に入力する
　前記（１０）または（１１）に記載の情報処理装置。
（１３）
　前記第１データを前記第１入力欄から第２入力欄に移動させる前記操作は、音声による操作を含む
　前記（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
　コンピュータが、
　話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力すること、
　前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力すること、
　を含む情報処理方法。
（１５）
　コンピュータに、
　話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力すること、
　前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力すること、
　を実行させる情報処理プログラム。
（１６）
　話者の音声を取り込むことで第１データを得る情報処理端末と、
　前記情報処理端末と通信可能な情報処理装置と、
　を備える情報処理システムであって、
　前記情報処理装置は、
　前記第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力する第１入力部と、
　前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力する第２入力部と、
　を備える情報処理システム。
　１　情報処理システム
　１０　情報処理端末
　１１　センサ部
　１２　入力部
　１３　タッチパネル
　１４　通信部
　１５　記憶部
　１５Ａ　メールアプリケーション
　１５Ｂ　メッセージアプリケーション
　１６　制御部
　１００　情報処理装置
　１１０　通信部
　１２０　記憶部
　１３０　制御部
　１３１　第１入力部
　１３２　第２入力部
　１３３　解析部
　１３４　変更部
　１３５　表示制御部
　Ｄ１　発話データ
　Ｄ１００　属性データ
　Ｄ２００　ユーザデータ

Claims (15)

  1. 　話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力する第１入力部と、
    　前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力する第２入力部と、
    　を備える情報処理装置。
  2. 　前記第２入力部は、前記第１入力欄と前記第２入力欄との属性が異なっている場合、前記第１データのうちの前記第２入力欄の属性に属する前記第２データを前記第２入力欄に入力する
    　請求項１に記載の情報処理装置。
  3. 　移動先の入力欄の属性に基づいて前記第１データの意味解析可能な解析部をさらに備え、
    　前記第２入力部は、前記解析部が解析した前記第１データの意味と前記第２入力欄の属性とに基づいて、前記第１データのうちの一部のデータを前記第２入力欄の属性に変換した前記第２データを前記第２入力欄に入力する
    　請求項２に記載の情報処理装置。
  4. 　前記第２入力部は、前記第１入力欄から前記第２入力欄に前記第１データを移動させる操作に応じて、前記第１データの一部のデータを前記第２入力欄の属性に変換した前記第２データを前記第２入力欄に入力する
    　請求項２に記載の情報処理装置。
  5. 　前記第１入力欄に入力された前記第１データから前記第２入力欄に移動させた前記一部のデータを削除するように前記第１データを変更する変更部をさらに備える
    　請求項４に記載の情報処理装置。
  6. 　前記第２入力部は、前記第１入力欄と前記第２入力欄とが同じ属性である場合、前記第１データを前記第２データとして前記第２入力欄に入力する
    　請求項２に記載の情報処理装置。
  7. 　前記第２入力部は、前記第１入力欄から第２入力欄に、前記第１データの一部のデータを移動させる第２操作に応じて、前記第２入力欄の属性と前記一部のデータとに基づく前記第２データを前記第２入力欄に入力する
    　請求項２に記載の情報処理装置。
  8. 　複数の前記入力欄を備える入力画面を表示するように表示装置を制御する表示制御部をさらに備え、
    　前記表示制御部は、前記第２入力部が前記第２データを前記第２入力欄に入力した前記入力画面を表示するように、前記表示装置を制御する
    　請求項２に記載の情報処理装置。
  9. 　前記表示制御部は、移動先の前記入力欄を指示可能なオブジェクトを、前記第１データが入力されている前記入力欄の近くに表示するように、前記表示装置を制御し、
    　前記第２入力部は、前記オブジェクトに対する移動指示に基づいて、前記第１入力欄から前記第２入力欄に前記第１データを移動させる操作を検出する
    　請求項８に記載の情報処理装置。
  10. 　前記第２入力部は、第１画面の前記第１入力欄から、前記第１画面とは異なる第２画面へ、前記第１データを移動させる第３操作に応じて、前記第２画面の複数の前記入力欄の中から前記第１データが示す発話内容の意味に基づいて選択した第３入力欄に、前記第１データを入力する
    　請求項１に記載の情報処理装置。
  11. 　前記第３操作は、前記第１画面の前記第１入力欄から、前記第２画面を用いるアプリケーションへ前記第１データを移動させる操作を含み、
    　前記第２入力部は、前記第３操作に応じて前記アプリケーションを起動させ、前記第２画面の複数の前記入力欄の中から前記第１データが示す発話内容の意味に基づいて選択した第３入力欄に、前記第１データを入力する
    　請求項１０に記載の情報処理装置。
  12. 　前記第２画面は、第３入力欄と第４入力欄とを備え、
    　前記第２入力部は、前記第３入力欄から第４入力欄に前記第１データを移動させる第４操作に応じて、前記第１データのうちの前記第４入力欄の属性に属する前記第２データを前記第４入力欄に入力する
    　請求項１１に記載の情報処理装置。
  13. 　前記第１データを前記第１入力欄から第２入力欄に移動させる前記操作は、音声による操作を含む
    　請求項１に記載の情報処理装置。
  14. 　コンピュータが、
    　話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力すること、
    　前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力すること、
    　を含む情報処理方法。
  15. 　コンピュータに、
    　話者の音声を取り込むことで得た第１データが示す発話内容の意味と複数の入力欄の属性とに基づいて、複数の前記入力欄の中から選択した第１入力欄に前記第１データを入力すること、
    　前記第１入力欄から第２入力欄に前記第１データを移動させる操作に応じて、前記第１データのうちの前記第２入力欄の属性に属する第２データを前記第２入力欄に入力すること、
    　を実行させる情報処理プログラム。
PCT/JP2021/025837 2020-07-20 2021-07-08 情報処理装置、情報処理方法及び情報処理プログラム WO2022019145A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/005,025 US20230297328A1 (en) 2020-07-20 2021-07-08 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-124047 2020-07-20
JP2020124047 2020-07-20

Publications (1)

Publication Number Publication Date
WO2022019145A1 true WO2022019145A1 (ja) 2022-01-27

Family

ID=79728772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025837 WO2022019145A1 (ja) 2020-07-20 2021-07-08 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20230297328A1 (ja)
WO (1) WO2022019145A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218092A (ja) * 2001-01-19 2002-08-02 Fujitsu General Ltd 音声入力による携帯電話メール方法と携帯電話メール装置
JP2003256384A (ja) * 2002-02-27 2003-09-12 Hitachi Ltd 予定情報管理方法およびシステム、プログラム、ならびにそれを記録した記録媒体
JP2008052676A (ja) * 2006-08-28 2008-03-06 Tokyo Electric Power Co Inc:The コンピュータ実行可能なプログラム、方法、および処理装置
JP2015146075A (ja) * 2014-01-31 2015-08-13 株式会社日本デジタル研究所 会計データ入力支援システム、方法およびプログラム
JP2016102920A (ja) * 2014-11-28 2016-06-02 京セラドキュメントソリューションズ株式会社 文書記録システム及び文書記録プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218092A (ja) * 2001-01-19 2002-08-02 Fujitsu General Ltd 音声入力による携帯電話メール方法と携帯電話メール装置
JP2003256384A (ja) * 2002-02-27 2003-09-12 Hitachi Ltd 予定情報管理方法およびシステム、プログラム、ならびにそれを記録した記録媒体
JP2008052676A (ja) * 2006-08-28 2008-03-06 Tokyo Electric Power Co Inc:The コンピュータ実行可能なプログラム、方法、および処理装置
JP2015146075A (ja) * 2014-01-31 2015-08-13 株式会社日本デジタル研究所 会計データ入力支援システム、方法およびプログラム
JP2016102920A (ja) * 2014-11-28 2016-06-02 京セラドキュメントソリューションズ株式会社 文書記録システム及び文書記録プログラム

Also Published As

Publication number Publication date
US20230297328A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
JP6440513B2 (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
CN111433736B (zh) 机器控制系统以及机器控制方法
EP3251115B1 (en) Updating language understanding classifier models for a digital personal assistant based on crowd-sourcing
KR102667413B1 (ko) 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치
TWI400631B (zh) 依據輸入裝置來自動客製化計算裝置之方法及裝置
JP6375521B2 (ja) 音声検索装置、音声検索方法、および表示装置
US20180137097A1 (en) Electronic device and control method therefor
JP7059929B2 (ja) 情報処理装置
US10586528B2 (en) Domain-specific speech recognizers in a digital medium environment
WO2016109122A2 (en) Discovering capabilities of third-party voice-enabled resources
US20190042185A1 (en) Flexible voice-based information retrieval system for virtual assistant
WO2020253064A1 (zh) 语音的识别方法及装置、计算机设备、存储介质
KR20190067638A (ko) 음성 인식 장치 및 그 동작 방법
US20220283831A1 (en) Action recipes for a crowdsourced digital assistant system
EP3608772B1 (en) Method for executing function based on voice and electronic device supporting the same
WO2020079941A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
CN110989847A (zh) 信息推荐方法、装置、终端设备及存储介质
JP6596373B6 (ja) 表示処理装置及び表示処理プログラム
CN110308886A (zh) 提供与个性化任务相关联的声音命令服务的系统和方法
JP2020101822A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
WO2022019145A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2010108331A (ja) 情報処理装置、アプリケーション起動方法およびプログラム
KR20210027991A (ko) 전자장치 및 그 제어방법
CN112380871A (zh) 语义识别方法、设备及介质
CN113314115A (zh) 终端设备的语音处理方法、终端设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21846778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21846778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP