WO2020105317A1 - 対話装置及び対話プログラム - Google Patents

対話装置及び対話プログラム

Info

Publication number
WO2020105317A1
WO2020105317A1 PCT/JP2019/040534 JP2019040534W WO2020105317A1 WO 2020105317 A1 WO2020105317 A1 WO 2020105317A1 JP 2019040534 W JP2019040534 W JP 2019040534W WO 2020105317 A1 WO2020105317 A1 WO 2020105317A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
phrase
instruction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/040534
Other languages
English (en)
French (fr)
Inventor
祐貴 田中
吉川　貴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2020558161A priority Critical patent/JP7429194B2/ja
Publication of WO2020105317A1 publication Critical patent/WO2020105317A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to a dialogue device and dialogue program.
  • Patent Document 1 describes a technique in which a server that manages home appliances supplies an operation screen corresponding to each home appliance to a terminal device.
  • Patent Document 1 merely shows an operation screen for operating the home electric appliance, and does not support the user's utterance. Further, since this operation screen is stored in advance, it is not possible to dynamically change the display content according to the situation.
  • the present invention has been made in view of the above problems, and in the technology of controlling a device by a user's utterance, by guiding a suitable utterance content according to the state of the device to be controlled and the user. , It is intended to improve convenience.
  • an interactive apparatus is an interactive apparatus that receives a user utterance composed of voice or text for generating control information for controlling a device, and an operating state of the device.
  • the vocabulary information that associates the device status acquisition unit that acquires the device status information indicating the, the instruction phrase that includes at least one or more words or sentences that represent the control instruction of the device, and the operation status of the device.
  • a phrase extractor for extracting one or more instruction phrases associated with the operation state of the device indicated by the device state information, and an utterance sentence for controlling the device based on the instruction phrase extracted by the phrase extractor.
  • a presenting unit that presents the utterance sentence generated by the generating unit to the user.
  • a dialogue program causes a computer to function as a dialogue device that receives user utterance composed of voice or text for generating control information for controlling a device.
  • An interactive program a device status acquisition function for acquiring device status information indicating an operation status of a device, an instruction phrase including at least one or more words or sentences representing a control instruction of the device, and an operation status of the device, Based on the instruction phrase extracted by the phrase extraction function, which extracts one or more instruction phrases associated with the operation state of the device indicated by the device state information by referring to the vocabulary information
  • a generation function for generating a utterance sentence for controlling the device and a presentation function for presenting the utterance sentence generated by the generation function to the user are realized.
  • the operation state of the device is acquired and the utterance sentence is generated based on the instruction phrase associated with the acquired operation state of the device
  • a suitable utterance sentence according to the operation state of the device is generated.
  • the utterance sentence presented to the user is limited based on the device state information, the processing load and the communication amount required to present the utterance sentence are reduced.
  • an interactive apparatus is an interactive apparatus that receives a user utterance composed of voice or text for generating control information for controlling a device, and an utterance of the user utterance.
  • a user information acquisition unit that acquires user identification information that identifies the original user, and attribute information of the user that is identified by the user identification information acquired by the user information acquisition unit.
  • a user attribute acquisition unit that acquires attribute information, including information indicating the information, an instruction phrase including at least one phrase or sentence that represents a control instruction of the device, and a user's favorite control state regarding the device are associated with each other.
  • a phrase extraction unit that refers to the vocabulary information and extracts one or more instruction phrases associated with the user's favorite control state indicated by the attribute information, and a device based on the instruction phrases extracted by the phrase extraction unit.
  • a presentation unit for presenting the utterance sentence generated by the generation unit to the user.
  • a dialogue program causes a computer to function as a dialogue device that receives user utterance composed of voice or text for generating control information for controlling a device.
  • a dialog program which is a user information acquisition function for acquiring user identification information for identifying a user who is a utterer of a user utterance, and attribute information of a user identified by the user identification information acquired by the user information acquisition function.
  • a user attribute acquisition function for acquiring attribute information including information indicating a user's preference regarding a control state of a device, an instruction phrase including at least one or more words or sentences indicating a control instruction of the device, and a user's attribute related to the device.
  • the phrase extraction function that refers to the vocabulary information that associates the favorite control state with one or more instruction phrases that are associated with the user's favorite control state indicated by the attribute information, and the phrase extraction function.
  • a generation function for generating a utterance sentence for controlling a device based on the extracted instruction phrase and a presentation function for presenting the utterance sentence generated by the generation function to a user are realized.
  • attribute information indicating the preference of the user who is the utterer of the user utterance regarding the control state of the device is acquired, and the instruction phrase associated with the preference of the user is extracted, which is suitable for the user. It is possible to present a utterance sentence that is likely to be controlled by the device. When the user speaks the uttered sentence presented in this way, the device is controlled in an operation state that the user prefers, so that convenience is improved. In addition, since the utterance sentence presented to the user is limited based on the attribute information of the user, the processing load and the communication amount required to present the utterance sentence are reduced.
  • FIG. 1 is a diagram showing a device configuration of a dialogue system according to the present embodiment.
  • the dialogue system 1 includes a dialogue device 10, an external system 30, and a terminal 50.
  • the dialogue device 10 and the terminal 50 can communicate with each other. Further, the dialogue device 10 and the external system 30 can communicate with each other.
  • the dialogue device 10 is a device that receives a user utterance composed of voice or text for generating control information for controlling the device. Further, the dialog device 10 may transmit control information to the external system 30 in order to operate a device managed by the external system 30.
  • the dialogue device 10 is configured by, for example, a computer such as a server, but the device that constitutes the dialogue device 10 is not limited.
  • the external system 30 constitutes a device management system that manages devices such as so-called IoT (Internet of Things) devices including home appliances.
  • the external system 30 can communicate with a plurality of devices according to their respective communication standards.
  • the external system 30 has setting information for each device that can configure an interface for controlling each device, and manages it based on the control information received from the dialog device 10 by using and referring to the setting information. You can control any of the devices in.
  • the external system 30 can include a setting information storage unit 31 and a device status management unit 32.
  • the setting information storage unit 31 is a storage unit that stores setting information of a device to be controlled.
  • the setting information is information used and referred to for controlling the device. Details of the setting information will be described later.
  • the setting information storage unit 31 is configured in the external system 30, but the configuration is not limited to such a configuration, and if the external system 30 can access, the external system 30 can be used. It may be configured outside.
  • the device status management unit 32 manages device status information indicating the operating status of the device managed by the external system 30. Specifically, the device status management unit 32 can acquire and store the device status information. The device status information will be described later in detail.
  • the terminal 50 is a device that forms an interface with the user in controlling the device by utterance, and is configured by, for example, a stationary or portable personal computer, a high-performance mobile phone (smartphone), or the like.
  • the device constituting the above is not limited, and may be a mobile terminal such as a mobile phone or a personal digital assistant (PDA).
  • PDA personal digital assistant
  • the terminal 50 can transmit voice data uttered by the user to the dialogue device as a user utterance. Further, the terminal 50 may transmit the data obtained by converting the voice of the user into a text by the voice recognition process to the dialogue device 10 as the user's utterance.
  • the terminal 50 can present the utterance sentence transmitted from the dialogue device 10 to the user, as described later. Specifically, the terminal 50 presents the utterance sentence to the user by displaying the text indicating the utterance sentence on the display. Further, the terminal 50 may display on the display an operation object that is associated with the text indicating the utterance and is capable of an instruction operation. The operation object may be displayed in the form of a button that can be operated by the user. When the operation on the displayed operation object is accepted, the terminal 50 uses the information indicating that the operation object has been operated, the text data or the voice data of the utterance sentence associated with the operation object as the user's utterance as the dialog device. May be sent to 10.
  • FIG. 2 is a diagram showing a functional configuration of the dialogue device 10 according to the present embodiment.
  • the dialogue device 10 includes an external system information acquisition unit 11, a user information acquisition unit 12, a device extraction unit 13, a user attribute acquisition unit 14, a phrase extraction unit 15, a generation unit 16, a presentation unit 17, and an utterance.
  • the receiving unit 18 and the control instruction transmitting unit 19 are included.
  • the external system information acquisition unit 11 includes a setting information acquisition unit 11A and a device status acquisition unit 11B.
  • the dialogue device 10 also includes a vocabulary information storage unit 20 and a user attribute storage unit 21.
  • Each functional unit included in the dialogue device 10 may be distributed and configured in a plurality of devices, or, for example, some functional units may be configured in the terminal 50.
  • each functional block may be realized by one device that is physically and / or logically coupled, or may be directly and / or indirectly connected to two or more devices that are physically and / or logically separated. (For example, wired and / or wireless), and may be realized by a plurality of these devices.
  • Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, search, confirmation, reception, transmission, output, access, resolution, selection, selection, establishment, comparison, assumption, expectation, observation, Broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc., but not limited to these.
  • a functional block (component) that functions for transmission is called a transmitting unit or a transmitter.
  • the implementation method is not particularly limited.
  • the dialog device 10 may function as a computer.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the dialog device 10 according to the present embodiment.
  • the interaction device 10 may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the word “device” can be read as a circuit, device, unit, or the like.
  • the hardware configuration of the dialog device 10 may be configured to include one or a plurality of each device illustrated in FIG. 3, or may be configured not to include some devices.
  • Each function in the dialog device 10 causes a predetermined software (program) to be loaded on hardware such as the processor 1001 and the memory 1002, so that the processor 1001 performs an arithmetic operation, communication by the communication device 1004, and the memory 1002 and the storage 1003. It is realized by controlling the reading and / or writing of data in.
  • the processor 1001 operates an operating system to control the entire computer, for example.
  • the processor 1001 may be composed of a central processing unit (CPU) including an interface with peripheral devices, a control device, a calculation device, a register, and the like. Further, the processor 1001 may be configured to include a GPU (Graphics Processing Unit). For example, the functional units 11 to 19 shown in FIG. 2 may be realized by the processor 1001.
  • CPU central processing unit
  • GPU Graphics Processing Unit
  • the processor 1001 reads a program (program code), software module, and data from the storage 1003 and / or the communication device 1004 into the memory 1002, and executes various processes according to these.
  • a program program code
  • the functional units 11 to 19 of the dialogue device 10 may be realized by a control program stored in the memory 1002 and operated by the processor 1001.
  • the various processes described above are executed by one processor 1001, they may be executed simultaneously or sequentially by two or more processors 1001.
  • the processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from the network via an electric communication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of, for example, at least one of ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (ElectricallyErasable Programmable ROM), RAM (Random Access Memory), and the like. May be done.
  • the memory 1002 may be called a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store an executable program (program code), a software module, etc. for implementing the interaction method according to the embodiment of the present invention.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disc drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disc). (Registered trademark) disk), smart card, flash memory (for example, card, stick, key drive), floppy (registered trademark) disk, magnetic strip, and the like.
  • the storage 1003 may be called an auxiliary storage device.
  • the storage medium described above may be, for example, a database including the memory 1002 and / or the storage 1003, a server, or another appropriate medium.
  • the communication device 1004 is hardware (transmission / reception device) for performing communication between computers via a wired and / or wireless network, and is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that performs output to the outside.
  • the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
  • Each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be composed of a single bus, or may be composed of different buses among devices.
  • the dialogue device 10 includes hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). It may be configured, and the hardware may implement some or all of the functional blocks. For example, processor 1001 may be implemented with at least one of these hardware.
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • PLD Program Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the external system information acquisition unit 11 acquires various information from the external system 30. Specifically, the external system information acquisition unit 11 includes the setting information acquisition unit 11A and the device status acquisition unit 11B, and acquires the setting information and the device status information.
  • the setting information acquisition unit 11A acquires setting information. Specifically, the setting information acquisition unit 11A acquires the setting information from the setting information storage unit 31 of the external system 30.
  • the setting information includes attributes of each device and is referred to for controlling the device.
  • FIG. 4 is information showing an example of the configuration of the setting information storage unit 31 and the stored data.
  • the setting information storage unit 31 stores various attributes as setting information in association with a device ID that identifies a device.
  • the setting information storage unit 31 stores, for each device ID, setting information such as a device, a nickname, and a group indicating the category of the device.
  • the nickname is a name set by the user for the device, and is a name for pointing the device in the utterance.
  • one nickname is set for each device, but a unique nickname may be set for each device by a plurality of users.
  • each device may be uniquely identified by the user.
  • the group can be information indicating a location where the device is provided.
  • the group may be other information for grouping a plurality of devices.
  • the setting information storage unit 31 stores the setting information of the device “TV”, the nickname “Dad's TV”, the group “living room”, etc. in association with the device ID “1”.
  • the setting information acquisition unit 11A may collectively acquire a predetermined amount of setting information at a predetermined timing in a standby state for receiving a user utterance.
  • the setting information acquisition unit 11A may acquire necessary setting information each time the setting information is referred to by the device extracting unit 13, the phrase extracting unit 15, and the like, which will be described later in detail.
  • the device status acquisition unit 11B acquires device status information.
  • the device state information is information indicating the operating state of the device managed by the external system 30.
  • the device status information is managed by the device status management unit 32 of the external system 30, for example.
  • the device status management unit 32 acquires and stores the operation status of each device under management.
  • the device state management unit 32 provides the stored information indicating the operating state of the device to the dialog device 10 as device state information.
  • the device status acquisition unit 11B can acquire device status information from the device status management unit 32.
  • FIG. 5 is a diagram showing an example of device state information.
  • the device state information includes a device category and a device operation state for each device ID that identifies the device.
  • the category of the device with the device ID “1” is “TV”, and the device operating state is “power: ON, channel: 4, volume level: 18”.
  • the user information acquisition unit 12 acquires user identification information that identifies the user who is the utterer of the user utterance. Specifically, the user information acquisition unit 12 can acquire the user identification information from the user terminal 50. The user information acquisition unit 12 can acquire, for example, user identification information transmitted from the terminal 50 to the dialog device 10 for processing such as account authentication.
  • the user information acquisition unit 12 may acquire the position information indicating the position of the user as a part of the user information. Specifically, the user information acquisition unit 12 acquires the position information acquired by, for example, a GPS device (not shown) included in the terminal 50 of the user. Even if the user information acquisition unit 12 acquires the position information of the user based on the detection information detected by the human sensor (not shown) provided in the space to which the interactive system 1 of the present embodiment is applied. Good.
  • the terminal 50 is a mobile wireless communication terminal
  • the user information acquisition unit 12 may acquire the location information of the terminal 50 as the position information.
  • the user information acquisition unit 12 may acquire the position information of the user by other known methods.
  • the device extraction unit 13 refers to the setting information in order to narrow down the devices to be controlled before extracting the instruction phrase and generating the utterance sentence. Then, the device associated with the position information acquired by the user information acquisition unit 12 may be extracted.
  • the device extraction unit 13 is not an essential component in this embodiment, and device extraction processing is not essential.
  • the device extraction unit 13 can extract the device located at the location of the user by referring to the setting information. ..
  • the device extraction unit 13 refers to the setting information shown in FIG. "TV” with device ID "1", “light” with device ID “2”, “light” with device ID “3”, and "air conditioner” with device ID "5" that are devices associated with "living room” are extracted. To do.
  • the user attribute acquisition unit 14 acquires attribute information of the user identified by the user identification information acquired by the user information acquisition unit 12.
  • the user attribute information includes information indicating the user's preference regarding the control state of the device, and is stored in the user attribute storage unit 21 in the present embodiment, for example.
  • the user attribute acquisition unit 14 acquires user attribute information from the user attribute storage unit 21.
  • FIG. 6 is a diagram showing an example of the configuration of attribute information stored in the user attribute storage unit 21 and the stored data.
  • the user attribute storage unit 21 associates the user ID (user identification information) for identifying the user and the user name with attribute information such as temperature, humidity, brightness, volume level, and television channel. I remember.
  • the temperature and humidity of the attribute information are referred to when extracting the instruction phrase for controlling the air conditioner, for example.
  • the brightness of the attribute information is referred to when the instruction phrase for controlling the light (illumination device) is extracted.
  • the volume level and the TV channel of the attribute information are referred to when the instruction phrase for controlling the TV is extracted.
  • the temperature is “22 ° C.-25 ° C.”
  • the humidity is “30% -50%”
  • the brightness is “500-1000lux”
  • the volume level is “30”.
  • "-35" and television channels "1, 2, 4, 7" are associated as attribute information indicating the preference regarding the control state of the device.
  • the phrase extraction unit 15 refers to the vocabulary information and extracts one or more instruction phrases associated with the operation state of the device indicated by the device state information.
  • the vocabulary information is information that associates each device with an instruction phrase that represents a control instruction of the device and that includes at least one or more words or sentences.
  • the phrase extraction unit 15 refers to the vocabulary information stored in the vocabulary information storage unit 20 and extracts the instruction phrase.
  • FIG. 7 is a diagram showing a configuration of the vocabulary information storage unit 20 and an example of stored data.
  • the vocabulary information storage unit 20 stores vocabulary information in which a device category indicating a device type is associated with at least an instruction phrase.
  • the vocabulary information may further include control content and setting items in association with the device category.
  • the control content is a purpose achieved by the utterance of the associated instruction phrase, and indicates the content of control performed on the device.
  • the setting item is a word or phrase regarding a parameter change width or the like, which is added as an option to the instruction phrase when the control content is related to a change of a device parameter, for example.
  • a device operating state is associated with each instruction phrase of the vocabulary information. For example, in view of the fact that it is necessary to control the TV to be in the ON state when the power is in the OFF state, the instruction phrase “attach the instruction phrase for controlling the device“ TV ”to the control content“ ON ”is added. Is associated with the device operating state “power: OFF”.
  • the device state information can include information indicating that the device is operating (for example, “power: ON”) or not operating (for example, “power: OFF”).
  • the phrase extraction unit 15 extracts an instruction phrase for controlling the device to a non-operating state when the device is in operation, and when the device is not operating, It is possible to extract an instruction phrase for controlling the operating state.
  • the device status acquisition unit 11B has acquired the device status information “device ID“ 1 ”, device“ TV ”, and device operation status“ power: ON, ... ”As shown in FIG.
  • the phrase extraction unit 15 refers to the vocabulary information (see FIG. 7) and is associated with the device operation state “power: ON”, and controls the device “TV” to the control content “OFF”. Extract the instruction phrase “keshi”.
  • the phrase extraction unit 15 refers to the vocabulary information (see FIG. 7) and is associated with the device operation state “power: OFF”, and an instruction for controlling the device “light” to have the control content “ON”. Extract the phrase "tsukete”.
  • the device status information can include predetermined parameters regarding the operation of the device.
  • the device state information of the device ID “1” and the device “TV” includes parameters regarding the operation of the TV such as the channel “4” and the volume level “18” as the device state information.
  • the device state information of the device ID “5” and the device “air conditioner” includes, as the device state information, parameters related to the operation of the air conditioner such as the set temperature “24 degrees” and the set humidity “50%”.
  • the phrase extracting unit 15 controls the parameter of the device to a second range different from the first range. It is possible to extract an instruction phrase for doing.
  • the device status acquisition unit 11B acquires device status information “device ID“ 5 ”, device“ air conditioner ”, device operating status“ set temperature: 24 degrees, ... ”As shown in FIG.
  • the phrase extraction unit 15 refers to the vocabulary information (see FIG. 7) and is associated with the device operating state “set temperature: 25 degrees or less” and sets the device “air conditioner” as the control content “set temperature”. Extract the instruction phrase "increase temperature” for controlling to "increase”. That is, since the set temperature in the device operating state is included in the range less than 25 degrees (first range), in order to control the set temperature in the range of 25 degrees or more (second range), such an instruction phrase is used. Is extracted.
  • the "set temperature: 24 degrees” in the device operating state is set in each of the two setting items "a little” and “2 degrees” associated with the instruction phrase "raise the temperature”. Since the device operating state associated with “little” of the associated device operating states corresponds to the option operating phrase “little” set in the setting item.
  • phrase extraction unit 15 may refer to the vocabulary information and extract one or more instruction phrases associated with the control state of the user's preference indicated by the attribute information of the user.
  • the vocabulary information includes user attributes associated with each instruction phrase. For example, it is necessary to perform control to raise the set temperature of the air conditioner when the user prefers a high set temperature.
  • the user attribute “higher than 26 degrees” is associated with the instruction phrase “increase temperature” for performing.
  • the user information acquisition unit 12 acquires the user ID “0001”
  • the user attribute acquisition unit 14 associates the user ID “0001” with the user attributes “user name: father, temperature: 22-25 degrees, ... Is acquired
  • the phrase extraction unit 15 refers to the vocabulary information and is associated with the user attribute “temperature below 25 degrees”, and controls the device “air conditioner” to the control content “lower temperature”. Extract the instruction phrase for "lower the temperature”.
  • the user information acquisition unit 12 acquires the user ID “0002”
  • the user attribute acquisition unit 14 associates the user ID “0002” with the user attribute “user name: mother, temperature: 26-28 degrees, ... .. ”is acquired
  • the phrase extraction unit 15 refers to the vocabulary information and is associated with the user attribute“ temperature of 26 degrees or higher ”, and sets the device“ air conditioner ”to the control content“ raise temperature ”. Extract the instruction phrase "increase the temperature" for controlling.
  • phrase extraction unit 15 refers to the vocabulary information, and one or more instruction phrases associated with the operation state of the device indicated by the device state information and the control state of the user indicated by the attribute information of the user. May be extracted.
  • the user information acquisition unit 12 acquires the user ID “0003”, and the user attribute acquisition unit 14 associates the user ID “0003” with the user attribute “user name: daughter, ..., Volume level: 10-20. , ... "is acquired, and the device status acquisition unit 11B acquires device status information" device ID "1", device “TV”, device operation status "power: ON, ..., Volume level: 18".
  • the phrase extraction unit 15 refers to the vocabulary information, and among the instruction phrases associated with the device category “TV”, the user attribute “volume level: 20 or less” and the device operation state “power: ON and The instruction phrase “reduce the volume” and the optional setting item “a little” associated with “volume level: 15 or more” are extracted.
  • the phrase extraction unit 15 refers to the vocabulary information and associates it with the device extracted by the device extraction unit 13.
  • One or more instruction phrases that are present may be extracted. For example, when the device extracted by the device extraction unit is “TV”, the phrase extraction unit 15 is an instruction phrase associated with the device category “TV”, “attach”, “keshi”, “volume”. Are turned up “,” turn down the volume “and” change the channel "are extracted from the vocabulary information.
  • the generation unit 16 generates an utterance sentence for controlling the device based on the instruction phrase extracted by the phrase extraction unit 15. Specifically, the generation unit 16 may generate the instruction phrase extracted by the phrase extraction unit 15 as an utterance sentence.
  • the generation unit 16 may add the device category associated with the instruction phrase extracted by the phrase extraction unit 15 to the instruction phrase as a phrase indicating a control target to generate a utterance sentence. For example, when the phrase extraction unit 15 extracts the instruction phrase “attach” corresponding to the control content “ON” of the device “TV”, the generation unit 16 specifies “TV” and a particle indicating the control target. The utterance sentence “Turn on TV” may be generated by adding the instruction phrase “Turn on”.
  • the generation unit 16 may generate the utterance sentence based on the instruction phrase extracted by the phrase extraction unit 15 and the nickname of the device to be controlled by the instruction phrase. For example, when the phrase extraction unit 15 extracts the instruction phrase “attach” corresponding to the control content “ON” of the device “TV”, the generation unit 16 causes the nickname “TV” of the control target “TV”.
  • the utterance "Turn on Dad's TV” may be generated by adding "Dad's TV” and a particle to the instruction phrase "Turn on”.
  • the generation unit 16 adds a word or phrase indicating the change width to the instruction phrase to generate a utterance sentence. May be generated.
  • the phrase extraction unit 15 extracts the instruction phrase “increase the temperature” corresponding to the control content “increase the set temperature” of the device “air conditioner”
  • the generation unit 16 is a parameter of the air conditioner.
  • the words “a little” and “2 degrees” stored in the setting items as words indicating the range of temperature change are added to the instruction phrase, and the utterance "raise the temperature a little” and “raise the temperature twice” May be generated. Note that either of these two utterance sentences may be generated according to the device operating state or the like.
  • the presenting unit 17 presents the utterance sentence generated by the generating unit 16 to the user. Specifically, the presentation unit 17 transmits the text information indicating the utterance sentence to the user's terminal 50, and displays the text indicating the utterance sentence on the display of the terminal 50.
  • FIG. 8 is a diagram showing a screen example of the user's terminal 50 on which the utterance sentence is displayed.
  • the display D of the terminal 50 includes the text b1 "Turn down the temperature of the air conditioner in the living room by 2 degrees” and the text b2 "Turn on Dad's TV” to show the utterance.
  • the text indicating the generated utterance sentence is presented on the user's terminal 50, so that the user can utter the utterance sentence.
  • the presentation unit 17 may display an operation object, which is associated with a text indicating an utterance sentence and is capable of performing an instruction operation, on the user terminal 50.
  • the presentation unit 17 configures each of the text b1 and the text b2 in the screen example of FIG. 8 as an operation object such as a button or the like that can be instructed to be operated by the user, and displays it on the display D.
  • the dialogue device 10 accepts a user utterance composed of voice of the content of the text when the operation object is operated on the terminal 50 of the user. The same device control information as that in the case of generating is generated.
  • the utterance receiving unit 18 receives a user's utterance as a user utterance. Specifically, the utterance receiving unit 18 receives, as the user utterance, a voice or a text representing the utterance uttered to the terminal 50 by the user who is presented with the utterance sentence, via the terminal 50.
  • the utterance accepting unit 18 When an operation object such as a button associated with a utterance sentence is presented at the terminal 50 and an instruction operation for the operation object is accepted at the terminal 50, the utterance accepting unit 18 indicates that the operation object has been operated. Accept information as a user utterance.
  • the control instruction transmission unit 19 transmits control information for controlling the device managed by the external system 30 based on the user's utterance. Specifically, when the utterance reception unit 18 receives a user utterance composed of voice data, the control instruction transmission unit 19 performs a voice recognition process, a morpheme analysis, and a predetermined analysis process on the user utterance. By doing so, the control information for controlling the device is generated, and the generated control information is transmitted to the external system 30. If the user's utterance is accepted as text data, the voice recognition process is unnecessary.
  • control instruction transmitting unit 19 When the information indicating that the operation object has been operated is received as the user's utterance, the control instruction transmitting unit 19 considers that the text data of the utterance sentence associated with the operation object is received as the user's utterance.
  • the control information for controlling the device is generated by performing a morphological analysis and a predetermined analysis process on the text data.
  • FIG. 9 is a flowchart showing the processing contents of the dialogue method of the present embodiment.
  • step S1 the user information acquisition unit 12 acquires user identification information for identifying the user who is the utterer of the user utterance. Then, the dialog device 10 is controlled to be in the standby state for receiving the user's utterance. Specifically, the utterance receiving unit 18 is controlled to be in a standby state for receiving a user utterance.
  • step S2 the setting information acquisition unit 11A acquires the setting information from the setting information storage unit 31 of the external system 30.
  • step S3 the device status acquisition unit 11B acquires device status information from the device status management unit 32.
  • step S4 the device status acquisition unit 11B determines whether acquisition of the device status information has succeeded. If it is determined that the acquisition of the device status information has succeeded, the process proceeds to step S5. On the other hand, if it is not determined that the acquisition of the device state information has succeeded, the process proceeds to step S6.
  • step S5 the phrase extraction unit 15 refers to the vocabulary information and extracts one or more instruction phrases associated with the operation state of the device indicated by the device state information.
  • the phrase extraction unit 15 extracts the instruction phrase without depending on the operating state of the device.
  • the phrase extraction unit 15 may randomly extract the instruction phrase from the vocabulary information, for example.
  • the phrase extraction unit 15 may extract, for example, an instruction phrase most recently received, an instruction phrase having a large number of extractions, or the like by referring to a history of instruction phrase extraction.
  • step S7 the generation unit 16 generates an utterance sentence for controlling the device based on the instruction phrase extracted by the phrase extraction unit 15 in step S5 or step S6.
  • step S8 the presentation unit 17 presents the utterance sentence generated by the generation unit 16 to the user. Specifically, the presentation unit 17 transmits the text information indicating the utterance sentence to the user's terminal 50, and displays the text indicating the utterance sentence on the display of the terminal 50.
  • FIG. 10 is a flowchart showing the processing contents of the dialogue method of this embodiment. While the device state information is used in the process shown in FIG. 9, user attribute information is used in the process shown in FIG.
  • step S11 the user information acquisition unit 12 acquires user identification information for identifying the user who is the utterer of the user utterance. Then, the dialog device 10 is controlled to be in the standby state for receiving the user's utterance. Specifically, the utterance receiving unit 18 is controlled to be in a standby state for receiving a user utterance.
  • step S12 the setting information acquisition unit 11A acquires the setting information from the setting information storage unit 31 of the external system 30.
  • step S13 the user attribute acquisition unit 14 acquires the attribute information of the user identified by the user identification information acquired by the user information acquisition unit 12.
  • step S14 the user attribute acquisition unit 14 determines whether acquisition of the user attribute information has succeeded. If it is determined that the user attribute information has been successfully acquired, the process proceeds to step S15. On the other hand, if it is not determined that the user attribute information has been successfully acquired, the process proceeds to step S16.
  • step S15 the phrase extraction unit 15 refers to the vocabulary information and extracts one or more instruction phrases associated with the control state of the user's favorite device indicated by the user's attribute information.
  • the phrase extraction unit 15 extracts the instruction phrase without depending on the attribute information of the user.
  • the phrase extraction unit 15 may randomly extract the instruction phrase from the vocabulary information, for example.
  • the phrase extraction unit 15 may extract, for example, an instruction phrase most recently received, an instruction phrase having a large number of extractions, or the like by referring to a history of instruction phrase extraction.
  • step S17 the generation unit 16 generates an utterance sentence for controlling the device based on the instruction phrase extracted by the phrase extraction unit 15 in step S15 or step S16.
  • step S18 the presentation unit 17 presents the utterance sentence generated by the generation unit 16 to the user. Specifically, the presentation unit 17 transmits the text information indicating the utterance sentence to the user's terminal 50, and displays the text indicating the utterance sentence on the display of the terminal 50.
  • FIG. 11 is a diagram showing the structure of the dialogue program P1.
  • the dialogue program P1 includes a main module m10 that integrally controls dialogue processing in the dialogue device 10, an external system information acquisition module m11, a user information acquisition module m12, a device extraction module m13, a user attribute acquisition module m14, and a phrase extraction module m15. It includes a generation module m16, a presentation module m17, a speech reception module m18, and a control instruction transmission module m19.
  • the external system information acquisition module m11 includes a setting information acquisition module m11A and a device status acquisition module m11B.
  • the modules m11 to m19, m11A, and m11B use the external system information acquisition unit 11, the user information acquisition unit 12, the device extraction unit 13, the user attribute acquisition unit 14, the phrase extraction unit 15, and the generation unit 16 in the dialogue device 10.
  • Each function for the presentation unit 17, the speech reception unit 18, the control instruction transmission unit 19, the setting information acquisition unit 11A, and the device state acquisition unit 11B is realized.
  • the dialogue program P1 may be transmitted via a transmission medium such as a communication line, or may be stored in the recording medium M1 as shown in FIG.
  • the operating state of the device is acquired, and the utterance sentence is generated based on the instruction phrase associated with the acquired operating state of the device. It is possible to present a suitable utterance sentence to the user. The user can perform appropriate control according to the operating state of the device by uttering the presented utterance sentence, thus improving convenience. In addition, since the utterance sentence presented to the user is limited based on the device state information, the processing load and the communication amount required to present the utterance sentence are reduced.
  • attribute information indicating the preference of the user who is the utterer of the user utterance regarding the control state of the device is acquired, and the instruction phrase associated with the preference of the user is extracted. It is possible to present a utterance sentence that is highly likely to be controlled by the device, which is suitable for the user. When the user speaks the uttered sentence presented in this way, the device is controlled in an operation state that the user prefers, so that convenience is improved. In addition, since the utterance sentence presented to the user is limited based on the attribute information of the user, the processing load and the communication amount required to present the utterance sentence are reduced.
  • the dialogue apparatus further includes a device state acquisition unit that acquires device state information indicating an operation state of the device, and the vocabulary information further associates the operation state of the device with the instruction phrase,
  • the extraction unit may refer to the vocabulary information and extract one or more instruction phrases associated with the operation state of the device indicated by the device state information and the user's favorite control state indicated by the attribute information. .
  • the operation state of the device is acquired in addition to the attribute information of the user, and the utterance sentence is generated based on the user preference indicated in the attribute information and the instruction phrase associated with the operation state of the device.
  • a suitable utterance sentence can be presented to the user.
  • the device state information includes information indicating that the device is operating or not operating
  • the phrase extracting unit identifies the device when the device is operating.
  • the instruction phrase for controlling the non-operating state may be extracted, and when the device is not operating, the instruction phrase for controlling the device in the operating state may be extracted.
  • a utterance sentence for controlling the device to the non-operating state is presented to the user when the device is operating, and a utterance sentence for controlling the device to the operating state when the device is not operating.
  • the utterance sentence is presented to the user. That is, the utterance sentence for controlling the operation state different from the current operation state of the device is presented to the user. Therefore, it is possible to present the utterance sentence for realizing the control that is likely to be desired by the user, to the target device.
  • the device state information includes a predetermined parameter regarding the operation of the device
  • the phrase extraction unit when the parameter included in the device state information is included in the first range, An instruction phrase for controlling the device parameter to a second range different from the first range may be extracted.
  • the utterance sentence for controlling the parameter in the second range is presented to the user. That is, the user is presented with an utterance sentence for controlling the device with a parameter value different from the current parameter value. Therefore, it is possible to present the utterance sentence for realizing the control that is likely to be desired by the user, to the target device.
  • the dialogue apparatus further includes a setting information acquisition unit that acquires setting information that associates each device with a nickname of the device, and the generation unit includes the instruction extracted by the phrase extraction unit.
  • the utterance sentence may be generated based on the nickname of the device to be controlled by the phrase and the instruction phrase.
  • the utterance sentence including the nickname set for the device to be controlled is generated. This facilitates the user to recognize the device to be controlled in the presented utterance sentence.
  • the presentation unit may display the text indicating the utterance sentence on the user's terminal.
  • the text indicating the generated utterance sentence is presented on the user's terminal, so that the user can utter the utterance sentence.
  • the presentation unit causes the user's terminal to display an operation object which is associated with the text indicating the utterance and can be instructed and operated, and the dialogue apparatus operates the operation object on the user's terminal.
  • the device control information may be generated in the same manner as when the user's utterance including the voice of the text content is received.
  • the operation object associated with the text indicating the generated utterance sentence is displayed on the user terminal, and the content of the utterance sentence is uttered by voice by operating the operation object. Since similar control information is generated, the user can easily give a desired control instruction.
  • Each aspect / embodiment described in the present disclosure includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA ( (Registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.11 (WiMAX), IEEE 802.20, UWB (Ultra-WideBand), Bluetooth. (Registered trademark), other suitable systems, and / or may be applied to next-generation systems extended based on these systems.
  • Information can be output from the upper layer (or lower layer) to the lower layer (or upper layer). Input / output may be performed via a plurality of network nodes.
  • Information that has been input and output may be stored in a specific location (for example, memory), or may be managed in a management table. Information that is input / output can be overwritten, updated, or added. The output information and the like may be deleted. The input information and the like may be transmitted to another device.
  • the determination may be performed by a value represented by 1 bit (whether 0 or 1), may be performed by a Boolean value (Boolean: true or false), and may be performed by comparing numerical values (for example, a predetermined value). (Comparison with value).
  • the notification of the predetermined information (for example, the notification of “being X”) is not limited to the explicit notification, but is performed implicitly (for example, the notification of the predetermined information is not performed). Good.
  • software, instructions, etc. may be sent and received via a transmission medium.
  • the software may use wired technologies such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technologies such as infrared, wireless and microwave to websites, servers, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • wired technologies such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technologies such as infrared, wireless and microwave to websites, servers, or other
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description include voltage, current, electromagnetic waves, magnetic fields or magnetic particles, optical fields or photons, or any of these. May be represented by a combination of
  • system and “network” used in this disclosure are used interchangeably.
  • the information, parameters, and the like described in this disclosure may be represented by absolute values, relative values from predetermined values, or may be represented by other corresponding information.
  • determining and “determining” as used in this disclosure may encompass a wide variety of actions.
  • “Judgment” and “decision” are, for example, judgment, calculation, computing, processing, processing, deriving, investigating, and looking up, search, inquiry. (Eg, searching in a table, a database, or another data structure), considering ascertaining as “judging” or “deciding” may be included.
  • “decision” and “decision” include receiving (eg, receiving information), transmitting (eg, transmitting information), input (input), output (output), access (accessing) (for example, accessing data in a memory) may be regarded as “judging” and “deciding”.
  • judgment and “decision” are considered to be “judgment” and “decision” when things such as resolving, selecting, choosing, establishing, establishing, and comparing are done. May be included. That is, the “judgment” and “decision” may include considering some action as “judgment” and “decision”. In addition, “determination (decision)” may be read as “assuming,” “expecting,” “considering,” and the like.
  • the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both "based only on” and “based at least on.”
  • any reference to that element does not generally limit the amount or order of those elements. These designations may be used herein as a convenient way to distinguish between two or more elements. Thus, references to the first and second elements do not mean that only two elements may be employed there, or that the first element must precede the second element in any way.
  • a device including a plurality of devices is also included unless it is a device in which only one is clearly present in terms of context or technology.
  • Setting information acquisition module m11B ... Device status acquisition module, m12 ... User information acquisition module, m13 ... Device extraction module, m14 ... User attribute acquisition module, m15 ... Phrase extraction module, m16 ... Generation module, m17 ... Presentation module, m18 ... Utterance reception module, m19 ... Control instruction transmission module, P1 ... Dialog program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

対話装置は、デバイスを制御する制御情報を生成するためのユーザ発話を受け付ける装置であって、デバイスの動作状態を示すデバイス状態情報を取得するデバイス状態取得部と、デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスの動作状態とを関連付けている語彙情報を参照して、デバイス状態情報に示されるデバイスの動作状態に関連付けられている指示フレーズを抽出するフレーズ抽出部と、抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する生成部と、生成された発話文をユーザに対して提示する提示部と、を備える。

Description

対話装置及び対話プログラム
　本発明は、対話装置及び対話プログラムに関する。
　家電機器を含むいわゆるＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）デバイス等のデバイスを、発話により操作及び制御する技術が知られている。このような技術では、ユーザによる発話の音声認識及び形態素解析等により指示の内容が判断され、制御情報が出力される。特許文献１には、家電機器を管理するサーバが、各家電機器に対応する操作画面を端末装置に提供する技術が記載されている。
特開２００２－１８６０５７号公報
　ユーザの発話によりデバイスの制御を実施するシステムにおいて、制御対象の機器に関する情報及び発話内容に関する選択肢等が示されない状況では、ユーザがどのような発話をすべきかを認識するのは困難である。デバイスを制御するための発話内容として予め記憶されたシナリオに基づいて、ユーザに発話内容を案内する技術が存在するが、そのような技術であっても、予め記憶されたシナリオに基づいて案内するので、制御対象のデバイスの変更及びユーザの状況の変化等に応じて柔軟且つ動的に発話内容を提示することはできない。
　特許文献１に記載された技術では、家電機器を操作するための操作画面が示されるにすぎず、ユーザの発話を支援するものではない。また、この操作画面は、予め記憶されたものであるので、状況に応じて表示内容を動的に変更させることはできない。
　そこで、本発明は、上記問題点に鑑みてなされたものであり、ユーザの発話によりデバイスを制御する技術において、制御対象のデバイスの状態及びユーザに応じて、好適な発話内容を案内することにより、利便性の向上を図ることを目的とする。
　上記課題を解決するために、本発明の一形態に係る対話装置は、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置であって、デバイスの動作状態を示すデバイス状態情報を取得するデバイス状態取得部と、デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスの動作状態と、を関連付けている語彙情報を参照して、デバイス状態情報に示されるデバイスの動作状態に関連付けられている一以上の指示フレーズを抽出するフレーズ抽出部と、フレーズ抽出部により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する生成部と、生成部により生成された発話文をユーザに対して提示する提示部と、を備える。
　上記課題を解決するために、本発明の一形態に係る対話プログラムは、コンピュータを、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置として機能させるための対話プログラムであって、デバイスの動作状態を示すデバイス状態情報を取得するデバイス状態取得機能と、デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスの動作状態と、を関連付けている語彙情報を参照して、デバイス状態情報に示されるデバイスの動作状態に関連付けられている一以上の指示フレーズを抽出するフレーズ抽出機能と、フレーズ抽出機能により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する生成機能と、生成機能により生成された発話文をユーザに対して提示する提示機能と、を実現させる。
　上記の形態によれば、デバイスの動作状態が取得され、取得されたデバイスの動作状態に関連付けられた指示フレーズに基づいて発話文が生成されるので、デバイスの動作状態に応じた好適な発話文をユーザに提示できる。ユーザは、提示された発話文を発話することにより、デバイスの動作状態に応じて適切な制御を実施できるので、利便性の向上が図られる。また、ユーザに対して提示される発話文が、デバイス状態情報に基づいて限定されることとなるので、発話文の提示にかかる処理負荷及び通信量が削減される。
　上記課題を解決するために、本発明の一形態に係る対話装置は、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置であって、ユーザ発話の発話元のユーザを識別するユーザ識別情報を取得するユーザ情報取得部と、ユーザ情報取得部により取得されたユーザ識別情報により識別されるユーザの属性情報であって、デバイスの制御状態に関するユーザの好みを示す情報を含む、属性情報を取得するユーザ属性取得部と、デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスに関するユーザの好みの制御状態と、を関連付けている語彙情報を参照して、属性情報により示されるユーザの好みの制御状態に関連付けられている一以上の指示フレーズを抽出するフレーズ抽出部と、フレーズ抽出部により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する生成部と、生成部により生成された発話文をユーザに対して提示する提示部と、を備える。
　上記課題を解決するために、本発明の一形態に係る対話プログラムは、コンピュータを、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置として機能させるための対話プログラムであって、ユーザ発話の発話元のユーザを識別するユーザ識別情報を取得するユーザ情報取得機能と、ユーザ情報取得機能により取得されたユーザ識別情報により識別されるユーザの属性情報であって、デバイスの制御状態に関するユーザの好みを示す情報を含む、属性情報を取得するユーザ属性取得機能と、デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスに関するユーザの好みの制御状態と、を関連付けている語彙情報を参照して、属性情報により示されるユーザの好みの制御状態に関連付けられている一以上の指示フレーズを抽出するフレーズ抽出機能と、フレーズ抽出機能により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する生成機能と、生成機能により生成された発話文をユーザに対して提示する提示機能と、を実現させる。
　上記の形態によれば、ユーザ発話の発話元のユーザの、デバイスの制御状態に関する好みを示す属性情報が取得され、当該ユーザの好みに関連付けられた指示フレーズが抽出されるので、ユーザにとって好適なデバイスの制御が実施される可能性が高い発話文を提示できる。このように提示された発話文をユーザが発話することにより、ユーザが好む動作状態にデバイスが制御されるので、利便性の向上が図られる。また、ユーザに対して提示される発話文が、ユーザの属性情報に基づいて限定されることとなるので、発話文の提示にかかる処理負荷及び通信量が削減される。
　ユーザの発話によりデバイスを制御する技術において、制御対象のデバイスの状態及びユーザに応じて、好適な発話内容を案内することにより、利便性の向上を図ることが可能となる。
本実施形態に係る対話装置を含む対話システムの装置構成を示す図である。 本実施形態に係る対話装置の機能的構成を示す機能ブロック図である。 対話装置のハードブロック図である。 設定情報記憶部の構成及び記憶されているデータの例を示す図である。 デバイス状態情報の例を示す図である。 ユーザの属性情報の例を示す図である。 語彙情報記憶部の構成及び記憶されているデータの例を示す図である。 発話文が表示されたユーザの端末の画面例を示す図である。 本実施形態の対話方法の処理内容を示すフローチャートである。 本実施形態の対話方法の処理内容を示すフローチャートである。 対話プログラムの構成を示す図である。
　本発明に係る対話装置及び対話プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
　図１は、本実施形態に係る対話システムの装置構成を示す図である。対話システム１は、対話装置１０、外部システム３０及び端末５０を含む。対話装置１０と端末５０とは、互いに通信可能である。また、対話装置１０と外部システム３０とは互いに通信可能である。
　対話装置１０は、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける装置である。また、対話装置１０は、外部システム３０が管理するデバイスを操作するために、制御情報を外部システム３０に送信してもよい。対話装置１０は、例えば、サーバ等のコンピュータにより構成されるが、対話装置１０を構成する装置は限定されない。
　外部システム３０は、家電機器等を含むいわゆるＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）デバイス等のデバイスを管理するデバイス管理システムを構成する。外部システム３０は、複数のデバイスとそれぞれの通信規格に従った通信をすることが可能である。
　外部システム３０は、各デバイスを制御するためのインターフェースを構成しうる設定情報をデバイス毎に有しており、設定情報の利用及び参照により、対話装置１０から受信した制御情報に基づいて、管理下にあるデバイスのいずれかを制御できる。
　外部システム３０は、設定情報記憶部３１及びデバイス状態管理部３２を含むことができる。設定情報記憶部３１は、制御対象のデバイスの設定情報を記憶している記憶手段である。設定情報は、デバイスの制御のために利用及び参照される情報である。設定情報の詳細については後述する。なお、図１に示す例では、設定情報記憶部３１は、外部システム３０内に構成されているが、このような構成には限定されず、外部システム３０からアクセス可能であれば、外部システム３０外に構成されてもよい。
　デバイス状態管理部３２は、外部システム３０が管理しているデバイスの動作状態を示すデバイス状態情報を管理する。具体的には、デバイス状態管理部３２は、デバイス状態情報を取得及び記憶することができる。デバイス状態情報については、後に詳述する。
　端末５０は、発話によるデバイスの制御において、ユーザとのインターフェースを構成する装置であって、例えば、据置型又は携帯型のパーソナルコンピュータ、高機能携帯電話機（スマートフォン）等により構成されるが、端末５０を構成する装置は限定されず、例えば携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末でもよい。
　端末５０は、ユーザに発せられた音声のデータをユーザ発話として対話装置に送信できる。また、端末５０は、ユーザの音声を音声認識処理によりテキスト化したデータをユーザ発話として対話装置１０に送信してもよい。
　また、端末５０は、後述されるように、対話装置１０から送信された発話文をユーザに対して提示できる。具体的には、端末５０は、発話文を示すテキストをディスプレイに表示することにより、発話文をユーザに提示する。また、端末５０は、発話文を示すテキストが関連付けられ指示操作が可能な操作オブジェクトをディスプレイに表示してもよい。操作オブジェクトは、ユーザによる操作が可能なボタンの態様で表示されてもよい。表示された操作オブジェクトに対する操作が受け付けられた場合には、端末５０は、操作オブジェクトが操作された旨の情報、操作オブジェクトに関連付けられた発話文のテキストデータまたは音声データを、ユーザ発話として対話装置１０に送信してもよい。
　図２は、本実施形態に係る対話装置１０の機能的構成を示す図である。図２に示すように、対話装置１０は、外部システム情報取得部１１、ユーザ情報取得部１２、デバイス抽出部１３、ユーザ属性取得部１４、フレーズ抽出部１５、生成部１６、提示部１７、発話受付部１８及び制御指示送信部１９を含む。外部システム情報取得部１１は、設定情報取得部１１Ａ及びデバイス状態取得部１１Ｂを含む。また、対話装置１０は、語彙情報記憶部２０及びユーザ属性記憶部２１を含む。対話装置１０に含まれる各機能部は、複数の装置に分散されて構成されても良いし、例えば、一部の機能部が端末５０に構成されてもよい。
　なお、図２に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting　unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　例えば、本発明の一実施の形態における対話装置１０は、コンピュータとして機能してもよい。図３は、本実施形態に係る対話装置１０のハードウェア構成の一例を示す図である。対話装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。対話装置１０のハードウェア構成は、図３に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　対話装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）で構成されてもよい。また、プロセッサ１００１は、ＧＰＵ（Graphics　Processing　Unit）を含んで構成されてもよい。例えば、図２に示した各機能部１１～１９などは、プロセッサ１００１で実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、対話装置１０の各機能部１１～１９は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る対話方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
　また、対話装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
　再び図２を参照して、対話装置１０の各機能部について説明する。外部システム情報取得部１１は、外部システム３０から種々の情報を取得する。具体的には、外部システム情報取得部１１は、設定情報取得部１１Ａ及びデバイス状態取得部１１Ｂを含み、設定情報及びデバイス状態情報を取得する。
　設定情報取得部１１Ａは、設定情報を取得する。具体的には、設定情報取得部１１Ａは、外部システム３０の設定情報記憶部３１から設定情報を取得する。設定情報は、各デバイスの属性を含みデバイスの制御のために参照される。
　図４は、設定情報記憶部３１の構成及び記憶されているデータの例を示す情報である。図４に示すように、設定情報記憶部３１は、デバイスを識別するデバイスＩＤに関連付けて、各種の属性を設定情報として記憶している。図４に示す例では、設定情報記憶部３１は、デバイスＩＤごとに、当該デバイスのカテゴリを示すデバイス、ニックネーム及びグループ等の設定情報を記憶している。
　ニックネームは、当該デバイスに対してユーザにより設定される名称であって、発話文において、当該デバイスを指し示すための名称である。図４に示す例では、各デバイスがそれぞれ一のニックネームが設定されているが、一のデバイスに対して、複数のユーザのそれぞれにより固有のニックネームが設定されてもよい。ニックネームの設定は、ユーザからみて、各デバイスがそれぞれにユニークに識別されればよい。グループは、当該デバイスが設けられた所在位置を示す情報であることができる。また、グループは、複数のデバイスをグルーピングするためのその他の情報であってもよい。
　例えば、設定情報記憶部３１は、デバイスＩＤ「１」に関連付けて、デバイス「ＴＶ」、ニックネーム「お父さんのＴＶ」及びグループ「リビング」等の設定情報を記憶している。
　設定情報取得部１１Ａは、ユーザ発話を受け付ける待機状態の所定のタイミングにおいて、所定の分量の設定情報を一括で取得してもよい。また、設定情報取得部１１Ａは、後に詳述されるデバイス抽出部１３及びフレーズ抽出部１５等において設定情報が参照されるタイミングにおいて、その都度に必要な設定情報を取得してもよい。
　デバイス状態取得部１１Ｂは、デバイス状態情報を取得する。デバイス状態情報は、外部システム３０が管理しているデバイスの動作状態を示す情報である。デバイス状態情報は、例えば、外部システム３０のデバイス状態管理部３２により管理されている。デバイス状態管理部３２は、管理下の各デバイスの動作状態を取得し記憶している。デバイス状態管理部３２は、記憶しているデバイスの動作状態を示す情報を、デバイス状態情報として対話装置１０に提供する。
　デバイス状態取得部１１Ｂは、デバイス状態管理部３２からデバイス状態情報を取得できる。図５は、デバイス状態情報の例を示す図である。図５に示すように、デバイス状態情報は、デバイスを識別するデバイスＩＤごとに、デバイスのカテゴリ及びデバイス動作状態を含む。例えば、デバイスＩＤ「１」のデバイスのカテゴリは「ＴＶ」であり、デバイス動作状態は「電源：ＯＮ、チャンネル：４、音量レベル：１８」である。
　ユーザ情報取得部１２は、ユーザ発話の発話元のユーザを識別するユーザ識別情報を取得する。具体的には、ユーザ情報取得部１２は、ユーザの端末５０からユーザ識別情報を取得できる。ユーザ情報取得部１２は、例えば、アカウント認証等の処理のために端末５０から対話装置１０に送信されるユーザ識別情報を取得できる。
　また、ユーザ情報取得部１２は、ユーザの位置を示す位置情報をユーザの情報の一部として取得してもよい。具体的には、ユーザ情報取得部１２は、例えば、ユーザの端末５０が備えるＧＰＳ装置（図示せず）等により取得された位置情報を取得する。ユーザ情報取得部１２は、本実施形態の対話システム１が適用される空間に設けられた人感センサ（図示せず）により検出された検出情報に基づいて、ユーザの位置情報を取得してもよい。また、端末５０が移動無線通信端末である場合には、ユーザ情報取得部１２は、端末５０の在圏情報を位置情報として取得してもよい。ユーザ情報取得部１２は、その他の周知の手法によりユーザの位置情報を取得してもよい。
　デバイス抽出部１３は、例えばユーザ情報取得部１２によりユーザの位置情報が取得された場合には、指示フレーズの抽出及び発話文の生成に先立って制御対象のデバイスを絞り込むために、設定情報を参照して、ユーザ情報取得部１２により取得された位置情報に関連付けられたデバイスを抽出してもよい。なお、デバイス抽出部１３は、本実施形態において必須の構成要素ではなく、デバイスの抽出処理も必須ではない。
　上記のとおり、設定情報は、デバイスと当該デバイスの所在位置を示すグループとの関連付けを含むので、デバイス抽出部１３は、設定情報を参照することにより、ユーザの所在位置に所在するデバイスを抽出できる。例えば、ユーザ情報取得部１２により取得された位置情報により、ユーザの所在位置がリビングであることが示される場合には、デバイス抽出部１３は、図４に示される設定情報を参照して、「リビング」に関連付けられたデバイスであるデバイスＩＤ「１」の「ＴＶ」、デバイスＩＤ「２」の「ライト」、デバイスＩＤ「３」の「ライト」及びデバイスＩＤ「５」の「エアコン」を抽出する。
　ユーザ属性取得部１４は、ユーザ情報取得部１２により取得されたユーザ識別情報により識別されるユーザの属性情報を取得する。ユーザの属性情報は、デバイスの制御状態に関するユーザの好みを示す情報を含み、例えば、本実施形態では、ユーザ属性記憶部２１に記憶されている。ユーザ属性取得部１４は、ユーザ属性記憶部２１から、ユーザの属性情報を取得する。
　図６は、ユーザ属性記憶部２１に記憶されている属性情報の構成及び記憶されているデータの例を示す図である。図６に示すように、ユーザ属性記憶部２１は、ユーザを識別するユーザＩＤ（ユーザ識別情報）及びユーザ名に関連付けて、温度、湿度、明るさ、音量レベル及びテレビのチャンネル等の属性情報を記憶している。
　属性情報のうちの温度及び湿度は、例えば、エアコンの制御のための指示フレーズの抽出に際して参照される。また、属性情報のうちの明るさは、ライト（照明装置）の制御のための指示フレーズの抽出に際して参照される。また、属性情報のうちの音量レベル及びテレビのチャンネルは、テレビの制御のための指示フレーズの抽出に際して参照される。
　例えば、ユーザＩＤ「０００１」により識別されるユーザである「ｆａｔｈｅｒ」には、温度「２２℃－２５℃」、湿度「３０％－５０％」、明るさ「５００－１０００ｌｕｘ」、音量レベル「３０－３５」及びテレビのチャンネル「１，２，４，７」が、デバイスの制御状態に関する好みを示す属性情報として関連付けられている。
　フレーズ抽出部１５は、語彙情報を参照して、デバイス状態情報に示されるデバイスの動作状態に関連付けられている一以上の指示フレーズを抽出する。語彙情報は、各デバイスと、当該デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズとを関連付けている情報である。フレーズ抽出部１５は、語彙情報記憶部２０に記憶されている語彙情報を参照して指示フレーズを抽出する。
　図７は、語彙情報記憶部２０の構成及び記憶されているデータの例を示す図である。図７に示されるように、語彙情報記憶部２０は、デバイスの種別を示すデバイスカテゴリに少なくとも指示フレーズを関連付けた語彙情報を記憶している。語彙情報は、デバイスカテゴリに関連付けて、制御内容、設定項目をさらに含んでもよい。制御内容は、関連付けられている指示フレーズの発話により達せられる目的であって、デバイスに対して実施される制御の内容を示す。設定項目は、例えば制御内容がデバイスのパラメータの変更に関するものである場合等において、指示フレーズに対してオプションとして付加される、パラメータの変更幅等に関する語句である。
　図７に示されるように、語彙情報の各指示フレーズには、デバイス動作状態が関連付けられている。例えば、ＴＶをＯＮの状態に制御する必要があるのは、電源がＯＦＦの状態のときであることに鑑みて、デバイス「ＴＶ」を制御内容「ＯＮ」に制御するための指示フレーズ「つけて」には、デバイス動作状態「電源：ＯＦＦ」が関連付けられている。
　また、エアコンの設定温度を上げる制御を実施する必要があるのは、設定温度が低い場合であることに鑑みて、デバイス「エアコン」を制御内容「設定温度を上げる」に制御するための指示フレーズ「温度を上げて」には、デバイス動作状態「電源：ＯＮ　ａｎｄ　設定温度：２５度以下」，「電源：ＯＮ　ａｎｄ　設定温度：２３度以下」が関連付けられている。
　図５に示すように、デバイス状態情報は、デバイスが動作中（例えば、「電源：ＯＮ」）または非動作中（例えば、「電源：ＯＦＦ」）であることを示す情報を含むことができる。このような場合に、フレーズ抽出部１５は、デバイスが動作中である場合には、デバイスを非動作状態に制御するための指示フレーズを抽出し、デバイスが非動作中である場合には、デバイスを動作状態に制御するための指示フレーズを抽出することができる。
　具体的には、デバイス状態取得部１１Ｂにより、図５に示されるようなデバイス状態情報「デバイスＩＤ「１」、デバイス「ＴＶ」、デバイス動作状態「電源：ＯＮ、・・・」が取得された場合に、フレーズ抽出部１５は、語彙情報（図７参照）を参照して、デバイス動作状態「電源：ＯＮ」に関連付けられており、デバイス「ＴＶ］を制御内容「ＯＦＦ」に制御するための指示フレーズ「けして」を抽出する。
　また、例えば、デバイス状態取得部１１Ｂにより、図５に示されるようなデバイス状態情報「デバイスＩＤ「２」、デバイス「ライト」、デバイス動作状態「電源：ＯＦＦ、・・・」が取得された場合に、フレーズ抽出部１５は、語彙情報（図７参照）を参照して、デバイス動作状態「電源：ＯＦＦ」に関連付けられており、デバイス「ライト］を制御内容「ＯＮ」に制御するための指示フレーズ「つけて」を抽出する。
　また、図５に示すように、デバイス状態情報は、デバイスの動作に関する所定のパラメータを含むことができる。具体的には、例えば、デバイスＩＤ「１」及びデバイス「ＴＶ」のデバイス状態情報は、チャンネル「４」及び音量レベル「１８」のようなＴＶの動作に関するパラメータをデバイス状態情報として含む。また、例えば、デバイスＩＤ「５」及びデバイス「エアコン」のデバイス状態情報は、設定温度「２４度」及び設定湿度「５０％」のようなエアコンの動作に関するパラメータをデバイス状態情報として含む。
　このような場合に、フレーズ抽出部１５は、デバイス状態情報に含まれるパラメータが第１の範囲に含まれる場合には、当該デバイスのパラメータを、第１の範囲とは異なる第２の範囲に制御するための指示フレーズを抽出することができる。
　具体的には、デバイス状態取得部１１Ｂにより、図５に示されるようなデバイス状態情報「デバイスＩＤ「５」、デバイス「エアコン」、デバイス動作状態「設定温度：２４度、・・・」が取得された場合に、フレーズ抽出部１５は、語彙情報（図７参照）を参照して、デバイス動作状態「設定温度：２５度以下」に関連付けられており、デバイス「エアコン］を制御内容「設定温度を上げる」に制御するための指示フレーズ「温度を上げて」を抽出する。即ち、デバイス動作状態における設定温度が２５度未満の範囲（第１の範囲）に含まれるので、設定温度を２５度以上の範囲（第２の範囲）に制御するために、このような指示フレーズが抽出される。
　なお、この指示フレーズの抽出に際して、デバイス動作状態における「設定温度：２４度」は、指示フレーズ「温度を上げて」に関連付けられている２つの設定項目「少し」及び「２度」のそれぞれに関連付けられたデバイス動作状態のうちの、「少し」に関連付けられたデバイス動作状態に該当するので、設定項目に設定されたオプションのフレーズ「少し」がさらに抽出されてもよい。
　また、フレーズ抽出部１５は、語彙情報を参照して、ユーザの属性情報により示される当該ユーザの好みの制御状態に関連付けられている一以上の指示フレーズを抽出してもよい。
　図７に示されるように、語彙情報は、各指示フレーズに関連付けられたユーザ属性を含む。例えば、エアコンの設定温度を上げる制御を実施する必要があるのは、ユーザが高い設定温度を好む場合であることに鑑みて、デバイス「エアコン」に対して制御内容「設定温度を上げる」を実施するための指示フレーズ「温度を上げて」には、高い温度のユーザ属性「２６度以上」が関連付けられている。
　例えば、ユーザ情報取得部１２によりユーザＩＤ「０００１」が取得され、ユーザ属性取得部１４によりユーザＩＤ「０００１」に関連付けられたユーザ属性「ユーザ名：ｆａｔｈｅｒ、温度：２２－２５度、・・・」が取得された場合に、フレーズ抽出部１５は、語彙情報を参照して、ユーザ属性「温度２５度以下」に関連付けられており、デバイス「エアコン］を制御内容「温度を下げる」に制御するための指示フレーズ「温度を下げて」を抽出する。
　また、例えば、ユーザ情報取得部１２によりユーザＩＤ「０００２」が取得され、ユーザ属性取得部１４によりユーザＩＤ「０００２」に関連付けられたユーザ属性「ユーザ名：ｍｏｔｈｅｒ、温度：２６－２８度、・・・」が取得された場合に、フレーズ抽出部１５は、語彙情報を参照して、ユーザ属性「温度２６度以上」に関連付けられており、デバイス「エアコン］を制御内容「温度を上げる」に制御するための指示フレーズ「温度を上げて」を抽出する。
　また、フレーズ抽出部１５は、語彙情報を参照して、デバイス状態情報に示されるデバイスの動作状態及びユーザの属性情報により示される当該ユーザの好みの制御状態に関連付けられている一以上の指示フレーズを抽出してもよい。
　例えば、ユーザ情報取得部１２によりユーザＩＤ「０００３」が取得され、ユーザ属性取得部１４によりユーザＩＤ「０００３」に関連付けられたユーザ属性「ユーザ名：ｄａｕｇｈｔｅｒ、・・・、音量レベル：１０－２０、・・・」が取得され、デバイス状態取得部１１Ｂにより、デバイス状態情報「デバイスＩＤ「１」、デバイス「ＴＶ」、デバイス動作状態「電源：ＯＮ、・・・、音量レベル：１８」が取得された場合に、フレーズ抽出部１５は、語彙情報を参照して、デバイスカテゴリ「ＴＶ」に関連付けられた指示フレーズのうち、ユーザ属性「音量レベル：２０以下」及びデバイス動作状態「電源：ＯＮ　ａｎｄ　音量レベル：１５以上」に関連付けられた指示フレーズ「音量を下げて」及びオプションとしての設定項目「少し」を抽出する。
　また、デバイス抽出部１３により、ユーザの所在位置に所在するデバイスが抽出されている場合には、フレーズ抽出部１５は、語彙情報を参照して、デバイス抽出部１３により抽出されたデバイスに関連付けられている一以上の指示フレーズを抽出することとしてもよい。フレーズ抽出部１５は、例えば、デバイス抽出部により抽出されたデバイスが「ＴＶ」である場合に、デバイスカテゴリ「ＴＶ」に関連付けられた指示フレーズである「つけて」、「けして」、「音量を上げて」、「音量を下げて」及び「チャンネルを変えて」を語彙情報から抽出する。
　生成部１６は、フレーズ抽出部１５により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する。具体的には、生成部１６は、フレーズ抽出部１５により抽出された指示フレーズを発話文として生成してもよい。
　また、生成部１６は、フレーズ抽出部１５により抽出された指示フレーズに関連付けられたデバイスカテゴリを、制御対象を示す語句として指示フレーズに付加して、発話文を生成してもよい。例えば、フレーズ抽出部１５によりデバイス「ＴＶ」の制御内容「ＯＮ」に対応する指示フレーズ「つけて」が抽出された場合には、生成部１６は、その制御対象を示す「ＴＶ」及び助詞を指示フレーズ「つけて」に付加して、発話文「ＴＶをつけて」を生成してもよい。
　また、生成部１６は、フレーズ抽出部１５により抽出された指示フレーズ及び指示フレーズの制御対象のデバイスのニックネームに基づいて、発話文を生成してもよい。例えば、フレーズ抽出部１５によりデバイス「ＴＶ」の制御内容「ＯＮ」に対応する指示フレーズ「つけて」が抽出された場合には、生成部１６は、その制御対象である「ＴＶ」のニックネーム「お父さんのＴＶ」及び助詞を指示フレーズ「つけて」に付加して、発話文「お父さんのＴＶをつけて」を生成してもよい。
　また、生成部１６は、フレーズ抽出部１５により抽出された指示フレーズがデバイスのパラメータの変更を目的とするものである場合に、その変更幅を示す語句を指示フレーズに付加して、発話文を生成してもよい。例えば、フレーズ抽出部１５により、デバイス「エアコン」の制御内容「設定温度を上げる」に対応する指示フレーズ「温度を上げて」が抽出された場合には、生成部１６は、エアコンのパラメータである温度の変更幅を示す語句として設定項目に記憶されている「少し」，「２度」という語句を指示フレーズに付加して、発話文「温度を少し上げて」，「温度を２度上げて」を生成してもよい。なお、デバイス動作状態等に応じて、これら２つの発話文のうちのいずれかが生成されてもよい。
　提示部１７は、生成部１６により生成された発話文をユーザに対して提示する。具体的には、提示部１７は、発話文を示すテキスト情報をユーザの端末５０に送信し、発話文を示すテキストを端末５０のディスプレイに表示させる。
　図８は、発話文が表示されたユーザの端末５０の画面例を示す図である。図８に示されるように、端末５０のディスプレイＤは、発話文を示すテキストｂ１「リビングのエアコンの温度を２度下げて」，テキストｂ２「お父さんのＴＶをつけて」を含む。このように、生成された発話文を示すテキストがユーザの端末５０において提示されることにより、ユーザはその発話文を発することができる。
　また、提示部１７は、発話文を示すテキストが関連付けられ指示操作可能な操作オブジェクトをユーザの端末５０に表示させてもよい。この場合には、提示部１７は、図８の画面例において、テキストｂ１及びテキストｂ２のそれぞれを、ユーザにより指示操作可能なボタン等の操作オブジェクトとして構成して、ディスプレイＤに表示させる。提示部１７が、このような操作オブジェクトを端末５０に表示させる場合には、対話装置１０は、ユーザの端末５０において操作オブジェクトが操作された場合に、テキストの内容の音声からなるユーザ発話を受け付けた場合と同様のデバイスの制御情報を生成する。
　発話受付部１８は、ユーザの発話をユーザ発話として受け付ける。具体的には、発話受付部１８は、発話文を提示されたユーザが端末５０に対して発した発話を表す音声またはテキストを、端末５０を介して、ユーザ発話として受け付ける。
　また、発話文が関連付けられたボタン等の操作オブジェクトが端末５０において提示され、操作オブジェクトに対する指示操作が端末５０において受け付けられた場合には、発話受付部１８は、操作オブジェクトが操作された旨の情報をユーザ発話として受け付ける。
　制御指示送信部１９は、ユーザ発話に基づいて、外部システム３０により管理されているデバイスを制御するための制御情報を送信する。具体的には、発話受付部１８により音声データからなるユーザ発話が受け付けられた場合には、制御指示送信部１９は、ユーザ発話に対して、音声認識処理、形態素解析及び所定の解析処理を実施することにより、デバイスを制御するための制御情報を生成し、生成した制御情報を外部システム３０に送信する。なお、ユーザ発話がテキストデータとして受け付けられた場合には、音声認識処理は不要である。
　操作オブジェクトが操作された旨の情報がユーザ発話として受け付けられた場合には、制御指示送信部１９は、当該操作オブジェクトに関連付けられた発話文のテキストデータがユーザ発話として受け付けられたものとみなして、そのテキストデータに対する形態素解析及び所定の解析処理を実施することにより、デバイスを制御するための制御情報を生成する。
　次に、図９を参照して、対話装置１０における処理内容を説明する。図９は、本実施形態の対話方法の処理内容を示すフローチャートである。
　ステップＳ１において、ユーザ情報取得部１２は、ユーザ発話の発話元のユーザを識別するユーザ識別情報を取得する。そして、対話装置１０は、ユーザ発話の受付待機状態に制御される。具体的には、発話受付部１８が、ユーザ発話の受付待機状態に制御される。
　ステップＳ２において、設定情報取得部１１Ａは、外部システム３０の設定情報記憶部３１から設定情報を取得する。
　ステップＳ３において、デバイス状態取得部１１Ｂは、デバイス状態管理部３２からデバイス状態情報を取得する。ステップＳ４において、デバイス状態取得部１１Ｂは、デバイス状態情報の取得に成功したか否かを判定する。デバイス状態情報の取得に成功したと判定された場合には、処理はステップＳ５に進む。一方、デバイス状態情報の取得に成功したと判定されなかった場合には、処理はステップＳ６に進む。
　ステップＳ５において、フレーズ抽出部１５は、語彙情報を参照して、デバイス状態情報に示されるデバイスの動作状態に関連付けられている一以上の指示フレーズを抽出する。
　一方、ステップＳ６では、フレーズ抽出部１５は、デバイスの動作状態に依存しないで、指示フレーズを抽出する。具体的には、フレーズ抽出部１５は、例えば、語彙情報からランダムに指示フレーズを抽出してもよい。また、フレーズ抽出部１５は、例えば、指示フレーズの抽出の履歴を参照して、直近に受け付けられた指示フレーズ、抽出回数が多い指示フレーズ等を抽出してもよい。
　ステップＳ７において、生成部１６は、ステップＳ５またはステップＳ６においてフレーズ抽出部１５により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する。
　ステップＳ８において、提示部１７は、生成部１６により生成された発話文をユーザに対して提示する。具体的には、提示部１７は、発話文を示すテキスト情報をユーザの端末５０に送信し、発話文を示すテキストを端末５０のディスプレイに表示させる。
　次に、図１０を参照して、対話装置１０における処理内容の他の例を説明する。図１０は、本実施形態の対話方法の処理内容を示すフローチャートである。図９に示した処理ではデバイス状態情報が用いられるのに対して、図１０に示す処理では、ユーザの属性情報が用いられる。
　ステップＳ１１において、ユーザ情報取得部１２は、ユーザ発話の発話元のユーザを識別するユーザ識別情報を取得する。そして、対話装置１０は、ユーザ発話の受付待機状態に制御される。具体的には、発話受付部１８が、ユーザ発話の受付待機状態に制御される。
　ステップＳ１２において、設定情報取得部１１Ａは、外部システム３０の設定情報記憶部３１から設定情報を取得する。
　ステップＳ１３において、ユーザ属性取得部１４は、ユーザ情報取得部１２により取得されたユーザ識別情報により識別されるユーザの属性情報を取得する。ステップＳ１４において、ユーザ属性取得部１４は、ユーザの属性情報の取得に成功したか否かを判定する。ユーザの属性情報の取得に成功したと判定された場合には、処理はステップＳ１５に進む。一方、ユーザの属性情報の取得に成功したと判定されなかった場合には、処理はステップＳ１６に進む。
　ステップＳ１５において、フレーズ抽出部１５は、語彙情報を参照して、ユーザの属性情報に示される当該ユーザの好みのデバイスの制御状態に関連付けられている一以上の指示フレーズを抽出する。
　一方、ステップＳ１６では、フレーズ抽出部１５は、ユーザの属性情報に依存しないで、指示フレーズを抽出する。具体的には、フレーズ抽出部１５は、例えば、語彙情報からランダムに指示フレーズを抽出してもよい。また、フレーズ抽出部１５は、例えば、指示フレーズの抽出の履歴を参照して、直近に受け付けられた指示フレーズ、抽出回数が多い指示フレーズ等を抽出してもよい。
　ステップＳ１７において、生成部１６は、ステップＳ１５またはステップＳ１６においてフレーズ抽出部１５により抽出された指示フレーズに基づいて、デバイスを制御するための発話文を生成する。
　ステップＳ１８において、提示部１７は、生成部１６により生成された発話文をユーザに対して提示する。具体的には、提示部１７は、発話文を示すテキスト情報をユーザの端末５０に送信し、発話文を示すテキストを端末５０のディスプレイに表示させる。
　次に、コンピュータを、本実施形態の対話装置１０として機能させるための対話プログラムについて説明する。図１１は、対話プログラムＰ１の構成を示す図である。
　対話プログラムＰ１は、対話装置１０における対話処理を統括的に制御するメインモジュールｍ１０、外部システム情報取得モジュールｍ１１、ユーザ情報取得モジュールｍ１２、デバイス抽出モジュールｍ１３、ユーザ属性取得モジュールｍ１４、フレーズ抽出モジュールｍ１５、生成モジュールｍ１６、提示モジュールｍ１７、発話受付モジュールｍ１８及び制御指示送信モジュールｍ１９を含む。外部システム情報取得モジュールｍ１１は、設定情報取得モジュールｍ１１Ａ及びデバイス状態取得モジュールｍ１１Ｂを含む。
　そして、各モジュールｍ１１～ｍ１９，ｍ１１Ａ，ｍ１１Ｂにより、対話装置１０における外部システム情報取得部１１、ユーザ情報取得部１２、デバイス抽出部１３、ユーザ属性取得部１４、フレーズ抽出部１５、生成部１６、提示部１７、発話受付部１８及び制御指示送信部１９並びに設定情報取得部１１Ａ及びデバイス状態取得部１１Ｂのための各機能が実現される。なお、対話プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１１に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。
　以上説明した本実施形態の対話装置１０では、デバイスの動作状態が取得され、取得されたデバイスの動作状態に関連付けられた指示フレーズに基づいて発話文が生成されるので、デバイスの動作状態に応じた好適な発話文をユーザに提示できる。ユーザは、提示された発話文を発話することにより、デバイスの動作状態に応じて適切な制御を実施できるので、利便性の向上が図られる。また、ユーザに対して提示される発話文が、デバイス状態情報に基づいて限定されることとなるので、発話文の提示にかかる処理負荷及び通信量が削減される。
　また、本実施形態の対話装置１０では、ユーザ発話の発話元のユーザの、デバイスの制御状態に関する好みを示す属性情報が取得され、当該ユーザの好みに関連付けられた指示フレーズが抽出されるので、ユーザにとって好適なデバイスの制御が実施される可能性が高い発話文を提示できる。このように提示された発話文をユーザが発話することにより、ユーザが好む動作状態にデバイスが制御されるので、利便性の向上が図られる。また、ユーザに対して提示される発話文が、ユーザの属性情報に基づいて限定されることとなるので、発話文の提示にかかる処理負荷及び通信量が削減される。
　また、別の形態に係る対話装置では、デバイスの動作状態を示すデバイス状態情報を取得するデバイス状態取得部、をさらに備え、語彙情報は、指示フレーズにデバイスの動作状態をさらに関連付けており、フレーズ抽出部は、語彙情報を参照して、デバイス状態情報に示されるデバイスの動作状態及び属性情報により示されるユーザの好みの制御状態に関連付けられている一以上の指示フレーズを抽出することとしてもよい。
　上記形態によれば、ユーザの属性情報に加えてデバイスの動作状態が取得され、属性情報に示されるユーザの好み及びデバイスの動作状態に関連付けられた指示フレーズに基づいて発話文が生成されるので、好適な発話文をユーザに提示できる。
　また、別の形態に係る対話装置では、デバイス状態情報は、デバイスが動作中または非動作中であることを示す情報を含み、フレーズ抽出部は、デバイスが動作中である場合には、デバイスを非動作状態に制御するための指示フレーズを抽出し、デバイスが非動作中である場合には、デバイスを動作状態に制御するための指示フレーズを抽出することとしてもよい。
　上記形態によれば、デバイスが動作中である場合にデバイスを非動作状態に制御するための発話文がユーザに提示され、デバイスが非動作中である場合にデバイスを動作状態に制御するための発話文がユーザに提示される。即ち、デバイスの現在の動作状態とは異なる動作状態に制御するための発話文がユーザに提示される。従って、対象のデバイスに対して、ユーザが所望する可能性が高い制御を実現するための発話文を提示することが可能となる。
　また、別の形態に係る対話装置では、デバイス状態情報は、デバイスの動作に関する所定のパラメータを含み、フレーズ抽出部は、デバイス状態情報に含まれるパラメータが第１の範囲に含まれる場合には、デバイスのパラメータを、第１の範囲とは異なる第２の範囲に制御するための指示フレーズを抽出することとしてもよい。
　上記形態によれば、デバイスの動作に関する所定のパラメータが第１の範囲に含まれる場合には、当該パラメータを第２の範囲に制御するための発話文がユーザに提示される。即ち、現在のパラメータ値とは異なるパラメータ値によりデバイスを制御するための発話文がユーザに提示される。従って、対象のデバイスに対して、ユーザが所望する可能性が高い制御を実現するための発話文を提示することが可能となる。
　また、別の形態に係る対話装置では、各デバイスと、当該デバイスのニックネームとを関連付けている設定情報を取得する設定情報取得部、をさらに備え、生成部は、フレーズ抽出部により抽出された指示フレーズ及び指示フレーズの制御対象のデバイスのニックネームに基づいて、発話文を生成することとしてもよい。
　上記形態によれば、制御対象のデバイスに対して設定されたニックネームを含む発話文が生成される。これにより、ユーザにとって、提示された発話文における制御対象のデバイスの認識が容易となる。
　また、別の形態に係る対話装置では、提示部は、発話文を示すテキストをユーザの端末に表示させることとしてもよい。
　上記形態によれば、生成された発話文を示すテキストがユーザの端末において提示されるので、ユーザはその発話文を発することができる。
　また、別の形態に係る対話装置では、提示部は、発話文を示すテキストが関連付けられ指示操作可能な操作オブジェクトをユーザの端末に表示させ、対話装置は、ユーザの端末において操作オブジェクトが操作された場合に、テキストの内容の音声からなるユーザ発話を受け付けた場合と同様のデバイスの制御情報を生成することとしてもよい。
　上記形態によれば、生成された発話文を示すテキストが関連付けられた操作オブジェクトがユーザ端末において表示され、その操作オブジェクトが操作されることにより、当該発話文の内容が音声により発せられた場合と同様の制御情報が生成されるので、ユーザは所望する制御の指示を容易に実施できる。
　以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
　本開示で説明した各態様／実施形態は、ＬＴＥ（Long　Term　Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future　Radio　Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra　Mobile　Broadband）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
　本開示で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
　入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
　本開示で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　なお、本開示で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
　本開示で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
　また、本開示で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
　本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
　本開示で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
　本開示において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
　本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
　１…対話システム、１０…対話装置、１１…外部システム情報取得部、１１Ａ…設定情報取得部、１１Ｂ…デバイス状態取得部、１２…ユーザ情報取得部、１３…デバイス抽出部、１４…ユーザ属性取得部、１５…フレーズ抽出部、１６…生成部、１７…提示部、１８…発話受付部、１９…制御指示送信部、２０…語彙情報記憶部、２１…ユーザ属性記憶部、３０…外部システム、３１…設定情報記憶部、３２…デバイス状態管理部、５０…端末、Ｍ１…記録媒体、ｍ１０…メインモジュール、ｍ１１…外部システム情報取得モジュール、ｍ１１Ａ…設定情報取得モジュール、ｍ１１Ｂ…デバイス状態取得モジュール、ｍ１２…ユーザ情報取得モジュール、ｍ１３…デバイス抽出モジュール、ｍ１４…ユーザ属性取得モジュール、ｍ１５…フレーズ抽出モジュール、ｍ１６…生成モジュール、ｍ１７…提示モジュール、ｍ１８…発話受付モジュール、ｍ１９…制御指示送信モジュール、Ｐ１…対話プログラム。
 

Claims (10)

  1. 　デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置であって、
    　前記デバイスの動作状態を示すデバイス状態情報を取得するデバイス状態取得部と、
    　前記デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスの動作状態と、を関連付けている語彙情報を参照して、前記デバイス状態情報に示されるデバイスの動作状態に関連付けられている一以上の指示フレーズを抽出するフレーズ抽出部と、
    　前記フレーズ抽出部により抽出された前記指示フレーズに基づいて、前記デバイスを制御するための発話文を生成する生成部と、
    　前記生成部により生成された前記発話文を前記ユーザに対して提示する提示部と、
    　を備える対話装置。
  2. 　デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置であって、
    　前記ユーザ発話の発話元のユーザを識別するユーザ識別情報を取得するユーザ情報取得部と、
    　前記ユーザ情報取得部により取得されたユーザ識別情報により識別されるユーザの属性情報であって、前記デバイスの制御状態に関するユーザの好みを示す情報を含む、属性情報を取得するユーザ属性取得部と、
    　前記デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスに関するユーザの好みの制御状態と、を関連付けている語彙情報を参照して、前記属性情報により示される前記ユーザの好みの制御状態に関連付けられている一以上の指示フレーズを抽出するフレーズ抽出部と、
    　前記フレーズ抽出部により抽出された前記指示フレーズに基づいて、前記デバイスを制御するための発話文を生成する生成部と、
    　前記生成部により生成された前記発話文を前記ユーザに対して提示する提示部と、
    　を備える対話装置。
  3. 　前記デバイスの動作状態を示すデバイス状態情報を取得するデバイス状態取得部、をさらに備え、
    　前記語彙情報は、前記指示フレーズに前記デバイスの動作状態をさらに関連付けており、
    　前記フレーズ抽出部は、前記語彙情報を参照して、前記デバイス状態情報に示されるデバイスの動作状態及び前記属性情報により示される前記ユーザの好みの制御状態に関連付けられている一以上の前記指示フレーズを抽出する、
    　請求項２に記載の対話装置。
  4. 　前記デバイス状態情報は、前記デバイスが動作中または非動作中であることを示す情報を含み、
    　前記フレーズ抽出部は、前記デバイスが動作中である場合には、前記デバイスを非動作状態に制御するための指示フレーズを抽出し、前記デバイスが非動作中である場合には、前記デバイスを動作状態に制御するための指示フレーズを抽出する、
    　請求項１または３に記載の対話装置。
  5. 　前記デバイス状態情報は、前記デバイスの動作に関する所定のパラメータを含み、
    　前記フレーズ抽出部は、前記デバイス状態情報に含まれる前記パラメータが第１の範囲に含まれる場合には、前記デバイスのパラメータを、前記第１の範囲とは異なる第２の範囲に制御するための指示フレーズを抽出する、
    　請求項１、３及び４のいずれか一項に記載の対話装置。
  6. 　各デバイスと、当該デバイスのニックネームとを関連付けている設定情報を取得する設定情報取得部、をさらに備え、
    　前記生成部は、前記フレーズ抽出部により抽出された前記指示フレーズ及び前記指示フレーズの制御対象のデバイスのニックネームに基づいて、前記発話文を生成する、
    　請求項１～５のいずれか一項に記載の対話装置。
  7. 　前記提示部は、前記発話文を示すテキストを前記ユーザの端末に表示させる、
    　請求項１～６のいずれか一項に記載の対話装置。
  8. 　前記提示部は、前記発話文を示すテキストが関連付けられ指示操作可能な操作オブジェクトを前記ユーザの端末に表示させ、
    　前記対話装置は、前記ユーザの端末において前記操作オブジェクトが操作された場合に、前記テキストの内容の音声からなるユーザ発話を受け付けた場合と同様のデバイスの制御情報を生成する、
    　請求項１～７のいずれか一項に記載の対話装置。
  9. 　コンピュータを、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置として機能させるための対話プログラムであって、
    　前記デバイスの動作状態を示すデバイス状態情報を取得するデバイス状態取得機能と、
    　前記デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスの動作状態と、を関連付けている語彙情報を参照して、前記デバイス状態情報に示されるデバイスの動作状態に関連付けられている一以上の指示フレーズを抽出するフレーズ抽出機能と、
    　前記フレーズ抽出機能により抽出された前記指示フレーズに基づいて、前記デバイスを制御するための発話文を生成する生成機能と、
    　前記生成機能により生成された前記発話文を前記ユーザに対して提示する提示機能と、
    　を実現させる対話プログラム。
  10. 　コンピュータを、デバイスを制御する制御情報を生成するための、音声またはテキストからなるユーザ発話を受け付ける対話装置として機能させるための対話プログラムであって、
    　前記ユーザ発話の発話元のユーザを識別するユーザ識別情報を取得するユーザ情報取得機能と、
    　前記ユーザ情報取得機能により取得されたユーザ識別情報により識別されるユーザの属性情報であって、前記デバイスの制御状態に関するユーザの好みを示す情報を含む、属性情報を取得するユーザ属性取得機能と、
    　前記デバイスの制御指示を表し少なくとも一以上の語句または文を含む指示フレーズと、当該デバイスに関するユーザの好みの制御状態と、を関連付けている語彙情報を参照して、前記属性情報により示される前記ユーザの好みの制御状態に関連付けられている一以上の指示フレーズを抽出するフレーズ抽出機能と、
    　前記フレーズ抽出機能により抽出された前記指示フレーズに基づいて、前記デバイスを制御するための発話文を生成する生成機能と、
    　前記生成機能により生成された前記発話文を前記ユーザに対して提示する提示機能と、
    　を実現させる対話プログラム。
     
PCT/JP2019/040534 2018-11-22 2019-10-15 対話装置及び対話プログラム Ceased WO2020105317A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020558161A JP7429194B2 (ja) 2018-11-22 2019-10-15 対話装置及び対話プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018219219 2018-11-22
JP2018-219219 2018-11-22

Publications (1)

Publication Number Publication Date
WO2020105317A1 true WO2020105317A1 (ja) 2020-05-28

Family

ID=70774245

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040534 Ceased WO2020105317A1 (ja) 2018-11-22 2019-10-15 対話装置及び対話プログラム

Country Status (2)

Country Link
JP (1) JP7429194B2 (ja)
WO (1) WO2020105317A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270924A (zh) * 2020-09-18 2021-01-26 青岛海尔空调器有限总公司 空调器的语音控制方法与装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009109587A (ja) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 音声認識制御装置
WO2018021237A1 (ja) * 2016-07-28 2018-02-01 国立研究開発法人情報通信研究機構 音声対話装置、音声対話方法、および記録媒体
WO2018051461A1 (ja) * 2016-09-15 2018-03-22 三菱電機株式会社 機器制御装置、機器制御システム、機器制御方法及びプログラム
JP2018531404A (ja) * 2015-10-05 2018-10-25 サバント システムズ エルエルシーＳａｖａｎｔ Ｓｙｓｔｅｍｓ ＬＬＣ ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009109587A (ja) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 音声認識制御装置
JP2018531404A (ja) * 2015-10-05 2018-10-25 サバント システムズ エルエルシーＳａｖａｎｔ Ｓｙｓｔｅｍｓ ＬＬＣ ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案
WO2018021237A1 (ja) * 2016-07-28 2018-02-01 国立研究開発法人情報通信研究機構 音声対話装置、音声対話方法、および記録媒体
WO2018051461A1 (ja) * 2016-09-15 2018-03-22 三菱電機株式会社 機器制御装置、機器制御システム、機器制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270924A (zh) * 2020-09-18 2021-01-26 青岛海尔空调器有限总公司 空调器的语音控制方法与装置

Also Published As

Publication number Publication date
JP7429194B2 (ja) 2024-02-07
JPWO2020105317A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US11664027B2 (en) Method of providing voice command and electronic device supporting the same
US9880808B2 (en) Display apparatus and method of controlling a display apparatus in a voice recognition system
US11676578B2 (en) Information processing device, information processing method, and program
US11972761B2 (en) Electronic device for sharing user-specific voice command and method for controlling same
JP2014071457A (ja) 電子装置、サーバー及びその制御方法
CN111415660B (zh) 电子装置及其控制方法
US10832669B2 (en) Electronic device and method for updating channel map thereof
JP7043593B2 (ja) 対話サーバ
WO2019193796A1 (ja) 対話サーバ
CN113227962B (zh) 电子装置及其控制方法
KR20200042627A (ko) 전자 장치 및 그 제어 방법
JP7429194B2 (ja) 対話装置及び対話プログラム
US20180107657A1 (en) Interpretation distributing device, control device, terminal device, interpretation distributing method, control method, information processing method, and program
JP7429193B2 (ja) 対話装置及び対話プログラム
KR102827547B1 (ko) 축약 컨텐츠명 인식을 위한 전자장치 및 이의 제어방법
US20200357414A1 (en) Display apparatus and method for controlling thereof
US11462214B2 (en) Electronic apparatus and control method thereof
JP2018180030A (ja) 操作装置および操作方法
WO2019220791A1 (ja) 対話装置
WO2019216054A1 (ja) 対話サーバ
US11455990B2 (en) Electronic device and control method therefor
TW201804459A (zh) 切換輸入模式的方法、行動通訊裝置及電腦可讀取媒體
KR102045539B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
JPWO2019159559A1 (ja) 対話システム
WO2020195022A1 (ja) 音声対話システム、モデル生成装置、バージイン発話判定モデル及び音声対話プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19888109

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558161

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19888109

Country of ref document: EP

Kind code of ref document: A1