WO2005062294A1 - 機器制御装置、音声認識装置、エージェント装置､データ構造及び機器制御方法 - Google Patents

機器制御装置、音声認識装置、エージェント装置､データ構造及び機器制御方法 Download PDF

Info

Publication number
WO2005062294A1
WO2005062294A1 PCT/IB2004/004001 IB2004004001W WO2005062294A1 WO 2005062294 A1 WO2005062294 A1 WO 2005062294A1 IB 2004004001 W IB2004004001 W IB 2004004001W WO 2005062294 A1 WO2005062294 A1 WO 2005062294A1
Authority
WO
WIPO (PCT)
Prior art keywords
definition data
transition
transition definition
processing
item
Prior art date
Application number
PCT/IB2004/004001
Other languages
English (en)
French (fr)
Inventor
Yasushi Sato
Original Assignee
Kabushikikaisha Kenwood
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kabushikikaisha Kenwood filed Critical Kabushikikaisha Kenwood
Priority to JP2005516404A priority Critical patent/JP4516918B2/ja
Priority to CN2004800361146A priority patent/CN1890710B/zh
Priority to EP04820623A priority patent/EP1691345A4/en
Priority to US10/581,434 priority patent/US20080228492A1/en
Publication of WO2005062294A1 publication Critical patent/WO2005062294A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • Device control device speech recognition device, agent device, data structure and device control method
  • the present invention relates to a device control device, a speech recognition device, an agent device, a data structure, and a device control method.
  • Patent Document 1 JP-A-8-339288
  • the present invention has been made in view of the above situation, and has a device control device, a voice recognition device, an agent device, a data structure, and a device capable of appropriately controlling a device in response to an instruction issued by a human in the form of a language.
  • An object is to provide a device control method.
  • a device control device comprises: an input information recognition unit (2) for recognizing input information to be input;
  • Processing item data storage means (D4) for storing a plurality of processing items for executing processing corresponding to the recognition information recognized by the input information recognition means (2);
  • Transition definition data storage means (D5) for storing a plurality of transition definition data defining a transition from one processing item to another processing item of the plurality of processing items, Each of the transition definition data has a condition corresponding to input information.
  • One transition definition data is selected from at least the recognition information and a condition of each transition definition data, and designated by the selected transition definition data. Transition the state to the process item
  • the recognition information has a likelihood (score) between the input information and the comparison target information
  • the selection of the one transition definition data may be performed using the likelihood (score).
  • the input information is a voice signal
  • the condition of the transition definition data may be a word associated with the transition definition data.
  • a plurality of conditions for the transition definition data may be set.
  • the device control device includes:
  • transition definition data that defines the transition from one process item to another process item among the process items that execute the process corresponding to the input information, and selects one transition definition data according to the input information.
  • a device control device (6) that transitions a state to a process item specified by one selected transition definition data,
  • the transition definition data includes:
  • the weighting factor of the transition definition data of another process item linked to one process item whose state is changing is calculated from the constant of the transition definition data of one process item by another process item.
  • the constant up to the transition definition data relating to the eye is accumulated and calculated.
  • An apparatus control device includes:
  • Input information recognition means (2) for recognizing input information to be input
  • Processing item data storage means (D4) for storing a plurality of processing items for executing processing corresponding to the recognition information recognized by the input information recognition means (2);
  • Transition definition data storage means (D5) for storing a plurality of transition definition data defining a transition from one processing item to another processing item of the plurality of processing items
  • Each of the transition definition data has a condition corresponding to the input information, and a weight coefficient corresponding to the condition,
  • the recognition information has a likelihood (score) indicating a state of coincidence between the input information and a condition of the transition definition data
  • the weighting coefficient is made to correspond to the likelihood (score) corresponding to the condition of the transition definition data, and the discrimination result for each condition of the transition definition data is obtained.
  • the process item or the transition definition data jumped from the predetermined process item is Can generate transition definition data.
  • a transition constant which is a basis for calculating the weighting factor, is set as a constant corresponding to the transition definition data
  • the weighting factor of the transition definition data of another process item linked to one process item whose state is changing is calculated from the constant of the transition definition data of one process item by the transition definition data of another process item. May be calculated by accumulating the constants up to the data.
  • the weighting factor of the transition definition data related to the predetermined processing item may be set higher than a predetermined value.
  • the input information is an audio signal
  • the condition of the transition definition data may be a word to be subjected to speech recognition.
  • a plurality of conditions may be set for one transition definition data.
  • An apparatus control device includes:
  • Processing item data storage means (D4) for storing a plurality of processing items for executing a process corresponding to the recognition information obtained by recognizing the input information
  • the transition definition data defines the transition from one of the multiple process items to another process item
  • the processing item data storage means (D4) are identical to each other.
  • the transition definition data may have conditions corresponding to the input information.
  • the recognition information has a likelihood (score) indicating a matching state between the input information and the condition of the transition definition data
  • the likelihood (score) corresponding to the condition of the transition definition data may be set in the transition definition data.
  • the input information is an audio signal
  • the condition of the transition definition data is a target word for performing speech recognition
  • the recognition information has a likelihood (score) indicating a matching state between the speech signal and the target word of the transition definition data
  • the likelihood (score) corresponding to the target word of the transition definition data is Data
  • One transition definition data may be selected according to the likelihood (score), and the state may be transited to the processing item indicated by the selected one transition definition data.
  • the transition definition data includes:
  • a transition constant which is a basis for calculating the weight coefficient, is set as a constant corresponding to the transition definition data
  • the weighting factor of the transition definition data of another process item linked to one process item whose state is changing is calculated from the above constant of the transition definition data of one process item by the transition definition data of another process item. May be calculated by accumulating the constants up to.
  • a voice recognition device includes:
  • Input information recognition means (2) for recognizing input information to be input
  • Processing item data storage means (D4) for storing a plurality of processing items for executing processing corresponding to the recognition information recognized by the input information recognition means (2);
  • a transition definition data storage means (D5) for storing a plurality of transition definition data for defining a transition from one of the plurality of process items to another process item;
  • Each of the transition definition data has a condition corresponding to input information.
  • One transition definition data is selected from at least the recognition information and a condition of each transition definition data, and designated by the selected transition definition data. Transition the state to the process item
  • a voice recognition device includes:
  • transition definition data that defines the transition from one process item to another process item among the process items that execute the process corresponding to the input information, and selects one transition definition data according to the input information.
  • a device control device (6) that transitions the state to the process item specified by the selected one transition definition data, The transition definition data includes:
  • the weighting factor of the transition definition data of another process item linked to one process item whose state is changing is calculated from the above constant of the transition definition data of one process item by the transition definition data of another process item. Is calculated by accumulating the constants up to,
  • a speech recognition device includes:
  • Input information recognition means (2) for recognizing input information to be input
  • Processing item data storage means (D4) for storing a plurality of processing items for executing processing corresponding to the recognition information recognized by the input information recognition means (2);
  • Transition definition data storage means (D5) for storing a plurality of transition definition data defining a transition from one processing item to another processing item of the plurality of processing items
  • Each of the transition definition data has a condition corresponding to the input information, and a weight coefficient corresponding to the condition,
  • the recognition information has a likelihood (score) indicating a state of coincidence between the input information and the condition of the transition definition data
  • the likelihood (score) corresponding to the condition of the transition definition data is made to correspond to the weighting coefficient, and the discrimination result is obtained according to the condition of each transition definition data.
  • a speech recognition device includes:
  • Processing item data storage means (D4) for storing a plurality of processing items for executing a process corresponding to the recognition information obtained by recognizing the input information
  • one process item to another process item among multiple process items To define the transition to
  • Input information recognition means (2) for recognizing input information to be input
  • Processing item data storage means (D4) for storing a plurality of processing items for executing processing corresponding to the recognition information recognized by the input information recognition means (2);
  • Transition definition data storage means (D5) for storing a plurality of transition definition data defining a transition from one processing item to another processing item of the plurality of processing items
  • Each of the transition definition data has a condition corresponding to input information.
  • One transition definition data is selected from at least the recognition information and a condition of each transition definition data, and designated by the selected transition definition data. Transition the state to the process item
  • An agent device includes:
  • transition definition data that defines the transition from one process item to another process item among the process items that execute the process corresponding to the input information, and selects one transition definition data according to the input information.
  • a device control device (6) that transitions the state to the process item specified by the selected one transition definition data,
  • the transition definition data includes:
  • a constant for calculating the weighting coefficient the constant being set for each of the transition definition data
  • the weighting factor of the transition definition data of another process item linked to one process item whose state is changing is calculated from the constant of the transition definition data of one process item by another process item. Constants up to the transition definition data relating to the eye are accumulated and calculated,
  • An agent device includes:
  • Input information information recognition means (6) for recognizing input information to be input
  • Processing item data storage means (D4) for storing a plurality of processing items for executing processing corresponding to the recognition information recognized by the input information recognition means ('2);
  • Transition definition data storage means (D5) for storing a plurality of transition definition data defining a transition from one processing item to another processing item of the plurality of processing items
  • Each of the transition definition data has a condition corresponding to the input information, and a weight coefficient corresponding to the condition,
  • the recognition information has a likelihood (score) indicating a state of coincidence between the input information and a condition of the transition definition data
  • the likelihood (score) corresponding to the condition of the transition definition data is made to correspond to the weighting coefficient to obtain a determination result for each condition of the transition definition data
  • An agent device includes:
  • Processing item data storage means (D4) for storing a plurality of processing items for executing a process corresponding to the recognition information obtained by recognizing the input information
  • the transition to the other process item is defined by the transition definition data.
  • the transition definition data includes:
  • a transition constant which is a reference for calculating the weight coefficient, is set as a constant corresponding to the transition definition data
  • the weighting factor of the transition definition data of another process item linked to one process item whose state is changing is calculated from the transition constant of the transition definition data of one process item by the transition definition of another process item. Calculated by accumulating constants up to the data,
  • the input information is an audio signal
  • the condition corresponding to the input information may be a target word for performing voice recognition.
  • a device control method includes:
  • a plurality of processing items that execute processing corresponding to the recognition information recognized by the input information recognition means (2) are stored, and a transition from one processing item to another processing item among the plurality of processing items is defined.
  • a device control method includes:
  • a condition associated with transition definition data defining a transition from a processing item of a plurality of processing items to another processing item, and the input information and Identifying a likelihood (score) indicating a match state of Obtaining a discrimination result by associating a 7 weighting factor associated with the transition definition data with the likelihood (score);
  • a device control method includes:
  • a device control device capable of appropriately controlling a device in response to an instruction issued by a human in the form of a language are realized. .
  • FIG. 1 is a diagram showing an in-vehicle air conditioning system according to an embodiment of the present invention.
  • FIG. 2 is a more detailed configuration diagram of an in-vehicle air conditioning system according to this embodiment.
  • FIG. 3 is a diagram schematically showing a specific example of a grouping flag.
  • FIG. 4 is a diagram for explaining trigger acquisition processing.
  • FIG. 5 is a diagram for explaining a determination process.
  • FIG. 6 is a diagram for explaining a determination process with an inquiry.
  • FIG. 7 is a diagram for explaining input / output processing.
  • FIG. 8 is a view showing a wire.
  • FIG. 10 is a diagram for explaining setting of a weight coefficient.
  • FIG. 11 is a flowchart illustrating an operation of an agent processing unit.
  • the in-vehicle air-conditioning system can function as an agent device that performs processing by changing states according to input information.
  • a part of the in-vehicle air conditioning system functions as a voice recognition device.
  • FIG. 1 is a block diagram showing the configuration of the in-vehicle air conditioning system.
  • the in-vehicle air conditioning system includes a voice input unit 1, a language analysis unit 2, a voice synthesis processing unit 3, a voice output unit 4, an input / output target device group 5, and an agent processing unit 6. It is configured.
  • the voice input unit 1 inputs voice, generates voice data in a digital format, and supplies the voice data to the language analysis unit 2.
  • the audio input unit 1 includes, for example, a microphone 11, an AF (Audio Frequency) amplifier 12, and an A / D (Analog-to-Digital) converter incorporating a sample-and-hold circuit. It is composed of 13 and so on.
  • the microphone 11 converts a voice into a voice signal and outputs it.
  • the AF amplifier 12 amplifies and outputs an audio signal from the microphone 11.
  • the AZD converter 13 generates digital audio data by sampling and AZD converting the amplified audio signal from the AF amplifier 12, and supplies the digital audio data to the language analysis unit 2.
  • FIG. 1 the audio input unit 1 includes, for example, a microphone 11, an AF (Audio Frequency) amplifier 12, and an A / D (Analog-to-Digital) converter incorporating a sample-and-hold circuit. It is composed of 13 and so on.
  • the linguistic analysis unit 2, the speech synthesis processing unit 3, and the agent processing unit 6 respectively include, for example, processors 21, 31, 61 each including a CPU (Central Processing Unit) or the like. And a non-volatile memory 22, 32, 62 such as a hard disk device for storing programs executed by the processors 21, 31, 61, and a volatile memory such as a RAM (Random Access Memory) having a storage area serving as a work area of the processor. Memory 23, 33, 63. Note that some or all of the functions of the language analysis unit 2, the speech synthesis processing unit 3, and the agent processing unit 6 may be configured by one processor, one nonvolatile memory, or one volatile memory.
  • the language analysis unit 2 performs a speech recognition process on the speech data supplied from the speech input unit 1.
  • the language analysis unit 2 specifies a word candidate represented by the voice data and a likelihood (score) S of the candidate by the voice recognition processing. Words with a score S below the specified value are not selected as catches.
  • the method of speech recognition is arbitrary, and a plurality of candidates may be specified. Then, it generates data (hereinafter referred to as word data) indicating the specified catch and the candidate score S, and supplies the data to the agent processing unit 6.
  • word data may include the word information itself and the score S, it is actually more advantageous to include the word ID and the score S in terms of data handling.
  • the non-volatile memory 32 of the speech synthesis processing unit 3 stores a speech unit database D1 that stores data representing a word waveform and a segment database D2 that stores data representing a waveform for forming a phoneme.
  • the speech unit database D1 stores data representing a word waveform.
  • the segment database D2 stores data representing a waveform for forming a phoneme.
  • the speech synthesis processing unit 3 uses the data stored in the speech unit databases D1 and Z or the unit database D2, and uses the speech data read out from the sentence data supplied from the agent processing unit 6 as digital speech data.
  • the voice synthesis unit 3 supplies the generated voice data to the voice output unit 4.
  • the method of generating digital audio data is arbitrary.
  • a recording / editing method / Rule-based synthesis can be used.
  • an announcer reads in advance a word-by-word sound, and then joins and outputs them. It is a method to do.
  • the rule synthesis method relatively small units such as phonemes (consonants and vowels) and kana are connected and output.
  • the audio output unit 4 reproduces the audio represented by the digital audio data supplied from the audio synthesis processing unit 3. More specifically, as shown in FIG. 2, the audio output unit 4
  • Digital-to-Analog converter 41 Digital-to-Analog converter 41, AF amplifier 42 and speaker 43 are provided.
  • the D / A converter 41 performs D / A conversion on the digital audio data supplied from the audio synthesis processing unit 3 and converts the digital audio data into an analog audio signal.
  • the AF amplifier 42 amplifies the analog audio signal.
  • the speaker 43 vibrates according to the analog audio signal, reproduces the audio represented by the analog audio data, and emits the sound.
  • the input / output target device group 5 includes, for example, an air conditioner (air conditioner) 51, a window opening / closing control unit 52, and the like.
  • the air conditioner 51 performs an operation of cooling, heating, or blowing according to a control signal supplied to itself.
  • the air conditioner 51 as data representing its own operating state, includes, for example, which state among itself during a cooling operation, during a heating operation, during temperature adjustment to a set temperature, during a blowing operation, and during a stop. Generate and output the data shown. Further, the air conditioner 51 generates and outputs, for example, data indicating the current set temperature as data indicating the set state.
  • the window opening / closing control unit 52 includes a motor, a control circuit for controlling rotation and stop of the motor according to a control signal, and a winch for moving a window frame according to the rotation of the motor.
  • the window is opened and closed in accordance with the control signal supplied to.
  • the control circuit of the window opening / closing control unit 52 generates and outputs, for example, data indicating the amount of opening of the window to be opened / closed as data representing the operation state of the window opening / closing control unit 52.
  • the nonvolatile memory 62 of the agent processing unit 6 stores a word database D3.
  • the word database D3 stores a plurality of word data and one or more word grouping flags indicating the grouping of the plurality of words in association with each other.
  • Each flag associated with one word is associated with a different concept.
  • this value is assumed to be “1”
  • the word associated with this flag is added under the concept associated with this flag. This indicates that one bing was performed.
  • this flag indicates another value (for example, “0”), it indicates that the word power S is not grouped under this concept.
  • FIG. 3 is a diagram schematically showing a specific example of a grouping flag.
  • the words “go”, “hot” and “open” are associated with flag group bits for word grouping.
  • the most significant (MSB) flag of the 4-bit bit group is associated with the concept of “temperature” and! /.
  • the operation is the operation of the flag carrier conditioner of the second bit from the high order.
  • the flag of the third bit from the high order is associated with the concept of “opening / closing a window”.
  • the lowest flag force S is associated with the concept of “failure”.
  • the value of the 4-bit flag group associated with the word “raise” is a binary number “1110”
  • the value of the flag group associated with the word “hot” is a binary number.
  • the value of the flag group is "1100", which is associated with the word "open".
  • the non-volatile memory of the agent processing unit 6 further stores a processing item database D4 and a key database D5.
  • the processing item database D4 stores the contents of trigger acquisition processing (TGxx), discrimination processing (CNxx or QBxx) and input / output processing (EXxx described later) performed by the agent processing unit 6 for each processing item (pointer).
  • This is a database that stores data to be described (process item data).
  • “XX” is an identification number.
  • the data describing the content of the trigger acquisition process (TGxx) J is the trigger data that specifies the trigger that starts these processes.
  • Data data specifying the content of the data to be acquired as a trigger
  • a transition constant for determining the traveling direction described later a constant that indicates the degree of transition in the traveling direction and is a reference for calculating the weighting factor 3 ⁇ 41 described later
  • the trigger data is optional, and includes, for example, data indicating whether the air conditioner is in a cooling operation, a heating operation, a temperature adjustment, a blowing operation, or a stop state, and an amount of opening of the window.
  • the trigger data may be data delivered from a process performed by the agent processing unit 6 itself.
  • the trigger data (data acquired in the trigger acquisition process) is word data
  • the data may be data indicating a “concept” assigned to the grouping to which the word represented by the word data belongs.
  • the content of the trigger acquisition process is described so that a plurality of trigger acquisition processes do not acquire word data representing the same word as each other, as described later.
  • FIG. 4 (a) shows an example of the trigger acquisition process TGxx.
  • the trigger TG01 acquires the concept “hot” as a trigger (words grouped into the word “hot” (in the example of FIG. 3, the word “temperature” or “air-conditioner operation”).
  • the transition constant k for determining whether or not to proceed (transition) to the processing subsequent to that processing is 0.8.
  • FIG. 4B shows a flowchart of the trigger acquisition process TG01.
  • Trigger acquisition processing TG02 is processing for acquiring the word “open”.
  • Trigger acquisition process TG03 is a process of acquiring a word belonging to a group corresponding to the concept "temperature” (in FIG. 3, acquiring one of "go up”, “hot”, and “open”).
  • TG04 is processing of words belonging to the group corresponding to the concept of “operation of air conditioner” (in FIG. 3, one of “go up” or “hot” is acquired).
  • the data that describes the content of the “discrimination process (CNxx)” stored in the process item database D4 includes a discrimination condition, a list of results that can be obtained as a discrimination result, and a return direction transition constant k described later. Is described for each discrimination process.
  • the data describing the content of the determination process includes data describing a transition constant k for determining the traveling direction for each determination result.
  • Fig. 5 (a) shows an example of the discrimination process CNxx.
  • the determination process CN01 This is a process for determining whether or not to open.If it is determined to be open, the transition constant k for determining whether to proceed to the subsequent process when it is determined to be! / When it is determined that there is no transition, the transition constant k is 0.4 to determine whether or not to proceed to the subsequent processing.
  • the flow chart of this example is shown in Fig. 5 (b).
  • the node CN01.1 shown in FIG. 5 (b) is the start node indicating the start point of the processing, and the node CN01.2 is the node in the traveling direction when the window is determined to be closed, and its transition constant k Is 0.4.
  • node CN01.3 is a node in the traveling direction when it is determined that the window is open, and its transition constant k is 0.3.
  • the determination process CN02 is a process for determining whether the status of the air conditioner 51 is ON (power during operation or not).
  • the constant k is 0.5, and the transition constant k when it is determined to be off (not operating) is 0.3.
  • the “determination process” it is assumed that data used for determination may be obtained at an arbitrary source.
  • the acquisition source for example, other processes executed by the language analysis unit 2 and the agent processing unit 6, devices belonging to the input / output target device group 5, and other external devices can be considered.
  • the data describing the content of the discrimination processing further includes, for example, data for specifying the source of data for discrimination V! /, Do it! / ,.
  • predetermined data may be output to a predetermined output destination prior to the determination (in this case, a symbol indicating the process is, for example, QBxx).
  • a symbol indicating the process is, for example, QBxx.
  • the data describing the content of the determination process includes, for example, the content of the data to be output and the data specifying the output destination of this data. .
  • Fig. 6 (a) shows an example of the discrimination process QBxx.
  • the discrimination process QB01 asked the user "Do you want to open the window or turn on the air conditioner?" And the response (user's answer) was "Turn on the air conditioner".
  • the transition constant k in the traveling direction at that time is 0.7
  • the transition constant k in the traveling direction when “open the window” is 0.4.
  • the flow chart of this example is shown in Fig. 6 (b).
  • Node QB01.1 shown in Fig. 6 (b) is the start point node indicating the processing start point
  • node QB01.2 is the progress when it is determined that the "air conditioner" is specified in response to the inquiry.
  • Direction node, and its transition constant k is 0.7.
  • the node QB01.3 is a node in the traveling direction when it is determined that the opening of the window is specified, and its transition constant k is 0.4.
  • the discrimination process QB02 asks the user “Do you want to close the window?” And the response (user's answer) power is “closed”.
  • the transition constant k in the advancing direction when "not closed” is 0.3.
  • the data describing the contents of “input / output processing” stored in the processing item database D4 is composed of data for designating the contents of data to be input or output.
  • the input data and the output data may have arbitrary contents.
  • the output data may be data representing the reading of a voice generated by the voice output unit 4 via the voice synthesis processing unit 3 or a control signal for controlling an external device.
  • the input data may be, for example, data supplied from an external device.
  • FIG. 7 (a) shows an example of output processing EXxx.
  • the output process EX01 is an operation of “closing the window and operating the air conditioner”, and the transition constant k in the progress direction for performing the process after the operation is 0.8.
  • a flowchart of this example is shown in FIG.
  • the node EX01.1 shown in FIG. 7 (b) is a start node indicating the start point of the process
  • the node EX01.2 is a node indicating the end of the process
  • the transition constant k is 0.8.
  • selection of a node indicating the end of the process may be set as an essential process without setting the transition constant k.
  • the wire database D5 is composed of a set of data (hereinafter, this transition definition data is referred to as a wire) that describes a transition between a plurality of processes (TG, CNxx, QBxx, EXxx).
  • the wire is composed of data described in a format as shown in FIG. 8, for example.
  • the wire Wn (Wl, W2 ) transitions from the preceding process X (From (X)) to the following process Y (To (Y)) (From (X) To (Y)) Is data specifying the preceding processing (X), the following processing ( ⁇ ), and the weighting factor 1 given to the transition. If the preceding process X is a discrimination process, it is necessary to describe from which discrimination result of the discrimination process the transition is made.
  • the transition source process X and the transition destination ⁇ are each specified by the node number of each process.
  • the weighting factor ⁇ J of each wire is appropriately calculated and set according to the progress of the process that is not a fixed value. Is defined. The calculation of the wire weight relationship will be described later with reference to FIG.
  • the processing item database D4 and the wire database D5 are represented as a whole, and the process is executed.
  • the processing item database D4 and the wire database D5, for example, can describe a flow as shown in FIG. 9 as a whole based on the examples of FIGS.
  • the agent processing unit 6 waits for the word data indicating the word “Hot! / ⁇ ” to be supplied from the language analysis unit 2 Do "Hot! /"
  • the word data indicating the / word is supplied, it is acquired, and when it is determined that the input voice is "hot”, it is transferred to the determination processing step CN01 (wire W1).
  • the score S of the word data indicating the word “hot” and the weighting factor 3 ⁇ 4! Described above, a force S capable of improving the judgment result of voice recognition, which will be described later.
  • the agent processing unit 6 acquires information indicating whether or not the window is open from the window opening / closing control unit 52, and when determining that the window is open, sends the processing to the input / output processing step EX01. Transfer (wire W2) and input / output processing EX01 outputs a control signal to instruct the window opening / closing controller 52 to close the window, and outputs a control signal to the air conditioner 51 to start the cooling operation. I do. As a result, the window opening / closing control unit 52 closes the window, and the air conditioner 51 starts the cooling operation.
  • the processing is shifted to a determination processing QB01 including a question (wire W3).
  • the agent processing unit 6 first supplies data representing the sentence “Do you want to open the window or turn on the air conditioner?” To the speech synthesis processing unit 3.
  • the voice synthesis processing unit 3 reproduces the voice that reads this sentence via the voice output unit 4.
  • the agent processing unit 6 next waits for the word data representing the word “window” or the word “air conditioner” to be supplied from the language analysis unit 2, and the corresponding word data is When supplied, this word data determines whether the word represents the word “window” or the word “air conditioner”. Then, to determine the representative of the word “window” shifts the processing to output processing step EX03 (wire W5), when determining that represent words "air conditioner", the process proceeds to output processing step E X02 (wire W6) 0 In the input / output processing step EX02, the agent processing section 6 outputs a control signal to the air conditioner 51 to instruct to start cooling. On the other hand, in the input / output processing step EX03, the agent processing section 6 outputs a control signal to the window opening / closing control section 52 to instruct to open the ventilation window.
  • the agent processing unit 6 waits for the word data indicating the word “open the window” to be supplied from the language analysis unit 2 (trigger processing step TG02) and calls “open the window”.
  • word data indicating a word is supplied, and it is determined that the input voice is the word "open the window”
  • the process proceeds to an input / output processing step EX03 (wire W4).
  • the agent processing unit 6 when the language analysis unit 2 supplies a plurality of word data, the agent processing unit 6 performs a plurality of determination processes in parallel. Also, in this case, the agent processing unit 6 has a plurality of processes for inputting the same word (for example, input of data in the trigger acquisition process and the discrimination process), and the word data representing the corresponding word is input. When supplied from the language analyzer 2, all of these processes are performed in parallel. At this time, the final discrimination of what the input word was can be made using the score S indicated by the word data and the weighting factor #J as described above. This will be described later.
  • the weight constant of the wire W of interest is defined as the transition constant k for determining the traveling direction on the path of the transition from the process currently being processed to the wire W of interest. It is obtained by sequentially multiplying.
  • the first processing (the trigger acquisition processing TGxx in this example) is executed and the processing is shifted to the subsequent second processing (the determination processing CNxx in this example) by the wire W51 so that the first processing is performed. It is defined by the wire W52 to execute the second process and transit to the subsequent third process (in this example, QBxx), and further execute the third process to execute the subsequent process. It is defined by the wire W53 to transition to the processing of.
  • the transition constant k for determining each traveling direction is 0.5.
  • the wires are defined, for example, as shown in FIG. [0070]
  • the agent processing unit 6 sets the transition constant k in the traveling direction as a transition starting from the first processing.
  • the weights of each of the wires W51 to W55 are calculated, and the calculation results correspond to the wires W51 to W55. Write it to the wire database DB5.
  • the weighting factor 3 ⁇ 4J of the wire W51 is equal to the value of the transition constant k assigned to the node connected to the second processing of the first processing, ie, 0.5.
  • the weighting factor 3 ⁇ 4J of each wire when the processing being processed is set as the base point is calculated. Therefore, when the current state changes, the weighting factor of each wire is calculated each time based on the current processing.
  • the agent processing unit 6 also calculates the weight relation of the wire W51 in the reverse direction, that is, the direction returning to the first processing, and writes the calculated weight relation in the database.
  • transition constant k in the return direction related to the wire W51 0.1
  • the value obtained by multiplying the directional transition constant k 0.1, ie, 0.01.
  • Figure 10 (c) shows the change in the weighting factor 3 ⁇ 4J of each wire Wn.
  • the calculation of the weighting factor J is performed not only for the processing of the related flow but also for all the wires of all the flows, and the calculated weighting factor is set for each wire.
  • a predetermined low count value may be harmed.
  • the transition constant k should be set to a relatively high value, especially for wires for which the trigger acquisition processing is the preceding processing. By doing so, it is possible to jump to a conversation whose content is significantly different from the conversation that was held immediately before.
  • condition are set for each wire. Specifically, the word “hot” is set as a condition for W01, and the word “window” is set for W05. Then, when the word data is supplied from the language analysis unit 2, if the word data indicates the word "hot”, the score S indicated by the word data is set for W01. If the word data supplied from the language analyzer 2 indicates the word “window”, the score S indicated by the word data is set for W05.
  • condition set for each wire is not limited to the case where a single word is set.
  • a plurality of words representing the same meaning may be set as conditions. It is only necessary to store the relationship between these words and the wires for setting these conditions, and the words to be scored are stored in the aforementioned word database.
  • the linguistic analysis unit 2 calculates a score S for all words registered in the word database for the input speech, generates word data, and generates an agent.
  • the word data is output to the processing unit 6.
  • the agent processing unit 6 determines which wire the input word data is associated with, and sets the score S indicated by the word data to each associated wire. In this way, even when the same word is set as a condition for a plurality of wires, the calculation of the score S between the input voice signal and the word is sufficient only once. Then, the obtained score S of each word is set for each associated wire.
  • a force S that may cause a plurality of scores S to be obtained for one wire, in this case, for example, the score S having the highest value may be selected.
  • word data having the same meaning such as “yes”, “yes”, “yes”, etc. If the user is instructed with any of the voices of “yes”, “yes”, and “yes”, an appropriate result is obtained as the voice recognition score S if the data is set for one wire each. Can be '
  • information from the input / output target device group 5 may be obtained as input information.
  • it is managed as a data power status database indicating the status of each device related to the input / output target device group 5 (corresponding to the "word database” described above), and the input information indicates the status of which device and which It is determined with reference to the database, and this and the score S are output to the agent processing unit 6 as state data.
  • the agent processing unit 6 determines wires related to the state indicated by the state data, and sets a score S for each wire.
  • the voice input unit 1 and the language analysis unit 2 operate independently, capture and analyze voice, and provide word data to the agent processing unit 6.
  • the agent processing unit 6 performs the following processing.
  • step S11 The supplied word is recognized (identified) (step S11), and it is determined whether or not the word is registered in the word database DB4,! /, (Step S12). If it has not been registered (step S12, No), the word input process ends.
  • step S12 if it is registered (step S12, Yes), the word or the concept to which the word belongs is a condition!
  • the product S.J of the relation J is calculated (step S13).
  • the word “hot” is related to the determination condition
  • the word “window” is related to the determination condition
  • the weighting factor U of the wire W51 is set to 0.5, and the word data indicating the word "window" is input.
  • the weight relation of the wire W53 whose processing is the preceding processing is 0.125.
  • the product S′J of the likelihood S and the weighting factor #J obtained for the wires W51 and IW53 is as shown in Expressions 1 and 2.
  • the agent processing unit 6 performs the above-described processing for obtaining the product S′J of the score S and the weighting factor #J for all the wires of the flow.
  • the agent control unit 6 selects a wire having the largest calculated product S'J (step S14 in FIG. 11).
  • the agent control unit 6 advances the control to a process subsequent to the selected wire (step S15). For example, wire W51! / If the product S obtained in the above shows the highest value, the input word data is recognized as indicating the word "hot", and the wire W51 is processed as a subsequent process. Transition to processing.
  • the wire weighter #J is relatively large. Therefore, in general, when a word having a high likelihood S is input as a completely different word from the previous word, the process corresponding to the word may be started.
  • the agent processing unit 6 recalculates the weight comfort of each wire based on the state after the transition (step S16).
  • the process proceeds according to the contents of the process (step S17).
  • the second process is executed. That is, the agent processing unit 6 fetches the information of the opening / closing of the window from the window opening / closing control unit 52, and calculates the product S'J of the likelihood S and the weighting factor #J for the wire W52 based on the fetched information. Then, the product S'J of the likelihood S and the weight relation for the wire W54 is obtained, and any one of the wires is selected, and a process subsequent to the selected wire is executed.
  • the signal indicating the opening / closing of the window from the window opening / closing control unit 52 has a likelihood of opening S of 100% or 0. %, Closing likelihood S may be 0% or 100%. In addition, it may be configured to change according to the opening degree. Then, in the course of the processing, there is an input / output processing EXxx, and when the agent processing unit 6 executes the processing and outputs voice data, it is emitted as voice. Further, in the course of the processing, when a process for controlling the air conditioner and the window opening / closing control unit 52 is executed as in the input / output process EX01, the control for the air conditioner 51 and the window opening / closing control unit 52 is performed according to the processing content. .
  • a wire from the trigger acquisition processing based on a word or a concept is also a target of the determination.
  • the user power S is pronounced "open the window", and the score S for the word "open the window” is obtained.
  • word data of 90% is obtained
  • the score S and the weighting factor s ( transition constant k) of wire W5 related to ⁇ determination of whether or not the user has said ⁇ open the window '' ''
  • the product S'J is 90% X O. 8 or 72. If this value is too large to be obtained with other wires, the input voice is recognized as "open the window", and the processing of the agent processing unit 6 is performed by the input / output processing EX03. The chance of jumping increases.
  • the weighting factor U of the other wires is set extremely low, the transition defined by these other wires is extremely unlikely to occur, and as a result, the conversation flow expected to some extent Thus, the control processing can be performed while improving the recognition rate.
  • a transition in the return direction may occur.
  • the transition constant k in the return direction may be set to a lower value than the transition constant k in the traveling direction. Then, even if word data with a high score S is obtained, the product S'J obtained for the wire written as the transition constant k in the return direction k force S weighting factor J becomes a low value, The possibility of transition in the return direction can be reduced. Further, the agent processing unit 6 performs processing such that the obtained value of the product S′J does not match the predetermined condition (for example, processing where the value of the product S′J does not reach the predetermined value). , Subject to performing the transition, may be treated to exclude.
  • a wire defines a transition in the form of a process item power to a process item. Then, by describing the wires in the form shown in Fig. 8 and storing them in the wire database D5, it is possible to define the relationship between each processing item as if it were a macro process of a computer. Will be possible. This makes it possible to easily connect each processing item.
  • the processing item that becomes a trigger is actually a determination of a score S of a recognition target word or the like (may be input from another input target device group) related to a connected wire.
  • the trigger processing item is not defined as the starting point of the wire, but the wire itself is defined as the transition source.
  • a wire can be easily added. For example, if there are many occasions when the user inputs a voice "Search for a family restaurant" with the intention of taking a break after a voice input of "Hot", a wire is automatically sent to the search processing item of the family restaurant. Add. Then, after the wire is automatically added, the weight of the wire connected to the family restaurant search processing item should be increased to some extent to appropriately respond to the input "Search for family restaurant". Will be able to (However, in this case, the agent processing unit 6 stores, for example, map data including information indicating the position of the family restaurant, or accesses external map data.)
  • the automatic addition of the wire may be performed by counting the number of jumps from a certain processing item to a certain processing item and automatically performing the jump when the number reaches a predetermined number.
  • the in-vehicle air-conditioning system described above does not necessarily need to completely specify the device to be controlled and the content of the control to be added if data and wires indicating the content of the process are appropriately described. Instead, it responds to the language spoken by the user, infers the user's needs from this language, and appropriately determines what equipment and control should be applied to satisfy the needs. Can be applied to the device. [0087]
  • the configuration of the in-vehicle air conditioning system is not limited to the above.
  • the devices belonging to the input / output target device group 5 do not necessarily need to be devices that directly provide the result that satisfies the user's needs.For example, control an external display device or the like to take a specific action to the user.
  • a device that outputs a message prompting the user eg, a display device such as a liquid crystal display
  • a display device such as a liquid crystal display
  • the word database may store not only data indicating words but also data indicating words and phrases composed of a plurality of words as elements of the word database.
  • the data to be composed may be stored as an element of the word database. Also, when words and the like are not necessarily grouped under a specific concept and grouping is not necessary, the data used for grouping does not necessarily take the form of a set of flags. You may.
  • the agent processing unit 6 changes the transition constant k corresponding to the wire according to a predetermined criterion based on, for example, the number of times the transition represented by the wire has been executed in the past.
  • the wire may be rewritten to have a value calculated based on the constant k.
  • the agent processing unit 6 rewrites the value of the number of times, increments the value of the number of times' 1 by one, and sets the transition constant k corresponding to each wire to, for example, Is rewritten with a value proportional to the number of times stored for the key.
  • the conditions set for the wires are the forces described as being set for each wire.
  • the conditions are not limited to these.
  • the condition of each wire may be described in the determination processing. In this case, which wire corresponds to each condition is specified in advance.
  • the agent processing unit 6 changes the data output in the discrimination processing or the input / output processing according to the data passed to these processings, the data input in accordance with these processings, or other arbitrary conditions. You may make it do.
  • the in-vehicle air conditioning system may include a display device (for example, a liquid crystal display or the like) for outputting an image under the control of the agent processing unit 6.
  • the processing unit 6 may control the display device to display a predetermined image for each processing in the input / output processing or the determination processing.
  • the agent processing unit 6 may collectively acquire a plurality of pieces of word data that are uttered continuously.
  • the agent processing unit 6 specifies under which concept a plurality of word data acquired collectively are grouped in the same group, and only when the specified concept matches the predetermined concept. Alternatively, some or all of the acquired word data may be used for processing.
  • the agent processing unit 6 includes a plurality of data processing devices connected to each other that perform various processes such as a trigger acquisition process, a discrimination process, and an input / output process and a flow formed by the wires as a whole.
  • each of the data processing devices constituting the agent processing unit 6 stores data representing a portion that may be executed by itself in the entire flow that can be executed by the agent processing unit 6 into the processing item database D4 or the processing item database D4. It is sufficient to store it as an element of the wire database D5. If the data stored in each data processing device is data that macro-defines the processing of the part executed by the data processing device, it is necessary to cause a plurality of data processing devices to perform distributed processing. Is also easy.
  • the in-vehicle air conditioning system includes a voice input unit 1, a language analysis unit 2, or a voice output unit
  • the audio input unit 1 is provided, for example, with a recording medium (eg, a floppy (registered trademark) disk, a CD (Compact Disc), a MO (e.g., a floppy (registered trademark) disk, a CD (Compact Disc), a MO (a recording medium).
  • a recording medium eg, a floppy (registered trademark) disk, a CD (Compact Disc), a MO (A)
  • Magneto-Optical Disk Recording media drive device (for example, floppy (registered trademark) disk drive, CD-RO
  • the device control device can be realized using an ordinary computer system without using a dedicated system.
  • a personal computer connected to the input / output target device group 5
  • a recording medium storing a program for executing the operation of 6 By installing the program, an in-vehicle air-conditioning system that executes the above-described processing can be configured. Then, as a process corresponding to the operation of the in-vehicle air conditioning system shown in FIG. 1, for example, an opening shown in FIG. 9 is executed.
  • a program that causes a personal computer to perform the functions of the above-described in-vehicle air conditioning system may be uploaded to, for example, a bulletin board (BBS) of a communication line and distributed via a communication line.
  • BSS bulletin board
  • a carrier wave may be modulated by a signal representing this program, the resulting modulated wave may be transmitted, and a device that has received this modulated wave may demodulate the modulated wave and restore this program. Then, by starting this program and executing it in the same manner as other application programs under the control of the OS, the above-described processing can be executed.
  • the recording medium includes a program excluding the part. May be stored. Also in this case, according to the present invention, it is assumed that the recording medium stores a program for executing each function or step executed by the computer.
  • the present invention is applicable to various device control devices and the like that can control a device appropriately in response to an instruction issued by a human in the form of a language.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Air-Conditioning For Vehicles (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

明 細 書
機器制御装置、音声認識装置、エージェント装置、データ構造及び機器 制御方法
技術分野
[0001] この発明は、機器制御装置、音声認識装置、エージェント装置、データ構造及び機 器制御方法に関する。
背景技術
[0002] 近年、音声認識の技術を用いて音声を認識し、認識結果に応答して電気機器など を制御する手法が用いられている。この手法は、具体的には、入力した音声が表す 単語を識別し、識別された単語が所定のキーワードに合致するカゝ否かを判別して、 判別結果に基づレ、て外部の機器を制御するものである (例えば、特許文献 1参照)。 特許文献 1：特開平 8 _ 339288号公報
発明の開示
発明が解決しょうとする課題
[0003] しかし、人間が言語の形で発する指示を完全に認識するのは困難である。このため 、上述の手法では、人間が言語の形で発する指示に適切に応答することができない 場合があった。
[0004] この発明は上記実状に鑑みてなされたものであり、人間が言語の形で発する指示 に適切に応答して機器を制御できる機器制御装置、音声認識装置、エージェント装 置、データ構造及び機器制御方法を提供することを目的とする。
課題を解決するための手段
[0005] 上記目的を達成するため、この発明の第 1の観点にかかる機器制御装置は、 入力される入力情報を認識する入力情報認識手段（2)と、
入力情報認識手段 (2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、 前記遷移定義データのそれぞれは、入力情報に対応する条件を各々有し、 少なくとも前記認識情報とそれぞれの遷移定義データの条件から、一の遷移定義 データを選択し、選択された遷移定義データによって指定される処理項目に状態を 遷移させる、
ことを特徴とする。
[0006] 前記認識情報は、入力情報と比較対象情報との尤度 (スコア)を有してなり、
前記一の遷移定義データの選択は、前記尤度 (スコア)を用いて行われる、ようにして あよい。
[0007] 所定の処理項目力 遷移定義データによって遷移を定義されていない処理項目若 しくは遷移定義データにジャンプされるとき、当該所定の処理項目カゝらジャンプされ た処理項目若しくは遷移定義データに対しての遷移定義データを生成する、ことが できる。
[0008] 前記入力情報は音声信号であり、
前記遷移定義データの条件は、当該遷移定義データに関連付けられた単語である 、よう〖こしてもよレヽ。
[0009] 前記遷移定義データの条件は、複数設定されてなる、ようにしてもょレ、。
[0010] この発明の第 2の観点に力かる機器制御装置は、
入力情報に対応する処理を実行する処理項目のうちの一の処理項目から他の処 理項目への遷移を定義する遷移定義データを記憶し、入力情報に応じて一の遷移 定義データを選択し、選択された一の遷移定義データによって指定される処理項目 に状態を遷移する機器制御装置 (6)であって、
前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、
前記重み係数を算出するための基準であって、当該遷移定義データに対してそれ ぞれ設定される定数と、を有し、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、 - ことを特徴とする。
[0011] この発明の第 3の観点にかかる機器制御装置は、
入力される入力情報を認識する入力情報認識手段（2)と、
入力情報認識手段 (2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件と、前記条件に対応 する重み係数と、を有し、
前記認識情報は、前記入力情報と前記遷移定義データが有する条件との一致状 態を示す尤度 (スコア)を有し、
前記遷移定義データの条件に対応する尤度 (スコア）に前記重み係数を対応させ て、それぞれの遷移定義データの条件につ!ヽての判別結果を得、
前記判別結果に基づレ、て一の遷移定義データを選択し、選択された遷移定義デ ータによって指定される処理項目に状態を遷移させる、
ことを特徴とする。
[0012] 所定の処理項目から遷移定義データによって遷移を定義されていない処理項目若 しくは遷移定義データにジャンプされるとき、当該所定の処理項目からジャンプされ た処理項目若しくは遷移定義データに対しての遷移定義データを生成する、ことが できる。
[0013] 前記重み係数の算出基準である遷移定数は、前記遷移定義データに対応して定 数として設定され、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義デ タまでの定数が累積されて算出される、ようにしてもよい。
[0014] 前記遷移定数は、
当該遷移定数に係る遷移定義データが選択されたことを条件に変化される、ように してもよレ、。
[0015] 一の処理項目に状態が遷移している場合であっても、所定の処理項目に係る遷移 定義データの重み係数は、所定の値より高く設定されてなる、ようにしてもよい。
[0016] 前記入力情報は音声信号であり、
前記遷移定義データの条件は音声認識を行う対象の単語である、ようにしてもよい
[0017] 前記条件は、一の遷移定義データに対して複数設定されてなる、ようにしてもよい。
[0018] この発明の第 4の観点にかかる機器制御装置は、
入力情報を認識することによって得られた認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)を備え、
遷移定義データによって複数の処理項目のうちの一の処理項目から他の処理項目 への遷移を定義し、
必要とされる処理項目の連なりに応じて、前記遷移定義データを追加若しくは削除 することによって、処理項目のフローチャートが生成されてなる、
ことを特徴とする。
[0019] 前記処理項目データ記憶手段 (D4)は、
処理項目を適宜追加可能なように構成されてなる、ようにしてもよ！/、。
[0020] 前記遷移定義データは、入力情報に対応する条件をそれぞれ有する、ようにしても よい。
[0021] 前記認識情報は、入力情報と前記遷移定義データの条件との一致状態を示す尤 度 (スコア)を有し、
前記遷移定義データの条件に対応する前記尤度 (スコア)が前記遷移定義データ に設定される、よう〖こしてもよい。
[0022] 前記入力情報は音声信号であり、
前記遷移定義データの条件は、音声認識を行う対象単語であり、
前記認識情報は、音声信号と前記遷移定義データの対象単語との一致状態を示 す尤度 (スコア)を有し、
前記遷移定義データの対象単語に対応する前記尤度 (スコア)が前記遷移定義デ ータに設定され、
前記尤度 (スコア）に応じて一の前記遷移定義データを選択し、選択された一の遷 移定義データによって示される処理項目に状態を遷移させる、ようにしてもよい。
[0023] 前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、を有する、ようにしてもよい。
[0024] 前記重み係数の算出基準である遷移定数は、前記遷移定義データに対応して定 数として設定され、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、ようにしてもよい。
[0025] この発明の第 5の観点に力かる音声認識装置は、
入力される入力情報を認識する入力情報認識手段 (2)と、
入力情報認識手段（2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目.への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、
を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件を各々有し、 少なくとも前記認識情報とそれぞれの遷移定義データの条件から、一の遷移定義 データを選択し、選択された遷移定義データによって指定される処理項目に状態を 遷移させる、
ことを特徴とする。
[0026] この発明の第 6の観点に力かる音声認識装置は、
入力情報に対応する処理を実行する処理項目のうちの一の処理項目から他の処 理項目への遷移を定義する遷移定義データを記憶し、入力情報に応じて一の遷移 定義データを選択し、選択された一の遷移定義データによって指定される処理項目 に状態を遷移する機器制御装置 (6)を備え、 前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、
前記重み係数を算出するための基準であって、当該遷移定義データに対してそれ ぞれ設定される定数と、を有し、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とする。
[0027] この発明の第 7の観点に力かる音声認識装置は、
入力される入力情報を認識する入力情報認識手段 (2)と、
入力情報認識手段（2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件と、前記条件に対応 する重み係数と、を有し、
前記認識情報は、前記入力情報と前記遷移定義データが有する条件との一致状 '態を示す尤度 (スコア)を有し、 ·
前記遷移定義データの条件に対応する尤度 (スコア）に前記重み係数を対応させ て、それぞれの遷移定義データの条件にっレ、ての判別結果を得、
前記判別結果に基づレヽて一の遷移定義データを選択し、選択された遷移定義デ ータによって指定される処理項目に状態を遷移させる、
ことを特 ί敷とする。
[0028] この発明の第 8の観点に力かる音声認識装置は、
入力情報を認識することによって得られた認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)を備え、
遷移定義データによって複数の処理項目のうちの一の処理項目から他の処理項目 への遷移を定義し、
必要とされる処理項目の連なりに応じて、前記遷移定義データを追加若しくは削除 することによって、処理項目のフローチャートが生成されてなる、
ことを特徴とする。
[0029] この 明の第 9の観点に力かるエージェント装置は、
入力される入力情報を認識する入力情報認識手段 (2)と、
入力情報認識手段 (2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件を各々有し、 少なくとも前記認識情報とそれぞれの遷移定義データの条件から、一の遷移定義 データを選択し、選択された遷移定義データによって指定される処理項目に状態を 遷移させる、
ことを特徴とする。
[0030] この発明の第 10の観点に力かるエージェント装置は、
入力情報に対応する処理を実行する処理項目のうちの一の処理項目から他の処 理項目への遷移を定義する遷移定義データを記憶し、入力情報に応じて一の遷移 定義データを選択し、選択された一の遷移定義データによって指定される処理項目 に状態を遷移する機器制御装置 (6)を備え、
前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、
前記重み係数を算出するための基準であって、当該遷移定義データに対してそれ ぞれ設定される定数と、
を有し、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とする。
[0031] この発明の第 11の観点に力かるエージェント装置は、
入力される入力情報を認識する入力情情報認識手段 (6)と、
入力情報認識手段 ('2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件と、前記条件に対応 する重み係数と、を有し、
前記認識情報は、前記入力情報と前記遷移定義データが有する条件との一致状 態を示す尤度 (スコア)を有し、
前記遷移定義データの条件に対応する尤度 (スコア）に前記重み係数を対応させ て、それぞれの遷移定義データの条件についての判別結果を得、
前記判別結果に基づレヽて一の遷移定義データを選択し、選択された遷移定義デ ータによって指定される処理項目に状態を遷移させる、
ことを特徴とする。
[0032] この発明の第 12の観点に力かるエージェント装置は、
入力情報を認識することによって得られた認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)を備え、
遷移定義データによって複数の処理項目のうちの一の処理項目力 他の処理項目 への遷移を定義し、
必要とされる処理項目の連なりに応じて、前記遷移定義データを追加若しくは削除 することによって、処理項目のフローチャートが生成されてなる、
ことを特徴とする。
[0033] この発明の第 13の観点に；^かるデータ構造は、
入力情報に対応する処理を実行する処理項目のうちの一の処理項目から他の処 理項目への遷移を定義する遷移定義データのデータ構造であって、 前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、を有し、
前記重み係数の算出基準である遷移定数は、遷移定義データに対応して定数とし て設定され、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記遷移定数から、他の処 理項目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とする。
[0034] 前記入力情報は音声信号であり、
前記入力情報に対応する条件は、音声認識を行う対象単語である、ようにしてもよ レ、。
[0035] この発明の第 14の観点に力かる機器制御方法は、
入力情報認識手段 (2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶し、複数の処理項目のうちの一の処理項目から他の処理項目へ の遷移を定義する遷移定義データを複数記憶した機器 (6)の機器制御方法であつ て、
入力される入力情報を認識する入力情報認識ステップと、'
少なくとも前記入力情報認識ステップで認識された認識情報と、前記遷移定義デ ータに対応して設定された条件から一の遷移定義データを選択するステップと、 選択された遷移定義データによって指定される処理項目に状態を遷移させるステツ プと、
を有することを特徴とする。
[0036] この発明の第 15の観点に力かる機器制御方法は、
入力される入力情報を認識する入力情報認識ステップと、
前記入力情報認識ステップで認識された認識情報から、複数の処理項目のうちの —の処理項目から他の処理項目への遷移を定義する遷移定義データに対応付けら れた条件と前記入力情報との一致状態を示す尤度 (スコア)を特定するステップと、 前記遷移定義データに対応付けられ 7 重み係数を、前記尤度 (スコア）に対応させ ることによって判別結果を得るステップと、
前記判別結果に基づいて一の遷移定義データを選択するステップと、 選択された遷移定義データによって指定される処理項目に状態を遷移させるステツ プと、
を有することを特徴とする。
[0037] この発明の第 16の観点にかかる機器制御方法は、
入力情報に対応する処理を実行する処理項目を複数記憶する処理項目データ記 憶ステップと、
遷移定義データによって複数の処理項目のうちの一の処理項目から他の処理項目 への遷移を定養し、必要とされる処理項目の連なりに応じて、前記遷移定義データを 追加若しくは削除することによって、処理項目のフローチャートを生成するステップと を有することを特徴とする。
発明の効果
[0038] この発明によれば、人間が言語の形で発する指示に適切に応答して機器を制御で きる機器制御装置、音声認識装置、エージェント装置、データ構造及び機器制御方 法が実現される。
図面の簡単な説明
[0039] [図 1]この発明の実施の形態に係る車内空調システムを示す図である。
[図 2]この実施の形態に係る車内空調システムのより詳細な構成図である。
[図 3]グルーピング用のフラグの具体例を模式的に示す図である。
[図 4]トリガ取得処理を説明するための図である。
[図 5]判別処理を説明するための図である。
[図 6]問い合わせ付きの判別処理を説明するための図である。
[図 7]入出力処理を説明するための図である。
[図 8]ワイヤを示す図である。
[図 9]処理項目データベース及びワイヤデータベースが全体として表しているフロー を示す図である。
[図 10]重み係数の設定を説明するための図である。
[図 11]エージェント処理部の動作を説明するためのフローチャートである。
符号の説明
[0040] 1 音声入力部
2 言語解析部
3 音声合成処理部
4 音声出力部
5 入出力対象機器群
51 エアコン
52 窓開閉制御部
6 エージェント処理部
発明を実施するための最良の形態
[0041] 以下、図面を参照して、この発明の実施の形態を、車両内に設置された車内空調 システムを例として説明する。尚、本発明によれば、入力情報に応じて状態を遷移さ せて処理を行うエージェント装置として車内空調システムを機能させることができる。 また、車内空調システムの一部は、音声認識装置として機能する。
図 1は、この車内空調システムの構成を示すプロック図である。図示するように、この 車内空調システムは、音声入力部 1と、言語解析部 2と、音声合成処理部 3と、音声 出力部 4と、入出力対象機器群 5と、エージェント処理部 6とより構成されている。
[0042] 音声入力部 1は、音声を入力し、入力した音声力 デジタル形式の音声データを生 成し、この音声データを言語解析部 2へと供給する。具体的には、音声入力部 1は、 図 2に示すように、例えば、マイクロフォン 11と、 AF (Audio Frequency)増幅器 12と、 サンプルホールド回路を内蔵する A/D (Analog- to- Digital)コンバータ 13などより構 成されている。マイクロフォン 11は音声を音声信号に変換して出力する。 AF増幅器 12は、マイクロフォン 11からの音声信号を増幅して出力する。 AZDコンバータ 13は 、 AF増幅器 12からの増幅された音声信号をサンプリング、 AZD変換することにより 、ディジタル音声データを生成し、言語解析部 2へと供給する。 [0043] 言語解析部 2と音声合成処理部 3とエージェント処理部 6とは、図 2に示すように、そ れぞれ、例えば、 CPU (Central Processing Unit)等からなるプロセッサ 21、 31, 61と 、このプロセッサ 21、 31、 61が実行するプログラムを記憶するハードディスク装置等 の不揮発性メモリ 22、 32、 62と、プロセッサのワークエリアとなる記憶領域を有する R AM (Random Access Memory)等の揮発性メモリ 23、 33, 63とより構成されている。 なお、言語解析部 2、音声合成処理部 3及ぴエージェント処理部 6の一部又は全部 の機能を 1つのプロセッサや 1つの不揮発性メモリや 1つの揮発性メモリで構成しても よい。
[0044] 言語解析部 2は、音声入力部 1より供給された音声データに音声認識処理を行う。
言語解析部 2は、音声認識処理により、音声データが表している単語の候補と、こ の候補の尤度 (スコア） Sとを特定する。スコア Sの値が所定値を下回る単語について は、候捕として選択しない。音声認識の手法は任意であり、また、候補は複数特定さ れてよい。そして、特定した候捕及び当該候補のスコア Sを示すデータ (以下、単語 データと呼ぶ）を生成し、エージェント処理部 6へと供給する。尚、単語データは、単 語情報そのものとスコア Sを含むものとしても良いが、実際には単語 IDとスコア Sを含 むものとした方が、データの取扱上有利である。
[0045] 音声合成処理部 3の不揮発性メモリ 32は、単語の波形を表すデータを記憶する音 片データベース D1と、音素を構成するための波形を表すデータを記憶する素片デ ータベース D2とを記憶する。
音片データベース D1は、単語の波形を表すデータを記憶する。素片データベース D2は、音素を構成するための波形を表すデータを記憶する。音声合成処理部 3は、 音片データベース D1及ぴ Z又は素片データベース D2に格納されているデータを 用レ、て、エージェント処理部 6より供給された文章データを読み上げる音声を表すデ ジタル音声データを生成する。
音声合成部 3は、生成した音声データを音声出力部 4に供給する。
デジタル音声データを生成する手法は任意であるが、例えば、録音編集方式ゃ規 則合成方式 (Rule- based synthesis)を使用できる。なお、録音編集方式は、例えば、 単語単位の音声を予めアナウンサーに読んでもらい、それらをつなぎあわせて出力 する方式である。また、規則合成方式は、音韻 (子音や母音)や仮名のような比較的 小さな単位をつなぎあわせて出力する方式である。
[0046] 音声出力部 4は、音声合成処理部 3から供給されたデジタル音声データが表す音 声を再生する。より詳細には、音声出力部 4は、図 2に示すように、 D/A(
Digital-to- Analog)コンバータ 41、 AF増幅器 42及びスピーカ 43を備える。
D/Aコンバータ 41は、音声合成処理部 3より供給されたデジタル音声データを D /A変換して、アナログ音声信号に変換する。 AF増幅器 42は、アナログ音声信号を 増幅する。スピーカ 43は、アナログ音声信号に従って振動し、アナログ音声データが 表す音声を再生し、放音する。
[0047] 入出力対象機器群 5は、例えば、エアコン (エアコンディショナ) 51や、窓開閉制御 部 52などより構成されている。
[0048] エアコン 51は、自己に供給される制御信号に従って、冷房、暖房又は送風の動作 を行う。また、エアコン 51は、自己の動作状態を表すデータとして、例えば、自己が 冷房動作中、暖房動作中、設定温度へ向けた温度調整中、送風動作中及び停止中 のうちどの状態にあるかを示すデータを生成して出力する。また、エアコン 51は、設 定状態を表すデータとして、例えば、現在の設定温度を示すデータを生成して出力 する。
[0049] 窓開閉制御部 52は、モーターや、制御信号に従ってモータの回転及ぴ停止を制 御する制御回路や、モーターの回転に従って窓枠を動かすためのウィンチ等力 構 成されており、自己に供給される制御信号に従って、窓の開閉を行う。また、窓開閉 制御部 52の制御回路は、窓開閉制御部 52の動作状態を表すデータとして、例えば 、開閉する対象の窓が開いている量を示すデータを生成して出力する。
[0050] エージェント処理部 6の不揮発性メモリ 62は、単語データベース D3を記憶する。単 語データベース D3は、複数の単語のデータと、複数の単語のグルーピングを示すた めの単語グルーピング用のフラグ 1個以上とを、互いに対応付けて格納する。
[0051] 1個の単語に対応付けられている各フラグは、互いに異なる概念に対応付けられて いる。そして、フラグが所定の値 (以下では、この値は" 1"であるとする)を示す場合は 、このフラグに対応付けられた単語が、このフラグに対応付けられた概念の下にダル 一ビングされてレ、ることを示す。一方、このフラグが他の値 (例えば" 0")を示す場合 は、この単語力 Sこの概念の下にはグルーピングされていないことを示す。
[0052] 図 3は、グルーピング用のフラグの具体例を模式的に示す図である。
図 3の例では、単語「上がる」、「暑い」及び「開ける」に、単語グルーピング用のフラ グカ ビットずつ対応付けられている。
4ビットビット群の最上位 (MSB)のフラグは「温度」と!/、う概念に対応付けられてレ、る 。上位から 2ビット目のフラグカ^ェアーコンデショナの操作」という概念に対応付けら れている。上位から 3ビット目のフラグが「窓の開閉」という概念に対応付けられている 。最下位のフラグ力 S「故障」という概念に対応付けられている。一方、図示するように、 単語「上がる」に対応付けられている 4ビットのフラグ群の値が 2進数" 1110"であり、 単語「暑い」に対応付けられているフラグ群の値が 2進数" 1100"であり、単語「開け る」に対応付けられて)/、るフラグ群の値が 2進数" 1010"である。
この場合、このフラグ群は、概念「温度」の下には単語「上がる」、「暑い」及び「開け る」がグルーピングされており、概念「エアコンの操作」の下には単語「上がる」及び「 暑い」がグルーピングされており、概念「窓の開閉」の下には単語「暑い」及び「開ける 」がグルーピングされており、概念「故障」の下には単語「上力 ¾」、「暑い」又は「開け る」のいずれもグルーピングされていないことを示す。当然、ビット数を増加させれば、 多くの概念との関連を示すことができる。
なお、各単語及び各概念は、処理項目データベース D4に格納されている各処理 項目の「判別条件」として使用される。
[0053] エージェント処理部 6の不揮発性メモリは、更に、処理項目データベース D4及ぴヮ ィャデータベース D5を記憶して!/、る。
[0054] 処理項目データベース D4は、エージェント処理部 6が行うトリガ取得処理 (TGxx) 、判別処理 (CNxx又は QBxx)及び入出力処理 (後述する EXxx)の内容を、処理項 目（ポインタ)毎に記述するデータ (処理項目データ)を格納したデータベースである 。なお、「XX」は識別番号である。
[0055] 処理項目データベース D4に格納される処理項目のうち、「トリガ取得処理 (TGxx) Jの内容を記述するデータは、これらの処理を開始させるトリガを特定するトリガデー タ（トリガとして取得するデータの内容を指定するデータ）と、後述する進行方向決定 用の遷移定数 (その進行方向に遷移する程度を示すもので、後述する重み係 ¾1の 算出基準となる定数)とを含む。
トリガデータは任意であり、例えば、エアーコンデショナが冷房動作中、暖房動作中 、温度調整中、送風動作中及び停止中のうちどの状態にあるかを示すデータや、窓 が開いている量を示すデータや、室内の温度を示すデータや、言語解析部 2より供 給される上述の単語データである。あるいは、トリガデータは、エージェント処理部 6 自身が行う処理から引き渡されるデータであってもよい。また、トリガデータ（トリガ取 得処理で取得されるデータ）が単語データである場合は、当該単語データが表す単 語が属すグルーピングに割り当てられている「概念」を示すデータでもよい。ただし、ト リガ取得処理の内容は、後述するように、複数のトリガ取得処理が互いに同一の単語 を表す単語データを取得することがないように記述されるものとする。
図 4 (a)にトリガ取得処理 TGxxの例を示す。この例では、トリガ TG01は、トリガとし ての概念「暑い」を取得する（単語「暑い」にグルーピングされている単語（図 3の例で は、単語「温度」又は「エアコンの操作」）を識別する)処理であり、その処理に後続す る処理に進む (遷移する）か否かを決定するための遷移定数 kは 0. 8である。図 4 (b) には、トリガ取得処理 TG01のフローチャートを示す。
トリガ取得処理 TG02は単語「開けて」を取得する処理である。トリガ取得処理 TG0 3は概念「温度」に対応するグループに属す単語を取得する（図 3では、「上がる」、「 暑い」、「開ける」のいずれかを取得する）処理である。 TG04は、概念「エアコンの操 作」に対応するグループに属す単語（図 3では、「上がる」、「暑レ、」のいずれかを取得 する）処理である。
処理項目データベース D4に格納されてレ、る「判別処理 (CNxx)」の内容を記述す るデータは、判別条件と、判別結果としてとり得る結果のリストと、後述する戻り方向の 遷移定数 kとを、判別処理別に記述したデータを含んでいる。判別処理の内容を記 述するデータは、進行方向を決定するための遷移定数 kを、判別結果毎に記述した データを含んでいる。
図 5 (a)に判別処理 CNxxの例を示す。この例では、判別処理 CN01は、「窓が開 ヽてレ、るか否かを判別する処理」であり、開いて!/、ると判別したときに後続する処理に 進むか否かを決定するための遷移定数 kが 0. 3、開いていないと判別したときにそれ に後続する処理に進むか否かを決定するため遷移定数 kが 0. 4である。この例のフ ローチャートを図 5 (b)に示す。図 5 (b)に示すノード CN01. 1は、処理の開始点を示 す始点ノード、ノード CN01. 2は、窓が閉じていると判別したときの進行方向のノード であり、その遷移定数 kは 0. 4である。さらに、ノード CN01. 3は、窓が開いていると 判別したときの進行方向のノードであり、その遷移定数 kは 0. 3である。また、判別処 理 CN02は、エアコン 51のステータスがオン (動作中力 否かを判別する処理であり、 動作中であると判別したときに後続する処理に進む力否力を決定するための遷移定 数 kが 0. 5、オフである（動作していない）と判別したときの遷移定数 kが 0. 3である。
[0057] 「判別処理」は、判別に用いるデータを任意の取得源力 取得する場合があっても よいとする。取得源としては、例えば、言語解析部 2や、エージェント処理部 6が実行 する他の処理や、入出力対象機器群 5に属する機器や、その他外部の機器などが考 えられる。そしてこの場合、判別処理の内容を記述するデータは、例えば、判別に用 V、るデータの取得源を指定するデータを更に含んで！/、ればよ!/、。
[0058] また、「判別処理」では、所定のデータを、判別に先立って所定の出力先に出力す るようにしてもよい（この場合は、処理を示す記号を例えば QBxxとする)。例えば、所 定の質問を表すデータを、判別に先立って音声合成処理部 3に引き渡す、等が考え られる。判別処理において所定のデータを判別に先立って所定のデータを出力する 場合、判別処理の内容を記述するデータは、例えば、出力するデータの内容と、この データの出力先とを指定するデータを含む。
図 6 (a)に判別処理 QBxxの例を示す。この例では、例えば、判別処理 QB01は、「 窓を開けますか？それともエアコンをつけますか？」と利用者に問い合わせ、その応 答 (利用者の回答）力「エアコンをつける」であったときの進行方向の遷移定数 kが 0. 7、「窓を開ける」であったときの進行方向の遷移定数 kが 0. 4である。この例のフロー チャートを図 6 (b)に示す。図 6 (b)に示すノード QB01. 1は、処理の開始点を示す 始点ノード、ノード QB01. 2は、問い合わせに対して、「エアコン」をつけることが指定 されたことを判別したときの進行方向のノードであり、その遷移定数 kは 0. 7である。さ らに、ノード QB01. 3は、窓を開けることが指定されたことを判別したときの進行方向 のノードであり、その遷移定数 kは 0. 4である。また、判別処理 QB02は、「窓を閉じま すか？」と利用者に問い合わせ、その応答 (利用者の回答)力 「閉じる」であったとき の進行方向の遷移定数 kが 0. 5、「閉じない」であったときの進行方向の遷移定数 k が 0. 3である。
[0059] 処理項目データベース D4に格納されている「入出力処理」の内容を記述するデー タは、入力あるいは出力するデータの内容を指定するデータ力 構成されている。入 力データ及ぴ出力データは任意の内容を有していてよい。例えば、出力データは、 音声合成処理部 3を介して音声出力部 4に発生させる音声の読みを表すデータや外 部の機器を制御する制御信号であってもよい。また、入力データは、例えば、外部の 機器から供給されるデータであってもよい。
図 7 (a)に出力処理 EXxxの例を示す。この例では、例えば、出力処理 EX01は、「 窓を閉める且つエアコンを動作させる」という動作であり、動作後の処理を行う進行方 向の遷移定数 kが 0. 8である。この例のフローチャートを図 7 (b)に示す。図 7 (b)に 示すノード EX01. 1は、処理の開始点を示す始点ノード、ノード EX01. 2は、処理の 終了を示すノードであり、遷移定数 kは 0. 8である。尚、出力処理 EXxxについては、 遷移定数 kの設定等を行わずに、処理の終了を示すノードの選択を必須の処理とし てもよい。
[0060] ワイヤデータベース D5は、複数の処理 (TG、 CNxx, QBxx, EXxx)間の遷移を . 記述するデ タ (以下、この遷移定義データをワイヤと呼ぶ)の集合から構成されて いる。ワイヤは、例えば図 8に示すような書式で記述されたデータから構成されている 。ワイヤ Wn(Wl、 W2...)は図示するように、先行する処理 X (From (X))から後続する 処理 Y(To(Y))への遷移 (From (X) To (Y))について、当該先行の処理 (X)と、当該後 続の処理 (Υ)と、当該遷移に対して与えられた重み係 ¾1と、を指定するデータであ る。なお、先行の処理 Xが判別処理である場合は、当該判別処理のどの判別結果か らの遷移であるか、まで記述される必要がある。
また、遷移元処理 Xと遷移先 Υは、それぞれ、各処理のノード番号で特定される。 各ワイヤの重み係 ¾Jは、固定値ではなぐ処理の進行に応じて、適宜計算され、設 定されるものである。ワイヤの重み係對の計算は図 9を参照して後述する。
[0061] 処理項目データベース D4及びワイヤデータベース D5が全体として表して!/、るフ口 一を実行する。処理項目データベース D4及ぴワイヤデータベース D5は、例えば、 図 3〜図 7の例に基づくと、全体として図 9に示すようなフローを記述することができる
[0062] 図 9に示すフローにおいては、エージェント処理部 6は、トリガ処理ステップ TG01で は、「暑！/ヽ」とレヽぅ単語を示す単語データを言語解析部 2より供給されるのを待機する 。「暑!/、」と！/、う単語を示す単語データが供給されるとこれを取得し、入力された音声 が「暑い」であったと判断されると、判別処理ステップ CN01に引き渡す (ワイヤ W1)。 ここで、「暑い」という単語を示す単語データのスコア Sと、前述の重み係 ¾!とから、音 声認識の判別結果を向上させることができる力 S、これについては後述する。
[0063] エージェント処理部 6は、判別処理ステップ CN01では、窓が開いているか否かを 示す情報を窓開閉制御部 52より取得し、開いていると判別すると入出力処理ステツ プ EX01に処理を移し (ワイヤ W2)、入出力処理 EX01では、窓開閉制御部 52に、 窓を閉めることを指示する制御信号を出力し、エアコン 51に、冷房動作を開始するこ とを指示する制御信号を出力する。この結果、窓開閉制御部 52は窓を閉め、ェアコ ン 51は冷房動作を開始する。
[0064] 一方、判別処理ステップ CN01で、窓が閉じて 、ると判別すると、質問を含む判別 処理 QB01に処理を移す（ワイヤ W3)。判別処理ステップ QBO 1でエージェント処理 部 6は、まず、「窓を開けますか。それともエアコンをつけます力。」という文章を表す データを音声合成処理部 3に供給する。音声合成処理部 3は、音声出力部 4を介し て、この文章を読み上げる音声を再生させる。
[0065] 判別処理ステップ QB01でエージェント処理部 6は、次に、言語解析部 2から、単語 「窓」又は単語「エアコン」を表す単語データが供給されるのを待機し、該当する単語 データが供給されると、この単語データが単語「窓」又は単語「エアコン」のどちらを表 すカゝを判別する。そして、単語「窓」を表すと判別すると入出力処理ステップ EX03に 処理を移し (ワイヤ W5)、単語「エアコン」を表すと判別すると、入出力処理ステップ E X02に処理を移す（ワイヤ W6) 0 [0066] エージェント処理部 6は、入出力処理ステップ EX02では、エアコン 51に、冷房を開 始することを指示する制御信号を出力する。一方、エージェント処理部 6は、入出力 処理ステップ EX03では、窓開閉制御部 52に、換気用の窓を開けることを指示する 制御信号を出力する。
[0067] 一方、エージェント処理部 6は、「窓を開けて」という単語を示す単語データを言語 解析部 2より供給されるのを待機し (トリガ処理ステップ TG02)、「窓を開けて」という 単語を示す単語データが供給され、入力された音声が「窓を開けて」という単語であ つたと判別すると、入出力処理ステップ EX03へと処理を移す (ワイヤ W4)。
[0068] エージェント処理部 6は、例えば言語解析部 2が単語データを複数供給した場合な どにおいては、複数の判別処理を並行して行う。またこの場合、エージェント処理部 6 は同一の単語を入力の対象とする処理 (例えば、トリガ取得処理や、判別処理におけ るデータの入力）が複数があって、該当する単語を表す単語データが言語解析部 2 より供給された場合は、これらの処理すベてを並行して行う。このとき、入力された単 語が何であったかの最終的な判別は、前述のように単語データの示すスコア Sと重み 係 #Jを用いて行うことができる力 これについては後述する。
[0069] 次に、各ワイヤの重み係 ¾Jを計算する方法を説明する。
複数の処理力 Sワイヤ Wにより連結されて！/、る場合には、注目するワイヤ Wの重み係 對は、現在処理中の処理を起点として、注目しているワイヤ Wに至るまでの遷移の 経路上の進行方向決定用の遷移定数 kを順次乗算することにより求められる。
理解を容易にするため、図 10 (a)にフローを示す処理を想定する。
この例では、先行する第 1の処理 (この例では、トリガ取得処理 TGxx)を実行して後 続の第 2の処理 (この例では、判別処理 CNxx)に遷移するようにワイヤ W51により定' 義されており、また、第 2の処理を実行して後続の第 3の処理 (この例では、 QBxx)に 遷移するようにワイヤ W52によって定義され、さらに、第 3の処理を実行して後続の処 理に遷移するようにワイヤ W53によって定義されている。
なお、第 1〜第 3の処理のいずれについても、各進行方向決定用の遷移定数 kは いずれも 0. 5であるものとする。
この場合、ワイヤは、例えば、図 10 (b)に示すように、定義される。 [0070] 例えば、エージェント処理部 6の処理 (又は制御）が第 1の処理に到達しているとき、 エージェント処理部 6は、第 1の処理を起点として、進行方向の遷移定数 kを遷移経 路に沿って順次乗算することにより、ワイヤ W51〜W55 (図示していないワイヤが存 在する場合にはそれらを含むすべて)のそれぞれの重み係 を計算し、計算結果を ワイヤ W51~W55に対応つけてワイヤデータベース DB5に書き込む。
[0071] 具体的には、第 1の処理に到達したとき、例えば、ワイヤ W51の重み係 ¾Jは、第 1 の処理の第 2の処理に繋がるノードに割り当てられている遷移定数 kの値すなわち 0 . 5となる。第 2の処理のワイヤ W52の重み係 ¾Jは、第 1の処理のワイヤ W51に係る 遷移定数 k=0. 5に第 2の処理のワイヤ W52に繋がるノードの遷移定数 k=0. 5を 乗じた結果すなわち 0· 25となる。
ワイヤ W53の重み係 ¾Jは、第 1の処理のワイヤ W51に係る遷移定数 k=0. 5に第 2の処理のワイヤ W52に係る遷移定数 k=0. 5を乗じた結果に更に第 3の処理のヮ ィャ W53に係る遷移定数 k=0. 5を乗じた結果、すなわち 0. 125となる。
[0072] このようにして、処理中の処理を基点としたときのそれぞれのワイヤの重み係 ¾Jが 計算される。よって、現在の状態が遷移すると、現在の処理を基点にしてその都度各 ワイヤの重み係 が計算されることになる。
[0073] 具体的には、現在の状態が第 2の処理に遷移すると、ワイヤ W54の重み係 Uは、 第 2の処理のワイヤ W52に係る遷移定数 kに等しい値 0. 5となり、ワイヤ W55の重み 係 ¾Γは第 2の処理のワイヤ W52に係る遷移定数 k=0. 5と第 3の処理のワイヤ W55 に係る遷移定数 k=0. 5との積すなわち 0. 25となる。このとき、エージェント処理部 6 は、逆方向、つまり第 1の処理に戻る方向に係るワイヤ W51の重み係對も計算しデ ータベースに書き込む。第 2の処理に遷移した場合では、ワイヤ W51に係る戻り方向 の遷移定数 kを 0· 1とすると、 0. 1がそのままワイヤ W51の重み係 ¾Jとなる。第 3の 処理に遷移した場合は更に、ワイヤ W52に係る戻り方向の遷移定数 k=0. 1がその ままワイヤ W52の重み係 Uとなる。そして、第 3の処理に遷移した状態におけるワイ ャ W51の重み係 は、第 3の処理に遷移した状態におけるワイヤ W52の重み係数 J(=遷移定数 k) 0. 1に、第 2処理の戻り方向の遷移定数 k=0. 1を乗じた値すなわ ち 0. 01となる。 各ワイヤ Wnの重み係 ¾Jの変化を図 10 (c)に示す。
重み係 Jの計算は、関連するフローの処理のみではなく、全てのフローの全ての ワイヤについて実行され、計算された重み係 が各ワイヤに設定される。ここで現在 の処理に関連のないワイヤについては、予め定められた低い計数値を害 ijり当てるよう にすればよい。しかし、特にトリガ取得処理を先行の処理とするワイヤについては、遷 移定数 kをある程度高く設定するようにする。こうすることによって、直前までなされて いた会話と著しく異なる内容の会話にもジャンプすることが可能になる。
尚、各ワイヤには条件がそれぞれ設定されている。具体的には、 W01には単語「暑 い」が条件として設定され、 W05には単語「窓」が設定される。そして、言語解析部 2 から単語データが供給されたとき、その単語データが単語「暑い」を示すものである 場合には、当該単語データが示すスコア Sを W01に対して設定する。また、言語解 析部 2から供給された単語データが単語「窓」を示すものである場合には、当該単語 データが示すスコア Sを W05に対して設定する。
更に、各ワイヤに設定される条件は、単一の単語が設定される場合に限られない。 例えば、同一の意味を表す複数の単語が条件として設定されるようにしてもよい。こ の条件の設定は、これらの単語とワイヤの関係が記憶されていれば足り、スコア算出 の対象となる単語は前述の単語データベースに記憶される。
例えば、音声認識を行う場合に、入力された音声について、言語解析部 2は単語 データベースに登録されている全ての単語に対してスコア Sの計算を行い、単語デ ータを生成して、エージェント処理部 6に単語データを出力する。次に、エージェント 処理部 6は、入力された各単語データが、いずれのワイヤに関連付けられてレ、るかを 判別し、単語データが示すスコア Sを関連する各ワイヤに設定する。このようにすれば 、複数のワイヤに対して、同じ単語が条件として設定されている場合でも、入力された 音声信号と単語とのスコア Sの計算は一度で足りることになる。そして、得られた各単 語のスコア Sが、それぞれ関連付けられているワイヤに対して設定される。尚、 1つの ワイヤに対して複数のスコア Sが得られる場合が生じることになる力 S、この場合には、 例えば最も値が高レ、スコア Sを選択するようにすればよい。
これによつて、例えば、「イエス」「はい」「そうだね」等、同一の意味を示す単語デー タがそれぞれ 1つのワイヤに対して設定されていれば、ユーザが「イエス」「はい」「そう だね」のいずれの音声で指示を出しても、音声認識のスコア Sとして適切な結果を得 ることができる。 '
また、判別処理によっては、入出力対象機器群 5からの情報が入力情報として得ら れる場合がある。この場合、入出力対象機器群 5に係る各機器の状態を示すデータ 力 状態データベースとして管理され (上述の「単語データベース」に相当）、入力情 報がどの機器のどの状態を示すもの力を状態データベースを参照して決定され、こ れとスコア Sとが状態データとしてエージェント処理部 6に出力される。尚、音声認識 の場合と異なり、対応する状態が状態データベースにあれば、スコア Sは必ず 100% になる。そして、エージェント処理部 6は、状態データが示す状態に関連するワイヤを 判別し、各ワイヤに対してスコア Sを設定する。
次に、このように構成されたシステム全体の動作を、図 11を参照して説明する。 音声入力部 1と言語解析部 2とは、独自に動作して、音声を取り込み、解析し、単語 データをエージェント処理部 6に提供する。
そして、エージェント処理部 6は、判別条件に係る（1個又は複数個の）単語データ が言語解析部 2より供給されると、以下の処理を行う。
供給された単語を認識 (識別）し (ステップ S 11)、それ力 単語データベース DB4 に登録されて!/、る単語に相当するか否かを判別する (ステップ S 12)。登録されてレヽ なければ (ステップ S12, No)、単語入力処理を終了する。
一方、登録されていれば (ステップ S 12, Yes)、その単語又はその単語の属すダル ープの「概念」が条件となって!/、る処理に関し、単語の尤度 Sとワイヤの重み係 ¾Jの 積 S .Jを計算する (ステップ S 13)。
例えば、図 10 (a)に示すフローを実行している場合において、処理ポインタ PPが 第;!の処理を指示しているとする。この場合の、各ワイヤの重み係 Uは図 10 (c)に図 す通りである。
この状態で、スコア Sが 80%の単語「暑い」と、スコア Sが 50%の単語「窓」を示す単 語データが入力されたと仮定する。
図 10 (a)と (b)に示す例では、第 1の処理では、単語「暑い」が判別条件に関連し、 第 3の処理では、単語「窓」が判別条件に関連する。
図 10 (c— 1)示すように、単語「暑い」を示す単語データを入力する処理を先行の 処理とするワイヤ W51の重み係 Uが 0. 5、単語「窓」を示す単語データを入力する 処理を先行の処理とするワイヤ W53の重み係衡が 0. 125である。この場合、ワイヤ W51及 I W53について求められる尤度 Sと重み係 #Jの積 S 'Jは、数式 1及ぴ 2に示 すとおりとなる。
[0076] (数 1) ワイヤ W51についての積 S 'J:「暑い」のスコア S ( = 80%) Xワイヤ W51の重 み係 ¾J ( = 0. 5) =40
[0077] (数 2) ワイヤ W53についての積 S 'J:「窓」のスコア S ( = 50%) Xワイヤ W53の重み 係 ¾J ( = 0. 125) =6. 25
[0078] エージェント処理部 6は、スコア Sと重み係 #Jとの積 S 'Jを求める上述の処理を、フ ローが有するすべてのワイヤにっ 、て行う。
続いて、エージェント制御部 6は、計算された積 S'Jがもっとも大きいワイヤを選択す る（図 11のステップ S14)。エージェント制御部 6は、選択したワイヤに後続する処理 に制御を進める (ステップ S15)。例えばワイヤ W51につ！/、て求めた積 S が最も高 い値を示した場合、入力された単語データは単語「暑い」を示すものであつたと認識 して、ワイヤ W51が後続の処理としてレ、る第 2の処理に遷移する。通常、現在の実行 中の処理を起点するとワイヤの重み係 #Jが比較的大きい。このため、一般的には、 次の処理に移る力 従前と全く異なる単語で尤度 Sの高いものが入力された場合に は、その単語に対応する処理が開始されることもある。
[0079] エージェント処理部 6は、処理が遷移すると、遷移後の状態に基づいて、各ワイヤ の重み係慰を再計算する (ステップ S 16)。
以後は、その処理の内容に従って処理を進める (ステップ S17)。この例では、第 2 の処理を実行する。すなわち、エージェント処理部 6は、窓開閉制御部 52から窓の開 閉の情報を取り込み、取り込んだ情報に基づいてワイヤ W52についての尤度 Sと重 - み係 #Jの積 S 'Jを求め、ワイヤ W54についての尤度 Sと重み係對の積 S 'Jを求めて 、いずれかのワイヤを選択して、選択したワイヤに後続する処理を実行する。
[0080] なお、窓開閉制御部 52からの窓の開閉を示す信号は、開の尤度 Sが 100%又は 0 %、閉の尤度 Sが 0%又は 100%でもよく。また、開度に応じて変ィ匕させるようにしても よい。そして、処理の過程で、入出力処理 EXxxがあり、エージェント処理部 6がその 処理を実行してにより音声データを出力すれば、それが音声として放音される。 また、処理の過程で、入出力処理 EX01のように、エアコンや窓開閉制御部 52への 制御を行う処理を実行すると、その処理内容に従って、エアコン 51や窓開閉制御部 52への制御を行う。
[0081] なお、図 8，図 9では、「単語」に基づく判別処理を主に説明したが、図 11にも示し たように概念に基づく判別処理でも同様になされる。また、単語或いは概念に基づく トリガ取得処理からのワイヤも判断の対象となる。トリガ取得処理からの遷移に対して は、ある程度高い遷移定数 kを設定しておくとよい。具体的には、例えば図 8のワイヤ 群、すなわち、図 9のフローにおいて、「窓を開けて」という単語を示す単語データを 取得するトリガ取得処理 TG02からの遷移に対しては、例えば遷移定数 k=0. 8を与 えておく。そうすると、例えばエージェント処理部 6の処理がトリガ取得処理 TG01に 係属してレ、る場合において、ユーザー力 S「窓を開けて」と発音し、例えば単語「窓を開 けて」に対するスコア Sが 90%である単語データが得られれば、このスコア Sと、「ユー ザが「窓を開けて」と言ったか否かの判断」に係るワイヤ W5の重み係 s (=遷移定 数 k)との積 S'Jは、 90% X O. 8すなわち 72となる。この値が他のワイヤで得られない ような大きな値であれば、入力された音声は「窓を開けて」であったと認識され、エー ジ工ント処理部 6の処理が入出力処理 EX03にジャンプする可能性が高くなる。一方 で、他のワイヤの重み係 Uを極めて低く設定しておけば、これら他のワイヤにより定 義されている遷移が起こる可能性は極めて低くなり、結果として、ある程度想定される 会話の流れに沿って認識率を向上させて制御処理を行うことができる。
[0082] この実施の形態では、戻り方向への遷移も起こり得る。しかし、現実的には会話を 戻すことは好ましくなレ、ことが多い。そこで、戻り方向の遷移定数 kは、進行方向の遷 移定数 kに比べて低い値に設定するようにすればよい。そうすると、入力された音声 力 高いスコア Sの単語データが仮に得られても、戻り方向の遷移定数 k力 S重み係数 Jとして書き込まれたワイヤについて求めた積 S 'Jは低い値となるため、戻り方向への 遷移の可能性を低く抑えることができる。 また、エージェント処理部 6は、求めた積 S 'Jの値が所定の条件に合致しなレ、ような 処理 (たとえば、積 S 'Jの値が所定値に達しなレヽような処理）は、遷移を実行する対象 力 除外するよう取り扱ってもよレ、。
[0083] なお、例えば図 8に示しているように、ワイヤは、処理項目力 処理項目へという形 で遷移を定義する。そして、ワイヤを図 8に示すような形態で記述してワイヤデータべ ース D5に格納することにより、各処理項目同士の関係を、あた力もコンピュータのマ クロ処理のように定義することが可能になる。これによつて、各処理項目を容易に接 続することができる。
[0084] また、トリガとなる処理項目は、実際には接続されるワイヤに係る認識対象単語等 ( 他の入力対象機器群からの入力の場合もあり得る）のスコア Sの判定になるので、ヮ ィャにおいてトリガ処理項目はワイヤの開始点として定義されず、ワイヤそのものが遷 移元として定義されることになる。
[0085] 更に、上述のように各処理項目の接続関係をワイヤによって定義することによって、 簡単にワイヤを追加することができる。例えば、「暑い」という音声入力の後に、ユーザ 一が休憩することを意図して「ファミリーレストランを探して」という音声を入力する機会 が多い場合、ファミリーレストランの検索処理項目に対して自動でワイヤを追加する。 そうすると、ワイヤが自動で追加された後には、ファミリーレストラン検索処理項目に接 続されたワイヤの重み係銜をある程度大きくすることで、当該入力「ファミリーレストラ ンを探して」に適切に対応することができるようになる。（ただしこの場合、エージェント 処理部 6は、例えばファミリーレストランの位置を示す情報を含んだ地図データ等を 記憶し、あるいは外部の地図データ等にアクセスするものとする。 )
このワイヤの自動追加は、ある処理項目からある処理項目へのジャンプの回数を計 数し、これが所定回数に達したときに自動で行うようにすればよい。
[0086] 以上説明したこの車内空調システムは、処理の内容を示すデータやワイヤが適切 に記述されれば、制御する対象である機器や加える制御の内容を完全に特定するこ とを必ずしも必要とせずに、ユーザが発した言語に応答し、この言語からユーザの欲 求を推測し、この欲求を満たすためにどの機器にどのような制御を加えればよいかを 適切に判断して、判断結果に従った制御を機器に加えることができるようになる。 [0087] なお、この車内空調システムの構成は上述のものに限られない。
例えば、入出力対象機器群 5に属する機器は、必ずしも直接にユーザの欲求を満 たす結果をもたらす機器である必要はなぐ例えば、外部の表示装置等を制御して ユーザに特定の行動をとるよう促すメッセージを出力する機器 (例えば、液晶ディスプ レイ等の表示装置)からなつていてもよい。
[0088] また、単語データベースは、必ずしも単語を示すデータのみならず、複数の単語か らなる語句を示すデータを単語データベースの要素として記憶するようにしてもよい し、単語の一部あるいは音素を構成するためのデータを単語データベースの要素と して記憶するようにしてもよい。また、単語等は必ずしも特定の概念の下にグルーピ ングされてレ、る必要はなぐグルーピングを行う場合も、グルーピングを行うために用 いられるデータは、必ずしもフラグの集合の形をとつていなくてもよい。
[0089] また、エージェント処理部 6は、'ワイヤに対応する遷移定数 kを、過去に当該ワイヤ が表す遷移を実行した数などに基づき所定の基準に従って変化させ、重み係 Uが 変化後の遷移定数 kに基づいて計算された値となるようにワイヤを書き換えてもよい。 具体的には、例えば、ワイヤデータベースに、それぞれのワイヤについて、当該ワイ ャが表す遷移が実行された回数を記憶しておく。そしてエージェント処理部 6は、当 該遷移が新たに行われる毎に、この回数の値を書き換えることにより、この回数の値 'を 1ずつインクリメントし、それぞれのワイヤに対応する遷移定数 kを、例えば、当該ヮ ィャについて記憶された回数に比例した値と書き換える。
尚、上述の実施例では.、ワイヤに設定される条件は、それぞれのワイヤに対して設 定されるとして説明した力 これには限られない。例えば、判別処理の中に各ワイヤ の条件を記述するようにしてもよい。この場合、各条件がいずれのワイヤに对応する ものかを予め特定しておく。
[0090] また、エージェント処理部 6は、判別処理や入出力処理において出力するデータを 、これらの処理に引き渡されたデータや、これらの処理に伴って入力したデータや、 その他任意の条件に従って変化させるようにしてもよい。
[0091] また、この車内空調システムは、エージェント処理部 6の制御に従って画像を出力 するための表示装置 (例えば、液晶ディスプレイ等)を備えていてもよぐエージェント ' 処理部 6は、入出力処理や判別処理において、処理毎に所定の画像を表示させるよ うこの表示装置を制御してもよい。
[0092] また、エージェント処理部 6は、 1個の入力処理や 1個の判別処理において、連続し て発話される等した複数の単語データを一括して取得するようにしてもよい。また、ェ ージェント処理部 6は、一括して取得した複数の単語データがどの概念の下で同一 のグループ内にグルーピングされているかを特定し、特定した概念が所定の概念に 合致する場合にのみ、取得した単語データの一部または全部を処理に用いるものと してもよい。
[0093] また、エージェント処理部 6は、トリガ取得処理、判別処理、入出力処理等の各種処 理とワイヤとが全体として形成するフローを分担して行う、互いに接続された複数の データ処理装置 (例えば、コンピュータ等)から構成されていてもよい。この場合、ェ ージェント処理部 6を構成するそれぞれのデータ処理装置は、エージェント処理部 6 が実行し得るフロー全体のうち、自己が実行する可能性がある部分を表すデータを、 処理項目データベース D4やワイヤデータベース D5の要素として記憶すれば十分で ある。そして、それぞれのデータ処理装置が記憶するデータが、当該データ処理装 置が実行する部分の処理をマクロ定義するようなデータとなっていれば、複数のデー タ処理装置に分散処理を行わせることも容易である。
[0094] また、この車内空調システムは、音声入力部 1や言語解析部 2あるいは音声出力部
4も複数備えていてよい。
また、音声入力部 1は、たとえば、音声を表すデータが記録された記録媒体 (たとえ ば、フロッピー（登録商標）ディスクや、 CD (Compact Disc)や、 MO (
Magneto-Optical Disk)など)力 波形信号を読み出して言語解析部 2に供給する記 録媒体ドライブ装置 (たとえば、フロッピー (登録商標)ディスクドライブや、 CD— RO
Mドライブや、 MOドライブなど）を備えていてもよい。
[0095] 以上、この発明の実施の形態を説明したが、この発明にかかる機器制御装置は、 専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。 例えば、入出力対象機器群 5に接続されたパーソナルコンピュータ 上述の音声 入力部 1、言語解析部 2、音声合成処理部 3、音声出力部 4及びエージェント処理部 6の動作を実行させるためのプログラムを格納した記録媒体力 該プログラムをインス トールすることにより、上述の処理を実行する車内空調システムを構成することができ る。そして、このプログラムを実行するパーソナルコンピュータ力 図 1の車内空調シ ステムの動作に相当する処理として、例えば、図 9に示すフ口 を実行するものとする
[0096] なお、パーソナルコンピュータに上述の車内空調システムの機能を行わせるプログ ラムは、例えば、通信回線の掲示板 (BBS)にアップロードし、これを通信回線を介し て配信してもよぐまた、このプログラムを表す信号により搬送波を変調し、得られた変 調波を伝送し、この変調波を受信した装置が変調波を復調してこのプログラムを復元 するようにしてもよい。そして、このプログラムを起動し、 OSの制御下に、他のアプリケ ーシヨンプログラムと同様に実行することにより、上述の処理を実行することができる。
[0097] なお、 OSが処理の一部を分担する場合、あるいは、 OSが本願発明の 1つの構成 要素の一部を構成するような場合には、記録媒体には、その部分を除いたプログラム を格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実 行する各機能又はステップを実行するためのプログラムが格納されているものとする 産業上の利用可能性
[0098] 本発明は、人間が言語の形で発する指示に適切に応答して機器を制御できる種々 の機器制御装置等に利用可能である。

Claims

請求の範囲
[1] 入力される入力情報を認識する入力情報認識手段（2)と、
入力情報認識手段 (2)によって認識された認識情報に对応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件を各々有し、 少なくとも前記認識情報とそれぞれの遷移定義データの条件から、一の遷移定義 データを選択し、選択された遷移定義データによって指定される処理項目に状態を 遷移させる、
ことを特徴とする機器制御装置。
[2] 前記認識情報は、入力情報と比較対象情報との尤度 (スコア)を有してなり、
前記一の遷移定義データの選択は、前記尤度 (スコア）を用いて行われる、 ことを特徴とする請求項 1に記載の機器制御装置。
[3] 所定の処理項目から遷移定義データによって遷移を定義されてレ、な！/ヽ処理項目若 しくは遷移定義データにジャンプされるとき、当該所定の処理項目力 ジャンプされ た処理項目若しくは遷移定義データに対しての遷移定義データを生成する、 ことを特徴とする請求項 1に記載の機器制御装置。
[4] 前記入力情報は音声信号であり、
前記遷移定義データの条件は、当該遷移定義データに関連付けられた単語である ことを特徴とする請求項 1に記載の機器制御装置。
[5] 前記遷移定義データの条件は、複数設定されてなる、
ことを特徴とする請求項 1に記載の機器制御装置。
[6] 入力情報に対応する処理を実行する処理項目のうちの一の処理項目から他の処 理項目への遷移を定義する遷移定義データを記憶し、入力情報に応じて一の遷移 定義データを選択し、選択された一の遷移定義データによって指定される処理項目 に状態を遷移する機器制御装置であって、 前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、
前記重み係数を算出するための基準であって、当該遷移定義データに対してそれ ぞれ設定される定数と、を有し、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とする機器制御装置。
[7] 入力される入力情報を認識する入力情報認識手段（2)と、
入力情報認識手段（2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に对応する条件と、前記条件に対応 する重み係数と、を有し、
前記認識情報は、前記入力情報と前記遷移定義データが有する条件との一致状 態を示す尤度 (スコア)を有し、
前記遷移定義データの条件に対応する尤度 (スコア）に前記重み係数を对応させ て、それぞれの遷移定義データの条件にっレ、ての判別結果を得、
前記判別結果に基づレ、て一の遷移定義データを選択し、選択された遷移定義デ ータによって指定される処理項目に状態を遷移させる、
ことを特徴とする機器制御装置。
[8] 所定の処理項目力 遷移定義データによって遷移を定義されて！/、な！/、処理項目若 しくは遷移定義データにジャンプされるとき、当該所定の処理項目からジャンプされ た処理項目若しくは遷移定義データに対しての遷移定義データを生成する、 ことを特徴とする請求項 7に記載の機器制御装置。
[9] 前記重み係数の算出基準である遷移定数は、前記遷移定義データに対応して定 数として設定され、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とする請求項 7に記載の機器制御装置。
[10] 前記遷移定数は、
当該遷移定数に係る遷移定義データが選択されたことを条件に変化される、 ことを特徴とする請求項 9に記載の機器制御装置。
[11] 一の処理項目に状態が遷移している場合であっても、所定の処理項目に係る遷移 定義データの重み係数は、所定の値より高く設定されてなる、
ことを特徴とする請求項 7に記載の機器制御装置。
[12] 前記入力情報は音声信号であり、
前記遷移定義データの条件は音声認識を行う対象の単語である、
ことを特徴とする請求項 7に記載の機器制御装置。
[13] 前記条件は、一の遷移定義データに対して複数設定されてなる、
ことを特徴とする請求項 7に記載の機器制御装置。 '
[14] 入力情報を認識することによって得られた認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)を備え、
遷移定義データによって複数の処理項目のうちの一の処理項目から他の処理項目 への遷移を定義し、
必要とされる処理項目の連なりに応じて、前記遷移定義データを追加若しくは削除 することによって、処理項目のフローチャートが生成されてなる、
ことを特徴とする機器制御装置。
[15] 前記処理項目データ記憶手段 (D4)は、
処理項目を適宜追加可能なように構成されてなる、
ことを特徴とする請求項 14に記載の機器制御装置。
[16] 前記遷移定義データは、入力情報に対応する条件をそれぞれ有する、
ことを特徴とする請求項 14に記載の機器制御装置。
[17] 前記認識情報は、入力情報と前記遷移定義データの条件との一致状態を示す尤 度 (スコア)を有し、
前記遷移定義データの条件に対応する前記尤度 (スコア）が前記遷移定義データ に設定される、
ことを特徴とする請求項 16に記載の機器制御装置。
[18] 前記入力情報は音声信号であり、
前記遷移定義データの条件は、音声認識を行う対象単語であり、
前記認識情報は、音声信号と前記遷移定義データの対象単語との一致状態を示 す尤度 (スコア)を有し、
前記遷移定義データの対象単語に対応する前記尤度 (スコア)が前記遷移定義デ ータに設定され、
前記尤度 (スコア）に応じて一の前記遷移定義データを選択し、選択された一の遷 移定義データによって示される処理項目に状態を遷移させる、
ことを特徴とする請求項 16に記載の機器制御装置。
[19] 前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、を有する、
ことを特徴とする請求項 14に記載の機器制御装置。
[20] 前記重み係数の算出基準である遷移定数は、前記遷移定義データに対応して定 数として設定され、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とする請求項 19に記載の機器制御装置。
[21] 入力される入力情報を認識する入力情報認識手段（2)と、
入力情報認識手段（2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、 を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件を各々有し、 少なくとも前記認識情報とそれぞれの遷移定義データの条件から、一の遷移定義 データを選択し、選択された遷移定義データによって指定される処理項目に状態を 遷移させる、 . ことを特徴とする音声認識装置。
[22] 入力情報に対応する処理を実行する処理項目のうちの一の処理項目から他の処 理項目への遷移を定義する遷移定義データを記憶し、入力情報に応じて一の遷移 定義データを選択し、選択された一の遷移定義データによって指定される処理項目 に状態を遷移する機器制御装置 (6)を備え、
前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、
前記重み係数を算出するための基準であって、当該遷移定義データに対してそれ ぞれ設定される定数と、を有し、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項 ¾に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とする音声認識装置。
[23] 入力される入力情報を認識する入力情報認識手段 (2)と、
入力情報認識手段 (2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件と、前記条件に対応 する重み係数と、を有し、 ' . .
前記認識情報は、前記入力情報と前記遷移定義データが有する条件との一致状 態を示す尤度 (スコア)を有し、
前記遷移定義データの条件に対応する尤度 (スコア）に前記重み係数を対応させ て、それぞれの遷移定義データの条件につ！/ヽての判別結果を得、
前記判別結果に基づ!/ヽて一の遷移定義データを選択し、選択された遷移定義デ ータによって指定される処理項目に状態を遷移させる、
ことを特徴とする音声認識装置。
[24] 入力情報を認識することによって得られた認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)を備え、
遷移定義データによって複数の処理項目のうちの一の処理項目から他の処理項目 への遷移を定義し、
必要とされる処理項目の連なりに応じて、前記遷移定義データを追加若しくは削除 することによって、処理項目のフローチャートが生成されてなる、
ことを特徴とする音声認識装置。
[25] 入力される入力情報を認識する入力情報認識手段 (2)と、
入力情報認識手段 (2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に対応する条件を各々有し、 少なくとも前記認識情報とそれぞれの遷移定義データの条件から、一の遷移定義 データを選択し、選択された遷移定義データによって指定される処理項目に状態を 遷移させる、
ことを特徴とするエージェント装置。
[26] 入力情報に対応する処理を実行する処理項目のうちの一の処理項目から他の処 理項目への遷移を定義する遷移定義データを記憶し、入力情報に応じて一の遷移 定義データを選択し、選択された一の遷移定義データによって指定される処理項目 に状態を遷移する機器制御装置 (6)を備え、
前記遷移定義データは、 入力情報に対応する条件と、
前記条件に対応する重み係数と、
前記重み係数を算出するための基準であって、当該遷移定義データに対してそれ ぞれ設定される定数と、を有し、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記定数から、他の処理項 目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とするエージェント装置。
[27] 入力される入力情報を認識する入力情情報認識手段 (6)と、
入力情報認識手段 (2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)と、
複数の処理項目のうちの一の処理項目から他の処理項目への遷移を定義する遷 移定義データを複数記憶する遷移定義データ記憶手段 (D5)と、を備え、
前記遷移定義データのそれぞれは、入力情報に对応する条件と、前記条件に対応 する重み係数と、を有し、
前記認識情報は、前記入力情報と前記遷移定義データが有する条件との一致状 態を示す尤度 (スコア)を有し、
前記遷移定義データの条件に対応する尤度 (スコア）に前記重み係数を対応させ て、それぞれの遷移定義データの条件につ V、ての判別結果を得、
前記判別結果に基づレヽて一の遷移定義データを選択し、選択された遷移定義デ ータによって指定される処理項目に状態を遷移させる、
ことを特徴とするエージェント装置。
[28] 入力情報を認識することによって得られた認識情報に対応する処理を実行する処 理項目を複数記憶する処理項目データ記憶手段 (D4)を備え、
遷移定義データによって複数の処理項目のうちの一の処理項目から他の処理項目 への遷移を定義し、
必要とされる処理項目の連なりに応じて、前記遷移定義データを追加若しくは削除 することによって、処理項目のフローチヤ トが生成されてなる、 ことを特徴とするエージェント装置。
[29] 入力情報に対応する処理を実行する処理項目のうちの一の処理項目から他の処 理項目への遷移を定義する遷移定義データのデータ構造であって、
前記遷移定義データは、
入力情報に対応する条件と、
前記条件に対応する重み係数と、を有し、
前記重み係数の算出基準である遷移定数は、遷移定義データに対応して定数とし て設定され、
状態が遷移している一の処理項目に連なる他の処理項目に係る遷移定義データ の重み係数は、一の処理項目に係る遷移定義データの前記遷移定数から、他の処 理項目に係る遷移定義データまでの定数が累積されて算出される、
ことを特徴とするデータ構造。
[30] 前記入力情報は音声信号であり、
前記入力情報に対応する条件は、音声認識を行う対象単語である、
ことを特徴とする請求項 29に記載のデータ構造。
[31] 入力情報認識手段（2)によって認識された認識情報に対応する処理を実行する処 理項目を複数記憶し、複数の処理項目のうちの一の処理項目から他の処理項目へ の遷移を定義する遷移定義データを複数記憶した機器 (2， 6)の機器制御方法であ つて、
入力される入力情報を認識する入力情報認識ステップと、
少なくとも前記入力情報認識ステップで認識された認識情報と、前記遷移定義デ ータに対応して設定された条件から一の遷移定義データを選択するステップと、 選択された遷移定義データによって指定される処理項目に状態を遷移させるステツ プと、
を有することを特徴とする機器制御方法。
[32] 入力される入力情報を認識する入力情報認識ステップと、
前記入力情報認識ステップで認識された認識情報から、複数の処理項目のうちの —の処理項目から他の処理項目への遷移を定義する遷移定義データに対応付けら 062294
37
れた条件と前記入力情報との一致状態を示す尤度 (スコア)を特定するステップと、 前記遷移定義データに対応付けられた重み係数を、前記尤度 (スコア）に対応させ ることによって判別結果を得るステップと、 '
前記判別結果に基づ!/、て一の遷移定義データを選択するステップと、
選択された遷移定義データによって指定される処理項目に状態を遷移させるステツ プと、
を有することを特徴とする機器制御方法。
入力情報に対応する処理を実行する処理項目を複数記憶する処理項目データ記 億ステップと、
遷移定義データによって複数の処理項目のうちの一の処理項目から他の処理項目 への遷移を定義し、必要とされる処理項目の連なりに応じて、前記遷移定義データを 追加若しくは削除することによって、処理項目のフローチャートを生成するステップと を有することを特徴とする機器制御方法,
PCT/IB2004/004001 2003-12-05 2004-12-06 機器制御装置、音声認識装置、エージェント装置､データ構造及び機器制御方法 WO2005062294A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005516404A JP4516918B2 (ja) 2003-12-05 2004-12-06 機器制御装置、音声認識装置、エージェント装置、機器制御方法及びプログラム
CN2004800361146A CN1890710B (zh) 2003-12-05 2004-12-06 设备控制装置、以及设备控制方法
EP04820623A EP1691345A4 (en) 2003-12-05 2004-12-06 DEVICE CONTROLLER, LANGUAGE DETECTION DEVICE, AGENT SETUP, DATA STRUCTURE, AND SETUP CONTROL METHOD
US10/581,434 US20080228492A1 (en) 2003-12-05 2004-12-06 Device Control Device, Speech Recognition Device, Agent Device, Data Structure, and Device Control

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2003-406645 2003-12-05
JP2003406671 2003-12-05
JP2003406645 2003-12-05
JP2003406640 2003-12-05
JP2003-406640 2003-12-05
JP2003-406638 2003-12-05
JP2003406655 2003-12-05
JP2003406638 2003-12-05
JP2003-406671 2003-12-05
JP2003-406655 2003-12-05

Publications (1)

Publication Number Publication Date
WO2005062294A1 true WO2005062294A1 (ja) 2005-07-07

Family

ID=34714614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2004/004001 WO2005062294A1 (ja) 2003-12-05 2004-12-06 機器制御装置、音声認識装置、エージェント装置､データ構造及び機器制御方法

Country Status (5)

Country Link
US (1) US20080228492A1 (ja)
EP (1) EP1691345A4 (ja)
JP (2) JP4516918B2 (ja)
CN (1) CN1890710B (ja)
WO (1) WO2005062294A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012160843A1 (ja) * 2011-05-20 2012-11-29 三菱電機株式会社 情報機器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062295A1 (ja) * 2003-12-05 2005-07-07 Kabushikikaisha Kenwood 機器制御装置、音声認識装置、エージェント装置及び機器制御方法
CN103971688B (zh) * 2013-02-01 2016-05-04 腾讯科技（深圳）有限公司 一种语音数据采集服务系统及方法
CN108604176A (zh) * 2016-02-18 2018-09-28 索尼公司 信息处理装置、信息处理方法及程序
CN111108755B (zh) * 2017-09-14 2022-04-01 株式会社索思未来 电子设备控制系统、声音输出装置、以及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57118299A (en) * 1981-01-14 1982-07-23 Nissan Motor Voice load driver
JPH08339288A (ja) 1995-06-14 1996-12-24 Canon Inc 情報処理装置及びその制御方法
JP2000181500A (ja) * 1998-12-15 2000-06-30 Equos Research Co Ltd 音声認識装置及びエ―ジェント装置
JP2001022373A (ja) * 1999-07-02 2001-01-26 Alpine Electronics Inc 音声認識方法
JP2001117584A (ja) * 1999-10-22 2001-04-27 Alpine Electronics Inc 音声処理装置
US20020059067A1 (en) 2000-10-11 2002-05-16 Nissan Motor Co., Ltd. Audio input device and method of controling the same
JP2002258892A (ja) * 2001-03-05 2002-09-11 Alpine Electronics Inc 音声認識機器操作装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827520A (en) * 1987-01-16 1989-05-02 Prince Corporation Voice actuated control system for use in a vehicle
JP3267395B2 (ja) * 1993-07-14 2002-03-18 株式会社東芝 階層化状態遷移モデル記述方法
JP3884160B2 (ja) * 1997-11-17 2007-02-21 富士通株式会社 用語付きデータを扱うデータ処理方法，データ処理装置およびプログラム記憶媒体
US6980956B1 (en) * 1999-01-07 2005-12-27 Sony Corporation Machine apparatus and its driving method, and recorded medium
FI116991B (fi) * 1999-01-18 2006-04-28 Nokia Corp Menetelmä puheen tunnistamisessa, puheentunnistuslaite ja puheella ohjattava langaton viestin
JP3557373B2 (ja) * 1999-08-12 2004-08-25 シャープ株式会社 ネットワークの自動分節装置及び自動分節プログラムを記録した記録媒体
JP2001157976A (ja) * 1999-11-30 2001-06-12 Sony Corp ロボット制御装置およびロボット制御方法、並びに記録媒体
US6956348B2 (en) * 2004-01-28 2005-10-18 Irobot Corporation Debris sensor for cleaning apparatus
JP2002149181A (ja) * 2000-11-15 2002-05-24 Sharp Corp 機器制御システム
JP2002297185A (ja) * 2001-03-29 2002-10-11 Pioneer Electronic Corp 情報処理装置および情報処理方法
JP3731499B2 (ja) * 2001-05-25 2006-01-05 三菱電機株式会社 音声認識制御装置、及び車載用情報処理装置
JP4266552B2 (ja) * 2001-10-16 2009-05-20 日本電気株式会社 ロボット装置及びその制御方法
DE10338512A1 (de) * 2003-08-22 2005-03-17 Daimlerchrysler Ag Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57118299A (en) * 1981-01-14 1982-07-23 Nissan Motor Voice load driver
JPH08339288A (ja) 1995-06-14 1996-12-24 Canon Inc 情報処理装置及びその制御方法
JP2000181500A (ja) * 1998-12-15 2000-06-30 Equos Research Co Ltd 音声認識装置及びエ―ジェント装置
JP2001022373A (ja) * 1999-07-02 2001-01-26 Alpine Electronics Inc 音声認識方法
JP2001117584A (ja) * 1999-10-22 2001-04-27 Alpine Electronics Inc 音声処理装置
US20020059067A1 (en) 2000-10-11 2002-05-16 Nissan Motor Co., Ltd. Audio input device and method of controling the same
JP2002258892A (ja) * 2001-03-05 2002-09-11 Alpine Electronics Inc 音声認識機器操作装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1691345A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012160843A1 (ja) * 2011-05-20 2012-11-29 三菱電機株式会社 情報機器
JP5705312B2 (ja) * 2011-05-20 2015-04-22 三菱電機株式会社 情報機器

Also Published As

Publication number Publication date
JP4905522B2 (ja) 2012-03-28
EP1691345A1 (en) 2006-08-16
JP4516918B2 (ja) 2010-08-04
EP1691345A4 (en) 2008-08-13
JP2009288815A (ja) 2009-12-10
CN1890710A (zh) 2007-01-03
JPWO2005062294A1 (ja) 2007-07-19
CN1890710B (zh) 2010-04-28
US20080228492A1 (en) 2008-09-18

Similar Documents

Publication Publication Date Title
JP6550068B2 (ja) 音声認識における発音予測
JP6686154B2 (ja) 発話認識方法及び装置
JP3459712B2 (ja) 音声認識方法及び装置及びコンピュータ制御装置
JP3803029B2 (ja) 音声認識装置
JPH08110791A (ja) 音声認識方法
US7505909B2 (en) Device control device and device control method
US20070256435A1 (en) Air Conditioner Control Device and Air Conditioner Control Method
JP4905522B2 (ja) 機器制御装置、機器制御方法及びプログラム
WO2022271435A1 (en) Interactive content output
US20230360633A1 (en) Speech processing techniques
JP2006293033A (ja) 混合分布ｈｍｍの状態の出力確率計算方法および装置
JP4516919B2 (ja) 機器制御装置、機器制御方法及びプログラム
KR20210098250A (ko) 전자 장치 및 이의 제어 방법
TWI832792B (zh) 基於上下文情境與使用歷程的意圖評選系統及其方法
JP7038919B2 (ja) 多言語音声認識装置および多言語音声認識方法
US11978438B1 (en) Machine learning model updating
JP4198040B2 (ja) データ利用装置及びデータ利用方法
US20230335120A1 (en) Method for processing dialogue and dialogue system
JP2003228393A (ja) 音声対話装置及び方法、音声対話プログラム並びにその記録媒体
CN114758646A (zh) 语音交互方法、装置及电子设备
JPH1173197A (ja) 音声認識装置および音声認識方法ならびに音声認識プログラムを記録した記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480036114.6

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005516404

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2004820623

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004820623

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10581434

Country of ref document: US