WO2011129335A1 - オペレーティングシステム及びオペレーティング方法 - Google Patents

オペレーティングシステム及びオペレーティング方法 Download PDF

Info

Publication number
WO2011129335A1
WO2011129335A1 PCT/JP2011/059096 JP2011059096W WO2011129335A1 WO 2011129335 A1 WO2011129335 A1 WO 2011129335A1 JP 2011059096 W JP2011059096 W JP 2011059096W WO 2011129335 A1 WO2011129335 A1 WO 2011129335A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
domain
word
attribute
read
Prior art date
Application number
PCT/JP2011/059096
Other languages
English (en)
French (fr)
Inventor
難波　利行
博昭 関山
達之 岡
実奈子 藤城
大川　克利
恵美 大谷
淳志 佐々木
泰彦 藤田
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to CN201180018550.0A priority Critical patent/CN102844807B/zh
Priority to US13/640,907 priority patent/US9076451B2/en
Priority to EP11768856.4A priority patent/EP2560158B1/en
Publication of WO2011129335A1 publication Critical patent/WO2011129335A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to an operating system and an operating method, and more particularly to an operating system and an operating method for estimating a required task from information included in an utterance of a speaker.
  • Patent Document 1 discloses a system in which a driver of a vehicle and an operator at an external center interact with each other, the external center recognizes the utterance of the driver, and displays display information desired by the driver on a display device of the vehicle. Has been.
  • the present invention has been made in consideration of such circumstances, and an object of the present invention is to improve the convenience for the user and improve the accuracy of estimating the task required from the utterance. Is to provide.
  • the present invention includes a request task estimation unit that estimates a candidate of a requested task from information included in the utterance of the first speaker, and the request task estimation unit includes a plurality of requests included in the utterance of the first speaker.
  • a word is extracted, and the attribute associated with the word is read from a database in which one or more attributes are associated and stored for each word, and candidate tasks associated with the read attribute or attributes are read.
  • the candidate domain of the task associated with the attribute is read out from the database storing one or more domains, and the read out domain for each word is counted for a plurality of words included in the utterance of the first speaker.
  • This is an operating system that estimates a candidate for a task related to a domain with the largest number of totals as a candidate for a requested task.
  • the requested task estimation unit extracts a plurality of words included in the utterance of the first speaker, and associates the word with the word from a database in which one or more attributes are associated with each word and stored.
  • the first utterance is read out from the database storing the task candidate domain or domains associated with the retrieved attribute or attributes, and the task candidate domain associated with the attribute is read out from the database.
  • the domain read for each word is aggregated, and the task candidate related to the domain with the largest number of aggregations is estimated as the required task candidate. Can be estimated.
  • the “task candidates” in the present invention include, for example, services to users such as search, route guidance, navigation system operation, and device setting change as described later.
  • the “task candidate” in the present invention includes, for example, each of search processes having different search conditions such as a search keyword as described later.
  • the requested task estimation unit aggregates the scores according to the importance of the domain with respect to the domain read out for each word, and is requested a candidate for a task related to the domain with the highest total score. Can be estimated as a candidate for a task.
  • the requested task estimation unit aggregates the scores according to the importance of the domain with respect to the words read out for each word, and determines the task candidates related to the domain with the highest total score. Since it is estimated as a required task candidate, the task candidate can be estimated with high accuracy according to the importance of the domain with respect to the word.
  • an action task selection unit that selects a task to be performed from the requested task candidates estimated by the request task estimation unit based on information included in the utterance of the second speaker can be further provided.
  • the requested task estimation unit estimates a candidate for a requested task from information included in the utterance of the first speaker, and the action task selection unit includes information included in the utterance of the second speaker. Based on the above, a task to be performed is selected according to the requested task candidate estimated by the requested task estimation unit. Therefore, the task is estimated from information included in the two utterances of the first speaker and the second speaker. Therefore, the time required for task estimation and the number of utterances can be reduced, the convenience for the user can be improved, and the accuracy of estimating the task required from the utterance can be improved.
  • the action task selection unit extracts a plurality of words included in the utterance of the second speaker, and determines an attribute associated with the word from a database in which one or more attributes are associated with each word and stored.
  • the domain of the task associated with the attribute is read from the database storing the domain or domains of the task associated with the read or read attribute or attributes, and is included in the utterance of the first speaker
  • the domains read for each word can be aggregated, and the task related to the domain with the largest aggregation count can be selected as a task corresponding to the requested task.
  • the action task selection unit extracts a plurality of words included in the utterance of the second speaker, and associates the word with the word from the database in which one or more attributes are associated with each word and stored.
  • Read out the attribute read out the domain of the task associated with the attribute from the database storing the domain or domains of the task associated with the read out attribute or attributes, and utter the first speaker
  • the domain read for each word is aggregated, and the task related to the domain with the largest number of aggregations is selected as the task corresponding to the requested task, so the task can be selected with higher accuracy. It can be carried out.
  • the action task selection unit totals the scores according to the importance of the domains with respect to the words read out for each word, and the task related to the domain with the highest total score is the requested task. You can choose.
  • the action task selection unit aggregates the scores according to the importance of the domains with respect to the words read for each word, and is requested to perform a task related to the domain with the highest total score. Therefore, the task can be selected with high accuracy according to the importance of the domain with respect to the word.
  • the present invention includes a request task estimation step for estimating a required task from information included in the utterance of the first speaker, and the request task estimation step includes a plurality of requests included in the utterance of the first speaker. Extract a word, read an attribute associated with a word from a database in which one or more attributes are associated and stored for each word, and a single candidate task associated with the read one or more attributes Or, from a database in which a plurality of domains are stored, the domain of candidate tasks associated with the attribute is read, and for a plurality of words included in the utterance of the first speaker, the domains read for each word are aggregated, This is an operating method for estimating a candidate for a task related to a domain having the largest number of totals as a candidate for a requested task.
  • the scores corresponding to the importance of the domain with respect to the word are totaled, and the candidate of the task related to the domain with the highest total score is requested. Can be estimated as a candidate for a task.
  • it may further include an action task selection step of selecting a task to be performed from the requested task candidates estimated in the required task estimation step based on information included in the utterance of the second speaker.
  • the requested task estimation step extracts a plurality of words included in the utterance of the first speaker, and extracts an attribute associated with the word from a database in which one or more attributes are associated with each word and stored.
  • the domains read for each word can be aggregated, and the candidate for the task related to the domain with the largest aggregation can be estimated as the required task candidate.
  • the action task selection step for the domain read out for each word, the score corresponding to the importance of the domain with respect to the word is totaled, and the task related to the domain with the highest total score is requested. Can be selected.
  • the operating system and operating method of the present invention it is possible to improve the convenience for the user and improve the accuracy of estimating the task required from the utterance.
  • FIG. 1 shows the structure of the operating system which concerns on 1st Embodiment. It is a flowchart which shows the process which extracts the domain of a request
  • the operating system according to the first embodiment of the present invention includes an in-vehicle device 100, a center 200, and an operator terminal 300 connected by a communication line.
  • the operating system according to the present embodiment allows a user who uses the vehicle-mounted device 100 mounted on a vehicle and an operator who operates the operator terminal 300 to interact with each other via the center 200, thereby performing tasks to be performed by the operator in response to a user request. It is for estimating.
  • the in-vehicle device 100 includes a microphone 101, a voice analysis processing unit (DSR-C: Distributed Speech Recognition Client) 102, a GPS sensor 103, a position information processing unit 104, a screen output processing unit 105, and a display device 106.
  • the microphone 101 detects an utterance of a user (first speaker) who is a driver in the vehicle, for example, and outputs the detection result to the acoustic analysis processing unit 102 as an audio signal.
  • the acoustic analysis processing unit 102 compresses the size of the utterance data and transmits it to the center 200 in order to perform voice recognition processing at the center 200.
  • the GPS sensor 103 receives a signal from a GPS (Global Positioning System) satellite by a GPS receiver, and measures the position of the vehicle from the difference of each signal.
  • the in-vehicle device 100 includes navigation (not shown) that provides route guidance to the user based on the position information measured by the GPS sensor 103 and map data.
  • the position information processing unit 104 collects position information detected by the GPS sensor 103 and transmits it to the center 200.
  • the screen output processing unit 105 receives information transmitted from the center 200 and displays the information on the display device 106 for a user who is a driver.
  • the center 200 includes a vocabulary DB 201, a speech recognition processing unit (DSR-S) 202, a keyword extraction processing unit 203, an action history DB 204, an operation history DB 205, a situation determination processing unit 206, an operation determination processing unit 207, and a synonym / related term DB 208.
  • DSR-S speech recognition processing unit
  • the vocabulary DB 201 is a recognition dictionary database that accumulates vocabularies to be subjected to speech recognition.
  • the vocabulary DB 201 also includes paraphrasing vocabularies such as aliases and nicknames of the same word.
  • the speech recognition processing unit (DSR-S: Distributed Speech Recognition Server) 202 dictates the user's utterance data transmitted from the acoustic analysis processing unit 102 of the in-vehicle device 100 and converts it into text.
  • the voice recognition processing unit 202 recognizes the utterance data of the operator transmitted from the acoustic analysis processing unit 303 of the operator terminal 300 and converts it into text.
  • the keyword extraction processing unit 203 extracts words as keywords necessary for task estimation from the utterance text converted into text by the speech recognition processing unit 202.
  • the action history DB 204 stores information on action history such as past setting destinations, travel routes, and time zones of the driver who is a user of the vehicle on which the vehicle-mounted device 100 is mounted.
  • information related to the past behavior history of the driver is stored in the behavior history DB 204 of the center 200, but information related to the past behavior history of the driver may be stored in a device outside the center 200.
  • the operation history DB 205 stores information related to operation history such as past utterance contents and search conditions of a driver who is a user of the vehicle on which the in-vehicle device 100 is mounted.
  • the situation determination processing unit 206 acquires the position information of the vehicle on which the in-vehicle device 100 is mounted, which is transmitted from the position information processing unit 104 of the in-vehicle device 100, and information related to the action history stored in the action history DB 204 and the operation history DB 205. The information related to the operation history stored in is acquired. The situation determination processing unit 206 also acquires the current time.
  • the operation determination processing unit 207 combines the keyword extraction result of the keyword extraction processing unit 203 with the information about the user acquired by the situation determination processing unit 206, and uses the synonym / related word DB to store information about the synonym / related word.
  • the candidate of the task requested by the user is estimated while referring to it. Further, the operation determination processing unit 207 selects and executes a task to be performed by the operator based on the estimation result of the task candidates.
  • the estimation result of the operation determination processing unit 207 is output to the screen output processing unit 105 of the in-vehicle device 100 and the display device 301 of the operator terminal 300.
  • the synonym / related word DB 208 stores information related to synonyms and related words that are semantically related to the vocabulary stored in the vocabulary DB 201. Note that the utterance data, the position information, and the estimation result from the center 200 from the in-vehicle device 100 are transmitted and received between the in-vehicle device 100 and the roadside infrastructure connected to the center 200 by short-range communication or the like.
  • the facility information DB 210 stores information related to various facilities where vehicles equipped with the in-vehicle device 100 can stop.
  • the operator terminal 300 includes a display device 301, a microphone 302, and an acoustic analysis processing unit (DSR-C: Distributed Speech Recognition Client) 303.
  • the display device 301 is for receiving information transmitted from the operation determination processing unit 207 of the center 200 and displaying the information to the operator.
  • the microphone 302 detects the utterance of the operator (second speaker) and outputs the detection result to the acoustic analysis processing unit 303 as an audio signal.
  • the acoustic analysis processing unit 303 compresses the size of the utterance data and transmits it to the center 200 in order to perform voice recognition processing at the center 200.
  • a method for estimating a task such as POI (Position Information) search from a driver's utterance will be mainly described.
  • a driver of a vehicle equipped with the vehicle-mounted device 100 speaks to the microphone 101 as “Ikebukuro's XXX (convenience store name)?”.
  • the acoustic analysis processing unit 102 extracts only the minimum information necessary for the voice recognition processing unit 202 of the center 200 to perform voice recognition, and transmits it to the voice recognition processing unit 202 of the center 200 as utterance data.
  • the voice recognition processing unit 202 converts utterance data into text using dictation recognition, and uses it as utterance text. At this time, the speech recognition processing unit 202 refers to the vocabulary DB 201 and outputs a replacement of the paraphrase expression with the basic expression if the keyword includes a paraphrase expression such as a nickname or another name. In the above example, since the paraphrase expression is not included in the utterance, the basic expression is not replaced.
  • the definitions of the paraphrase expression and the basic expression are not universal, and are appropriately determined according to the maintenance specifications of the vocabulary DB 201.
  • the keyword extraction processing unit 203 parses the utterance text output from the speech recognition processing unit 202. In the syntax analysis, the keyword extraction processing unit 203 performs part-of-speech decomposition by morphological analysis and determination of the dependency relationship. The keyword extraction processing unit 203 transmits, to the operation determination processing unit 207, a part of speech decomposition result obtained by extracting only a part of speech word necessary for meaning determination.
  • the part of speech necessary for discrimination of meaning means a part of speech that is highly likely to have a meaning for purpose estimation alone, such as a noun, a verb, an adjective, and an adjective verb. For example, in this example, “Ikebukuro” and “XXX (convenience store name)” are extracted.
  • FIG. 2 S101
  • the operation determination processing unit 207 compares the extracted keyword received from the keyword extraction processing unit 203 with a predetermined determination rule, and estimates a requested task requested by the driver.
  • a plurality of word attributes are stored in the synonym / related word DB 208.
  • a predetermined keyword is associated with the phrase attribute and stored in the synonym / related word DB 208.
  • the operation determination processing unit 207 determines whether each extracted keyword is associated with the phrase attribute 1 table of the phrase attribute 1 (S102).
  • Such phrase attributes can also be generated from the attribute information of each facility in the facility information DB 210.
  • the operation determination processing unit 207 determines whether each extracted keyword is associated with the phrase attribute 2 table of the phrase attribute 2 (S103).
  • the extracted keywords “Ikebukuro” and “XXX (convenience store name)” are associated with either the phrase attribute 1 table or the phrase attribute 2 table.
  • the keyword is stored as a domain determination necessary phrase (S104).
  • the operation determination processing unit 207 displays the keyword as a domain determination necessary phrase. If not, it is discarded (S105).
  • the operation determination processing unit 207 determines which domain is the corresponding domain in the domain correspondence table for each extracted keyword, and applies from the domain list. Domains are extracted (S107, S108).
  • the synonym / related word DB 208 stores a domain correspondence table as shown in FIG.
  • the domain correspondence table task domains 1 to 13 corresponding to each of the phrase attribute 1 and the phrase attribute 2 are defined.
  • the tasks of domains 1 to 13 are defined as shown in FIG.
  • the operation determination processing unit 207 when the determination of the corresponding domain by the domain correspondence table is completed for all keywords (S107), estimates the requested task by counting the corresponding domains (S109). For example, in this example, the domain corresponding to both of the keywords “Ikebukuro” and “XXX (convenience store name)” is “POI search—POI undecided—convenience store” of domain 8. Therefore, the operation determination processing unit 207 estimates “POI (Position Information) search—POI undecided—convenience store” in the domain 8 as a task.
  • the operation determination processing unit 207 transmits the task estimation result to the display device 301 of the operator terminal 300 and the screen output processing unit 105 of the in-vehicle device 100.
  • the operator terminal 300 the operator utters to the microphone 302 based on the estimation result of the task, the same processing as the driver's utterance is performed, and processing for confirming the task as a task to be actually performed is performed.
  • the driver speaks to the microphone 101, and the same processing as described above is performed. By repeating such processing, the task can be estimated accurately in a short time.
  • the operation determination processing unit 207 of the center 200 extracts a plurality of words included in the utterances of the driver and the operator, and a synonym / association stored with one or more attributes associated with each word.
  • a synonym / related word in which an attribute associated with a word is read from the word DB 208 and a candidate for a task associated with the read attribute or attributes or a domain or domains of a task to be actually performed is stored From the DB 208, the candidate of the task associated with the attribute or the domain of the task to be actually performed is read, and the domain read for each word is totaled for a plurality of words included in the utterances of the driver and the operator, and the most total Task candidates related to a large number of domains or tasks to be actually performed To estimate as a candidate and the task to be actually performed, it is possible to estimate the task more accurately.
  • the operation determination processing unit 207 of the center 200 estimates a candidate for a task requested from information included in the utterance of the driver (user), and is based on information included in the utterance of the operator. Then, a task to be performed is selected according to the estimated task candidate. Therefore, the task is estimated from information included in the utterances of the driver and the operator. Therefore, the time required for task estimation and the number of utterances can be reduced, the convenience for the user can be improved, and the accuracy of estimating the task required from the utterance can be improved.
  • the scores corresponding to the importance of the domain with respect to the word are totaled, and the candidate of the task and the task for which the task related to the domain with the highest total score is requested. Estimate as a candidate or a task to be actually performed.
  • a driver of a vehicle equipped with the vehicle-mounted device 100 speaks to the microphone 101, “I want you to look for an A chain (convenience store name) in Ikebukuro?”.
  • each word included in the utterance is recognized, and the attribute of each word is extracted from the database based on the recognition result (S201). Similar to the first embodiment, such phrase attributes can also be generated from the attribute information of each facility in the facility information DB 210.
  • an element such as reliability may be set, and a word having a reliability less than a predetermined threshold may be excluded from the process, or the process may be weighted according to the reliability.
  • the score of each domain is calculated using the attribute score calculation table of FIG. For example, as shown in FIG. 13, for domain 1 “POI search-POI specific-name”, score 3 for the word “Ikebukuro”, score 1 for the word “A chain”, and word “look for” On the other hand, the score is 0. As a result, the total value of the scores of domain 1 becomes 4. On the other hand, the domain 8 “POI search-POI undecided-convenience store” has a score of 3 for the word “Ikebukuro”, a score of 3 for the word “A chain”, and a score of 0 for the word “search”. As a result, the total value of the scores of domain 1 becomes 6.
  • the operation determination processing unit 207 repeats the same processing for all domains until the end of the dialogue (S206), and sorts the domains in the order of the score (S207). For example, if the domain with the highest score is the domain 8 “POI search-POI undecided-convenience store”, the operation determination processing unit 207 is a task that requires the domain 8 “POI search-POI undecided-convenience store”. Estimate that the task is likely to be actually performed.
  • the operation determination processing unit 207 of the center 200 extracts a plurality of words included in the utterances of the driver and the operator, and a synonym / related word DB 208 that stores one or more attributes associated with each word. From the synonym / related word DB 208 in which the attribute associated with the word is read out, the candidate for the task associated with the read attribute or attributes or the domain or domains of the task to be actually performed is stored , Read the candidate of the task associated with the attribute or the domain of the task to be actually performed, and for the plurality of words included in the utterances of the driver and the operator, for the domain read for each word, the importance of the domain to the word. The most score-accumulated domain To estimate the candidate or task to be actually performed the task as candidate and task to be actually performed the task of, it is possible to estimate the task more accurately.
  • the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the present invention.
  • the description is centered on the mode of interaction between the driver using the vehicle-mounted device and the operator using the operator terminal.
  • a part or all of the speakers are The present invention is applicable even when a fine manual operation is difficult due to some circumstances, and the effect is exhibited.
  • the number of speakers is not limited to two, and tasks can be estimated based on utterances from three or more speakers.
  • the operating system and operating method of the present invention it is possible to improve the convenience for the user and improve the accuracy of estimating the task required from the utterance.
  • vehicle-mounted device 101 microphone 102 acoustic analysis processing unit (DSR-C) 103 GPS sensor 104 Position information processing unit 105 Screen output processing unit 106 Display device 200 Center 201 Vocabulary DB 202 Speech recognition processing unit (DSR-S) 203 keyword extraction processing unit 204 action history DB 205 Operation history DB 206 Situation Determination Processing Unit 207 Operation Determination Processing Unit 208 Synonym / Related Word DB 210 Facility information DB 300 Operator terminal 301 Display 302 Microphone 303 Acoustic analysis processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

　センター２００の操作判断処理部２０７は、ドライバー及びオペレータの発話に含まれる単語を抽出し、単語ごとに属性が関連付けられて記憶された類語・関連語ＤＢ２０８から単語に関連付けられた属性を読み出し、読み出された属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクのドメインが記憶された類語・関連語ＤＢ２０８から属性に関連付けられたタスクの候補等のドメインを読み出し、ドライバー等の発話に含まれる単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るものをタスクの候補及び実際に行なわれるべきタスクとして推定する。これにより高精度にタスクの推定を行うことができる。

Description

オペレーティングシステム及びオペレーティング方法
　本発明はオペレーティングシステム及びオペレーティング方法に関し、発話者の発話に含まれる情報から要求されるタスクの推定を行うオペレーティングシステム及びオペレーティング方法に関するものである。
　車両を運転中のドライバーは、運転操作に忙しいため、ナビゲーションシステムの目的地の設定等の運転操作以外の操作を行うことが困難である。そこで、ドライバーの発話を解析することにより、ドライバーが要求するタスクを推定し、ドライバーの操作を要さずに、当該タスクを実行する装置が提案されている。例えば、特許文献１には、車両のドライバーと外部センターのオペレータとが対話をし、外部センターがドライバーの発話を認識して、ドライバーが希望する表示情報を車両の表示装置に表示させるシステムが開示されている。
特開２００４－３３３３１９号公報
　しかしながら、上記のような技術では、例えば、オペレータに目的地設定をさせる場合には、ドライバーが現在地、目的地及び要求するタスクを具体的にコマンドとしてオペレータに告げる必要があり、ドライバーはコマンドの水準でしか発話をすることができないため、ドライバーにとって利便性が低い。また、ドライバーの発話から要求されるタスクを推定する精度が低く、システムの動作の信頼性が低い。そのため、上記のような技術では、誤認識を極力防ぐために、限られた操作に関するコマンドとしての発話しか受け付けられず、限られた操作の補助のみを行なうシステムとなっている。
　本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させたオペレーティングシステム及びオペレーティング方法を提供することにある。
　本発明は、第１発話者の発話に含まれる情報から、要求されるタスクの候補の推定を行う要求タスク推定ユニットを備え、要求タスク推定ユニットは、第１発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた前記属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第１発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するオペレーティングシステムである。
　この構成によれば、要求タスク推定ユニットは、第１発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第１発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するため、高精度にタスクの候補の推定を行うことができる。
　なお、本発明における「タスクの候補」とは、例えば、後述するように、検索、経路案内、ナビゲーションシステムの操作及び機器の設定の変更等のユーザに対するサービスそれぞれが挙げられる。あるいは、本発明のおける「タスクの候補」とは、後述するように、例えば、検索キーワード等の検索条件が異なる検索処理それぞれが含まれる。
　この場合、要求タスク推定ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定することができる。
　この構成によれば、要求タスク推定ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定するため、さらに単語に対するドメインの重要度に応じて、高精度にタスクの候補の推定を行うことができる。
　また、第２発話者の発話に含まれる情報に基づいて、要求タスク推定ユニットが推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択ユニットをさらに備えることができる。
　この構成によれば、要求タスク推定ユニットが、第１発話者の発話に含まれる情報から要求されるタスクの候補の推定を行ない、アクションタスク選択ユニットが、第２発話者の発話に含まれる情報に基づいて、要求タスク推定ユニットが推定した要求されるタスクの候補に応じて行われるべきタスクを選択する。そのため、第１発話者と第２発話者との二人の発話に含まれる情報からタスクの推定が行われる。よって、タスクの推定に要する時間や発話数を低減でき、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
　この場合、アクションタスク選択ユニットは、第２発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクのドメインを読み出し、第１発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクを要求されるタスクに応じたタスクとして選択することができる。
　この構成によれば、アクションタスク選択ユニットは、第２発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクのドメインを読み出し、第１発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクを要求されるタスクに応じたタスクとして選択するため、さらに高精度にタスクの選択を行うことができる。
　この場合、アクションタスク選択ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求されるタスクとして選択することができる。
　この構成によれば、アクションタスク選択ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求されるタスクとして選択するため、単語に対するドメインの重要度に応じて、高精度にタスクの選択を行うことができる。
　一方、本発明は、第１発話者の発話に含まれる情報から、要求されるタスクの推定を行う要求タスク推定工程を含み、要求タスク推定工程は、第１発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第１発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するオペレーティング方法である。
　この場合、要求タスク推定工程は、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定することができる。
　また、第２発話者の発話に含まれる情報に基づいて、要求タスク推定工程で推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択工程をさらに含むことができる。
　この場合、要求タスク推定工程は、第１発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第１発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定することができる。
　この場合、アクションタスク選択工程は、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求される前記タスクとして選択することができる。
　本発明のオペレーティングシステム及びオペレーティング方法によれば、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
第１実施形態に係るオペレーティングシステムの構成を示す図である。 第１実施形態に係る発話の認識結果から要求タスクのドメインを抽出する処理を示すフローチャートである。 語句属性１を示す属性１テーブルである。 語句属性２を示す属性２テーブルである。 語句属性１，２に関連付けられたドメインを示すドメイン対応表である。 ドメインに関連付けられた要求タスクを示すドメイン－要求タスク対応表である。 第２実施形態に係る発話の認識結果から要求タスクのドメインを抽出する処理を示すフローチャートである。 認識された単語と各単語ごとに予め付与されている属性ａ，ｂとを示すテーブルである。 語句属性ａを示す属性ａテーブルである。 語句属性ｂを示す属性ｂテーブルである。 ドメインごとの重要度に応じたスコアを定義した属性スコア算出テーブルである。 認識された単語とその属性ａ，ｂとの一部を示すテーブルである。 スコア算出の例を示す図である。
　以下、図面を参照して本発明の実施形態に係るオペレーティングシステムを説明する。
　図１に示すように、本発明の第１実施形態に係るオペレーティングシステムは、通信回線で接続された車載機１００、センター２００及びオペレータ端末３００からなる。本実施形態のオペレーティングシステムは、車両に搭載された車載機１００を用いるユーザとオペレータ端末３００を操作するオペレータとがセンター２００を介して対話することにより、ユーザの要求に応じてオペレータが行なうべきタスクを推定するためのものである。
　図１に示すように、車載機１００は、マイク１０１、音声分析処理部（ＤＳＲ－Ｃ：Distributed　Speech　Recognition　Client）１０２、ＧＰＳセンサ１０３、位置情報処理部１０４、画面出力処理部１０５及びディスプレイ装置１０６を有している。マイク１０１は、車両内の例えばドライバーであるユーザ（第１発話者）の発話を検出し、検出結果を音声信号として音響分析処理部１０２に出力する。音響分析処理部１０２は、音声認識処理をセンター２００で行うため、発話データのサイズを圧縮してセンター２００に送信する。
　ＧＰＳセンサ１０３は、ＧＰＳ（Global　Positioning　System）衛星からの信号をＧＰＳ受信機で受信し、各々の信号の相違から車両の位置を測位する。車載機１００は、ＧＰＳセンサ１０３が測位した位置情報と地図データとに基づいてユーザに対して経路案内を行う不図示のナビゲーションを備えている。位置情報処理部１０４は、ＧＰＳセンサ１０３が検出した位置情報を収集してセンター２００に送信する。
　画面出力処理部１０５は、センター２００から送信された情報を受信し、ドライバーであるユーザに対してディスプレイ装置１０６により情報を表示するためのものである。
　センター２００は、語彙ＤＢ２０１、音声認識処理部（ＤＳＲ－Ｓ）２０２、キーワード抽出処理部２０３、行動履歴ＤＢ２０４、操作履歴ＤＢ２０５、状況判断処理部２０６、操作判断処理部２０７及び類語・関連語ＤＢ２０８を有している。
　語彙ＤＢ２０１は、音声認識の対象となる語彙を蓄積した認識辞書のデータベースである。語彙ＤＢ２０１には、同じ単語の別名や愛称等の言換え語彙も含まれる。
　音声認識処理部（ＤＳＲ－Ｓ：Distributed　Speech　Recognition　Server）２０２は、車載機１００の音響分析処理部１０２から送信されたユーザの発話データをディクテーション認識してテキスト化する。また、音声認識処理部２０２は、オペレータ端末３００の音響分析処理部３０３から送信されたオペレータの発話データをディクテーション認識してテキスト化する。
　キーワード抽出処理部２０３は、音声認識処理部２０２がテキスト化した発話テキストからタスクの推定に必要なキーワードとなる単語を抽出する。
　行動履歴ＤＢ２０４は、車載機１００が搭載された車両のユーザであるドライバーの過去の設定目的地、走行ルート、時間帯等の行動履歴に関する情報を格納する。なお、本実施形態では、センター２００の行動履歴ＤＢ２０４にドライバーの過去の行動履歴に関する情報を格納するが、センター２００の外部の機器にドライバーの過去の行動履歴に関する情報が格納されても良い。
　操作履歴ＤＢ２０５は、車載機１００が搭載された車両のユーザであるドライバーの過去の発話内容、検索条件等の操作履歴に関する情報を格納する。
　状況判断処理部２０６は、車載機１００の位置情報処理部１０４から送信された車載機１００が搭載された車両の位置情報の取得と、行動履歴ＤＢ２０４に格納された行動履歴に関する情報及び操作履歴ＤＢ２０５に格納された操作履歴に関する情報の取得とを行なう。また、状況判断処理部２０６は、現在の時刻も取得する。
　操作判断処理部２０７は、キーワード抽出処理部２０３のキーワードの抽出結果と、状況判断処理部２０６が取得したユーザに関する情報とを合わせ、類語・関連語ＤＢに格納された類語・関連語に関する情報を参照しつつ、ユーザの要求するタスクの候補を推定する。また、操作判断処理部２０７は、タスクの候補の推定結果に基づいて、オペレータが行うべきタスクを選択し、実行させる。操作判断処理部２０７の推定結果は、車載機１００の画面出力処理部１０５及びオペレータ端末３００のディスプレイ装置３０１に出力される。
　類語・関連語ＤＢ２０８は、語彙ＤＢ２０１に格納された語彙と意味的な関連のある類語及び関連語に関する情報を格納する。なお、車載機１００からの発話データ、位置情報及びセンター２００からの推定結果は、車載機１００とセンター２００に接続された路側インフラストラクチャーとの間で、短距離通信等により送受信される。施設情報ＤＢ２１０には、車載機１００を搭載した車両が立寄ることが可能な種々の施設に関する情報が記憶されている。
　オペレータ端末３００は、ディスプレイ装置３０１、マイク３０２及び音響分析処理部（ＤＳＲ－Ｃ：Distributed　Speech　Recognition　Client）３０３を有している。ディスプレイ装置３０１は、センター２００の操作判断処理部２０７から送信された情報を受信し、オペレータに対して情報を表示するためのものである。
　マイク３０２は、オペレータ（第２発話者）の発話を検出し、検出結果を音声信号として音響分析処理部３０３に出力する。音響分析処理部３０３は、音声認識処理をセンター２００で行うため、発話データのサイズを圧縮してセンター２００に送信する。
　以下、本実施形態のオペレーティングシステムの動作について説明する。以下の例では、まず、発話からタスクを推定する原理を示すため、ドライバーの発話から、ＰＯＩ（Position　Information）検索といったタスクを推定する手法を中心に説明する。例えば、車載機１００が搭載された車両のドライバーがマイク１０１に、「池袋のＸＸＸ（コンビニエンスストア名）は？」と発話する。音響分析処理部１０２は、センター２００の音声認識処理部２０２が音声認識を行うのに最低限必要な情報のみを抽出し、発話データとしてセンター２００の音声認識処理部２０２に送信する。
　音声認識処理部２０２は、ディクテーション認識を用いて発話データをテキスト化し、発話テキストとする。このとき、音声認識処理部２０２は語彙ＤＢ２０１を参照しつつ、キーワード中に愛称、別称等の言換え表現が含まれる場合は、言換え表現を基本表現に置換したものを出力する。上記の例では、発話内に言換え表現は含まれないので、基本表現の置換は行なわれない。なお、言換え表現と基本表現の定義は普遍的なものではなく、語彙ＤＢ２０１の整備仕様により適宜決定される。
　キーワード抽出処理部２０３は、音声認識処理部２０２が出力した発話テキストを構文解析する。構文解析では、キーワード抽出処理部２０３は、形態素解析による品詞分解と係り受け関係の判別を行なう。キーワード抽出処理部２０３は、品詞分解結果から、意味の判別に必要な品詞の単語のみを抜き出したものを操作判断処理部２０７に送信する。ここで、意味の判別に必要な品詞とは、名詞、動詞、形容詞、形容動詞等の単独で目的推定のための意味を持つ可能性が高い品詞をいう。例えば、本例では、「池袋」、「ＸＸＸ（コンビニエンスストア名）」が抽出される。以上より、図２に示すように、音声認識結果からの単語抽出が完了する（Ｓ１０１）。
　操作判断処理部２０７は、キーワード抽出処理部２０３から受け取った抽出されたキーワードを、予め定義された判断のルールと照合し、ドライバーから要求される要求タスクを推定する。本実施形態では、類語・関連語ＤＢ２０８に複数の語句属性が記憶されている。語句属性には、所定のキーワードが関連付けられて類語・関連語ＤＢ２０８に記憶されている。例えば、語句属性１について図３に示すような属性１テーブルが定義されているものとする。操作判断処理部２０７は、抽出されたキーワードそれぞれが、語句属性１の語句属性１テーブルに関連付けられているか否か判定する（Ｓ１０２）。キーワード「池袋」に関連付けられている語句属性１は、ｉｄ１＝２：「エリア」である。キーワード「ＸＸＸ（コンビニエンスストア名）」に関連付けられている語句属性１は、ｉｄ１＝４：「チェーン」である。このような語句属性は、施設情報ＤＢ２１０の各施設の属性情報からも生成することができる。
　例えば、語句属性２について図４に示すような属性２テーブルが定義されているものとする。操作判断処理部２０７は、抽出されたキーワードそれぞれが、語句属性２の語句属性２テーブルに関連付けられているか否か判定する（Ｓ１０３）。キーワード「池袋」に関連付けられている語句属性２は、ｉｄ２＝ａ：「属性なし」である。キーワード「ＸＸＸ（コンビニエンスストア名）」に関連付けられている語句属性２は、ｉｄ２＝ｅ：「コンビニ」である。
　本例では、抽出されたキーワード「池袋」、「ＸＸＸ（コンビニエンスストア名）」は、語句属性１テーブル及び語句属性２テーブルのいずれかに関連付けられているため、操作判断処理部２０７は、これらのキーワードをドメイン判定必要語句として記憶する（Ｓ１０４）。一方、もし、抽出されたキーワードが、語句属性１テーブル、語句属性２テーブル及びその他の語句属性テーブルのいずれにも関連付けられていないときは、操作判断処理部２０７は、当該キーワードをドメイン判定必要語句ではないとして破棄する（Ｓ１０５）。
　全てのキーワードを操作判断処理部２０７が処理したときは（Ｓ１０６）、操作判断処理部２０７は、抽出されたキーワードそれぞれについてドメイン対応表による該当ドメインがいずれであるかを判定し、ドメイン一覧より該当ドメインを抽出する（Ｓ１０７，Ｓ１０８）。
　類語・関連語ＤＢ２０８には、図５に示すようなドメイン対応表が記憶されている。ドメイン対応表では、語句属性１及び語句属性２ごとに対応するタスクのドメイン１～１３が定義されている。ドメイン１～１３のタスクは、それぞれ図６に示すように定義されている。
　例えば、キーワード「池袋」については、語句属性１はｉｄ１＝２：「エリア」であり、語句属性２はｉｄ２＝ａ：「属性なし」であるから、図５の表の丸印で示すドメイン１，４，５，６，７，８，９，１０，１１，１２及び１３が該当する。また、キーワード「ＸＸＸ（コンビニエンスストア名）」については、語句属性１はｉｄ１＝４：「チェーン」であり、語句属性２はｉｄ２＝ｅ：「コンビニ」であるから、図５の表の丸印で示すドメイン８が該当する。
　操作判断処理部２０７は、ドメイン対応表による該当ドメインの判定が全てのキーワードについて完了したときは（Ｓ１０７）、該当するドメインを集計することにより要求タスクを推定する（Ｓ１０９）。例えば、本例では、キーワード「池袋」、「ＸＸＸ（コンビニエンスストア名）」のいずれにも該当するドメインは、ドメイン８の「ＰＯＩ検索－ＰＯＩ未定－コンビニ」である。そこで、操作判断処理部２０７は、ドメイン８の「ＰＯＩ（Position　Information）検索－ＰＯＩ未定－コンビニ」をタスクとして推定する。
　操作判断処理部２０７は、タスクの推定結果をオペレータ端末３００のディスプレイ装置３０１と車載機１００の画面出力処理部１０５に送信する。オペレータ端末３００では、当該タスクの推定結果に基づき、オペレータがマイク３０２に発話をし、ドライバーの発話と同様の処理が行われ、当該タスクを実際に行なわれるべきタスクとして確認する処理がなされる。これに対して、車載機１００でも、ドライバーがマイク１０１に発話をし、上記と同様の処理が行われる。このような処理を繰り返すことにより、短時間で精度良くタスクの推定を行うことができる。
　本実施形態によれば、センター２００の操作判断処理部２０７は、ドライバー及びオペレータの発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶された類語・関連語ＤＢ２０８から、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクの単数又は複数のドメインが記憶された類語・関連語ＤＢ２０８から、属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクのドメインを読み出し、ドライバー及びオペレータの発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補あるいは実際に行なわれるべきタスクをタスクの候補及び実際に行なわれるべきタスクとして推定するため、さらに高精度にタスクの推定を行うことができる。
　また、本実施形態によれば、センター２００の操作判断処理部２０７が、ドライバー（ユーザ）の発話に含まれる情報から要求されるタスクの候補の推定を行ない、オペレータの発話に含まれる情報に基づいて、推定したタスクの候補に応じて行われるべきタスクを選択する。そのため、ドライバーとオペレータとの二人の発話に含まれる情報からタスクの推定が行われる。よって、タスクの推定に要する時間や発話数を低減でき、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
　以下、本発明の第２実施形態について説明する。本実施形態では、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補やタスクを要求されるタスクの候補や実際に行われるべきタスクとして推定する。
　例えば、車載機１００が搭載された車両のドライバーがマイク１０１に、「池袋でＡチェーン（コンビニエンスストア名）を探して欲しいんだけど？」と発話する。図７及び図８に示すように、発話に含まれる各単語が認識され、認識結果よりデータベースから各単語の属性が抽出される（Ｓ２０１）。なお、第１実施形態と同様に、このような語句属性は、施設情報ＤＢ２１０の各施設の属性情報からも生成することができる。また、図８に示すように、信頼度といった要素を設定し、信頼度が所定の閾値未満の単語を処理から除いたり、信頼度に応じて処理の重み付けをしても良い。
　図７に示すように、操作判別処理部２０７は、単語の属性ａからＩＤを抽出する（Ｓ２０２）。図８及び９に示すように、また、音声認識結果による単語「池袋」に対して、属性ａのＩＤは、ＩＤａ＝２の「エリア」となる。また、音声認識結果による単語「Ａチェーン」に対して、属性ａのＩＤは、ＩＤａ＝８の「チェーン」となる。さらに、図７に示すように、操作判別処理部２０７は、単語の属性ｂからＩＤを抽出する（Ｓ２０３）。図８及び１０に示すように、また、音声認識結果による単語「池袋」に対して、属性ｂのＩＤは、存在しない。また、音声認識結果による単語「Ａチェーン」に対して、属性ｂのＩＤは、ＩＤｂ＝８の「コンビニ」となる。
　操作判別処理部２０７は、図１１に示すようなドメインごとの重要度に応じたスコアを定義した属性スコア算出テーブルから、該当ＩＤに対応する全ドメインのスコアを算出する（Ｓ２０４）。例えば、単語「Ａチェーン」に対しては、属性ａのＩＤａ＝８、属性ｂのＩＤｂ＝８であるから、ドメイン１のスコアは１である。一方、ドメイン８のスコアは３となる。
　このようにして、操作判別処理部２０７は、発話中で認識された各単語について各ドメインのスコアを加算する（Ｓ２０５）。例えば、図１２に示すように、単語「池袋」に対して、属性ａのＩＤａ＝２であり、属性ｂのＩＤｂ＝０である。また、単語「Ａチェーン」に対して、属性ａのＩＤａ＝８であり、属性ｂのＩＤｂ＝８である。さらに、単語「探して」に対して、属性ａのＩＤａ＝０であり、属性ｂのＩＤｂ＝１６である。
　これらの各単語について、図１１の属性スコア算出テーブルを用いて、各ドメインのスコアが算出される。例えば、図１３に示すように、ドメイン１「ＰＯＩ検索－ＰＯＩ特定－名称」については、単語「池袋」に対してスコア３、単語「Ａチェーン」に対してスコア１、単語「探して」に対してスコア０である。これにより、ドメイン１のスコアの集計値は４となる。一方、ドメイン８「ＰＯＩ検索－ＰＯＩ未定－コンビニ」については、単語「池袋」に対してスコア３、単語「Ａチェーン」に対してスコア３、単語「探して」に対してスコア０である。これにより、ドメイン１のスコアの集計値は６となる。
　操作判別処理部２０７は、対話の終端まで全てのドメインについて同様の処理を繰り返し（Ｓ２０６）、集計したスコア順にドメインをソートする（Ｓ２０７）。例えば、最もスコアの高いドメインがドメイン８「ＰＯＩ検索－ＰＯＩ未定－コンビニ」であるとすると、操作判別処理部２０７は、ドメイン８の「ＰＯＩ検索－ＰＯＩ未定－コンビニ」が要求されるタスクであり、実際に行われるべきタスクである可能性が高いと推定する。
　本実施形態では、センター２００の操作判断処理部２０７は、ドライバー及びオペレータの発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶された類語・関連語ＤＢ２０８から、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクの単数又は複数のドメインが記憶された類語・関連語ＤＢ２０８から、属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクのドメインを読み出し、ドライバー及びオペレータの発話に含まれる複数の単語について、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補あるいは実際に行なわれるべきタスクをタスクの候補及び実際に行なわれるべきタスクとして推定するため、さらに高精度にタスクの推定を行うことができる。
　尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態では、車載機を用いるドライバーとオペレータ端末を用いるオペレータとの間で対話をする態様について中心に説明したが、例えば、車載機以外にも、発話者の一部又は全部が、何らかの事情により細かい手動による操作が困難な場合においても、本発明は適用可能であり、効果を発揮する。さらに、発話者も２名に限られず、３名以上の発話者からの発話に基づいてタスクを推定することが可能である。
　本発明のオペレーティングシステム及びオペレーティング方法によれば、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
１００　車載機
１０１　マイク
１０２　音響分析処理部（ＤＳＲ－Ｃ）
１０３　ＧＰＳセンサ
１０４　位置情報処理部
１０５　画面出力処理部
１０６　ディスプレイ装置
２００　センター
２０１　語彙ＤＢ
２０２　音声認識処理部（ＤＳＲ－Ｓ）
２０３　キーワード抽出処理部
２０４　行動履歴ＤＢ
２０５　操作履歴ＤＢ
２０６　状況判断処理部
２０７　操作判断処理部
２０８　類語・関連語ＤＢ
２１０　施設情報ＤＢ
３００　オペレータ端末
３０１　ディスプレイ
３０２　マイク
３０３　音響分析処理部

Claims (10)

  1. 　第１発話者の発話に含まれる情報から、要求されるタスクの候補の推定を行う要求タスク推定ユニットを備え、
    　前記要求タスク推定ユニットは、
    　前記第１発話者の発話に含まれる複数の単語を抽出し、
    　前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
    　読み出された単数又は複数の前記属性に関連付けられた前記タスクの候補の単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの候補の前記ドメインを読み出し、
    　前記第１発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、オペレーティングシステム。
  2. 　前記要求タスク推定ユニットは、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、請求項１に記載のオペレーティングシステム。
  3. 　第２発話者の発話に含まれる情報に基づいて、前記要求タスク推定ユニットが推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択ユニットをさらに備えた、請求項１又は２に記載のオペレーティングシステム。
  4. 　前記アクションタスク選択ユニットは、
    　前記第２発話者の発話に含まれる複数の単語を抽出し、
    　前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
    　読み出された単数又は複数の前記属性に関連付けられた前記アクションタスクの単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの前記ドメインを読み出し、
    　前記第２発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項３に記載のオペレーティングシステム。
  5. 　前記アクションタスク選択ユニットは、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項４に記載のオペレーティングシステム。
  6. 　第１発話者の発話に含まれる情報から、要求されるタスクの推定を行う要求タスク推定工程を含み、
    　前記要求タスク推定工程は、
    　前記第１発話者の発話に含まれる複数の単語を抽出し、
    　前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
    　読み出された単数又は複数の前記属性に関連付けられた前記タスクの候補の単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの候補の前記ドメインを読み出し、
    　前記第１発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、オペレーティング方法。
  7. 　前記要求タスク推定工程は、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、請求項６に記載のオペレーティング方法。
  8. 　第２発話者の発話に含まれる情報に基づいて、前記要求タスク推定工程で推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択工程をさらに含む、請求項６又は７に記載のオペレーティング方法。
  9. 　前記アクションタスク選択工程は、
    　前記第２発話者の発話に含まれる複数の単語を抽出し、
    　前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
    　読み出された単数又は複数の前記属性に関連付けられた前記タスクの単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの前記ドメインを読み出し、
    　前記第１発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクを要求タスクに応じた前記タスクとして選択する、請求項８に記載のオペレーティング方法。
  10. 　前記アクションタスク選択工程は、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項９に記載のオペレーティング方法。
PCT/JP2011/059096 2010-04-12 2011-04-12 オペレーティングシステム及びオペレーティング方法 WO2011129335A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180018550.0A CN102844807B (zh) 2010-04-12 2011-04-12 操作系统及操作方法
US13/640,907 US9076451B2 (en) 2010-04-12 2011-04-12 Operating system and method of operating
EP11768856.4A EP2560158B1 (en) 2010-04-12 2011-04-12 Operating system and method of operating

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-091374 2010-04-12
JP2010091374A JP5315289B2 (ja) 2010-04-12 2010-04-12 オペレーティングシステム及びオペレーティング方法

Publications (1)

Publication Number Publication Date
WO2011129335A1 true WO2011129335A1 (ja) 2011-10-20

Family

ID=44798706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/059096 WO2011129335A1 (ja) 2010-04-12 2011-04-12 オペレーティングシステム及びオペレーティング方法

Country Status (5)

Country Link
US (1) US9076451B2 (ja)
EP (1) EP2560158B1 (ja)
JP (1) JP5315289B2 (ja)
CN (1) CN102844807B (ja)
WO (1) WO2011129335A1 (ja)

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
WO2015184186A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
JP6288060B2 (ja) * 2015-12-10 2018-03-07 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6311695B2 (ja) 2015-12-16 2018-04-18 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6323439B2 (ja) 2015-12-17 2018-05-16 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP6481643B2 (ja) * 2016-03-08 2019-03-13 トヨタ自動車株式会社 音声処理システムおよび音声処理方法
JP6187623B1 (ja) 2016-03-14 2017-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
JP6697341B2 (ja) * 2016-07-05 2020-05-20 シャープ株式会社 加熱調理器および調理メニュー提案装置
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
JP6827629B2 (ja) * 2017-08-10 2021-02-10 トヨタ自動車株式会社 情報提供装置、情報提供システム
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10659477B2 (en) * 2017-12-19 2020-05-19 The Boeing Company Method and system for vehicle cyber-attack event detection
JP6904435B2 (ja) * 2017-12-25 2021-07-14 京セラドキュメントソリューションズ株式会社 情報処理装置及び発話解析方法
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US20200043479A1 (en) * 2018-08-02 2020-02-06 Soundhound, Inc. Visually presenting information relevant to a natural language conversation
EP3605527A3 (en) * 2018-08-02 2020-04-15 SoundHound, Inc. Visually presenting information relevant to a natural language conversation
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
KR20200101103A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 방법
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
DE102019216078B3 (de) * 2019-10-18 2021-01-14 Continental Automotive Gmbh Verfahren und Vorrichtung zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11984124B2 (en) 2020-11-13 2024-05-14 Apple Inc. Speculative task flow execution

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333319A (ja) 2003-05-08 2004-11-25 Denso Corp 情報表示装置の遠隔操作システム
JP2008083100A (ja) * 2006-09-25 2008-04-10 Toshiba Corp 音声対話装置及びその方法
JP2008097082A (ja) * 2006-10-06 2008-04-24 Mitsubishi Electric Corp 音声対話装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4581290B2 (ja) 2001-05-16 2010-11-17 パナソニック株式会社 音声認識装置および音声認識方法
JP3799280B2 (ja) * 2002-03-06 2006-07-19 キヤノン株式会社 対話システムおよびその制御方法
JP3948441B2 (ja) 2003-07-09 2007-07-25 松下電器産業株式会社 音声認識方法及び、車載装置
WO2005071665A1 (en) 2004-01-20 2005-08-04 Koninklijke Philips Electronics, N.V. Method and system for determining the topic of a conversation and obtaining and presenting related content
JP4661381B2 (ja) 2005-06-14 2011-03-30 トヨタ自動車株式会社 故障診断装置、故障診断システム、故障診断方法、及び車載装置
DE112008000915T5 (de) * 2007-06-11 2010-04-22 Mitsubishi Electric Corp. Navigationssystem
JP5178109B2 (ja) * 2007-09-25 2013-04-10 株式会社東芝 検索装置、方法及びプログラム
JP4609527B2 (ja) 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004333319A (ja) 2003-05-08 2004-11-25 Denso Corp 情報表示装置の遠隔操作システム
JP2008083100A (ja) * 2006-09-25 2008-04-10 Toshiba Corp 音声対話装置及びその方法
JP2008097082A (ja) * 2006-10-06 2008-04-24 Mitsubishi Electric Corp 音声対話装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2560158A4

Also Published As

Publication number Publication date
JP5315289B2 (ja) 2013-10-16
EP2560158A1 (en) 2013-02-20
CN102844807B (zh) 2014-08-20
CN102844807A (zh) 2012-12-26
JP2011221344A (ja) 2011-11-04
EP2560158A4 (en) 2015-05-13
EP2560158B1 (en) 2018-03-07
US20130103405A1 (en) 2013-04-25
US9076451B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
JP5315289B2 (ja) オペレーティングシステム及びオペレーティング方法
US9020819B2 (en) Recognition dictionary system and recognition dictionary system updating method
US10755702B2 (en) Multiple parallel dialogs in smart phone applications
US8560317B2 (en) Voice recognition apparatus and recording medium storing voice recognition program
JP4260788B2 (ja) 音声認識機器制御装置
JP4802522B2 (ja) 音声入力装置および音声入力方法
US20080177541A1 (en) Voice recognition device, voice recognition method, and voice recognition program
KR20190041569A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
CN101162153A (zh) 一种语音控制的车载gps导航系统及其实现方法
US10515634B2 (en) Method and apparatus for searching for geographic information using interactive voice recognition
EP2660562A1 (en) Route Guidance Apparatus and Method with Voice Recognition
US20200219487A1 (en) Information processing apparatus and information processing method
JP2011179917A (ja) 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体
JP2010217318A (ja) 同乗者検索装置および同乗者検索プログラム
US20200193985A1 (en) Domain management method of speech recognition system
CN114758653A (zh) 对话系统、具有对话系统的车辆以及控制对话系统的方法
CN107885720B (zh) 关键词生成装置以及关键词生成方法
CN107170447B (zh) 声音处理系统以及声音处理方法
JP2011065526A (ja) オペレーティングシステム及びオペレーティング方法
US10832675B2 (en) Speech recognition system with interactive spelling function
WO2011030404A1 (ja) オペレーティングシステム及びオペレーティング方法
JP4611823B2 (ja) 音声認識候補文字列選択装置
JP2009282835A (ja) 音声検索装置及びその方法
JP2009251470A (ja) 車載情報システム
KR20060098673A (ko) 음성 인식 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180018550.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11768856

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011768856

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13640907

Country of ref document: US