JP5419136B2 - Audio output device - Google Patents

Audio output device Download PDF

Info

Publication number
JP5419136B2
JP5419136B2 JP2009071659A JP2009071659A JP5419136B2 JP 5419136 B2 JP5419136 B2 JP 5419136B2 JP 2009071659 A JP2009071659 A JP 2009071659A JP 2009071659 A JP2009071659 A JP 2009071659A JP 5419136 B2 JP5419136 B2 JP 5419136B2
Authority
JP
Japan
Prior art keywords
character string
language
information
string information
represented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009071659A
Other languages
Japanese (ja)
Other versions
JP2010224236A (en
Inventor
文彦 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2009071659A priority Critical patent/JP5419136B2/en
Publication of JP2010224236A publication Critical patent/JP2010224236A/en
Application granted granted Critical
Publication of JP5419136B2 publication Critical patent/JP5419136B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Description

本発明は、音声合成の手法を用いて文字列情報が表わす文字列の読み音を出力させる音声出力装置に関する。   The present invention relates to a speech output device that outputs a reading sound of a character string represented by character string information using a speech synthesis technique.

従来、電子文書（文字列情報にて表わされた文字列）から音声合成して読み音を出力するための音声読み上げ用ファイル（音声データ）を生成し、該音声読み上げ用ファイルを用いて前記電子文書の読み音を出力させるようにした電子文書処理装置が提案されている（特許文献１参照）。この電子文書処理装置では、更に、音声読み上げ用ファイルに電子文書を記述する言語（英語、日本語、フランス語、ドイツ語等）を示す属性情報を付加し、音声出力に際してその属性情報に基づいて使用されるべき音声合成エンジンを選択するようにしている。このような電子文書装置によれば、異なる言語の電子文書であってもその言語にあった的確な読み音を出力させることができるようになる。   Conventionally, a speech reading file (speech data) for generating a speech by synthesizing speech from an electronic document (a character string represented by character string information) is generated, and the speech reading file is used to generate the speech reading file. There has been proposed an electronic document processing apparatus that outputs a reading sound of an electronic document (see Patent Document 1). In this electronic document processing apparatus, attribute information indicating the language (English, Japanese, French, German, etc.) describing the electronic document is added to the file for reading aloud and used based on the attribute information when outputting the voice. A speech synthesis engine to be selected is selected. According to such an electronic document device, even an electronic document in a different language can output an accurate reading sound suitable for the language.

特開２００１−１４３０５号公報JP 2001-14305 A

ところで、カーナビゲーション装置等の車載機器において個人、会社等の住所、電話番号等（文字列情報）を電子アドレスブックとして登録することが知られている。この電子アドレスブックは、ハンズフリーにて携帯電話機を発信する場合や、電話番号からナビゲーションの目的地を設定する場合等に利用することができる。更に、この電子アドレスブックに登録されている氏名、会社名等の名称（文字列）を音声出力すれば、運転中の乗員であっても電子アドレスブックに登録されている氏名、会社名を確認することができる。   By the way, it is known that an in-vehicle device such as a car navigation apparatus registers an address of an individual, a company, a telephone number, etc. (character string information) as an electronic address book. This electronic address book can be used when a mobile phone is transmitted hands-free or when a navigation destination is set from a telephone number. In addition, if a name (character string) such as the name and company registered in this electronic address book is output by voice, the name and company name registered in the electronic address book can be confirmed even if the passenger is driving. can do.

また、電子アドレスブックに複数の言語の文字列情報がランダムに登録されていても、その文字列情報に付加された言語を示す属性情報に基づいて、音声出力の対象となる文字列情報毎に音声合成エンジンを選択することにより、その文字列情報が表わす言語の的確な音声出力が可能になる。   Further, even if character string information of a plurality of languages is randomly registered in the electronic address book, for each character string information to be voice output based on attribute information indicating a language added to the character string information. By selecting the speech synthesis engine, accurate speech output of the language represented by the character string information becomes possible.

しかしながら、電子アドレスブックにランダムに登録されている複数言語の文字列情報を連続的に音声出力する場合、音声出力の対象となる文字列情報の言語が変わる毎に音声合成エンジンを切換えなければならないので、そのランダムに発生する音声合成エンジンの切換え時間によって、氏名や会社名等のスムーズな連続音声出力が妨げられる。   However, when the character string information of a plurality of languages registered at random in the electronic address book is continuously output as speech, the speech synthesis engine must be switched every time the language of the character string information to be output is changed. Therefore, smooth continuous speech output such as name and company name is hindered by the switching time of the speech synthesis engine that occurs randomly.

本発明は、このような事情に鑑みてなされたものであり、複数言語の文字列をよりスムーズに連続的に音声出力することのできる音声出力装置を提供するものである。   The present invention has been made in view of such circumstances, and provides an audio output device that can smoothly and continuously output character strings of a plurality of languages.

本発明に係る音声出力装置は、文字列情報に基づいて文字列情報が表わす文字列の読み音を出力手段から出力させる音声出力装置であって、文字列情報が表わす文字列の予め設定された言語での読み音の音声データを生成する設定言語音声データ生成手段と、前記設定された言語の文字列情報を記憶するとともに、前記設定された言語以外の他言語の文字列情報と、前記他言語の文字列情報が表わす文字列の当該他言語での読み音の音声データとを対応付けて記憶する記憶手段と、前記記憶手段に文字列情報に対応付けて音声データが記憶さている場合、前記音声データに基づいて該文字列情報にて表わされる文字列の読み音を前記出力手段から出力させる第１出力制御手段と、前記記憶手段に文字列情報に対応して音声データが記憶されていない場合、前記設定言語音声データ生成手段にて該文字列情報から音声データを生成させ、該生成された音声データに基づいて当該文字列情報にて表わされる文字列の読み音を前記出力手段から出力させる第２出力制御手段と、文字列情報を取得する文字列情報取得手段と、該取得された文字列情報の言語を表わす言語情報を取得する言語情報取得手段と、取得された言語情報が表わす言語と前記設定された言語とが同じであるか否かを判定する言語判定手段と、前記両言語が同じであるとの判定がなされたときに、前記取得された文字列情報を前記記憶手段に記憶させる第１登録制御手段と、前記両言語が同じでないとの判定がなされたときに、前記文字列情報が表わす文字列の前記取得された言語情報が表わす言語での読み音の音声データを生成する他言語音声データ生成手段と、該他言語音声データ生成手段にて生成された音声データをその元となる文字列情報に対応づけて前記記憶手段に記憶させる第２登録手段とを有する構成となる。
The voice output device according to the present invention is a voice output device for outputting a reading sound of a character string represented by character string information from output means based on character string information, wherein the character string represented by the character string information is preset. Setting language voice data generating means for generating voice data of reading sound in a language, storing character string information of the set language, character string information of a language other than the set language, and the other When the voice data stored in association with the character string information is stored in the storage means and the voice data of the reading sound in the other language of the character string represented by the character string information of the language is stored, First output control means for outputting a reading sound of a character string represented by the character string information based on the voice data from the output means, and voice data corresponding to the character string information is stored in the storage means. If not, to generate the audio data from the character string information in the set language speech data generating means, a sound reading of a character string represented by the character string information based on the audio data said generated from said output means Second output control means for outputting, character string information acquiring means for acquiring character string information, language information acquiring means for acquiring language information representing the language of the acquired character string information, and the acquired language information Language determination means for determining whether or not the language to be expressed is the same as the set language, and when the determination is made that the two languages are the same, the acquired character string information is stored in the memory Sound of reading sound in the language represented by the acquired language information of the character string represented by the character string information when it is determined that the two registration languages are not the same as the first registration control means stored in the means De And a second registration unit for storing the voice data generated by the other language voice data generation unit in the storage unit in association with the original character string information. It becomes the composition which has.

このような構成により、記憶手段に、設定された言語の文字列情報が記憶されるとともに、前記設定された言語以外の他言語の文字列情報と、前記他言語の文字列情報が表わす文字列の当該他言語での読み音の音声データとが対応付けて記憶されているので、記憶手段に記憶されている文字列情報のうち音声データが対応付けられている文字列情報については、その音声データに基づいて対応する当該文字列情報にて表わされる文字列の読み音が出力され（第１出力制御手段による）、記憶手段に記憶されている文字列情報のうち音声データが対応付けられていない文字列情報については、設定言語音声データ生成手段にて当該文字列情報から生成された音声データに基づいてその文字列情報にて表わされる文字列の読み音が出力される（第２出力制御手段による）。

With such a configuration, the character string information of the set language is stored in the storage unit, the character string information of a language other than the set language, and the character string represented by the character string information of the other language Is stored in association with the sound data of the reading sound in the other language, and the character string information associated with the sound data among the character string information stored in the storage means is the sound. The reading sound of the character string represented by the corresponding character string information is output based on the data (by the first output control means), and the voice data is associated with the character string information stored in the storage means. for no character string information, sound reading of a character string represented by the character string information based on the sound data generated from the character string information is output at set language speech data generating means (a By the output control means).

そして、他の装置を用いることなく、記憶手段に、設定された言語の文字列情報を記憶するとともに、前記設定された言語以外の他言語の文字列情報と、前記他言語の文字列情報が表わす文字列の当該他言語での読み音の音声データとが対応付けて記憶することができる。


Then , the character string information of the set language is stored in the storage means without using another device, and the character string information of another language other than the set language and the character string information of the other language are stored. and audio data of reading sound in the other languages of the string represented by the Ru can be stored in association.


また、本発明に係る音声出力装置において、前記第１登録制御手段及び第２登録制御手段のそれぞれは、前記取得された文字列情報に対応付けて前記取得された言語情報を前記記憶手段に記憶させる構成とすることができる。   In the audio output device according to the present invention, each of the first registration control unit and the second registration control unit stores the acquired language information in the storage unit in association with the acquired character string information. It can be set as the structure made to do.

このような構成により、記憶手段に文字列情報とともにその文字列情報の言語を表わす言語情報が記憶されるようになるので、文字列情報の音声出力を行うに際して、その言語情報に基づいて記憶手段に記憶された文字列情報が設定された言語の文字列を表わすものであるか否か、即ち、音声データが対応して記憶されているか否かを容易に判定することができる。   With such a configuration, language information representing the language of the character string information is stored together with the character string information in the storage means. Therefore, when performing voice output of the character string information, the storage means is based on the language information. It is possible to easily determine whether or not the character string information stored in the table represents a character string in the set language, that is, whether or not voice data is stored correspondingly.

更に、本発明に係る音声出力装置において、前記文字列情報は、それが表わす文字列を構成する各文字の文字コードからなり、前記言語情報取得手段は、言語情報と該言語情報にて表わされる言語特有の文字コードとの対応テーブルを有し、前記対応テーブルから前記取得した文字列情報に含まれる文字コードに対応した言語情報を取得する構成とすることができる。   Furthermore, in the audio output device according to the present invention, the character string information is composed of character codes of characters constituting the character string represented by the character string information, and the language information acquisition means is expressed by language information and the language information. A correspondence table with language-specific character codes may be provided, and language information corresponding to the character codes included in the acquired character string information may be obtained from the correspondence table.

このような構成により、登録すべき文字列情報の言語を表わす言語情報をユーザが指定しなくてもその言語情報を取得することができるようになる。   With such a configuration, the language information can be acquired even if the user does not specify language information indicating the language of the character string information to be registered.

本発明に係る音声出力装置によれば、記憶手段に記憶されている文字列情報のうち音声データが対応付けられている文字列情報については、その音声データに基づいて対応する当該文字列情報にて表わされる文字列の読み音が出力され、記憶手段に記憶されている文字列情報のうち音声データが対応付けられていない文字列情報については、設定言語音声データ生成手段にて当該文字列情報から生成された音声データに基づいてその文字列情報にて表わされる文字列の読み音が出力されるので、記憶手段に記憶された文字列情報の音声出力を行うに際して、設定された言語についての設定言語音声データ生成手段（例えば、設定された言語についての音声合成エンジン）から他の言語の音声データを生成するための手段（例えば、他の言語についての音声合成エンジン）に切換えることなく、音声出力させることが可能になり、その結果、複数言語の文字列をよりスムーズに連続的に音声出力することができるようになる。 According to the voice output device according to the present invention, the character string information associated with the voice data among the character string information stored in the storage unit is changed to the corresponding character string information based on the voice data. For the character string information that is not associated with the voice data among the character string information stored in the storage unit, the character string information is output by the set language voice data generation unit. Since the reading sound of the character string represented by the character string information is output based on the voice data generated from the voice data, when performing the voice output of the character string information stored in the storage means, Means for generating speech data of another language (for example, other languages from a set language speech data generating means (for example, a speech synthesis engine for the set language) Without switching to the speech synthesis engine) of have, it becomes possible to audio output, resulting strings for multiple languages more smoothly continuously to be able to audio output.

本発明に係る音声出力装置が適用される車載ナビゲーション装置を示すブロック図である。It is a block diagram which shows the vehicle-mounted navigation apparatus with which the audio | voice output apparatus which concerns on this invention is applied. 名称（文字列）をアドレスブックに登録するための処理手順を示すフローチャートである。It is a flowchart which shows the process sequence for registering a name (character string) to an address book. 言語と、その言語特有となる文字コード（特有文字コード）との関係を表わすテーブルを示す図である。It is a figure which shows the table showing the relationship between a language and the character code (characteristic code) peculiar to the language. ドイツ語の単語Ｇｕｎｔｅｒ（ｕは、ｕウムラウトを表す。以下同様）（文字列）とその文字コードとの関係及びフランス語の単語Ｆｒａｎｃｏｉｓ（ｃは、ｃセディーユを表す。以下同様）（文字列）とその文字コードとの関係を示す図である。Word G u NTER German (the u represents the u-umlaut. Hereinafter the same) (character string) and the relationship and French words Fran c ois with the character code (c represent c cedillas. Hereinafter the same) ( It is a figure which shows the relationship between a character string) and its character code. アドレスブックの内容例を示す図である。It is a figure which shows the example of the content of an address book. アドレスブックに登録された名称（文字列）を音声出力するための処理手順を示すフローチャートである。It is a flowchart which shows the process sequence for carrying out the audio | voice output of the name (character string) registered into the address book.

以下、本発明の実施の形態について図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明の実施の一形態に係る音声出力装置が適用される車載ナビゲーション装置は、図１に示すように構成される。   An in-vehicle navigation device to which an audio output device according to an embodiment of the present invention is applied is configured as shown in FIG.

図１において、車載ナビゲーション装置１００は、コンピュータユニット（ＣＰＵを含む）にて構成される処理ユニット１０を有している。処理ユニット１０には、車両ナビゲーションに必要な位置情報を提供するためのＧＰＳユニット１５、センサ類１６（ジャイロセンサ、加速度センサ等）及び地図情報及び各種情報を記憶する記憶部２０（例えば、ハードディスクユニット）が接続されている。また、処理ユニット１０には、車室内に設けられ、ＬＣＤ等により構成される表示部１２、操作ボタンや表示部１２内に構成されるタッチパネル等の操作部１１、車室内に設けられたスピーカ１４に音声信号を供給する出力回路１３が接続されている。   In FIG. 1, an in-vehicle navigation device 100 has a processing unit 10 composed of a computer unit (including a CPU). The processing unit 10 includes a GPS unit 15 for providing position information necessary for vehicle navigation, sensors 16 (gyro sensor, acceleration sensor, etc.), and a storage unit 20 (for example, a hard disk unit) that stores map information and various information. ) Is connected. Further, the processing unit 10 includes a display unit 12 provided in the vehicle interior and configured by an LCD or the like, an operation unit 11 such as an operation button or a touch panel configured in the display unit 12, and a speaker 14 provided in the vehicle interior. An output circuit 13 for supplying an audio signal is connected.

処理ユニット１０は、ＧＰＳユニット１５及びセンサ類１６からの各種情報及び記憶部２０から読み出した地図情報に基づいて車両ナビゲーションに係る処理を実行し、表示部１２にナビゲーションに係る地図ともに車両位置マーク及び案内経路等を表示させるようになっている。更に、処理ユニット１０は、記憶部２０内に構成されるアドレスブックに氏名（名称）及び電話番号を登録し、そのアドレスブックにおいて指定される氏名（名称）の電話番号からカーナビゲーションの目的地の設定に係る処理を行うことができるようになっている。   The processing unit 10 executes processing related to vehicle navigation based on various information from the GPS unit 15 and sensors 16 and map information read out from the storage unit 20, and the vehicle position mark and the map related to navigation are displayed on the display unit 12. A guide route and the like are displayed. Further, the processing unit 10 registers a name (name) and a telephone number in an address book configured in the storage unit 20, and the destination of the car navigation is determined from the telephone number of the name (name) specified in the address book. Processing related to setting can be performed.

また、処理ユニット１０は、文字列データをその文字列の読み音の音声データに変換する複数言語についてのＴＴＳ（Text to Speech）エンジンを有しており、このＴＴＳエンジンによって、前記アドレスブックに登録された氏名（名称）を表わす文字列の読み音をスピーカ１４から出力させることが可能となっている。なお、前記ＴＴＳエンジンは、プログラム及び各種辞書等のデータベースに基づいた処理ユニット１０の機能として実現される。利用言語が設定されると（通常、車載ナビゲーション装置１００が利用される国の言語が利用言語としてデフォルト設定されている）、その利用言語についてのＴＴＳエンジンがデフォルトのＴＴＳエンジン（以下、設定言語ＴＴＳエンジンという）として設定される。   Further, the processing unit 10 has a TTS (Text to Speech) engine for a plurality of languages for converting character string data into sound data of reading sound of the character string, and is registered in the address book by the TTS engine. It is possible to output a reading sound of a character string representing the name (name) made from the speaker 14. The TTS engine is realized as a function of the processing unit 10 based on a program and a database such as various dictionaries. When the use language is set (usually, the language of the country in which the vehicle-mounted navigation device 100 is used is set as the default use language), the TTS engine for the use language is the default TTS engine (hereinafter, the set language TTS). Engine)).

処理ユニット１０は、図２に示す手順に従って氏名（名称）のアドレスブックへの登録処理を実行する。   The processing unit 10 executes a process for registering a name in the address book according to the procedure shown in FIG.

例えば、乗員は、操作部１１及び表示部１２のヒューマンインターフェース（ＨＭＩ）を利用して、登録すべき氏名（名称）の文字列を表わす文字列データ（文字列情報）及びその言語を表わす言語情報を入力するとともに、その登録要求の操作を行う。このような登録要求に係る操作がなされると、処理ユニット１０は、入力された文字列データを取得するとともに、入力された言語情報の取得処理を実行し（Ｓ２１）、その言語情報の取得に成功したか否かを判定する（Ｓ２２）。言語情報の取得に成功すると（Ｓ２２でＹＥＳ）、処理ユニット１０は、取得した言語情報と、利用言語として設定された言語（例えば、英語）を表わす言語情報とが一致するか否かを判定する（Ｓ２３）。それら両言語情報が一致するとの判定がなされると（Ｓ２３でＹＥＳ）、処理ユニット１０は、前記入力された文字列データと言語情報とを対応付けて記憶部２３にアドレスブックの情報として記憶させる（登録する）（Ｓ２７）。   For example, the occupant uses the human interface (HMI) of the operation unit 11 and the display unit 12 to store character string data (character string information) representing a character string of a name to be registered and language information representing the language. Is entered and the registration request operation is performed. When an operation related to such a registration request is performed, the processing unit 10 acquires the input character string data and executes an acquisition process of the input language information (S21), and acquires the language information. It is determined whether or not it is successful (S22). If the acquisition of the language information is successful (YES in S22), the processing unit 10 determines whether or not the acquired language information matches the language information representing the language (for example, English) set as the use language. (S23). If it is determined that the two language information matches (YES in S23), the processing unit 10 associates the input character string data with the language information and stores them in the storage unit 23 as address book information. (Register) (S27).

一方、前記両言語情報が一致しないとの判定がなされると（Ｓ２３でＮＯ）、処理ユニット１０は、例えば、英語の設定言語ＴＴＳエンジンを前記取得した言語情報にて表わされる言語、例えば、ドイツ語のＴＴＳエンジンに切替える（Ｓ２４）。そして、処理ユニット１０は、その切り替えによって有効となったＴＴＳエンジンを起動させて、取得した文字列データが表わす文字列の前記取得された言語情報が表わす言語（例えば、ドイツ語）での読み音の合成音声データを生成する（Ｓ２５）。そして、処理ユニット１０は、前記取得した文字列データ、生成した合成音声データ及び前記取得した言語情報を対応付けて記憶部２３にアドレスブックの情報として記憶させる（登録する）（Ｓ２６）。   On the other hand, if it is determined that the two language information does not match (NO in S23), the processing unit 10, for example, sets the English language setting language TTS engine to the language represented by the acquired language information, for example, Germany. Switch to the word TTS engine (S24). Then, the processing unit 10 activates the TTS engine that has been activated by the switching, and reads the character string represented by the acquired character string data in the language (for example, German) represented by the acquired language information. Is generated (S25). Then, the processing unit 10 stores (registers) the acquired character string data, the generated synthesized speech data, and the acquired language information as address book information in association with each other (S26).

前述した処理（Ｓ２１〜Ｓ２７）は、乗員によるヒューマンインターフェース（ＨＭＩ）を利用した前記登録要求がなされる毎に実行される。そして、その処理の過程で、乗員が言語情報の入力をし忘れた、あるいは、正確な言語情報の入力がなされなかった等で、言語情報の取得に成功しなかったとの判定がなされると（Ｓ２２でＮＯ）、処理ユニット１０は、前記取得した文字列データを構成する各文字の文字コードと、特有文字コードとして予め登録されている言語特有の文字コードとを比較し（Ｓ２８）、取得した文字列データに登録されている特有文字コードが含まれているか否かを判定する（Ｓ２９）。例えば、図３に示すように、ドイツ語の文字「ｕ」の文字コード「０ｘ００ｆｃ」がドイツ語の特有文字コードとして、また、フランス語の文字「ｃ」の文字コード「０ｘｅ７」がフランス語の特有文字コードとして登録されている。 The above-described processing (S21 to S27) is executed each time the registration request is made using the human interface (HMI) by the occupant. In the process, if it is determined that the occupant forgot to input the language information or the language information was not successfully acquired because the correct language information was not input, etc. ( The processing unit 10 compares the character code of each character constituting the acquired character string data with the language-specific character code registered in advance as the specific character code (S28) and acquires the character code. It is determined whether or not the special character code registered in the character string data is included (S29). For example, as shown in FIG. 3, the character code “0x00fc” of the German character “ u ” is a German specific character code, and the character code “0xe7” of a French character “ c ” is a French special character. It is registered as a code.

取得した文字列データに特有文字コードとして登録されている文字コードが含まれているとの判定を行うと（Ｓ２９でＹＥＳ）、処理ユニット１０は、取得した文字列データ（文字列）をその特殊文字コードに対応した言語であると認識する。例えば、文字列「Ｇｕｎｔｅｒ」を表わす文字列データを取得した場合、その文字列データは、図４（ａ）に示すように、「０ｘ００４７ ０ｘ００ｆｃ ０ｘ００６ｅ ０ｘ００７４ ０ｘ００６５ ０ｘ００７２」の６つの文字コードで構成される。この場合、これら６つの文字コードにドイツ語の特有文字コード「０ｘ００ｆｃ」が含まれることから、処理ユニット１０は、前記６つの文字コードで構成される文字列データ（文字列「Ｇｕｎｔｅｒ」）をドイツ語であると認識する。また、文字列「Ｆｒａｎｃｏｉｓ」を表わす文字列データを取得した場合、その文字列データは、図４（ｂ）に示すように、「０ｘ４６ ０ｘ７２ ０ｘ６１ ０ｘ６ｅ ０ｘｅ７ ０ｘ６ｆ ０ｘ６９ ０ｘ７３」の８つの文字コードで構成される。この場合、これら８つの文字コードにフランス語の特有文字コード「０ｘｅ７」が含まれることから、処理ユニット１０は、前記８つの文字コードで構成される文字列データ（文字列「Ｆｒａｎｃｏｉｓ」）をフランス語であると認識する。 If it is determined that the acquired character string data includes a character code registered as a specific character code (YES in S29), the processing unit 10 uses the acquired character string data (character string) as its special character code. Recognize that the language corresponds to the character code. For example, when acquiring the character string data representing a character string "G u NTER", the character string data, as shown in FIG. 4 (a), consists of six character codes "0x0047 0x00fc 0x006e 0x0074 0x0065 0x0072" Is done. In this case, these six character codes from being included specific character code "0x00fc" in German, the processing unit 10, the six character string data composed of a character code (character string "G u NTER") Is recognized as German. When the character string data representing the character string “Fran c ois” is acquired, the character string data includes eight character codes “0x46 0x72 0x61 0x6e 0xe7 0x6f 0x69 0x73” as shown in FIG. Consists of. In this case, since these eight character codes include the French character code “0xe7”, the processing unit 10 receives character string data (character string “Fran c ois”) composed of the eight character codes. Recognize it as French.

次いで、処理ユニット１０は、このようにして認識した言語と利用言語として予め設定されている言語（例えば、英語）とが一致するか否かを判定し（Ｓ２３）、それらが一致しなければ（Ｓ２３でＮＯ）、前述したのと同様に、英語の設定言語ＴＴＳエンジンから、前記認識した言語のＴＴＳエンジンに切替える（Ｓ２４）。例えば、取得した名称（文字列）が「Ｇｕｎｔｅｒ」であれば、ドイツ語のＴＴＳエンジンに切替えられ、取得した名称（文字列）が「Ｆｒａｎｃｏｉｓ」であれば、フランス語のＴＴＳエンジンに切替えられる。そして、その切り替えによって有効となったＴＴＳエンジンにより、前記取得した文字列データが表わす文字列の前記認識された言語（例えば、ドイツ語）での読み音の合成音声データが生成され（Ｓ２５）、前記取得した文字列データ、生成した合成音声データ及び前記認識した言語情報が対応付けられて記憶部２３にアドレスブックの情報として記憶される（登録される）（Ｓ２６）。 Next, the processing unit 10 determines whether or not the language recognized in this way matches a language (for example, English) preset as a use language (S23), and if they do not match (S23) In the same manner as described above, the English setting language TTS engine is switched to the recognized language TTS engine (S24). For example, if the acquired name (character string) "G u NTER", is switched to the German TTS engine, if acquired name (character string) "Fran c ois", the French TTS engine Switched. Then, the synthesized voice data of the reading sound in the recognized language (for example, German) of the character string represented by the acquired character string data is generated by the TTS engine enabled by the switching (S25), The acquired character string data, the generated synthesized speech data, and the recognized language information are associated (stored) as address book information in the storage unit 23 (S26).

上述したような名称（文字列）のアドレスブックへの登録処理により、例えば、図５に示すようなアドレスブックが記憶部２０に生成される。図５において、利用言語（英語）の名称「Nancy」、「Robert」については、その名称（文字列データ）と、言語情報「英語」と「電話番号」とが１つのレコードの情報として記憶され、また、利用言語（英語）以外の言語であるドイツ語の名称「Ｇｕｎｔｅｒ」、フランス語の名称「Ｆｒａｎｃｏｉｓ」については、その名称（文字列データ）と、言語情報「ドイツ語」、「フランス語」と、「電話番号」とに加えてＴＴＳ合成音声データ「Vos 1」、「Vos 2」が１つのレコードの情報として記憶される。 By the process of registering the name (character string) in the address book as described above, for example, an address book as shown in FIG. In FIG. 5, for the names “Nancy” and “Robert” of the language used (English), the names (character string data) and the language information “English” and “phone number” are stored as information of one record. , in addition, the name "G u nter" of German is a language other than the use of language (English), for the French name "Fran c ois", and its name (character string data), language information "German", In addition to “French” and “telephone number”, TTS synthesized voice data “Vos 1” and “Vos 2” are stored as information of one record.

なお、図２では、「電話番号」を登録するための処理ステップについては図示が省略されている。   In FIG. 2, the processing steps for registering the “telephone number” are not shown.

アドレスブックへの登録処理が終了した状態で、乗員がアドレスブックに登録された名称（文字列）の再生要求を操作部１１及び表示部１２のヒューマンインターフェース（ＨＭＩ）を利用して行うと、処理ユニット１０は、図６に示す手順に従って、アドレスブックに登録された名称を音声出力する処理を実行する。   When the passenger makes a reproduction request for the name (character string) registered in the address book using the human interface (HMI) of the operation unit 11 and the display unit 12 in a state where the registration process to the address book is completed, The unit 10 executes a process of outputting the name registered in the address book by voice according to the procedure shown in FIG.

図６において、処理ユニット１０は、記憶部２０に格納されたアドレスブックからレコード単位に読み出し処理を実行する過程で、まず、対象レコードの名称（文字列データ）及び言語情報を取得し（Ｓ４１）、設定言語ＴＴＳエンジンの利用言語（例えば、英語）を取得する（Ｓ４２）。処理ユニット１０は、アドレスブックから取得した言語情報で表される言語と利用言語とが一致するか否かを判定する（Ｓ４３）。両言語が一致すると（Ｓ４３でＹＥＳ）、処理ユニット１０は、アドレスブックから取得した文字列データ（名称）が表わす文字列の利用言語（英語）での読み音の合成音声データを生成し、その合成音声データに基づいた音声信号を出力回路１３からスピーカ１４に供給することで、前記アドレスブックから取得した名称（文字列）の読み音をスピーカ１４から出力させる（Ｓ４４）。例えば、図５に示すアドレスブックに登録された名称「Robert」の英語での読み音がスピーカ１４から出力される。   In FIG. 6, the processing unit 10 first acquires the name (character string data) and language information of the target record in the process of executing the reading process from the address book stored in the storage unit 20 in units of records (S41). Then, the language (for example, English) of the set language TTS engine is acquired (S42). The processing unit 10 determines whether or not the language represented by the language information acquired from the address book matches the language used (S43). If the two languages match (YES in S43), the processing unit 10 generates synthesized speech data of the reading sound in the language (English) of the character string represented by the character string data (name) acquired from the address book, By supplying an audio signal based on the synthesized audio data from the output circuit 13 to the speaker 14, the reading sound of the name (character string) acquired from the address book is output from the speaker 14 (S44). For example, the reading sound in English of the name “Robert” registered in the address book shown in FIG.

一方、前記アドレスブックから取得した言語情報で表わされる言語と利用言語とが一致しない場合（Ｓ４３でＮＯ）、アドレスブックには取得した名称（文字列）に対応したＴＴＳ合成音声データが登録されているので、処理ユニット１０は、その登録されているＴＴＳ音声データを読み出し、そのＴＴＳ合成音声データに基づいた音声信号を出力回路１３を介してスピーカ１４に供給する（Ｓ４５）。その結果、アドレスブックから取得した名称（文字列）の読み音がスピーカ１４から出力される。例えば、図５に示すアドレスブックに登録された名称「Ｇｕｎｔｅｒ」や「Ｆｒａｎｃｏｉｓ」は、その登録時にドイツ語やフランス語のＴＴＳエンジンにて作成された合成音声データに基づいてドイツ語やフランス語での読み音としてスピーカ１４から出力される。 On the other hand, if the language represented by the language information acquired from the address book does not match the language used (NO in S43), TTS synthesized speech data corresponding to the acquired name (character string) is registered in the address book. Therefore, the processing unit 10 reads the registered TTS audio data and supplies an audio signal based on the TTS synthesized audio data to the speaker 14 via the output circuit 13 (S45). As a result, the reading sound of the name (character string) acquired from the address book is output from the speaker 14. For example, the name "G u NTER" and "Fran c ois" registered in the address book shown in FIG. 5, German Ya based on the synthesized speech data generated by the German and French TTS engine when the registration It is output from the speaker 14 as a reading sound in French.

処理ユニット１０は、前述したようにアドレスブックに登録された名称の音声出力が終了すると、操作部１１での選択操作がなされたか否かを判定し（Ｓ４６）、選択操作がなされていなければ（Ｓ４６でＮＯ）、アドレスブックの以降のレコードについて同様の処理（Ｓ４１〜Ｓ４３、及びＳ４４またはＳ４５）が順次実行される。その結果、アドレスブックに登録された名称が音声にて順次出力される。   When the voice output of the name registered in the address book is completed as described above, the processing unit 10 determines whether or not the selection operation has been performed on the operation unit 11 (S46), and if the selection operation has not been performed (S46). The same processing (S41 to S43 and S44 or S45) is sequentially executed for the subsequent records in the address book. As a result, the names registered in the address book are sequentially output by voice.

このアドレスブックに登録されている名称の音声出力を聞いている乗員は、その名称に対応した電話番号にて目的地設定をする場合、該当する名称の音声出力がなされたときに操作部１１にて所定の選択操作を行うことができる。処理ユニット１０は、その選択操作がなされたことを検出すると（Ｓ４６でＹＥＳ）、前述した音声出力の処理を終了する。なお、処理ユニット１０は、選択操作がなされた直前に音声出力した名称に対応して登録されている電話番号（図５参照）を前述した目的地設定の処理に提供する。   When an occupant who is listening to voice output of a name registered in this address book sets a destination with a telephone number corresponding to the name, when the voice output of the corresponding name is output, Thus, a predetermined selection operation can be performed. When the processing unit 10 detects that the selection operation has been performed (YES in S46), it ends the above-described audio output processing. The processing unit 10 provides a telephone number (see FIG. 5) registered corresponding to the name output by voice immediately before the selection operation is performed to the destination setting process described above.

前述した本発明の実施の形態に係る音声出力装置（車載ナビゲーション装置１００）では、利用言語以外の他言語の名称（文字列）については、そのアドレスブック（記憶部２０）への登録時に当該他言語のＴＴＳエンジンを利用して作成された合成音声データが、当該名称と対応づけられて登録されているので、アドレスブックに登録されている名称の音声出力時には、複数の言語の名称が登録されていたとしても、利用言語（英語）の設定言語ＴＴＳエンジンしか用いられず、ＴＴＳエンジンの切り替え処理はなされない。その結果、種々の言語の名称（文字列）の読み音を連続して出力するに際して、ＴＴＳエンジンを切替えるための時間が必要なく、その分、名称（文字列）のよりスムーズな音声出力が可能となる。   In the voice output device (in-vehicle navigation device 100) according to the above-described embodiment of the present invention, the name (character string) of a language other than the usage language is not registered when it is registered in the address book (storage unit 20). Since the synthesized speech data created using the language TTS engine is registered in association with the name, the names of a plurality of languages are registered when outputting the names registered in the address book. Even so, only the setting language TTS engine of the language used (English) is used, and the switching process of the TTS engine is not performed. As a result, there is no need for time to switch the TTS engine when reading sounds of names (character strings) in various languages continuously, and smoother voice output of names (character strings) is possible. It becomes.

なお、前述した実施の形態では、車載ナビゲーション装置１００（音声出力装置）に名称のアドレスブックへの登録機能があったが、図５に示すような構造のアドレスブック全体を別の装置（コンピュータ）で生成し、そのアドレスブックの情報を通信あるいは記録媒体（ＵＳＢメモリ等）を介して記憶部２０に取り込むようにしてもよい。また、名称及び電話番号等の登録も携帯電話機やＵＳＢメモリ等の記録媒体から記憶部２０内のアドレスブックにインポートするように構成することもできる。   In the above-described embodiment, the in-vehicle navigation device 100 (voice output device) has a function of registering the name in the address book. However, the entire address book having a structure as shown in FIG. And the address book information may be taken into the storage unit 20 via communication or a recording medium (USB memory or the like). Also, registration of names, telephone numbers, and the like can also be configured to be imported into the address book in the storage unit 20 from a recording medium such as a mobile phone or a USB memory.

図６に示す音声出力処理では、アドレスブックに登録された言語情報と利用言語との比較結果に応じて設定言語ＴＴＳエンジンを利用するか否かを決めていたが、ＴＴＳ合成音声データが記憶されているか否かの判定結果に応じて設定言語ＴＴＳエンジンを利用するか否かを決めることもできる。   In the voice output process shown in FIG. 6, whether or not to use the set language TTS engine is determined according to the comparison result between the language information registered in the address book and the language used, but the TTS synthesized voice data is stored. Whether or not to use the setting language TTS engine can also be determined according to the determination result of whether or not it is.

前述した実施の形態に係る音声出力装置は、車載ナビゲーション装置１００に適用したものであるが、本発明はこれに限定されず、他の電子機器に適用すること、あるいは、音声出力装置自体として構成することも可能である。   The audio output device according to the above-described embodiment is applied to the in-vehicle navigation device 100, but the present invention is not limited to this, and can be applied to other electronic devices or configured as the audio output device itself. It is also possible to do.

以上説明したように、本発明に係る音声出力装置は、複数言語の文字列をよりスムーズに連続的に音声出力することのできるという効果を有し、音声合成の手法を用いて文字列情報が表わす文字列の読み音を出力させる音声出力装置として有用である。   As described above, the speech output device according to the present invention has the effect of being able to continuously and smoothly output a character string of a plurality of languages, and character string information is obtained using a speech synthesis method. This is useful as a voice output device that outputs a reading sound of a character string to be represented.

１０ 処理ユニット
１１ 操作部
１２ 表示部
１３ 出力回路
１４ スピーカ
１５ ＧＰＳユニット
１６ センサ類（ジャイロセンサ・加速度センサ）
２０ 記憶部（Ｓｔｒａｇｅ Ｍｅｄｉａ）
１００ 車載ナビゲーション装置 DESCRIPTION OF SYMBOLS 10 Processing unit 11 Operation part 12 Display part 13 Output circuit 14 Speaker 15 GPS unit 16 Sensors (gyro sensor / acceleration sensor)
20 Storage unit (Storage Media)
100 Car navigation system

Claims (3)

文字列情報に基づいて文字列情報が表わす文字列の読み音を出力手段から出力させる音声出力装置であって、
文字列情報が表わす文字列の予め設定された言語での読み音の音声データを生成する設定言語音声データ生成手段と、
前記設定された言語の文字列情報を記憶するとともに、前記設定された言語以外の他言語の文字列情報と、前記他言語の文字列情報が表わす文字列の当該他言語での読み音の音声データとを対応付けて記憶する記憶手段と、
前記記憶手段に文字列情報に対応付けて音声データが記憶さている場合、前記音声データに基づいて該文字列情報にて表わされる文字列の読み音を前記出力手段から出力させる第１出力制御手段と、
前記記憶手段に文字列情報に対応して音声データが記憶されていない場合、前記設定言語音声データ生成手段にて該文字列情報から音声データを生成させ、該生成された音声データに基づいて当該文字列情報にて表わされる文字列の読み音を前記出力手段から出力させる第２出力制御手段と、
文字列情報を取得する文字列情報取得手段と、
該取得された文字列情報の言語を表わす言語情報を取得する言語情報取得手段と、
取得された言語情報が表わす言語と前記設定された言語とが同じであるか否かを判定する言語判定手段と、
前記両言語が同じであるとの判定がなされたときに、前記取得された文字列情報を前記記憶手段に記憶させる第１登録制御手段と、
前記両言語が同じでないとの判定がなされたときに、前記文字列情報が表わす文字列の前記取得された言語情報が表わす言語での読み音の音声データを生成する他言語音声データ生成手段と、
該他言語音声データ生成手段にて生成された音声データをその元となる文字列情報に対応づけて前記記憶手段に記憶させる第２登録手段とを有する音声出力装置。
An audio output device for outputting a reading sound of a character string represented by character string information from output means based on character string information,
A set language voice data generating means for generating voice data of a reading sound in a preset language of a character string represented by the character string information;
The character string information of the set language is stored, the character string information of another language other than the set language, and the sound of the reading sound in the other language of the character string represented by the character string information of the other language Storage means for storing data in association with each other;
When voice data is stored in association with the character string information in the storage means, a first output control means for outputting a reading sound of the character string represented by the character string information from the output means based on the voice data When,
When speech data corresponding to the character string information is not stored in the storage unit, the setting language speech data generation unit generates speech data from the character string information, and the speech data is generated based on the generated speech data. Second output control means for outputting the reading sound of the character string represented by the character string information from the output means;
Character string information acquisition means for acquiring character string information;
Language information acquisition means for acquiring language information representing the language of the acquired character string information;
Language determination means for determining whether or not the language represented by the acquired language information is the same as the set language;
A first registration control means for storing the acquired character string information in the storage means when it is determined that the two languages are the same;
When it is determined that the two languages are not the same, another language voice data generating means for generating voice data of reading sounds in the language represented by the acquired language information of the character string represented by the character string information; ,
A voice output apparatus comprising: a second registration unit that stores the voice data generated by the other language voice data generation unit in the storage unit in association with the character string information that is the source of the voice data.
前記第１登録制御手段及び第２登録制御手段のそれぞれは、前記取得された文字列情報に対応付けて前記取得された言語情報を前記記憶手段に記憶させる請求項１記載の音声出力装置。 Wherein each of the first registration control means and the second register control means, an audio output device according to claim 1, wherein for storing language information the acquired in association with the acquired character string information in the storage means. 前記文字列情報は、それが表わす文字列を構成する各文字の文字コードからなり、
前記言語情報取得手段は、言語情報と該言語情報にて表わされる言語特有の文字コードとの対応テーブルを有し、
前記対応テーブルから前記取得した文字列情報に含まれる文字コードに対応した言語情報を取得する請求項１または２記載の音声出力装置。 The character string information is composed of character codes of characters constituting the character string represented by the character string information,
The language information acquisition means has a correspondence table between language information and language-specific character codes represented by the language information,
The obtained from the correspondence table language information corresponding to the character code included in the acquired character string information according to claim 1 or 2 audio output apparatus according.
JP2009071659A 2009-03-24 2009-03-24 Audio output device Expired - Fee Related JP5419136B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009071659A JP5419136B2 (en) 2009-03-24 2009-03-24 Audio output device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009071659A JP5419136B2 (en) 2009-03-24 2009-03-24 Audio output device

Publications (2)

Publication Number Publication Date
JP2010224236A JP2010224236A (en) 2010-10-07
JP5419136B2 true JP5419136B2 (en) 2014-02-19

Family

ID=43041479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009071659A Expired - Fee Related JP5419136B2 (en) 2009-03-24 2009-03-24 Audio output device

Country Status (1)

Country Link
JP (1) JP5419136B2 (en)

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR20240132105A (en) 2013-02-07 2024-09-02 애플 인크. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101772152B1 (en) 2013-06-09 2017-08-28 애플 인크. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014003653B4 (en) 2013-08-06 2024-04-18 Apple Inc. Automatically activate intelligent responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
JP6422647B2 (en) * 2013-12-13 2018-11-14 眞理子 溝口 Two-dimensional code recording method and two-dimensional code reader
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
CN110797019B (en) 2014-05-30 2023-08-29 苹果公司 Multi-command single speech input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. Low-latency intelligent automated assistant
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. Far-field extension for digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (en) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. Virtual assistant operation in multi-device environments
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221980A (en) * 2001-01-25 2002-08-09 Oki Electric Ind Co Ltd Text voice converter

Also Published As

Publication number Publication date
JP2010224236A (en) 2010-10-07

Similar Documents

Publication Publication Date Title
JP5419136B2 (en) Audio output device
US9389755B2 (en) Input apparatus, input method, and input program
US20080040096A1 (en) Machine Translation System, A Machine Translation Method And A Program
US20090234565A1 (en) Navigation Device and Method for Receiving and Playing Sound Samples
KR101567449B1 (en) E-Book Apparatus Capable of Playing Animation on the Basis of Voice Recognition and Method thereof
JP3726783B2 (en) Voice recognition device
JP4942406B2 (en) Navigation device and voice output method thereof
JP4525376B2 (en) Voice-number conversion device and voice-number conversion program
JP2008021235A (en) Reading and registration system, and reading and registration program
JP3718088B2 (en) Speech recognition correction method
JP2007187687A (en) Speech conversion processing apparatus
JP2011180416A (en) Voice synthesis device, voice synthesis method and car navigation system
JP5522679B2 (en) Search device
JP4859642B2 (en) Voice information management device
JP2020140374A (en) Electronic book reproducing device and digital book reproducing program
JP2015129672A (en) Facility retrieval apparatus and method
JP2007322308A (en) Navigation system and navigation apparatus
JP4203984B2 (en) Voice input device and voice input reception method
JP5295699B2 (en) Car audio system
JP2006260210A (en) Character input device
JP4389516B2 (en) Audio data output device
JP2010004320A (en) Communication device
JP4964574B2 (en) Information processing apparatus and method for registering speech reading vocabulary
JP2006098552A (en) Speech information generating device, speech information generating program and speech information generating method
JP2018156278A (en) Information display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131114

R150 Certificate of patent or registration of utility model

Ref document number: 5419136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees