RU2320082C2 - Method and device for providing a text message - Google Patents

Method and device for providing a text message Download PDF

Info

Publication number
RU2320082C2
RU2320082C2 RU2006113581/09A RU2006113581A RU2320082C2 RU 2320082 C2 RU2320082 C2 RU 2320082C2 RU 2006113581/09 A RU2006113581/09 A RU 2006113581/09A RU 2006113581 A RU2006113581 A RU 2006113581A RU 2320082 C2 RU2320082 C2 RU 2320082C2
Authority
RU
Russia
Prior art keywords
message
templates
speech
template
user
Prior art date
Application number
RU2006113581/09A
Other languages
Russian (ru)
Other versions
RU2006113581A (en
Inventor
Ясинь ЧЖАН (AU)
Ясинь ЧЖАН
Синь ХЭ (CN)
Синь ХЭ
С о-Линь ЖЭНЬ (CN)
Сяо-Линь ЖЭНЬ
Фан СУНЬ (CN)
Фан СУНЬ
Original Assignee
Моторола, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Моторола, Инк. filed Critical Моторола, Инк.
Publication of RU2006113581A publication Critical patent/RU2006113581A/en
Application granted granted Critical
Publication of RU2320082C2 publication Critical patent/RU2320082C2/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

FIELD: engineering of receiver-transmitters with possible presentation of text message with utilization of voice signal.
SUBSTANCE: in accordance to the method, trustworthiness estimate is computed, which is used to estimate the quality of correspondence between user-determined template of message and vectors of signs of received fragment of speech, received by means of digitization and segmentation of a fragment of speech; estimate of trustworthiness is compared to set threshold value and if the trustworthiness estimate exceeds the set threshold value, then the template of the message is added to the list of selected message templates, in opposite case the template is declined; and the text message is presented to user in accordance to the list of selected message templates.
EFFECT: simplified composition of short text messages and increased personification of same.
2 cl, 4 dwg

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕFIELD OF THE INVENTION

Изобретение относится к способу и устройству для предоставления текстового сообщения с использованием голосового сигнала. Изобретение, в частности, полезно, но необязательно в качестве ограничения, для предоставления текстового сообщения с использованием голосовых входных данных, обрабатываемых портативным электронным устройством, имеющим ограниченную память и вычислительные возможности.The invention relates to a method and apparatus for providing a text message using a voice signal. The invention, in particular, is useful, but not necessary as a limitation, for providing a text message using voice input processed by a portable electronic device having limited memory and computing capabilities.

УРОВЕНЬ ТЕХНИКИBACKGROUND

Обмен короткими текстовыми сообщениями, зачастую с использованием формата службы коротких сообщений (SMS), является очень популярным приложением в беспроводной связи. Биллионы коротких текстовых сообщений отправляются каждый месяц, обычно с одного мобильного телефона на другой. Такие текстовые сообщения популярны по нескольким причинам. Сообщения, как правило, составляют долю от стоимости одноминутного вызова мобильного телефона, и они не требуют тонального сигнала готовности для отправки или приема. Поэтому сообщения могут быть созданы и отправлены в момент времени, который удобен отправителю, а приняты и прочитаны в момент времени, который удобен получателю.Short text messaging, often using the Short Message Service (SMS) format, is a very popular wireless application. Billions of short text messages are sent each month, usually from one mobile phone to another. Such text messages are popular for several reasons. Messages, as a rule, make up a fraction of the cost of a one-minute call to a mobile phone, and they do not require a dial tone for sending or receiving. Therefore, messages can be created and sent at a point in time that is convenient for the sender, and received and read at a point in time that is convenient for the recipient.

Текстовые сообщения, как правило, создаются посредством набора символов на кнопочной панели мобильного телефона. Однако использование таких малогабаритных кнопочных панелей с нестандартным расположением клавиш для составления сообщения может быть неудобным и, как правило, требует больше времени, чем могло бы потребоваться при использовании полноразмерной клавиатуры со стандартным расположением клавиш. Но, несомненно, является непрактичным иметь полноразмерную клавиатуру, присоединенную к мобильному телефону. Таким образом, есть потребность в более эффективном способе составления коротких текстовых сообщений.Text messages are usually created by typing characters on the keypad of a mobile phone. However, the use of such small-sized keypads with a non-standard key layout for composing a message can be inconvenient and, as a rule, requires more time than might be required when using a full-sized keyboard with a standard key layout. But it is undoubtedly impractical to have a full-sized keyboard attached to a mobile phone. Thus, there is a need for a more efficient way to compose short text messages.

Кроме того, несмотря на то что различные типы систем распознавания речи хорошо известны, большинство не пригодны для использования в портативных электронных устройствах, таких как мобильные телефоны. Это происходит потому, что системы распознавания речи известного уровня техники, как правило, требуют большей вычислительной мощности и памяти, чем имеется в распоряжении в портативных электронных устройствах.In addition, although various types of speech recognition systems are well known, most are not suitable for use in portable electronic devices such as mobile phones. This is because prior art speech recognition systems typically require more processing power and memory than are available in portable electronic devices.

Раскрытые в известном уровне техники словарные системы и способы распознавания речи используют предопределенный, фиксированный словарный перечень. В употреблении фиксированный словарный перечень может быть большим, но не может быть исчерпывающим, а поэтому, например, фамилия лица и наименования многих местоположений могут не быть включенными в состав. В противоположность, открытые словарные системы и способы распознавания речи содержат изменяемый словарный перечень, к которому новые слова и фразы могут быть добавлены пользователем или кем-либо другим. Однако современные открытые словарные системы и способы распознавания речи требуют относительно больших вычислительных накладных расходов, которые могут быть неприемлемыми для портативных электронных устройств, таких как персональные цифровые секретари, радиотелефоны и другие портативные устройства.Disclosed in the prior art vocabulary systems and methods for speech recognition use a predefined, fixed vocabulary list. In use, a fixed vocabulary list can be large, but cannot be exhaustive, and therefore, for example, the name of the person and the names of many locations may not be included. In contrast, open vocabulary systems and speech recognition methods comprise a variable vocabulary to which new words and phrases can be added by the user or by someone else. However, modern open vocabulary systems and speech recognition methods require relatively large computational overheads, which may be unacceptable for portable electronic devices such as personal digital assistants, cordless telephones and other portable devices.

В этом патентном описании, в том числе в формуле изобретения, термины «содержит», «содержащий» или подобные термины предназначены для обозначения неисключительного включения, так что способ или устройство, которое содержит номенклатуру элементов, не включает в себя исключительно эти элементы, а на самом деле может включать в себя другие, не перечисленные элементы.In this patent description, including in the claims, the terms “comprises”, “comprising” or similar terms are intended to mean non-exclusive inclusion, so that a method or device that contains a list of elements does not exclusively include these elements, but rather may in fact include other items not listed.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

В соответствии с одним из аспектов изобретения, предусмотрен способ предоставления текстового сообщения. Способ включает в себя этапы приема фрагмента речи на входе электронного устройства. Затем над фрагментом речи выполняется распознавание речи, управляемое определенными пользователем шаблонами сообщений, сохраненными в памяти, ассоциированной с электронным устройством, при этом распознавание речи определено сопоставлением фрагмента речи с одним из шаблонов для создания шаблона сопоставления. Затем по шаблону сопоставления предоставляется текстовое сообщение.In accordance with one aspect of the invention, a method for providing a text message is provided. The method includes the steps of receiving a piece of speech at the input of an electronic device. Then, a speech recognition is performed on the speech fragment, controlled by user-defined message templates stored in the memory associated with the electronic device, and the speech recognition is determined by matching the speech fragment with one of the templates to create a mapping template. Then, a text message is provided by the pattern matching.

По меньшей мере один из шаблонов сообщений может включать в себя фиксированный языковый компонент.At least one of the message templates may include a fixed language component.

По меньшей мере один из шаблонов сообщений может включать в себя изменяемый языковый компонент.At least one of the message templates may include a mutable language component.

По меньшей мере один из шаблонов сообщений может включать в себя оба, фиксированный и изменяемый, языковых компонента.At least one of the message templates may include both fixed and variable language components.

Текстовое сообщение может быть SMS-сообщением.The text message may be an SMS message.

Вышеприведенный способ также может включать в себя этап редактирования определенного пользователем шаблона сообщения посредством приема набранных символов с кнопочной панели электронного устройства.The above method may also include the step of editing a user-defined message template by receiving dialed characters from a keypad of an electronic device.

Компонент текстового сообщения может быть транскрипцией фрагмента речи.The text message component may be a transcription of a piece of speech.

Вся совокупность текстового сообщения может быть транскрипцией фрагмента речи.The entire totality of a text message can be a transcription of a fragment of speech.

Согласно еще одному аспекту изобретения предусмотрено электронное устройство для предоставления текстового сообщения. Устройство включает в себя микрофон, действующий, чтобы принимать фрагмент речи; энергонезависимую память для сохранения шаблонов сообщений; и процессор, действующий, чтобы выполнять речевое распознавание фрагмента речи, управляемое шаблонами сообщений, при этом процессор является действующим, чтобы сопоставлять фрагмент речи с одним из шаблонов для создания шаблона сопоставления, чтобы предоставлять текстовое сообщение по шаблону сопоставления.According to another aspect of the invention, an electronic device for providing a text message is provided. The device includes a microphone operable to receive a portion of speech; non-volatile memory for saving message templates; and a processor operable to perform speech recognition of the speech fragment driven by the message patterns, wherein the processor is operable to match the speech fragment to one of the patterns to create a matching pattern to provide a text message by the matching pattern.

Что касается электронного устройства, шаблоны сообщений также могут включать в себя фиксированный или изменяемый языковые компоненты или оба, фиксированный и изменяемый, языковые компоненты.As for the electronic device, message templates may also include fixed or variable language components, or both, fixed and variable, language components.

Что касается электронного устройства, текстовое сообщение может быть SMS-сообщением.As for the electronic device, the text message may be an SMS message.

Электронное устройство может включать в себя кнопочную панель, действующую, чтобы редактировать шаблон сообщения.The electronic device may include a keypad operable to edit a message template.

Электронное устройство может быть действующим, чтобы сопоставлять фрагмент речи с большим количеством шаблонов и вычислять оценку правдоподобия для каждого из шаблонов.An electronic device may be operable to match a speech fragment to a large number of patterns and calculate a likelihood score for each of the patterns.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

С тем чтобы изобретение могло быть без труда понято и приведено в практическое исполнение, далее будет произведена ссылка на предпочтительные варианты осуществления, которые проиллюстрированы со ссылкой на сопроводительные чертежи, на которых:So that the invention can be easily understood and put into practice, reference will now be made to preferred embodiments, which are illustrated with reference to the accompanying drawings, in which:

Фиг.1 - принципиальная структурная схема радиотелефона в соответствии с настоящим изобретением;Figure 1 is a schematic structural diagram of a radiotelephone in accordance with the present invention;

Фиг.2 - блок-схема последовательности операций способа, иллюстрирующая способ для предоставления, редактирования и передачи текстового сообщения в соответствии с настоящим изобретением;2 is a flowchart illustrating a method for providing, editing, and transmitting a text message in accordance with the present invention;

Фиг.3 - блок-схема последовательности операций способа, которая иллюстрирует способ для предоставления списка отобранных шаблонов сообщений пользователю в соответствии с настоящим изобретением; иFigure 3 is a flowchart that illustrates a method for providing a list of selected message templates to a user in accordance with the present invention; and

Фиг.4 - блок-схема последовательности операций способа, иллюстрирующая способ для предоставления пользователю возможности редактировать существующие шаблоны сообщений и сохранять новые шаблоны в статической программируемой памяти в соответствии с настоящим изобретением.4 is a flowchart illustrating a method for enabling a user to edit existing message templates and save new templates in static program memory in accordance with the present invention.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS

Со ссылкой на фиг.1 проиллюстрирован радиотелефон 100, содержащий узел 105 радиочастотной связи, присоединенный, чтобы быть на связи с процессором 110. Интерфейсы ввода/вывода (I/O) в виде дисплея 115, кнопочной панели 120, микрофона 190 и динамика 195 также присоединены, чтобы быть на связи с процессором 110.With reference to FIG. 1, a radiotelephone 100 is illustrated comprising a radio frequency communication unit 105 connected to be in communication with a processor 110. The input / output (I / O) interfaces in the form of a display 115, a keypad 120, a microphone 190, and a speaker 195 also connected to be in communication with the processor 110.

Процессор 110 содержит кодировщик/декодер 125 с ассоциативно связанным постоянным запоминающим устройством (ПЗУ, ROM), хранящим данные для кодирования и декодирования голоса или других сигналов, которые могут быть переданы или приняты радиотелефоном 100. Процессор 110 также включает в себя микропроцессор 135, присоединенный посредством общей шины 140 данных и адреса к кодировщику/декодеру 125 и ассоциативно связанному символьному постоянному запоминающему устройству (ПЗУ) 145, оперативному запоминающему устройству (ОЗУ, RAM) 150, статической программируемой памяти 155 и съемному SIM-модулю 160 (модулю идентификации абонента). Статическая программируемая память 155 и SIM-модуль 160, каждый может хранить, среди прочего, выбранные поступающие текстовые сообщения, базу данных телефонного справочника и, как более подробно описано ниже, шаблоны исходящих текстовых сообщений. Микропроцессор 135 имеет порты для присоединения к кнопочной панели 120, дисплею 115 и модулю 165 предупредительной сигнализации, который типично содержит динамик, двигатель вибратора и ассоциированные приводы. Символьное постоянное запоминающее устройство 145 хранит код для декодирования или кодирования текстовых сообщений, которые могут быть приняты узлом 105 связи, вводимых с кнопочной панели 120.The processor 110 comprises an encoder / decoder 125 with an associative read only memory (ROM) storing data for encoding and decoding voice or other signals that may be transmitted or received by the radiotelephone 100. The processor 110 also includes a microprocessor 135 connected via a common data bus 140 and an address to an encoder / decoder 125 and an associated symbolic read-only memory (ROM) 145, random access memory (RAM) 150, a static program uemoy memory 155 and a removable SIM-module 160 (subscriber identity module). Static programmable memory 155 and SIM module 160, each can store, among other things, selected incoming text messages, a telephone directory database and, as described in more detail below, outgoing text message templates. The microprocessor 135 has ports for connection to a keypad 120, a display 115, and an alarm module 165, which typically includes a speaker, a vibrator motor, and associated drives. The character read-only memory 145 stores a code for decoding or encoding text messages that can be received by the communication unit 105 input from the keypad 120.

Узел 105 радиочастотной связи является комбинированными приемником и передатчиком, имеющими общую антенну 170. Узел 105 связи содержит приемопередатчик 175, присоединенный к антенне 170 через радиочастотный усилитель 180. Приемопередатчик 175 также присоединен к комбинированному модулятору/демодулятору 185, который присоединяет узел 105 связи к процессору 110.The radio frequency communication unit 105 is a combined receiver and transmitter having a common antenna 170. The communication unit 105 comprises a transceiver 175 connected to the antenna 170 through an RF amplifier 180. The transceiver 175 is also connected to a combined modulator / demodulator 185, which connects the communication unit 105 to the processor 110 .

Со ссылкой на фиг.2 представлена блок-схема последовательности операций способа, иллюстрирующая один из вариантов осуществления настоящего изобретения, в том числе способ 200 для предоставления, редактирования и передачи текстового сообщения с использованием радиотелефона 100. Способ 200 активизируется на начальном этапе 205. На этапе 210 фрагмент речи принимается в устройстве ввода, таком как микрофон 190, телефона 100. Затем процессор 110 выполняет дискретизацию и оцифровку колебательного сигнала фрагмента речи на этапе 215, затем сегментирование на этапе 220 перед обработкой, чтобы обеспечить векторы признаков, представляющие волновой сигнал на этапе 225. Должно быть отмечено, что этапы 215, 220 и 225 хорошо известны в области техники, а поэтому не требуют подробного разъяснения.With reference to FIG. 2, a flowchart is presented illustrating one embodiment of the present invention, including a method 200 for providing, editing, and transmitting a text message using a radiotelephone 100. The method 200 is activated in an initial step 205. In step 210, a speech fragment is received in an input device, such as a microphone 190, of the telephone 100. Then, the processor 110 performs sampling and digitization of the vibrational signal of the speech fragment at step 215, then segmentation in step 220, before processing, to provide feature vectors representing the waveform in step 225. It should be noted that steps 215, 220, and 225 are well known in the art and therefore do not need to be explained in detail.

Затем, на этапе 230, выполняется распознавание речи по векторам признаков, вытекающим из этапа 225. Распознавание речи управляется посредством определенных пользователем шаблонов сообщений, сохраненных в статической программируемой памяти 155 устройства 100. Шаблоны сообщений более подробно описаны позже в этом патентном описании. Затем способ 200 предоставляет текстовое сообщение пользователю на этапе 235. Сообщение может быть предоставлено пользователю с использованием одного из I/O-интерфейсов, такого как дисплей 115 или динамик 195, устройства 100.Then, at step 230, speech recognition is performed by feature vectors resulting from step 225. Speech recognition is controlled by user-defined message templates stored in the static program memory 155 of device 100. Message templates are described in more detail later in this patent description. The method 200 then provides a text message to the user at step 235. The message can be provided to the user using one of the I / O interfaces, such as display 115 or speaker 195, of device 100.

После того как сообщение предоставлено пользователю, пользователь затем способен решать, редактировать ли сообщение на этапе 240. Если пользователь решает не редактировать сообщение, сообщение передается на этапе 245 в формате сообщения, таком как SMS. Однако, если на этапе 240 пользователь решает редактировать сообщение, сообщение редактируется на этапе 250 перед тем, как быть отправленным на этапе 245. В различных вариантах осуществления настоящего изобретения пользователь может редактировать сообщение несколькими разными способами, в том числе произнесением редакционных изменений в микрофон 190 или набором редакционных изменений на кнопочной панели 120. Затем способ 200 заканчивается на этапе 255.After the message is provided to the user, the user is then able to decide whether to edit the message in step 240. If the user decides not to edit the message, the message is transmitted in step 245 in a message format such as SMS. However, if at step 240 the user decides to edit the message, the message is edited at step 250 before being sent at step 245. In various embodiments of the present invention, the user can edit the message in several different ways, including making editorial changes to microphone 190 or a set of editorial changes on the keypad 120. Then, the method 200 ends at step 255.

В альтернативном варианте осуществления настоящего изобретения после этапа 230 распознавания речи, описанного выше, этап 235 предоставления текстового сообщения может включать в себя предоставление пользователю телефона 100 списка отобранных шаблонов сообщений, из которых пользователь может выбрать шаблон, который является наиболее подходящим для подразумеваемого текстового сообщения.In an alternative embodiment of the present invention, after the speech recognition step 230 described above, the text message providing step 235 may include providing the telephone user 100 with a list of selected message templates from which the user can select the template that is most suitable for the implied text message.

Фиг.3 - блок-схема последовательности операций способа, которая иллюстрирует способ 300 для предоставления такого списка отобранных шаблонов пользователю. Способ 300 активизируется на начальном этапе 305, когда пользователь вводит команду с кнопочной панели 120 или в микрофон 190. Способ 300 сначала использует процессор 110, выбирающий на этапе 310 шаблон сообщения из списка имеющихся в распоряжении шаблонов сообщений. Затем на этапе 315 выбранный шаблон сравнивается с векторами признаков, предоставленными на этапе 225 способа 200. Процессор 110 затем вычисляет оценку правдоподобия на этапе 320, которая оценивает качество соответствия между аспектами выбранного шаблона и векторами признаков введенного фрагмента речи.3 is a flowchart that illustrates a method 300 for providing such a list of selected templates to a user. The method 300 is activated at the initial step 305 when the user enters a command from the keypad 120 or into the microphone 190. The method 300 first uses a processor 110 that selects in step 310 a message template from the list of available message templates. Then, in step 315, the selected pattern is compared with the feature vectors provided in step 225 of method 200. The processor 110 then calculates a likelihood score in step 320, which estimates the quality of correspondence between aspects of the selected pattern and feature vectors of the input speech fragment.

Затем процессор 110 определяет на этапе 325, находится ли оценка правдоподобия выше установленного порогового значения. Пороговое значение может быть автоматически вычислено процессором 110, или оно может быть предварительно установлено пользователем телефона 100. Если оценка правдоподобия выбранного шаблона ниже установленного порогового значения, шаблон отклоняется на этапе 330. Однако если оценка правдоподобия выбранного шаблона выше установленного порогового значения, то на этапе 335 шаблон считается приемлемым сопоставлением с введенным фрагментом речи, и шаблон добавляется к списку отобранных шаблонов. Независимо от того, отклоняется ли выбранный шаблон или добавляется к списку отобранных шаблонов, способ 300 затем переходит к этапу 340, где процессор 110 определяет, все ли имеющиеся в распоряжении шаблоны были оценены. Если не все имеющиеся в распоряжении шаблоны были оценены, на этапе 345 способ 300 выбирает следующий шаблон сообщения и возвращается на этап 315, где следующий шаблон сравнивается с векторами признаков введенного фрагмента речи. Если все шаблоны были оценены на этапе 340, способ 300 продолжается до этапа 350 и предоставляет пользователю список всех отобранных шаблонов. Отобранные шаблоны могут быть предоставлены пользователю с использованием одного из I/O-интерфейсов, такого как дисплей 115 или динамик 195, устройства 100. Затем способ 300 заканчивается на этапе 355.Then, the processor 110 determines in step 325 whether the likelihood estimate is higher than the set threshold. The threshold value can be automatically calculated by the processor 110, or it can be pre-set by the user of the telephone 100. If the likelihood estimate of the selected template is lower than the set threshold, the template is rejected at step 330. However, if the likelihood estimate of the selected template is higher than the set threshold, then at 335 the template is considered an acceptable match to the entered speech fragment, and the template is added to the list of selected templates. Regardless of whether the selected template is rejected or added to the list of selected templates, method 300 then proceeds to step 340, where processor 110 determines whether all available templates have been evaluated. If not all available templates have been evaluated, at step 345, method 300 selects the next message template and returns to step 315, where the next template is compared with the feature vectors of the inputted speech fragment. If all the templates were evaluated in step 340, the method 300 continues to step 350 and provides the user with a list of all selected templates. Selected templates may be provided to the user using one of the I / O interfaces, such as display 115 or speaker 195, of device 100. Then, method 300 ends at block 355.

Согласно одному из вариантов осуществления настоящего изобретения пользователи телефона 100 не ограничены использованием шаблонов, поставляемых производителем телефона 100. Вернее, пользователи телефона 100 способны редактировать существующие шаблоны, сохраненные в статической программируемой памяти 155, чтобы создавать свои собственные персонифицированные шаблоны сообщений.According to one embodiment of the present invention, users of the telephone 100 are not limited to using templates provided by the manufacturer of the telephone 100. Rather, users of the telephone 100 are able to edit existing templates stored in the static program memory 155 to create their own personalized message templates.

Со ссылкой на фиг.4 проиллюстрирован способ 400 для предоставления пользователю возможности редактировать существующие шаблоны и сохранять новые шаблоны в статической программируемой памяти 155. Способ 400 активизируется на начальном этапе 405, когда пользователь вводит команду с кнопочной панели 120 или в микрофон 190. На этапе 410 список существующих шаблонов предоставляется пользователю телефона 100 через I/O-интерфейсы, такие как дисплей 115 или динамик 195. Затем пользователь выбирает желаемый шаблон сообщения на этапе 415 с использованием I/O-интерфейса, такого как микрофон 190 или кнопочная панель 120. Потом пользователь редактирует шаблон на этапе 420, снова с использованием I/O-интерфейса, такого как микрофон 190 или кнопочная панель 120. В заключение, на этапе 425, пользователь сохраняет отредактированный шаблон в статической программируемой памяти 155. Затем способ 400 заканчивается на этапе 430.With reference to FIG. 4, a method 400 is illustrated for enabling a user to edit existing patterns and save new patterns in a static program memory 155. The method 400 is activated at an initial step 405 when a user inputs a command from a keypad 120 or into a microphone 190. At step 410 a list of existing templates is provided to the user of the phone 100 via I / O interfaces, such as a display 115 or speaker 195. The user then selects the desired message template in step 415 using the I / O interface a face, such as a microphone 190 or a keypad 120. The user then edits the template in step 420, again using an I / O interface such as a microphone 190 or a keypad 120. Finally, in step 425, the user saves the edited template in a static programmable memory 155. Then, method 400 ends at step 430.

Другие способы редактирования шаблонов сообщений также находятся в пределах объема настоящего изобретения, в том числе подключение телефона 100 к основному компьютеру с использованием канала связи, такого как USB-кабель, а затем загрузкой или групповой записью отредактированных шаблонов в статическую программируемую память 155.Other methods for editing message templates are also within the scope of the present invention, including connecting the telephone 100 to a host computer using a communication channel such as a USB cable, and then downloading or group writing the edited templates to a static programmable memory 155.

Способ по настоящему изобретению дополнительно может включать в себя шаблоны сообщений, которые содержат фиксированные и изменяемые языковые компоненты. Фиксированные языковые компоненты не изменяются, когда пользователь выбирает шаблон и передает сообщение. Однако изменяемые языковые компоненты могут изменяться пользователем от сообщения к сообщению. Использование фиксированных и изменяемых языковых компонентов может значительно усиливать ограниченные вычислительную мощность и память телефона 100.The method of the present invention may further include message templates that contain fixed and mutable language components. Fixed language components do not change when the user selects a template and transmits a message. However, mutable language components can be changed by the user from message to message. The use of fixed and variable language components can greatly enhance the limited processing power and memory of the phone 100.

Например, конкретный шаблон короткого текстового сообщения, касающегося запроса деловой встречи, может содержать следующее: «Встретьте меня в $МЕСТО во $ВРЕМЯ». Здесь фиксированные языковые компоненты подчеркнуты, а изменяемые языковые компоненты записаны прописными буквами и начинаются с «$». Разные пользователи шаблона могут в таком случае редактировать переменную, такую как $МЕСТО, чтобы привести в соответствие со своими конкретными обстоятельствами. Например, студент университета может определить переменную $МЕСТО как:For example, a specific short text message template regarding a business meeting request might contain the following: “ Meet me at $ PLACE AT $ TIME.” Here, fixed language components are underlined, and mutable language components are capitalized and begin with "$". Different users of the template may then edit a variable, such as $ PLACE, to bring it into line with their specific circumstances. For example, a university student may define the $ PLACE variable as:

$МЕСТО = sp|библиотека|общежитие|кафетерий и т. п.$ PLACE = sp | library | dormitory | cafeteria, etc.

Тогда как юрист может определить переменную $МЕСТО как:Whereas a lawyer can define the variable $ PLACE as:

$МЕСТО = sp|офис|здание суда|дом и т. п.$ LOCATION = sp | office | courthouse | house, etc.

В вышеприведенном «sp» означает паузу или отсутствие голосового события, а «|» означает логический оператор «ИЛИ».In the above, “sp” means the pause or absence of a voice event, and “|” means the logical operator “OR”.

Другим примером шаблона сообщения, которое может быть использовано в настоящем изобретении, является «Счастливого $ПРАЗДНЕСТВО». Здесь изменяемый языковый компонент $ПРАЗДНЕСТВО может быть отредактирован пользователем, чтобы включать в себя:Another example of a message template that can be used in the present invention is “ Happy $ HOLIDAY”. Here the mutable language component $ HOLIDAY can be edited by the user to include:

$ПРАЗДНЕСТВО = sp|день рождения|новый год|день благодарения и т. п.$ FESTIVAL = sp | birthday | new year | thanksgiving, etc.

С использованием открытого словарного распознавания речи телефон 100 способен распознавать отредактированные изменяемые языковые компоненты, введенные пользователем. Так как изменяемые языковые компоненты состоят из дискретных наборов переменных, накладные расходы обработки распознавания речи и требования к памяти минимизированы. Таким образом, вышеприведенный, в частности, подходит для устройств, обладающих ограниченными вычислительными и запоминающими ресурсами, таких как мобильные телефоны.Using open vocabulary speech recognition, the telephone 100 is capable of recognizing edited, mutable language components entered by a user. Since mutable language components consist of discrete sets of variables, the overhead of speech recognition processing and memory requirements are minimized. Thus, the foregoing is particularly suitable for devices having limited computing and storage resources, such as mobile phones.

Использование шаблонов, включающих в себя фиксированные и изменяемые языковые компоненты, увеличивает эффективность системы распознавания речи по нескольким причинам. Во-первых, фиксированные языковые компоненты конкретного шаблона, как правило, могут быть распознаны быстро и эффективно, так как есть только ограниченное количество шаблонов, сохраненных в статической программируемой памяти 155, в сравнении с почти неограниченным количеством перестановок фраз, ассоциируемых со структурами фраз естественного языка. Во-вторых, изменяемые языковые компоненты также могут эффективно распознаваться, так как положение внутри фразы изменяемого языкового компонента в шаблоне сообщения автоматически идентифицирует дискретный набор возможных ответов. Например, со ссылкой на шаблон сообщения «Счастливого $ПРАЗДНЕСТВО», приведенный выше, фиксированный языковый компонент «Счастливого» может действовать в качестве сигнала так, что процессор 110 осведомлен, что последующим голосовым входным сигналом, принятым с микрофона 190, будет изменяемый языковый компонент «$ПРАЗДНЕСТВО».The use of templates that include fixed and variable language components increases the effectiveness of the speech recognition system for several reasons. First, the fixed language components of a particular pattern can usually be recognized quickly and efficiently, since there are only a limited number of patterns stored in static programmable memory 155, compared to the almost unlimited number of phrase permutations associated with natural language phrase structures . Secondly, mutable language components can also be effectively recognized, since the position within the phrase of the mutable language component in the message template automatically identifies a discrete set of possible answers. For example, with reference to the Happy $ FESTIVAL message template above, the fixed Happy language component can act as a signal so that processor 110 is aware that the next voice input received from microphone 190 will be a mutable language component $ HOLIDAY. "

Несмотря на то что вышеизложенные варианты осуществления настоящего изобретения описаны относительно радиотелефона 100, способ и устройство настоящего изобретения также могли бы включать в себя другие электронные устройства, которые предоставляют текстовые сообщения, такие как персональные цифровые секретари (PDA).Although the foregoing embodiments of the present invention have been described with respect to the radiotelephone 100, the method and apparatus of the present invention could also include other electronic devices that provide text messages, such as personal digital assistants (PDAs).

Таким образом, настоящее изобретение упрощает этапы, требуемые для предоставления и передачи текстового сообщения с портативного электронного устройства. Текстовое сообщение может быть предоставлено посредством голосовых входных данных, а не посредством набираемых символов, вводимых с малогабаритной кнопочной панели. Кроме того, изобретение может включать в себя открытое словарное распознавание речи, чтобы избежать повышенных требований к памяти заключенного предшествующим уровнем техники словарного распознавания речи. Открытое словарное распознавание речи использует независимые от диктора акустические модели частей слова, разработанные, чтобы покрывать все акустические случаи употребления, или фонемы, языка. Таким образом, пользователь не ограничен предопределенным словарем, но может редактировать изменяемые языковые компоненты, как описано выше, чтобы включать в них слова, не найденные в словаре, такие как наименования и местоположения. Результат заключается в том, что текстовые сообщения, предусмотренные настоящим изобретением, могут быть высоко персонифицированы.Thus, the present invention simplifies the steps required to provide and transmit a text message from a portable electronic device. A text message can be provided via voice input rather than typed characters entered from a small keypad. In addition, the invention may include open vocabulary speech recognition to avoid the increased memory requirements of prior art vocabulary speech recognition. Open vocabulary speech recognition uses speaker-independent acoustic models of parts of a word designed to cover all acoustic cases of use, or phonemes, of a language. Thus, the user is not limited to a predefined dictionary, but can edit mutable language components as described above to include words not found in the dictionary, such as names and locations. The result is that the text messages provided by the present invention can be highly personalized.

Вышеприведенное детализированное описание предоставляет только предпочтительные примерные варианты осуществления и не имеет намерением ограничивать объем, применимость или конфигурацию изобретения. Точнее детализированное описание предпочтительных примерных вариантов осуществления снабжает специалистов в данной области техники достаточным описанием для реализации предпочтительных примерных вариантов осуществления изобретения. Должно быть понятно, что могут быть сделаны различные изменения в работе и компоновке элементов, не выходя из сущности и объема изобретения в качестве изложенных в прилагаемой формуле изобретения.The above detailed description provides only preferred exemplary embodiments and is not intended to limit the scope, applicability, or configuration of the invention. A more detailed description of the preferred exemplary embodiments provides those skilled in the art with sufficient description to implement the preferred exemplary embodiments of the invention. It should be clear that various changes can be made in the operation and layout of the elements without leaving the essence and scope of the invention as set forth in the attached claims.

Claims (13)

1. Способ предоставления текстового сообщения, при котором1. The method of providing a text message in which принимают фрагмент речи на входе электронного устройства;receive a piece of speech at the input of an electronic device; сопоставляют упомянутый фрагмент речи с одним из определенных пользователем шаблонов сообщений, сохраненных в памяти, ассоциируемой с электронным устройством, при этом вычисляют оценку правдоподобия, которая оценивает качество соответствия между упомянутым шаблоном сообщения и векторами признаков фрагмента речи, полученными путем дискретизации и сегментирования фрагмента речи, определяют находится ли оценка правдоподобия выше установленного порогового значения, и если оценка правдоподобия находится выше установленного порогового значения, то шаблон сообщения добавляют к списку отобранных шаблонов сообщений, в противном случае шаблон сообщения отклоняется, и предоставляют пользователю текстовое сообщение в соответствии со списком отобранных шаблонов сообщений.the said speech fragment is compared with one of the user-defined message templates stored in the memory associated with the electronic device, and a likelihood score is calculated that evaluates the quality of correspondence between the said message template and the speech fragment attribute vectors obtained by sampling and segmenting the speech fragment; is the likelihood estimate higher than the set threshold, and if the likelihood estimate is higher than the set threshold about the value, then the message template is added to the list of selected message templates, otherwise the message template is rejected, and a text message is provided to the user in accordance with the list of selected message templates. 2. Способ по п.1, в котором, по меньшей мере, один из шаблонов сообщений содержит фиксированный языковый компонент.2. The method according to claim 1, in which at least one of the message templates contains a fixed language component. 3. Способ по п.1, в котором, по меньшей мере, один из шаблонов сообщений содержит изменяемый языковый компонент.3. The method according to claim 1, in which at least one of the message templates contains a mutable language component. 4. Способ по п.1, в котором, по меньшей мере, один из шаблонов сообщений содержит оба, фиксированный и изменяемый, языковых компонента.4. The method according to claim 1, in which at least one of the message templates contains both fixed and variable language components. 5. Способ по п.1, в котором текстовым сообщением является SMS-сообщение.5. The method according to claim 1, wherein the text message is an SMS message. 6. Способ по п.1, который также содержит этап, на котором редактируют упомянутый, определенный пользователем шаблон сообщения посредством приема набранных символов с кнопочной панели электронного устройства.6. The method according to claim 1, which also includes editing the said user-defined message template by receiving the dialed characters from the keypad of the electronic device. 7. Способ по п.1, в котором компонент текстового сообщения является транскрипцией фрагмента речи.7. The method according to claim 1, in which the component of the text message is a transcription of a fragment of speech. 8. Способ по п.1, в котором все содержимое текстового сообщения является транскрипцией фрагмента речи.8. The method according to claim 1, in which the entire contents of the text message is a transcription of a fragment of speech. 9. Электронное устройство для предоставления текстового сообщения, содержащее9. An electronic device for providing a text message containing микрофон, предназначенный для приема фрагмента речи;a microphone for receiving a portion of speech; энергонезависимую память для хранения шаблонов сообщений; иnon-volatile memory for storing message templates; and процессор, предназначенный для сопоставления упомянутого фрагмента речи, принятого микрофоном, с одним из упомянутых шаблонов сообщений, сохраненных в энергонезависимой памяти, ассоциируемой с электронным устройством, при этом процессор выполнен с возможностьюa processor for matching said speech fragment received by the microphone with one of said message patterns stored in non-volatile memory associated with an electronic device, wherein the processor is configured to осуществления дискретизации и сегментирования фрагмента речи для получения векторов признаков фрагмента речи;discretization and segmentation of a speech fragment to obtain vectors of signs of a speech fragment; вычисления оценки правдоподобия, которая оценивает качество соответствия между шаблоном сообщения и векторами признаков фрагмента речи,calculating a likelihood score that evaluates the quality of correspondence between the message template and the feature vectors of the speech fragment определения, находится ли оценка правдоподобия выше установленного порогового значения, и если оценка правдоподобия находится выше установленного порогового значения, то добавления шаблона сообщения к списку отобранных шаблонов сообщений, в противном случае - отклонения шаблона сообщения; иdetermining whether the likelihood estimate is higher than the set threshold, and if the likelihood estimate is higher than the set threshold, then add the message template to the list of selected message templates, otherwise reject the message template; and предоставления пользователю текстового сообщения в соответствии со списком отобранных шаблонов сообщений.providing the user with a text message in accordance with the list of selected message templates. 10. Устройство по п.9, в котором, по меньшей мере, один из шаблонов сообщений содержит фиксированный языковый компонент.10. The device according to claim 9, in which at least one of the message templates contains a fixed language component. 11. Устройство по п.9, в котором, по меньшей мере, один из шаблонов сообщений содержит изменяемый языковый компонент.11. The device according to claim 9, in which at least one of the message templates contains a mutable language component. 12. Устройство по п.9, в котором, по меньшей мере, один из шаблонов сообщений содержит оба, фиксированный и изменяемый, языковых компонента.12. The device according to claim 9, in which at least one of the message templates contains both fixed and variable language components. 13. Устройство по п.9, в котором текстовым сообщением является SMS-сообщение.13. The device according to claim 9, in which the text message is an SMS message.
RU2006113581/09A 2003-09-23 2004-09-17 Method and device for providing a text message RU2320082C2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN03124963.9 2003-09-23
CNB031249639A CN100353417C (en) 2003-09-23 2003-09-23 Method and device for providing text message

Publications (2)

Publication Number Publication Date
RU2006113581A RU2006113581A (en) 2007-10-27
RU2320082C2 true RU2320082C2 (en) 2008-03-20

Family

ID=34383973

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2006113581/09A RU2320082C2 (en) 2003-09-23 2004-09-17 Method and device for providing a text message

Country Status (5)

Country Link
EP (1) EP1665561A4 (en)
KR (1) KR100759728B1 (en)
CN (1) CN100353417C (en)
RU (1) RU2320082C2 (en)
WO (1) WO2005031995A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014209157A1 (en) * 2013-06-27 2014-12-31 Obschestvo S Ogranichennoy Otvetstvennostiyu "Speaktoit" Generating dialog recommendations for chat information systems

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002247891A1 (en) * 2002-03-27 2003-10-20 Nokia Corporation Pattern recognition
KR100805252B1 (en) 2005-06-27 2008-02-21 서울통신기술 주식회사 Apparatus And Method Of Communication Processing In IP Terminal
DE102007061156A1 (en) * 2007-12-17 2009-08-06 Vodafone Holding Gmbh Message transmission in telecommunication networks
KR101597286B1 (en) 2009-05-07 2016-02-25 삼성전자주식회사 Apparatus for generating avatar image message and method thereof
CN102263851A (en) * 2010-05-31 2011-11-30 北京迅捷英翔网络科技有限公司 Message conversion method
CN103366741B (en) * 2012-03-31 2019-05-17 上海果壳电子有限公司 Voice inputs error correction method and system
US9185211B2 (en) 2013-11-08 2015-11-10 Sorenson Communications, Inc. Apparatuses and methods for operating a communication system in one of a tone mode and a text mode
US9473627B2 (en) 2013-11-08 2016-10-18 Sorenson Communications, Inc. Video endpoints and related methods for transmitting stored text to other video endpoints
KR101894928B1 (en) 2017-02-14 2018-09-05 (주)스톤아이 Bonus calculating apparatus using number of visit and method thereof
US11924149B2 (en) 2020-10-15 2024-03-05 Google Llc Composition of complex content via user interaction with an automated assistant

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX9702759A (en) * 1994-10-25 1997-07-31 British Telecomm Voice-operated services.
US6173316B1 (en) * 1998-04-08 2001-01-09 Geoworks Corporation Wireless communication device with markup language based man-machine interface
US6526292B1 (en) * 1999-03-26 2003-02-25 Ericsson Inc. System and method for creating a digit string for use by a portable phone
DE19959903A1 (en) * 1999-12-07 2001-06-13 Bruno Jentner Module for supporting text messaging communications in mobile radio networks uses text-to-speech converter for speech output, speech-to-text converter for speech input and detection
KR20020028501A (en) * 2000-10-10 2002-04-17 김철권 Method for conversion between sound data and text data in network and apparatus thereof
US6795808B1 (en) * 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
WO2002077975A1 (en) * 2001-03-27 2002-10-03 Koninklijke Philips Electronics N.V. Method to select and send text messages with a mobile
EP1324314B1 (en) * 2001-12-12 2004-10-06 Siemens Aktiengesellschaft Speech recognition system and method for operating the same
US6895257B2 (en) * 2002-02-18 2005-05-17 Matsushita Electric Industrial Co., Ltd. Personalized agent for portable devices and cellular phone
US7072684B2 (en) * 2002-09-27 2006-07-04 International Business Machines Corporation Method, apparatus and computer program product for transcribing a telephone communication
US20040176139A1 (en) * 2003-02-19 2004-09-09 Motorola, Inc. Method and wireless communication device using voice recognition for entering text characters

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014209157A1 (en) * 2013-06-27 2014-12-31 Obschestvo S Ogranichennoy Otvetstvennostiyu "Speaktoit" Generating dialog recommendations for chat information systems
US10026400B2 (en) 2013-06-27 2018-07-17 Google Llc Generating dialog recommendations for chat information systems based on user interaction and environmental data
US10573309B2 (en) 2013-06-27 2020-02-25 Google Llc Generating dialog recommendations for chat information systems based on user interaction and environmental data

Also Published As

Publication number Publication date
CN1601548A (en) 2005-03-30
EP1665561A4 (en) 2011-03-23
RU2006113581A (en) 2007-10-27
WO2005031995A1 (en) 2005-04-07
KR20060054469A (en) 2006-05-22
KR100759728B1 (en) 2007-09-20
EP1665561A1 (en) 2006-06-07
CN100353417C (en) 2007-12-05

Similar Documents

Publication Publication Date Title
US7149550B2 (en) Communication terminal having a text editor application with a word completion feature
US7663603B2 (en) Communications device with a dictionary which can be updated with words contained in the text messages
US6526292B1 (en) System and method for creating a digit string for use by a portable phone
US8374862B2 (en) Method, software and device for uniquely identifying a desired contact in a contacts database based on a single utterance
CN102111483B (en) Method and device for querying information in call process and mobile terminal
CN102984666B (en) Address list voice information processing method in a kind of communication process and system
CN111325039B (en) Language translation method, system, program and handheld terminal based on real-time call
US20070129949A1 (en) System and method for assisted speech recognition
RU2320082C2 (en) Method and device for providing a text message
JP2011049885A (en) Portable electronic apparatus
US20050154587A1 (en) Voice enabled phone book interface for speaker dependent name recognition and phone number categorization
JP2006344039A (en) Electronic mail apparatus and program
CN111274828B (en) Language translation method, system, computer program and handheld terminal based on message leaving
JP4070963B2 (en) Mobile communication equipment
KR100724848B1 (en) Method for voice announcing input character in portable terminal
JP2007108881A (en) Personal digital assistance, character input support program and method
JP2003333203A (en) Speech synthesis system, server device, information processing method, recording medium and program
KR100395331B1 (en) Method for processing information of phone book in mobile telephone having voice dialing function
KR100754663B1 (en) Method for darling in wireless telephone
KR20060063420A (en) Voice recognition for portable terminal
KR100260752B1 (en) Portable telephone being possible for voice registration and recognition every each group, and control method therefor
KR100612573B1 (en) Wireless telecommunication terminal and method for sending message by using fingerprint verification
JP2001223816A (en) Method and device for generating text message by telephone set
GB2406471A (en) Mobile phone with speech-to-text conversion system
JP2002140086A (en) Device for conversion from short message for portable telephone set into voice output

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20120626

MM4A The patent is invalid due to non-payment of fees

Effective date: 20150918