RU2394386C2 - Терминал мобильной связи и способ управления его меню - Google Patents

Abstract

Изобретение относится к терминалам мобильной связи. Терминал содержит устройство ввода, запоминающее устройство, выполненное таким образом, что оно способно запоминать информацию, связанную с операциями, выполняемыми с терминалом мобильной связи, и контроллер, сконфигурированный для активации функции распознавания речи после приема введенных данных, для определения смысла введенной речевой команды на основании, по меньшей мере, одной предшествующей операции, выполненной в терминале мобильной связи, и языка, содержащегося в речевой команде, и для обеспечения операций, связанных с определенным смыслом входной речевой команды, на основании сведений, по меньшей мере, об одной предшествующей операции, выполненной в терминале мобильной связи, и языка, содержащегося в речевой команде, и на основании вероятности того, что определенный смысл введенной речевой команды соответствует информации, связанной с операциями терминала мобильной связи. 2 н. и 24 з.п. ф-лы, 9 ил.

Description

Настоящее изобретение относится к терминалу мобильной связи и к соответствующему способу, обеспечивающему выполнение операций в терминале мобильной связи на основании речевых команд и прежних операций, выполненных в терминале мобильной связи.

Уровень техники

Терминалы мобильной связи в настоящее время предоставляют множество дополнительных услуг помимо базовых услуг телефонной связи. Например, в настоящее время абонент может осуществлять доступ к сети Интернет, играть в игры, смотреть видеофильмы, слушать музыку, производить фото- и видеосъемку, запись звуковых файлов и т.д. В настоящее время терминалы мобильной связи также обеспечивают прием вещательных программ, поэтому абонент может смотреть телевизионные шоу, спортивные программы, видеофильмы и т.д.

Следовательно, терминалы мобильной связи содержат сложные графические интерфейсы пользователя или ГИП (GUI), которые пользователь может использовать для доступа к различным функциям в терминале. Например, пользователь может получить доступ к главному меню, а затем выбрать из одного из множества подменю, например, из подменю "электронная почта", подменю "предыстория телефонных звонков", подменю "доступ к сети Интернет", подменю "изображения" и т.д. После того как пользователем выбрано конкретное подменю, терминалы мобильной связи предоставляют еще один перечень подменю или пунктов меню, которые пользователь может выбрать для выполнения желательной функции.

Однако системы меню сформированы в виде древовидной схемы, вследствие чего пользователь должен выполнить несколько промежуточных функций для того, чтобы выбрать желательную конечную функцию. Кроме того, поскольку терминал имеет малый размер, пункты меню также являются малыми по размеру и их трудно увидеть. Прикосновение к конкретному пункту меню в том случае, когда терминал содержит дисплей с сенсорным экраном, также часто приводит к тому, что пользователь одновременно прикасается к более чем одному пункту меню (поскольку пункты меню отображены на дисплее расположенными близко друг к другу) или же пользователь прикасается к неправильному пункту меню.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Соответственно, одной из задач настоящего изобретения является решение вышеупомянутых и других проблем.

Другой задачей настоящего изобретения является создание терминала мобильной связи и соответствующего способа, обеспечивающего распознавание смысла речевой команды и управление терминалом на основании распознанной речевой команды.

Еще одной задачей настоящего изобретения является создание терминала мобильной связи и соответствующего способа, предоставляющего одно меню или несколько меню для управления различными функциями терминала на основании распознанной речевой команды.

Для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения, осуществленной и описанной здесь в общих чертах, согласно одному из объектов настоящего изобретения, в нем предложен терминал мобильной связи, содержащий устройство ввода, выполненное таким образом, что оно способно принимать введенные данные для активации функции распознавания речи в терминале мобильной связи, запоминающее устройство, выполненное таким образом, что оно способно запоминать информацию, связанную с операциями, выполняемыми с терминалом мобильной связи, и контроллер, сконфигурированный таким образом, что после приема введенных данных для активации функции распознавания речи он активирует функцию распознавания речи, определяет смысл введенной речевой команды на основании сведений, по меньшей мере, об одной предшествующей операции, выполненной в терминале мобильной связи, и языка, содержащегося в речевой команде, и обеспечивает выполнение операций, связанных с определенным смыслом входной речевой команды, на основании сведений, по меньшей мере, об одной предшествующей операции, выполненной в терминале мобильной связи, и языка, содержащегося в речевой команде, и на основании вероятности того, что определенный смысл введенной речевой команды соответствует информации, связанной с операциями терминала мобильной связи.

Согласно другому объекту настоящего изобретения в нем предложен способ управления терминалом мобильной связи, содержащий следующие операции: принимают введенные данные для активации функции распознавания речи в терминале мобильной связи, после приема введенных данных для активации функции распознавания речи активируют функцию распознавания речи и обеспечивают выполнение операций, связанных с определенным смыслом введенной речевой команды, на основании сведений, по меньшей мере, об одной предшествующей операции, выполненной в терминале мобильной связи, и языка, содержащегося в речевой команде, и на основании вероятности того, что определенный смысл введенной речевой команды соответствует информации, связанной с операциями терминала мобильной связи.

Дальнейший объем применимости настоящего изобретения станет очевидным из приведенного ниже подробного описания. Однако следует понимать, что подробное описание и конкретные примеры, несмотря на указание предпочтительных вариантов осуществления настоящего изобретения, приведены исключительно в иллюстративных целях, так как для специалистов в данной области техники из этого подробного описания станет очевидной возможность различных изменений и модификаций, не выходящих за пределы сущности и объема патентных притязаний настоящего изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Настоящее изобретение станет более понятным из приведенного ниже подробного описания и из сопроводительных чертежей, которые приведены исключительно в иллюстративных целях и, следовательно, не ограничивают настоящее изобретение и на которых изображено следующее:

на Фиг.1 изображена блок-схема терминала мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг.2 на виде спереди в перспективе изображен терминал мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг.3 на виде сзади в перспективе изображен терминал мобильной связи, показанный на Фиг.2;

на Фиг.4 изображена блок-схема системы беспроводной связи, способной работать с терминалом мобильной связи, показанным на чертежах Фиг.1-3, согласно одному из вариантов осуществления настоящего изобретения;

на Фиг.5 изображена схема последовательности операций, на которой проиллюстрирован способ управления терминалом мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на чертежах Фиг.6А-6В в общем виде показаны изображения, выводимые на экран дисплея, которые иллюстрируют способ выбора варианта активации функции распознавания речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг.7A изображена схема последовательности операций, на которой проиллюстрирован способ распознавания речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг.7Б в общем виде показаны изображения, выводимые на экран дисплея, которые содержат меню, отображенные на дисплее на основании процента правильно распознанных слов речевой команды в терминале мобильной связи согласно другому варианту осуществления настоящего изобретения;

на Фиг.7В в общем виде показаны изображения, выводимые на экран дисплея, которые иллюстрируют способ распознавания речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг.7Г в общем виде показаны изображения, выводимые на экран дисплея, которые иллюстрируют способ распознавания речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг.8 изображена блок-схема, на которой проиллюстрирована система баз данных, используемая в способе распознавания речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения; и

на Фиг.9 в общем виде показано выводимое на экран дисплея изображение, иллюстрирующее отображение на дисплее сообщения, уведомляющего пользователя о том, что в текущий момент времени в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения выполняется речевая команда.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Теперь будет приведено подробное описание предпочтительных вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на сопроводительных чертежах.

На Фиг.1 изображена блок-схема терминала 100 мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Как показано на чертеже, терминал 100 мобильной связи содержит блок 110 беспроводной связи, содержащий один или большее количество компонентов, который позволяет поддерживать беспроводную связь между терминалом 100 мобильной связи и системой или сетью беспроводной связи, в пределах которой расположен терминал мобильной связи.

Например, блок 110 беспроводной связи содержит модуль 111 приема широковещательных передач, который принимает сигнал широковещательной передачи и/или информацию, связанную с широковещательной передачей, из внешнего объекта, осуществляющего управление широковещательными передачами, по широковещательному каналу. Широковещательным каналом может являться, в том числе, спутниковой канал и наземный канал.

Кроме того, термин "объект, осуществляющий управление широковещательными передачами" обычно относится к системе, которая производит передачу широковещательного сигнала и/или информации, связанной с широковещательной передачей. Примером информации, связанной с широковещательной передачей, является, в том числе, информация, связанная с широковещательным каналом, с широковещательной программой, с поставщиком услуг вещания и т.д. Например, информация, связанная с широковещательной передачей, может содержать электронную программу передач (EPG) для системы цифрового мультимедийного вещания (DMB) и электронный справочник услуг (ESG) системы цифрового телевещания для портативных устройств (DVB-H).

Кроме того, сигнал широковещательной передачи может быть реализован, помимо прочего, в виде сигнала телевизионного вещания, сигнала радиовещания и сигнала широковещательной передачи данных. Кроме того, сигнал широковещательной передачи может содержать сигнал широковещательной передачи, объединенный с сигналом телевизионного вещания или с радиовещательным сигналом.

Модуль 111 приема широковещательных передач также выполнен таким образом, что принимает сигналы широковещательной передачи, переданные из систем вещания различных типов. Такими системами вещания являются, в том числе, например, наземная система цифрового мультимедийного вещания (DMB-T), спутниковая система цифрового мультимедийного вещания (DMB-S), система цифрового телевещания для портативных устройств (DVB-H), система широковещательной передачи данных, известная как система передачи мультимедийной информации только по линии прямой связи (MediaFLO®) и наземная система цифрового вещания с комплексными услугами (ISDB-T). Также возможен прием многоадресных сигналов. Кроме того, данные, принятые модулем 111 приема широковещательных передач, могут быть запомнены в соответствующем устройстве, например, в запоминающем устройстве 160.

Блок 110 беспроводной связи также содержит модуль 112 мобильной связи, который производит передачу радиосигналов в один или большее количество сетевых объектов (которыми являются, например, базовая станция, узел B (Node B))/прием радиосигналов из них. Этими сигналами могут являться, в том числе, звуковые сигналы, видеосигналы, мультимедийные сигналы, передаваемые сигналы управления, и данные.

Он также содержит модуль 113 беспроводного доступа к сети Интернет, который обеспечивает поддержку доступа к сети Интернет для терминала мобильной связи. Соединение модуля 113 с терминалом может быть внутренним или внешним. Блок 110 беспроводной связи также содержит модуль 114 ближней связи, который, соответственно, облегчает ближнюю связь. Технологиями, пригодными для реализации этого модуля, являются, в том числе, следующие: технология радиочастотной идентификации (RFID), технология передачи данных через инфракрасный порт согласно стандарту IrDA, утвержденному Ассоциацией по средствам передачи данных в инфракрасном диапазоне, технология ультраширокополосной радиосвязи (UWB), а также такие сетевые технологии, которые обычно именуют технологией Bluetooth и технологией ZigBee.

Блок 110 беспроводной связи также содержит модуль 115 определения местоположения, и он распознает местоположение терминала 100 мобильной связи или получает сведения о его местоположении иным способом. Модуль 115 определения местоположения может быть реализован с использованием компонентов Глобальной системы определения местоположения (GPS), которые взаимодействуют с соответствующими спутниками, с компонентами сети и с их комбинациями.

Кроме того, как показано на Фиг.1, терминал 100 мобильной связи также содержит блок 120 ввода звуковых/видео (A/V) сигналов, который обеспечивает подачу звуковых или видеосигналов в терминал 100 мобильной связи. Как показано на чертеже, блок 120 ввода звуковых/видео (A/V) сигналов содержит камеру 121 и микрофон 122. Камера 121 получает и обрабатывает кадры изображений фотографических снимков или видеофильмов.

Кроме того, когда портативное устройство находится в конкретном режиме, например в режиме телефонного разговора, в режиме записи и в режиме распознавания речи, то микрофон 122 принимает внешний звуковой сигнал. Затем принятый звуковой сигнал обрабатывают и преобразовывают в цифровые данные. К тому же, портативное устройство и, в частности, блок 120 ввода звуковых/видео (A/V) сигналов обычно содержит алгоритмы удаления различных шумов, предназначенные для удаления шума, сгенерированного в ходе приема внешнего звукового сигнала. Кроме того, данные, сгенерированные блоком 120 ввода звуковых/видео (A/V) сигналов, могут быть сохранены в запоминающем устройстве 160, могут быть использованы блоком 150 вывода или могут быть переданы посредством одного или большего количества модулей блока 110 связи. При желании могут быть использованы два или большее количество микрофонов и/или две или большее количество камер.

Терминал 100 мобильной связи также содержит устройство 130 ввода пользовательских данных, которое осуществляет генерацию входных данных в ответ на манипуляции пользователя с соответствующим устройством или с соответствующими устройствами ввода. Примерами таких устройств являются, в том числе, кнопочная панель, переключатель с эластичной клавишей куполообразной формы (dome switch), сенсорная панель (например, основанная на изменении электрической емкости при приложении статического давления), колесико управления (jog wheel) и джойстик-переключатель (jog switch). Конкретным примером является следующий: устройство 130 ввода пользовательских данных выполнено в виде сенсорной панели, взаимодействующей с дисплеем с сенсорным экраном, более подробное описание которого приведено ниже.

Терминал 100 мобильной связи также содержит датчик 140, и этот датчик 140 обеспечивает измерения состояния различных аспектов работы терминала 100 мобильной связи. Например, датчик 140 может регистрировать, находится ли терминал 100 мобильной связи в открытом/закрытом состоянии, относительное расположение компонентов (например, дисплея и кнопочной панели) терминала 100 мобильной связи, изменение местоположения терминала 100 мобильной связи или компонента терминала 100 мобильной связи, наличие или отсутствие контакта пользователя с терминалом 100 мобильной связи, ориентацию или ускорение/замедление перемещения терминала 100 мобильной связи и т.д.

Например, когда терминалом 100 мобильной связи является терминал мобильной связи сдвижного типа, датчик 140 может регистрировать, является ли сдвижная часть терминала 100 мобильной связи открытой или закрытой. Другими примерами являются, в том числе, следующие: датчик 140 регистрирует наличие или отсутствие электропитания, обеспечиваемого источником 190 электропитания, наличие или отсутствие связи или иного соединения между блоком 170 интерфейса и внешним устройством и т.д.

Кроме того, блок 170 интерфейса часто реализован таким образом, что обеспечивает связь терминала 100 мобильной связи с внешними устройствами. Типичными внешними устройствами являются, в том числе, проводные/беспроводные головные телефоны, внешние зарядные устройства, источники электропитания, устройства хранения данных, выполненные таким образом, что обеспечивают хранение данных (например, звуковых данных, видеоинформации, изображений и т.д.), наушники и микрофоны. Кроме того, блок 170 интерфейса может быть сконфигурирован с использованием проводного/беспроводного порта передачи данных, разъема для плат (например, для соединения с платой памяти, с платой модуля идентификации абонента (SIM-картой), с платой модуля идентификации абонента (UIM), с платой сменного модуля идентификации абонента (RUIM) и т.д.), портов ввода/вывода звукового сигнала и портов ввода/вывода видеосигнала.

Блок 150 вывода обычно содержит различные компоненты, которые обеспечивают вывод требуемых сигналов в терминале 100 мобильной связи. Терминал 100 мобильной связи также содержит дисплей 151, который обеспечивает визуальное отображение информации, связанной с терминалом 100 мобильной связи. Например, если терминал 100 мобильной связи работает в режиме телефонного разговора, то дисплей 151 обычно обеспечивает интерфейс пользователя или графический интерфейс пользователя, содержащий информацию, связанную с заказом, проведением и завершением телефонного разговора. В качестве другого примера, если терминал 100 мобильной связи находится в режиме видеотелефонного разговора или в режиме фотографирования, то дисплей 151 может дополнительно или в альтернативном варианте выводить на экран дисплея изображения, связанные с этими режимами.

Кроме того, дисплей 151 также предпочтительно содержит сенсорный экран, работающий во взаимодействии с устройством ввода, например сенсорную панель. Такая конфигурация позволяет дисплею 151 функционировать как в качестве устройства вывода, так и в качестве устройства ввода. Кроме того, дисплей 151 может быть реализован с использованием, в том числе, таких технологий отображения информации, как, например, жидкокристаллический дисплей (LCD), жидкокристаллический дисплей на тонкопленочных транзисторах (TFT-LCD), дисплей на органических светоизлучающих диодах (OLED), гибкий дисплей и трехмерный дисплей.

Терминал 100 мобильной связи также может содержать один или большее количество таких дисплеев. Примером варианта осуществления с двумя дисплеями является следующий: один дисплей выполнен таким образом, что он является внутренним дисплеем (который виден тогда, когда терминал находится в открытом положении), а второй дисплей выполнен таким образом, что он является внешним дисплеем (который виден в обоих положениях: в открытом положении и в закрытом положении).

Кроме того, на Фиг.1 показано устройство 150 вывода, содержащее модуль 152 вывода звука, который обеспечивает вывод требуемых звуковых сигналов в терминале 100 мобильной связи. Модуль 152 вывода звука часто реализован с использованием одного или большего количества громкоговорителей, зуммеров, других устройств создания звука и комбинаций этих устройств.

Кроме того, модуль 152 вывода звука функционирует в различных режимах, в том числе в режиме приема телефонного вызова, в режиме выполнения телефонного вызова, в режиме записи, в режиме распознавания речи и в режиме приема широковещательных передач. Во время работы модуль 152 вывода звука выводит звуковые сигналы, связанные с конкретной функцией (например, с принятым телефонным вызовом, с принятым сообщением и с ошибками).

Кроме того, на чертеже показано, что блок 150 вывода дополнительно содержит сигнальное устройство 153, которое используют для сигнализации о возникновении конкретного события, связанного с терминалом 100 мобильной связи, или для распознавания факта его возникновения иным способом. Типичными событиями, являются, в том числе, принятый вызов, принятое сообщение и принятые данные, введенные пользователем. Примером такого выходного эффекта является, в том числе, создание осязательных ощущений (например, вибрации) для пользователя. Например, сигнальное устройство 153 может быть выполнено таким образом, что вибрирует в ответ на прием телефонного вызова или сообщения терминалом 100 мобильной связи.

В качестве другого примера сигнальное устройство 153 создает вибрацию в ответ на прием введенных пользователем данных в терминале 100 мобильной связи, обеспечивая, таким образом, механизм осязательной обратной связи. Кроме того, различные выходные эффекты, созданные компонентами устройства 150 вывода, могут быть реализованы по отдельности, или же такой выходной эффект может быть реализован с использованием любой комбинации этих компонентов.

Кроме того, для хранения различных типов данных для обеспечения требуемой обработки, требуемого управления и хранения данных в терминале 100 мобильной связи обычно используют запоминающее устройство 160. Примерами таких данных являются, в том числе, программные команды для прикладных программ, работающих в терминале 100 мобильной связи, предыстория телефонных вызовов, данные о контактах, данные телефонной книги, сообщения, изображения, видеоинформация и т.д.

Кроме того, запоминающее устройство 160, показанное на Фиг.1, может быть реализовано с использованием подходящих энергозависимых и энергонезависимых запоминающих устройств или устройств хранения данных любого типа, которыми являются, в том числе, следующие: оперативное запоминающее устройство (ОЗУ), статическое оперативное запоминающее устройство (статическое ОЗУ), электрически стираемое программируемое постоянное запоминающее устройство (ЭСППЗУ), стираемое программируемое постоянное запоминающее устройство (СППЗУ), программируемое постоянное запоминающее устройство (ППЗУ), постоянное запоминающее устройство (ПЗУ), магнитное запоминающее устройство, флэш-память, магнитный или оптический диск, запоминающее устройство на картах памяти или иное подобное запоминающее устройство или устройство для хранения данных, или с использованием комбинации этих устройств.

Терминал 100 также содержит контроллер 180, который обычно управляет функционированием всего терминала 100 мобильной связи. Например, контроллер 180 осуществляет управление и обработку, которые связаны с телефонными вызовами в режиме речевой связи, с передачей данных, с обменом мгновенными сообщениями, с вызовами в режиме видеотелефонной связи, с операциями камеры и с операциями записи. Как показано на Фиг.1, контроллер 180 может также содержать мультимедийный модуль 181, предназначенный для обеспечения функций воспроизведения мультимедийной информации. Мультимедийный модуль 181 может быть выполнен в виде части контроллера 180 или может быть реализован в виде отдельного компонента.

Кроме того, источник 190 электропитания обеспечивает энергию, используемую различными компонентами портативного устройства. Предоставленное электропитание может быть внутренним электропитанием, внешним электропитанием или их комбинациями.

На Фиг.2 терминал 100 мобильной связи согласно одному из вариантов осуществления настоящего изобретения показан на виде спереди-сбоку. Как показано на Фиг.2, терминал 100 мобильной связи содержит первый корпус 200, выполненный таким образом, что может скользить по направляющим во взаимодействии со вторым корпусом 205. Устройство 130 ввода пользовательских данных, описанное со ссылкой на Фиг.1, может содержать первое устройство ввода данных, например функциональные кнопки 210, второе устройство ввода данных, например кнопочную панель 215, и третье устройство ввода данных, например боковые клавиши 245.

Функциональные кнопки 210 связаны с первым корпусом 200, а кнопочная панель 215 связана со вторым корпусом 205. Кнопочная панель 215 содержит различные клавиши (например, цифр, букв и символов), предоставляющие пользователю возможность сделать телефонный вызов, подготовить текстовое или мультимедийное сообщение и управлять терминалом 100 мобильной связи каким-либо иным способом.

Кроме того, первый корпус 200 может быть перемещен путем скольжения относительно второго корпуса 205 между открытым положением и закрытым положением. В закрытом положении первый корпус 200 расположен поверх второго корпуса 205 таким образом, что кнопочная панель 215 в значительной степени или полностью закрыта первым корпусом 200. В открытом положении возможен доступ пользователя к кнопочной панели 215, а также к дисплею 151 и к функциональным кнопкам 210. Функциональные кнопки 210 удобны для ввода пользователем таких команд, как, например, команды "пуск", "стоп" и "прокрутка".

Кроме того, терминал 100 мобильной связи способен работать либо в режиме ожидания (в котором он, например, способен принять телефонный вызов или сообщение, принимать служебные сигналы управления сетью связи и реагировать на них), либо в режиме активного телефонного вызова. Как правило, терминал 100 мобильной связи функционирует в режиме ожидания тогда, когда он находится в закрытом положении, и в активном режиме тогда, когда он находится в открытом положении. Однако конфигурация режима может быть изменена при необходимости или по желанию.

Кроме того, первый корпус 200 сформирован из первого кожуха 220 и второго кожуха 225, и второй корпус 205 сформирован из первого кожуха 230 и второго кожуха 235. Первые и вторые кожухи предпочтительно выполнены из соответствующего материала, снабженного ребрами жесткости, например из пластмассы, полученной способом литья под давлением, или сформованы с использованием металла, например, нержавеющей стали (STS) и титана (Ti).

При желании может быть предусмотрено наличие одного или большего количества промежуточных кожухов, расположенных между первым и вторым кожухами одного из корпусов: первого корпуса 200 и второго корпуса 205 или обоих этих корпусов. Кроме того, первый корпус 200 и второй корпус 205 обычно имеют такой размер, что вмещают в себя электронные компоненты, используемые для обеспечения функционирования терминала 100 мобильной связи.

Первый корпус 200 также содержит камеру 121 и устройство 152 вывода звука, которое выполнено в виде громкоговорителя, расположенного надлежащим образом относительно дисплея 151. Камера 121 также может быть сконструирована таким образом, что по выбору она может быть установлена в заданное положение (например, повернута, повернута на шарнире и т.д.) относительно первого корпуса 200.

Кроме того, рядом с нижней стороной дисплея 151 расположены функциональные кнопки 210. Как изложено выше, дисплей 151 может быть реализован в виде жидкокристаллического дисплея, ЖКД (LCD), или в виде дисплея на органических светоизлучающих диодах (OLED). Дисплей 151 также может быть выполнен в виде сенсорного экрана, снабженного расположенной под ним сенсорной панелью, которая осуществляет генерацию сигналов в ответ на прикосновение пользователя (например, пальцем, ручкой-стилусом и т.д.) к сенсорному экрану.

Второй корпус 205 также содержит микрофон 122, расположенный рядом с кнопочной панелью 215, и боковые клавиши 245, которые являются одним из типов устройств ввода пользовательских данных, расположенные вдоль боковой стороны второго корпуса 205. В предпочтительном варианте боковые клавиши 245 выполнены в виде клавиш быстрого вызова функций ("горячих клавиш") таким образом, что боковые клавиши 245 связаны с конкретной функцией терминала 100 мобильной связи. Как показано на чертеже, рядом с боковыми клавишами 245 расположен блок 170 интерфейса, а в нижней части второго корпуса 205 расположен источник 190 электропитания в виде аккумулятора.

На Фиг.3 терминал 100 мобильной связи, показанный на Фиг.2, изображен на виде сзади-сбоку. Как показано на Фиг.3, второй корпус 205 содержит камеру 121 и связанные с ней лампу-вспышку 250 и зеркало 255. Лампа-вспышка 250 функционирует вместе с камерой 121 второго корпуса 205, а зеркало 255 является полезным для содействия надлежащему расположению камеры 121 в режиме автопортрета пользователем. Кроме того, камера 121 второго корпуса 205 обращена в направлении, противоположном тому направлению, в котором обращена камера 121 первого корпуса 200, показанная на Фиг.2.

Кроме того, каждая из камер 121 первого и второго корпусов 200 и 205 может иметь одинаковые или различные функциональные возможности. Например, в одном из вариантов осуществления изобретения камера 121 первого корпуса 200 работает с относительно более низкой разрешающей способностью, чем камера 121 второго корпуса 205. Такое устройство работает хорошо, например, во время телефонной связи в режиме видеоконференции, когда пропускная способность линии обратной связи может быть ограниченной. Кроме того, относительно более высокая разрешающая способность камеры 121 второго корпуса 205 (Фиг.3) является полезной для получения более высококачественных изображений для их использования впоследствии.

Второй корпус 205 также содержит модуль 152 вывода звука, который выполнен в виде громкоговорителя и который расположен в верхней части второго корпуса 205. Модули выхода звукового сигнала первого и второго корпусов 200 и 205 могут также взаимодействовать друг с другом для обеспечения вывода стереозвука. Кроме того, любой из этих модулей вывода звука или оба из них могут быть выполнены таким образом, что функционируют в качестве устройства громкоговорящей связи.

Терминал 100 также содержит антенну 260 для приема сигнала широковещательной передачи, расположенную на верхнем торце второго корпуса 205. Антенна 260 функционирует во взаимодействии с модулем 111 приема широковещательных передач (показанным на Фиг.1). При желании антенна 260 может быть установлена или выполнена таким образом, что, способна втягиваться во второй корпус 205. Кроме того, задняя сторона первого корпуса 200 содержит модуль 265 скольжения по направляющим, который соединен с соответствующим модулем скольжения по направляющим, расположенным на передней стороне второго корпуса 205, с возможностью его перемещения путем скольжения.

Кроме того, проиллюстрированная компоновка различных компонентов первого и второго корпусов 200 и 205 может быть видоизменена при необходимости или по желанию. В общем случае, в альтернативном варианте некоторые или все компоненты одного корпуса могут быть реализованы таким образом, что они расположены в другом корпусе. Кроме того, местоположение и относительное расположение таких компонентов может быть таким, что их места расположения отличаются от тех, которые показаны на представленных чертежах.

Кроме того, терминал 100 мобильной связи, показанный на чертежах Фиг.1-3, может быть выполнен таким образом, что работает в системе связи, осуществляющей передачу данных посредством кадров или пакетов, в том числе не только в системах беспроводной связи, но и в системах проводной связи, и в системах спутниковой связи. В таких системах связи используют различные интерфейсы радиосвязи и/или физические уровни.

Примерами таких интерфейсов радиосвязи, используемых в системах связи, являются, в том числе, например, следующие: множественный доступ с частотным разделением, МДЧР (FDMA), множественный доступ с временным разделением, МДВР (TDMA), множественный доступ с кодовым разделением, МДКР (CDMA) и интерфейс радиосвязи Универсальной системы мобильной связи (UMTS), стандарт интерфейса радиосвязи в рамках программы долгосрочного развития (LTE) Универсальной системы мобильной связи (UMTS) и интерфейс радиосвязи Глобальной системы мобильной связи (GSM). В качестве только лишь примера, не являющегося ограничивающим признаком, приведенное ниже описание относится к системе связи МДКР, но идея этого изобретения равным образом применима и к системам других типов.

На Фиг.4 проиллюстрирована система беспроводной связи МДКР, содержащая множество терминалов 100 мобильной связи, множество базовых станций 270, множество контроллеров 275 базовых станций (КБС) и коммутационный центр 280 мобильной связи (КЦМС).

КЦМС 280 сконфигурирован таким образом, что соединен с помощью интерфейса с коммутируемой телефонной сетью 290 общего пользования (КТСОП), и КЦМС 280 также таким образом, что соединен с помощью интерфейса с контроллерами 275 базовых станций (КБС). Кроме того, контроллеры 275 базовых станций (КБС) связаны с базовыми станциями 270 через линии обратной связи. Кроме того, линии обратной связи могут быть сконфигурированы в соответствии с любым из нескольких интерфейсов, которыми являются, в том числе, например, интерфейс линии E1/T1, интерфейс линии асинхронного режима передачи (ATM), интерфейс протокола сети Интернет (IP), интерфейс протокола соединения "точка-точка" (PPP), интерфейс протокола ретрансляции кадров (Frame Relay), интерфейс высокоскоростной цифровой абонентской линии (HDSL), ассиметричной цифровой абонентской линии (ADSL) или цифровых абонентских линий по технологии xDSL. Кроме того, система может содержать более двух контроллеров 275 базовых станций (КБС).

К тому же, каждая базовая станция 270 может содержать один или большее количество секторов, при этом каждый сектор содержит всенаправленную антенну или антенну, направленную в конкретном направлении по радиусу от базовой станции 270. В альтернативном варианте каждый сектор может содержать две антенны для приема с разнесением. Кроме того, каждая базовая станция 270 может быть выполнена таким образом, что обеспечивает поддержку множества распределений предоставленных частот, причем каждое распределение предоставленных частот имеет конкретную ширину спектра (например, 1,25 МГц, 5 МГц).

Пересечение сектора и предоставленных частот может именоваться каналом МДКР. Базовые станции 270 также могут именоваться подсистемами приемопередатчика базовой станции, ППБС (BTS). В некоторых случаях термин "базовая станция" может использоваться таким образом, что он относится к совокупности из КБС 275 и одной или большего количества базовых станций 270.

Базовые станции 270 также могут именоваться "узлами сети сотовой связи". В альтернативном варианте узлами сети сотовой связи могут именоваться отдельные сектора конкретной базовой станции 270. Кроме того, показан передатчик 295 наземной системы цифрового мультимедийного вещания (DMB), осуществляющий широковещательную передачу в терминалы 100 мобильной связи, работающие в системе.

Кроме того, модуль 111 приема широковещательных передач (показанный на Фиг.1) терминала 100 мобильной связи обычно выполнен таким образом, что способен принимать сигналы широковещательной передачи, переданные передатчиком 295 системы цифрового мультимедийного вещания (DMB). Как изложено выше, аналогичные устройства могут быть реализованы для других типов широковещательной и многоадресной передачи сигналов.

Кроме того, на Фиг.4 проиллюстрировано несколько спутников 300 Глобальной системы определения местоположения (GPS). Эти спутники облегчают определение местоположения некоторых или всех терминалов 100 мобильной связи. На Фиг.4 показаны два спутника, но информация о местоположении может быть получена посредством большего или меньшего количества спутников.

Кроме того, модуль 115 определения местоположения (показанный на Фиг.1) терминала 100 мобильной связи обычно выполнен таким образом, что взаимодействует со спутниками 300 для получения желательной информации о местоположении. Однако в альтернативном варианте может быть реализована техника определения местоположения иных типов, например такая техника определения местоположения, которая может использоваться в дополнение к технологии определения местоположения посредством Глобальной системы определения местоположения (GPS) или вместо нее. В альтернативном варианте или в дополнение к этому некоторые или все спутники 300 Глобальной системы определения местоположения (GPS) могут быть устроены таким образом, что обеспечивают передачу программ цифрового мультимедийного вещания (DMB) со спутников.

Кроме того, во время обычной работы системы беспроводной связи базовые станции 270 принимают наборы сигналов, передаваемых по линиям обратной связи из различных терминалов 100 мобильной связи. Терминалы 100 мобильной связи участвуют в телефонных вызовах, в обмене сообщениями и в других видах связи.

Кроме того, каждый сигнал, переданный по линии обратной связи, который принят конкретной базовой станцией 270, обрабатывают в этой же базовой станции 270, и результирующие данные пересылают в соответствующий КБС 275. КБС 275 обеспечивает распределение ресурсов телефонного вызова и функциональные возможности управления мобильностью, в том числе "мягкими" эстафетными передачами управления связью между базовыми станциями 270.

Кроме того, контроллеры 275 базовых станций (КБС) также направляют принятые данные в КЦМС 280, который обеспечивает дополнительные услуги маршрутизации для связи с КТСОП 290. Аналогичным образом, КТСОП служит средством связи с КЦМС 280, а КЦМС 280 служит средством связи с контроллерами 275 базовых станций (КБС). Контроллеры 275 базовых станций (КБС) также управляют базовыми станциями 270 для обеспечения передачи наборов сигналов по линии прямой связи в терминалы 100 мобильной связи.

В приведенном ниже описании дано объяснение способа управления, применимого для терминала 100 мобильной связи, сконфигурированного описанным выше способом, в различных вариантах осуществления изобретения. Однако описанные ниже варианты осуществления изобретения могут быть реализованы независимо или посредством их комбинаций. В дополнение к этому, в приведенном ниже описании предполагают, что дисплей 151 содержит сенсорный экран. Кроме того, сенсорный экран или его экран обозначен ниже номером позиции '400'.

На Фиг.5 изображена схема последовательности операций, на которой проиллюстрирован способ управления терминалом мобильной связи согласно одному из вариантов осуществления настоящего изобретения. В описании этого чертежа также ссылаются на Фиг.1. Как показано на чертеже, контроллер 180 определяет факт того, что функция распознавания речи в терминале мобильной связи активирована (операция S101). Когда функция распознавания речи активирована (результатом операции S101 является "ДА"), контроллер 180 принимает введенную пользователем речевую команду (которую ниже именуют "речевой командой") (операция S102). Затем, когда контроллером 180 распознано, что речевая команда была введена пользователем (результатом операции S102 является "ДА"), то контроллер 180 определяет смысл распознанной речевой команды (операция S103).

Кроме того, для активации функции распознавания речи согласно данному варианту осуществления изобретения пользователь может выбрать конкретную клавишу или прикоснуться к конкретному участку сенсорного экрана, содержащегося в терминале мобильной связи. Физическая активация функции распознавания речи пользователем является особенно целесообразной потому, что пользователь является более осведомленным о том, что он собирается использовать речевые команды для управления терминалом. То есть поскольку пользователь сначала должен выполнить физическую манипуляцию с терминалом, то он или она интуитивно осознают, что они собираются ввести речевую команду или инструкцию в терминал, и, следовательно, говорят более отчетливо или более медленно, чтобы тем самым активировать конкретную функцию.

Таким образом, поскольку пользователь говорит более отчетливо или более медленно, то, например, возрастает вероятность точного распознавания речевых команд. То есть активацию функции распознавания речи выполняют посредством физической манипуляции с клавишей на терминале, а не путем активации функции распознавания речи, говоря в терминал.

Затем контроллер 180 может начать или завершить активацию функции распознавания речи на основании того, какое количество раз пользователь прикоснулся к конкретной клавише или к конкретному участку сенсорного экрана, как долго пользователь прикасается к конкретной клавише или к конкретному участку сенсорного экрана и т.д. Пользователь также может задать то, каким образом контроллер 180 должен активировать функцию распознавания речи, с использованием надлежащего пункта меню, что обеспечивается настоящим изобретением. Например, пользователь может выбрать на терминале тот пункт меню, который содержит 1) установку активации распознавания речи на основании того количества раз, равного X, которое была выбрана клавиша речевого управления, 2) установку активации распознавания речи на основании количества времени, равного X, в течение которого была выбрана клавиша речевого управления, 3) установку активации распознавания речи тогда, когда выбраны клавиши X и Y, и т.д. Затем пользователь может ввести значения X и Y для задания того, каким образом контроллер 180 определяет факт активации функции речевой активации распознавания, с возможностью изменения этих параметров. Таким образом, согласно одному из вариантов осуществления настоящего изобретения пользователь активно задействует функцию речевого управления, имеющуюся в его собственном терминале мобильной связи, что увеличивает вероятность определения контроллером 180 правильной функции, соответствующей речевой команде пользователя, и что предоставляет пользователю возможность приспособить функцию речевого управления в соответствии с его или ее потребностями.

Контроллер 180 также может сохранять активированное состояние функции распознавания речи в течение времени прикосновения к заданной клавише (к заданным клавишам) или в течение времени нажатия на нее (на них) и прекращать выполнение функции распознавания речи, когда заданная клавиша отпущена (заданные клавиши отпущены). В альтернативном варианте контроллер 180 может сохранять активацию функции распознавания речи в течение заранее заданного промежутка времени после прикосновения к заданной клавише (к заданным клавишам) или нажатия на нее (на них) и прекращать или завершать выполнение функции распознавания речи по истечении заранее заданного промежутка времени. В еще одном варианте осуществления изобретения контроллер 180 может запоминать полученные речевые команды в запоминающем устройстве 160 в течение того времени, когда функция распознавания речи поддерживается в активированном состоянии.

Кроме того, контроллер 180 может определять смысл речевой команды сразу же после завершения выполнения функции распознавания речи, или может определять смысл речевой команды одновременно с вводом пользователем речевых команд. Кроме того, для определения смысла речевой команды контроллер 180 может анализировать слова, ключевое слово, структуру предложения и т.д., которые используют во введенной речевой команде, и определять содержание или смысл речевой команды.

Кроме того, контроллер 180 может также запоминать информацию, связанную с функциями, услугами или меню, предоставляемыми в терминале мобильной связи, в базе данных запоминающего устройства 160 для определения смысла речевой команды. Кроме того, для повышения вероятности точного обнаружения речевой команды пользователя может быть выполнено обновление информации, хранящейся в базе данных, с использованием обучения или способа, основанного на искусственном интеллекте. Сведения о предшествующих операциях, выполненных в терминале мобильной связи, также могут быть запомнены в базе данных. Например, пользователь может открыть свой терминал и большую часть времени проверять его сообщения электронной почты прежде, чем выполнить любую другую операцию.

Таким образом, контроллер 180 может использовать эти сведения о предшествующих операциях для повышения вероятности определения смысла речевой команды пользователя. Пользователь также может ввести ту же самую речевую команду при первом включении или открывании своего терминала мобильной связи. Сведения об этих предшествующих операциях также могут быть запомнены вместе с введенной речевой командой и могут быть использованы контроллером 180 для определения смысла введенной команды.

Таким образом, сведения о предшествующих операциях, выполненных в терминале, содержат сведения о состоянии приведения терминала в действие (например, во время режима ожидания, во время телефонного разговора, во время видеотелефонного разговора, во время сеанса передачи электронной почты, во время сеанса обмена мгновенными сообщениями, закрывание терминала и т.д.), а также содержат сведения о предшествующих командах, введенных пользователем. Например, для прослушивания музыки пользователь может предварительно закрыть терминал, а затем ввести команду "play my music" ("проиграть мою музыку"). В таком случае контроллер 180 может использовать состояние терминала мобильной связи (то есть что он находится в закрытом состоянии) для помощи в определении того, что означает речевая команда, введенная пользователем.

Возвращаясь к рассмотрению Фиг.5, когда контроллером 180 определен смысл речевой команды с использованием информации из базы данных, то контроллер 180 выводит соответствующее результирующее значение (операция S104). Таким образом, результирующее значение может содержать управляющий сигнал для выполнения функции, соответствующей распознанной речевой команде, или для управления конкретным элементом. Результирующее значение также может соответствовать информации в виде данных для отображения меню или нескольких меню, связанных с распознанной командой.

Кроме того, пользователь может ввести речевую команду в виде точного наименования конкретного меню (например, "image capturing" ("съемка изображений"), "voice call" ("телефонный вызов в режиме речевой связи"), "message transmission" ("передача сообщений") и т.д.) или используя естественный язык (например, "show me photo" ("покажите мне фотографию"), "save battery" ("перейти в режим экономии энергии аккумулятора") и т.д.). Кроме того, команда на естественном языке может содержать или может не содержать точное наименование, связанное с конкретным меню.

К тому же, естественным языком является язык, обычно используемый людьми в повседневной жизни, который отличается от искусственного языка (который создан искусственно), и его обработка может быть осуществлена с использованием алгоритма обработки естественного языка. Кроме того, как показано на Фиг.5, контроллер 180 затем определяет, может ли он распознать речевую команду, введенную пользователем (операция S105).

Например, контроллер 180 может определить, способен ли он распознать речевые команды с вероятностью, превышающей конкретное пороговое значение (равное, например, 80%). Если контроллер 180 не может определить смысл речевой команды, удовлетворяющий конкретному пороговому значению, то контроллер 180 может выполнить дополнительную обработку ошибок (операция S107), а затем повторить операции S103-S105.

Однако, если контроллер 180 может распознать речевые команды, удовлетворяющие конкретному пороговому значению, то контроллер 180 может предпочтительно отобразить на дисплее множество меню, удовлетворяющих конкретному пороговому значению (например, для которых индивидуальный процент правильно распознанных слов равен 80% или выше) (операция S106). Пользователь может визуально увидеть отображенные меню, а затем выбрать одно из отображенных на дисплее меню.

Этот признак является особенно целесообразным потому, что пользователь вновь является активно вовлеченным в функцию распознавания речи. В более подробном изложении, вместо отображения или вывода для пользователя сообщения о том, что контроллер 180 не может четко определить смысл речевой команды, контроллер 180 предпочтительно выводит множество меню, для которых вероятность того, что они являются точными, превышает конкретное пороговое значение (равное, например, 80%). Например, если пользователь вводит речевую команду "save battery" ("перейти в режим экономии энергии аккумулятора"), но контроллер 180 может определить только команду "save" (например, вследствие фонового шума, плохого приема и т.д.), контроллер 180 может отобразить на дисплее конкретное меню или пункты меню, связанные с ключевым словом "Save". То есть контроллер 180 может отобразить на дисплее меню "фотографии", меню "аккумулятор" и меню "электронная почта", поскольку каждое из этих меню содержит элемент "save". Следовательно, пользователь может затем выбрать надлежащее меню из множества меню, отображенных на дисплее.

Кроме того, как изложено выше, контроллер 180 может использовать данные о предшествующих операциях в терминале при определении смысла введенных речевых команд. Контроллер 180 также может использовать данные о физическом состоянии терминала для помощи в определении смысла введенных речевых команд. Например, контроллер 180 может предпочтительно использовать информацию о состоянии аккумулятора (например, о состоянии "аккумулятор разряжен") при определении смысла введенных речевых команд.

Кроме того, в качестве вида приема подтверждения от пользователя может использоваться сообщение, речевое подтверждение или положение или вид (форма или размер) отображения меню на дисплее, а видом ответа может являться речь пользователя, конкретная клавиша или сенсорный ввод данных. Кроме того, как изложено выше, если процент правильно распознанных слов введенной речевой команды является более низким, чем конкретное пороговое значение, то контроллер 180 может выполнить операцию обработки ошибок (операция S107).

Затем, во время операции обработки ошибок контроллер 180 может принять дополнительную речевую команду от пользователя или, как изложено выше, может отобразить множество меню, для которых процент правильно распознанных слов или вероятностный показатель превышают определенный уровень. Контроллер 180 также определяет количество распознанных функций или меню, для которых вероятность превышает определенный уровень. Если количество распознанных функций или меню, для которых процент правильно распознанных слов превышает определенный уровень, является меньшим, чем конкретное число (например, если имеется только одна функция или одно меню), то контроллер 180 автоматически выполняет эту одну функцию или реализует это одно меню.

На Фиг.6А-6В показаны изображения, выводимые на экран дисплея, которые иллюстрируют активацию пользователем функции распознавания речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Кроме того, как изложено выше, настоящее изобретение имеет преимущество, заключающееся в том, что пользователю предоставлена возможность определения того, когда именно следует инициировать функцию речевого управления, на основании физических манипуляций, произведенных пользователем. Таким образом, пользователь более осведомлен о своем окружении (например, говорит ли он в тихой среде и т.д.), о тембре и уровне своего голоса, об используемом им естественном языке или языке иного типа и т.д. Следовательно, вероятно, что пользователь будет более внимательным при введении речевых команд, что приводит к более высокой вероятности точного определения смысла речевой команды контроллером 180.

Кроме того, другое преимущество того, что пользователю предоставляют возможность вручную активировать функцию распознавания речи путем прикосновения к клавише на терминале или путем ее выбора, состоит в снижении потребления мощности от аккумулятора. То есть функция распознавания речи потребляет большой объем ресурсов терминала мобильной связи, и когда активированное состояние функции распознавания речи непрерывно приводят в действие в режиме ожидания (или в состоянии простоя), то происходит непрерывное потребление терминалом полной мощности.

В более подробном изложении, когда контроллер 180 сконфигурирован таким образом, что принимает сигнал активации для активации функции распознавания речи посредством того, что пользователь говорит в терминал (а не путем выбора пользователем конкретной клавиши), то контроллер 180 должен непрерывно выполнять функцию распознавания речи в активном состоянии и ожидать того, что пользователь начнет говорить (это означало бы то, что начато распознавание речи). Этот непрерывный режим ожидания ввода пользователем речевой команды приводит к тому, что выполнение функции распознавания речи непрерывно уменьшает имеющуюся электроэнергию терминала.

Таким образом, имеется преимущество, заключающееся в том, что контроллер 180 управляет включением и отключением функции распознавания речи для предотвращения потребления электроэнергии и потребления ресурсов терминала мобильной связи. В одном из примеров и как показано на Фиг.6А, устройство 130 ввода пользовательских данных, имеющееся в терминале мобильной связи, содержит виртуальную клавишу 350 на дисплее 151, к которой пользователь может прикоснуться для включения и отключения функции речевого управления. Кроме того, программная клавиша может иметь форму клавиши или может представлять собой пиктограмму конкретной формы. Виртуальная клавиша 350 может также быть заменена аппаратной клавишей 351, расположенной, например, на боковой стороне терминала, как показано на Фиг.6А.

В другом примере и как показано на Фиг.6Б, для активации и отключения функции распознавания речи может быть использован произвольный участок дисплея 151, при этом клавишу или пиктограмму не отображают на дисплее 151. В еще одном примере и как показано на Фиг.6В, для управления активацией и отключением функции распознавания речи может быть введен конкретный звук через микрофон 122 терминала мобильной связи.

В более подробном изложении, этим конкретным звуком может являться звук удара, уровень громкости которого превышает определенный уровень, например звук хлопка в ладоши, произведенного пользователем. В этом случае контроллер 180 обнаруживает звук удара с использованием алгоритма или схемы для определения уровня громкости звука, введенного через микрофон 122. То есть алгоритм или схема для обнаружения звука удара сконфигурированы таким образом, что обнаруживают звук, уровень громкости которого превышает конкретный заранее заданный уровень, и потребляют менее значительный объем ресурсов или мощности терминала мобильной связи по сравнению с функцией распознавания речи.

Преимущество также заключается в том, что пользователь может установить, какой именно звук удара следует использовать для активации функции распознавания речи. Например, пользователь может выбрать соответствующий пункт меню, предоставленный терминалом из настоящего изобретения, а затем хлопнуть в ладоши два раза или три раза для уведомления контроллера 180 о том, что для активации функции распознавания речи следует использовать конкретное количество звуков хлопков в ладоши. Пользователь также может задать любой другой звук в качестве звука для активации функции распознавания речи.

Кроме того, контроллер 180 может приводить в действие функцию распознавания речи во множестве режимов. Например, контроллер 180 может различным образом приводить в действие функцию распознавания речи в первом режиме, в котором функцию распознавания речи активирует звук, уровень громкости которого превышает определенный уровень, и во втором режиме, в котором принимают речевую команду и определяют ее содержание или смысл. А именно, если в первом режиме обнаружен звук, уровень громкости которого превышает определенный уровень, то контроллер 180 реализует второй режим для активации функции распознавания речевой команды.

Кроме того, в другом варианте осуществления изобретения контроллер 180 начинает активацию функции распознавания речи после получения информации о телодвижениях пользователя. В более подробном изложении, информация о телодвижениях содержит сигнал о движении руки или о жесте пользователя. Для обнаружения информации о телодвижениях пользователя может использоваться датчик 140. В еще одном варианте осуществления изобретения контроллер 180 начинает активацию функции распознавания речи после приема радиосигнала ближнего или дальнего действия с использованием беспроводного устройства.

Кроме того, контроллер 180 может принимать радиосигнал посредством блока 110 беспроводной связи и принимать сигнал о движении руки или о жесте пользователя посредством датчика 140. В этих вариантах осуществления изобретения блок 110 беспроводной связи, используемый для приема сигнала для активации функции распознавания речи, устройство 130 ввода пользовательских данных и датчик 140 могут в совокупности именоваться устройством ввода сигнала активации.

Кроме того, как изложено выше, контроллер 180 завершает или прекращает выполнение функции распознавания речи по истечении заранее заданного промежутка времени, после приема сигнала завершения от пользователя и т.д. для уменьшения потребляемой мощности и потребления ресурсов терминала мобильной связи. С этой целью сигнал завершения может соответствовать прикосновению к клавише или нажатию на нее, прикосновению к конкретному участку сенсорного экрана, звуку удара, радиосигналу или информации о телодвижении пользователя, точно так же или аналогично тому, как это делают для включения активации функции распознавания речи.

В более подробном изложении, контроллер 180 может начать активацию функции распознавания речи, сохранять активированное состояние функции распознавания речи в течение конкретного промежутка времени и автоматически завершать активированное состояние функции распознавания речи по истечении этого конкретного промежутка времени. В альтернативном варианте контроллер 180 может сохранять активированное состояние функции распознавания речи в течение времени непрерывного нажатия на клавишу или прикосновения к сенсору для ввода данных и завершать активированное состояние функции распознавания речи после отпускания этих средств ввода данных. В другом примере контроллер 180 может завершать функцию речевого управления в том случае, если пользователь не произносит слова в терминал в течение более длительного промежутка времени, чем конкретный промежуток времени.

На Фиг.7A изображена схема последовательности операций, на которой проиллюстрирован способ распознавания речи согласно одному из вариантов осуществления настоящего изобретения. В описании этого чертежа также ссылаются на Фиг.1. Как показано на Фиг.7A, когда начато выполнение функции распознавания речи (операция S201), то контроллер 180 сохраняет введенную речевую команду в запоминающем устройстве 160 (операция S202) и обрабатывает речевую команду согласно конкретному алгоритму распознавания речи (операция S203).

Затем в соответствии с алгоритмом распознавания речи контроллер 180 выполняет преобразование введенных речевых команд в текстовую информацию и сохраняет преобразованную текстовую информацию в произвольной области запоминающего устройства 160 (операция S204). После этого контроллер 180 обрабатывает текстовую информацию для определения смысла команды. Кроме того, в предпочтительном варианте контроллер 180 определяет смысл речевой команды одновременно с вводом речевых команд.

Однако, как упомянуто выше, контроллер 180 также может определять смысл речевых команд после завершения ввода речевых команд пользователем. Например, если речевая команда не введена пользователем в течение заранее заданного конкретного промежутка времени, то контроллер 180 может определить, что пользователь уже завершил ввод речевых команд, и затем он начинает процедуру определения смысла речевых команд.

Затем, как показано на Фиг.7A, контроллер 180 обнаруживает конкретные слова или ключевые слова, содержащиеся в текстовой информации, для определения смысла речевой команды (операция S205), и сравнивает обнаруженные слова или ключевые слова с информацией, связанной с различными функциями и меню, которая хранится в конкретной базе данных терминала мобильной связи (операция S206). Кроме того, когда в базе данных хранятся одинаковые или похожие слова или ключевые слова, то процент правильно распознанных слов речевой команды может быть определен по количеству соответствующих слов или ключевых слов (операция S207).

Кроме того, информация для определения процента правильно распознанных слов может быть не ограничена информацией о количестве слов или ключевых слов, содержащихся в речевой команде. То есть величина для определения процента правильно распознанных слов может быть установлена по-разному для каждого ключевого слова, поэтому даже в том случае, если количество слов или ключевых слов мало, процент правильно распознанных слов может быть изменен за счет ключевого слова с высокой вероятностью правильного распознавания.

Кроме того, процент правильно распознанных произнесенных слов представляет собой информацию, которая указывает, является ли смысл распознанной речевой команды точным или нет. В более подробном изложении, если наименование конкретного меню введено точно, то может быть получен процент правильно распознанных слов, равный 100%. Однако если речевая команда принята на естественном языке, то в речевой команде может содержаться незначащее слово, и каждый пользователь может по-иному произносить то же самое слово, поэтому в действительности трудно получить процент правильно распознанных слов, равный 100%.

Таким образом, в варианте осуществления настоящего изобретения преимущественно полагают, что процент правильно распознанных слов, превышающий конкретное значение (равное, например, 80%), дает точный результат. Следовательно, если имеется несколько смыслов, определенных с аналогичным процентом правильно распознанных слов (а именно, значения процента правильно распознанных слов являются сходными, но речевая команда может быть истолкована таким образом, что имеет различный смысл), то контроллер 180 отображает на дисплее множество исполняемых меню, которые соответствуют процентам правильно распознанных слов, превышающим заранее заданное пороговое значение, для того чтобы пользователь мог выбрать одно из отображенных на дисплее меню (операция S208).

Кроме того, контроллер 180 может также отобразить меню в порядке приоритетов, причем первым по порядку идет меню с самым высоким процентом правильно распознанных слов. Например, как показано на Фиг.7Б, пиктограмма меню с самым высоким процентом правильно распознанных слов может быть отображена в центральном участке экрана 410 дисплея. В альтернативном варианте, как показано на Фиг.7Б, пиктограмма меню с самым высоким процентом правильно распознанных слов может быть отображена на экране 420 дисплея таким образом, что имеет больший размер, является более темной или выделена яркостью. Отображенное меню, которому соответствует самый высокий процент правильно распознанных слов, также может быть отображено мерцающим.

Кроме того, для повышения процента правильно распознанных слов, если пользователь часто выбирает некоторое меню, то контроллер 180 может обучиться или запомнить то количество раз, которое было выбрано, и использовать эту информацию, полученную путем обучения, для изменения процента правильно распознанных слов для конкретного меню.

Таким образом, процент правильно распознанных слов может быть изменен для речевой команды, введенной со сходным или одинаковым произношением или содержанием.

На Фиг.7В в общем виде показаны выводимые на экран дисплея изображения для объяснения способа распознавания речи согласно одному из вариантов осуществления настоящего изобретения. Как показано на чертеже, когда пользователь вводит речевую команду "I want to see my pictures" ("Я хочу увидеть мои изображения") на естественном языке, то контроллер 180 обнаруживает значащие слова или ключевые слова (например, "see" ("увидеть"), "pictures" ("изображения")) из предложения, образующего речевую команду, и сравнивает эти слова с информацией, которая хранится в базе данных, имеющейся в терминале мобильной связи.

Кроме того, тот факт, являются ли обнаруженные слова или ключевые слова значащими словами или нет, может быть определен по частям речи. В альтернативном варианте в качестве значащего слова может быть обнаружено только конкретное заранее заданное ключевое слово. Затем контроллер 180 ищет в базе данных информацию, соответствующую значащим словам или ключевым словам.

Кроме того, база данных может содержать множество данных о ключевых словах, связанных с различными меню или функциями терминала мобильной связи. Например, в качестве информации о ключевых словах, соответствующей слову "фотоальбом", в дополнение к точному слову "фотоальбом" может быть запомнена информация, соответственно, о множестве ключевых слов, например меню более нижнего уровня для меню "камера", "фотография", "видео", "альбом" и т.д.

Как показано на экране 510 дисплея на Фиг.7В, когда отсутствует информация, связанная с меню или с функцией, которая идентична речевой команде, контроллер 180 отображает на дисплее множество меню, для каждого из которых процент правильно распознанных слов превышает конкретное значение. Как изложено выше, контроллер 180 отображает на дисплее пиктограмму 521 меню, имеющего самый высокий процент правильно распознанных слов, таким образом, что она является большей по размеру или более темной, чем другие отображенные на дисплее элементы.

Кроме того, на экране 520 дисплея на Фиг.7В проиллюстрировано автоматическое выполнение контроллером 180 соответствующей функции меню, для которого процент правильно распознанных слов превышает конкретное значение, при наличии только одного меню, для которого процент правильно распознанных слов превышает конкретное значение. Кроме того, контроллер 180 может вывести речевую команду, смысл которой был определен, в виде текстового сообщения, или сообщения иного типа, или в виде речевого сообщения.

На Фиг.7Г в общем виде показаны выводимые на экран дисплея изображения для объяснения способа распознавания речи согласно еще одному варианту осуществления настоящего изобретения. В этом варианте осуществления изобретения пользователь сначала активирует функцию распознавания речи путем прикосновении к экрану 610 дисплея, а затем вводит речевую команду "Enable battery saving" ("Разрешить переход в режим экономии энергии аккумулятора") на естественном языке, как показано на экране 620 дисплея. Затем контроллер 180 обнаруживает значащие слова или ключевые слова (например, "battery" аккумулятор, "saving" ("режим экономии энергии") в предложении, образующем речевую команду, и сравнивает эти слова с информацией, хранящейся в базе данных, для определения их смысла.

Однако, поскольку в этом варианте осуществления изобретения отсутствует какое-либо меню, точно соответствующее речевой команде, то контроллер 180 отображает на дисплее множество меню (например, "фоновое изображение", "фоновая подсветка", "экран в режиме ожидания" и т.д.), связанных с функцией уменьшения потребляемой мощности аккумулятора, что показано на экране 630 дисплея.

Кроме того, как изложено выше, по меньшей мере, один из следующих параметров: размер, положение, цвет и контраст множества меню может быть по-иному отображен или выделен на дисплее в соответствии с порядком следования согласно проценту правильно распознанных слов, начиная с наибольшего. Например, часто выбираемые пользователем меню с высокими значениями процента правильно распознанных слов могут быть отображены таким образом, чтобы отличаться от других меню.

На Фиг.8 изображена блок-схема, на которой проиллюстрированы базы данных для распознавания речи согласно одному из вариантов осуществления настоящего изобретения. Базы данных содержат хранящуюся в них информацию, используемую контроллером 180 для определения смысла речевой команды. Таким образом, множество баз данных может быть сконфигурировано в соответствии с характеристиками каждой информации. Кроме того, каждая база данных, сконфигурированная в соответствии с характеристиками каждой информации, может быть обновлена посредством непрерывного процесса обучения под управлением контроллера 180.

Кроме того, термин "процесс обучения" для баз данных относится к установлению соответствия между речевой информацией, произнесенной пользователем, и соответствующим словом. Например, если пользователем было произнесено слово "fifteen" ("пятнадцать"), но контроллер 180 распознает это слово как "fifty" ("пятьдесят"), то пользователь может исправить "пятьдесят" на "пятнадцать", в результате чего контроллер 180 распознает это же самое произношение впоследствии как слово "пятнадцать".

Следовательно, посредством этого процесса обучения может быть установлено соответствие множества данных с речевой информацией каждым данным из баз данных. Например, базы данных могут содержать первую базу 161 данных, предназначенную для хранения речевой информации, которая позволяет распознавать речь пользователя, введенную через микрофон, по формату, слогам или морфемам, вторую базу 162 данных, предназначенную для хранения информации, позволяющей контроллеру 180 определять общий смысл речевой команды на основании распознанной речевой информации, третью базу 163 данных, предназначенную для хранения информации, связанной с меню, для реализации функции или услуги терминала мобильной связи, и четвертую базу данных 164, предназначенную для хранения сообщений или речевой информации, подлежащих выводу из терминала мобильной связи для получения подтверждения пользователем смысла речевой команды, определенного контроллером.

Кроме того, в каждой базе данных может храниться информация о особенностях речи (о произношении) или информация о формате, о слогах, о морфемах, о словах, о ключевых словах или о предложениях. Соответственно, контроллер 180 может выполнять операцию распознавания речи и определять смысл речевой команды с использованием, по меньшей мере, одной из множества баз 161-164 данных, и реализовывать меню, связанное с функцией или с услугой, соответствующее этому определенному смыслу речевой команды.

На Фиг.9 в общем виде показано выводимое на экран дисплея изображение, на котором отображают информацию для уведомления пользователя о том, что в текущий момент времени в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения выполняется распознанная речевая команда. В более подробном изложении, когда контроллером 180 распознана речевая команда или определен смысл речевой команды, контроллер 180 выводит соответствующее результирующее значение. Результирующим значением может являться управляющий сигнал для выполнения конкретной функции терминала мобильной связи, информация о меню, связанная с распознанной командой, или вывод информации в виде данных при выполнении функции. На Фиг.9 показано, что контроллер 180 выводит информацию 500, уведомляя пользователя о том, что введенная речевая команда была распознана.

Кроме того, описанные выше варианты осуществления изобретения относятся к распознаванию речевой команды пользователя. Однако настоящее изобретение также применимо и для того случая, когда пользователь выполняет дополнительную функцию ввода данных во время распознавания речевой команды. Например, функции распознавания речи и сенсорного ввода данных, распознавания речи и ввода данных посредством клавиш или распознавания речи и сенсорного ввода данных/ввода данных посредством клавиш могут выполняться одновременно.

Кроме того, контроллер 180 может не допускать выполнения функции распознавания речи в конкретном режиме или меню или в конкретном режиме работы. Кроме того, звуковая информация (например, звуковое уведомление или инструктивная информация) или видеоинформация (например, индикатор 500 на Фиг.9), указывающая, что в текущий момент применяется функция распознавания речи, может быть воспроизведена в режиме распознавания речи, в меню или в указателе режима работы. К тому же, информация о том, что в текущий момент применяется функция распознавания речи, может быть предоставлена пользователю путем вывода справочной информации.

Кроме того, описанные выше различные варианты осуществления изобретения могут быть реализованы в считываемом посредством компьютера носителе информации с использованием, например, компьютерного программного обеспечения, аппаратных средств или какой-либо их комбинации. Для варианта аппаратной реализации описанные выше варианты осуществления изобретения могут быть реализованы в одной или в большем количестве специализированных интегральных микросхем (ASIC), процессоров для цифровой обработки сигналов (DSP), устройств цифровой обработки сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), процессоров, контроллеров, микроконтроллеров, микропроцессоров, других электронных устройств, предназначенных для выполнения описанных здесь функций, или в выборочной комбинации этих устройств.

Для варианта программной реализации описанные здесь варианты осуществления изобретения могут быть реализованы посредством отдельных программных модулей, например, процедур и функций, каждая из которых выполняют одну или большее количество описанных здесь функций и операций. Программные коды могут быть реализованы посредством прикладной программы, написанной на любом подходящем языке программирования, и могут быть запомнены в запоминающем устройстве (например, в запоминающем устройстве 160) и выполнены контроллером или процессором (например, контроллером 180).

Кроме того, терминал 100 мобильной связи может быть реализован во множестве различных конфигураций. Примерами таких конфигураций являются, в том числе, следующие: конструкция складывающегося типа, конструкция сдвижного типа, конструкция прямоугольного типа, конструкция поворотного типа, конструкция шарнирного типа и их комбинации.

Поскольку приведенные в качестве примера варианты осуществления изобретения могут быть реализованы в нескольких вариантах, не выходя за пределы их отличительных признаков, то также следует понимать, что ни одна из подробностей приведенного выше описания не является ограничивающим признаком для описанных выше вариантов осуществления изобретения, за исключением тех случаев, когда это оговорено особо, а наоборот, их следует истолковывать расширительно в пределах объема патентных притязаний, определенного в прилагаемой формуле изобретения. Следовательно, подразумевают, что прилагаемая формула изобретения охватывает собой различные изменения и модификации, не выходящие за пределы объема формулы изобретения или эквивалентов этого объема патентных притязаний.

Claims (26)

1. Терминал мобильной связи, содержащий устройство ввода, сконфигурированное для приема введенных данных для активации функции распознавания речи в терминале мобильной связи, запоминающее устройство, сконфигурированное для запоминания информации, связанной с операциями, выполняемыми с терминалом мобильной связи, и контроллер, сконфигурированный для активации функции распознавания речи после приема введенных данных определения смысла введенной речевой команды на основании, по меньшей мере, одной предшествующей операции, выполненной в терминале мобильной связи, и языка речевой команды, и обеспечения выполнения операций, связанных с определенным смыслом входной речевой команды, на основании упомянутой, по меньшей мере, одной предшествующей операции, выполненной в терминале мобильной связи, и языка, содержащегося в речевой команде, и на основании вероятности того, что определенный смысл введенной речевой команды соответствует информации, связанной с операциями терминала мобильной связи.

2. Терминал мобильной связи по п.1, в котором в обеспеченных операциях исключены промежуточные операции так, что в результате выбора обеспеченной операции выполняются функции, соответствующей выбранной обеспеченной операции, без необходимости выбора исключенных промежуточных операций.

3. Терминал мобильной связи по п.1, в котором обеспеченные операции, связанные с определенным смыслом речевой команды, включены все операции, для которых вероятность больше заранее заданное пороговое значение.

4. Терминал, мобильной связи по п.3, в котором заранее заданное пороговое значение установлено производителем терминала или пользователем терминала.

5. Терминал мобильной связи по п.3, в котором заранее заданное пороговое значение выбирается автоматически на основании определенного количества операций.

6. Терминал мобильной связи по п.1, в котором контроллер дополнительно сконфигурирован для определения смысла введенной речевой команды на основании режима работы терминала мобильной связи.

7. Терминал мобильной связи по п.1, в котором в обеспеченных операциях, связанных с определенным смыслом введенной речевой команды, содержится, по меньшей мере, один пункт меню, соответствующий определенному смыслу введенной речевой команды.

8. Терминал мобильной связи по п.7, в котором контроллер дополнительно сконфигурирован для вывода всех пунктов меню, соответствующих определенному смыслу введенной речевой команды, для которых вероятность больше заранее заданное порогового значения.

9. Терминал мобильной связи по п.8, в котором контроллер дополнительно сконфигурирован для отображения на дисплее исключительно пункт меню, соответствующего определенному смыслу введенной речевой команды имеющей наибольшую вероятность относительно других меню.

10. Терминал мобильной связи по п.9, в котором контроллер отображается на дисплее исключительно пункт меню, соответствующий определенному смыслу введенной речевой команды, имеющей наибольшую вероятность, путем дифференцированного управления информацией, по меньшей мере, об одном из: размера, положения на экране дисплея, цвета, контраста и подсветки, того пункта меню, для которого вероятность является наибольшей.

11. Терминал мобильной связи по п.1, в котором устройство ввода содержит, по меньшей мере, одно из следующих средств: 1) сенсорную клавишу с программируемыми функциями, затрагиваемую для активации функции распознавания речи, 2) аппаратную клавишу, нажимаемую или с манипулируемую для активации функции распознавания речи, 3) произвольное место сенсорного экрана, содержащегося в устройстве ввода, затрагиваемого для активизации функции распознавания речи, 4) звук удара, вводимый для активации функции распознавания речи, 5) радиосигнал ближнего действия или радиосигнал дальнего действия, и 6) сигнал от пользователя с информацией о его телодвижениях.

12. Терминал мобильной связи по п.1, также содержащий: первую базу данных, сконфигурированную для хранения речевой информации или информации о произношении, используемой контроллером для распознавания речевой команды; вторую базу данных, сконфигурированную для хранения информации о словах, о ключевых словах или о предложениях, используемой контроллером для распознавания речевой команды; третью базу данных, сконфигурированную для хранения информации, связанной с функциями или с меню терминала мобильной связи; и четвертую базу данных, сконфигурированную для хранения справочной информации, выводимой для информирования пользователя о том, что контроллер пытается определить смысл распознанной речевой команды.

13. Терминал мобильной связи по п.1, в котором контроллер дополнительно сконфигурирован для вывода звуковой или видеоинформации, указывающей, что функция распознавания речи находится в активированном состоянии.

14. Способ управления терминалом мобильной связи, содержащий следующие операции: принимают введенные данные для активации функции распознавания речи в терминале мобильной связи; активируют функцию распознавания речи, после приема введенных данных; и обеспечивают выполнение операций, связанных с определенным смыслом введенной речевой команды, на основании сведений, по меньшей мере, об одной предшествующей операции, выполненной в терминале мобильной связи, и языка речевой команды, и на основании вероятности того, что определенный смысл введенной речевой команды соответствует информации, связанной с операциями терминала мобильной связи.

15. Способ по п.14, в котором предусмотренные операции исключают промежуточные операции, вследствие чего выбор предусмотренной операции приводит к выполнению функции, соответствующей выбранной обеспеченной операции, без необходимости выбора исключенных промежуточных операций.

16. Способ по п.14, в котором предусмотренные операции, связанные с определенным смыслом речевой команды, включают в себя все операции, для которых вероятность превышает заранее заданное пороговое значение.

17. Способ по п.16, в котором заданное пороговое значение установлено производителем терминала или пользователем терминала.

18. Способ по п.16, в котором заранее заданное пороговое значение выбирают автоматически на основании определенного количества операций.

19. Способ по п.14, также содержащий операцию, на которой определяют смысл введенной речевой команды на основании, по меньшей мере, одной предшествующей операции, выполненной в терминале мобильной связи, и языка речевой команды.

20. Способ по п.19, также содержащий операцию, на которой определяют смысл введенной речевой команды на основании режима работы терминала мобильной связи.

21. Способ по п.20, в котором обеспеченные операции, связанные с определенным смыслом введенной речевой команды, содержат, по меньшей мере, один пункт меню, соответствующий определенному смыслу введенной речевой команды.

22. Способ по п.21, также содержащий операцию, на которой выводят все пункты меню, соответствующие определенному смыслу введенной речевой команды, для которых вероятность превышает заранее заданное пороговое значение.

23. Способ по п.22, также содержащий операцию, на которой отображают на дисплее исключительно пункт меню, соответствующий определенному смыслу введенной речевой команды, для которого вероятность является наибольшей относительно других меню.

24. Способ по п.23, в котором операцию, при которой на дисплее отображают исключительно пункт меню, соответствующий определенному смыслу введенной речевой команды, для которого вероятность является наибольшей, выполняют путем дифференцированного управления информацией, по меньшей мере, об одном из следующего: размер, положение на экране дисплея, цвет, контраст и подсветка, того пункта меню, для которого вероятность является наибольшей.

25. Способ по п.14, в котором операция ввода содержит активацию функции распознавания речи с использованием, по меньшей мере, одного из следующих средств: 1) сенсорной виртуальной клавиши, к которой прикасаются для активации функции распознавания речи, 2) аппаратной клавиши, которую нажимают или над которой совершают манипуляции для активации функции распознавания речи, 3) произвольного места сенсорного экрана, содержащегося в устройстве ввода, к которому прикасаются для активации функции распознавания речи, 4) звука удара, который вводят для активации функции распознавания речи, 5) радиосигнала ближнего действия или радиосигнала дальнего действия, и 6) сигнала с информацией о телодвижениях от пользователя.

26. Способ по п.14, также содержащий операцию, на которой выводят звуковую или видеоинформацию, указывающую, что функция распознавания речи находится в активированном состоянии.

Images