RU2391716C2 - Способ и аппарат мультисенсорного улучшения речи в мобильном устройстве - Google Patents

Способ и аппарат мультисенсорного улучшения речи в мобильном устройстве Download PDF

Info

Publication number
RU2391716C2
RU2391716C2 RU2005127851/09A RU2005127851A RU2391716C2 RU 2391716 C2 RU2391716 C2 RU 2391716C2 RU 2005127851/09 A RU2005127851/09 A RU 2005127851/09A RU 2005127851 A RU2005127851 A RU 2005127851A RU 2391716 C2 RU2391716 C2 RU 2391716C2
Authority
RU
Russia
Prior art keywords
mobile device
server
data
signal
data exchange
Prior art date
Application number
RU2005127851/09A
Other languages
English (en)
Other versions
RU2005127851A (ru
Inventor
Майкл Дж. СИНКЛЕР (US)
Майкл Дж. СИНКЛЕР
Ранди Филлис ГРАНОВЕТТЕР (US)
Ранди Филлис ГРАНОВЕТТЕР
Чженью ЧЖАН (US)
Чженью ЧЖАН
Цзычэн ЛЮ (US)
Цзычэн ЛЮ
Original Assignee
Майкрософт Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Майкрософт Корпорейшн filed Critical Майкрософт Корпорейшн
Publication of RU2005127851A publication Critical patent/RU2005127851A/ru
Application granted granted Critical
Publication of RU2391716C2 publication Critical patent/RU2391716C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/605—Portable telephones adapted for handsfree use involving control of the receiver volume to provide a dual operational mode at close or far distance from the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H04R1/083—Special constructions of mouthpieces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/04—Supports for telephone transmitters or receivers
    • H04M1/05—Supports for telephone transmitters or receivers specially adapted for use on head, throat or breast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/16—Interfaces between hierarchically similar devices
    • H04W92/18—Interfaces between hierarchically similar devices between terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Set Structure (AREA)
  • Machine Translation (AREA)
  • Computer And Data Communications (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

Изобретение относится к мобильным устройствам, в частности к мультисенсорным мобильным устройствам. Мобильное устройство включает в себя микрофон воздушной проводимости и альтернативный датчик, который предоставляет сигнал альтернативного датчика, указывающий на речь, и датчик близости, который представляет сигнал, содержащий информацию о расстоянии между мобильным устройством и пользователем, а также устройство оценки чистого сигнала на основе сигнала микрофона, сигнала альтернативного датчика и сигнала датчика близости. Интерфейс обмена данными дает возможность мобильному устройству непосредственно обмениваться данными с другими мобильными устройствами. Технический результат - повышение точности распознавания речи. 2 н. и 32 з.п. ф-лы, 22 ил.

Description

Уровень техники
Настоящее изобретение относится к мобильным устройствам. В частности, настоящее изобретение относится к мультисенсорным мобильным устройствам.
Мобильные карманные устройства, такие как мобильные телефоны и личные цифровые помощники, которые предоставляют телефонные функции или принимают ввод речи, часто используются в условиях неблагоприятного шумового окружения, например на оживленных улицах, в ресторанах, аэропортах и автомобилях. Сильный шум окружающей среды в этом окружении может делать неразборчивой речь пользователя и затруднять понимание того, что человек говорит. Помимо этого он серьезно снижает точность распознавания речи.
Хотя были разработаны системы фильтрации шума, которые пытаются устранять шум на основе модели шума, эти системы не смогли устранить шум полностью. В частности, многие эти системы испытывают трудности в том, чтобы устранять шум, который состоит из речи других людей на фоне. Одна из причин этого состоит в том, что чрезвычайно трудно, если не невозможно, для этих систем определять, что речевой сигнал, принятый посредством микрофона, пришел от кого-то иного, чем человек, использующий мобильное устройство.
Для головных телефонов, которые крепятся на голове пользователя посредством закрепления гарнитуры вокруг головы или за ушами пользователя, были разработаны системы, которые предоставляют более надежную фильтрацию шума, основываясь на дополнительных типах датчиков на гарнитуре. В одном примере датчик костной проводимости помещается на один конец гарнитуры и прижимается до соприкосновения с кожей, охватывая череп, уши или нижнюю челюсть пользователей за счет эластичности гарнитуры. Датчик костной проводимости распознает колебания черепа, ушей или нижней челюсти, которые создаются, когда пользователь говорит. С помощью сигнала от датчика костной проводимости эта система может лучше идентифицировать, когда пользователь говорит, и как результат может лучше фильтровать шум в речевом сигнале.
Хотя такие системы хорошо подходят для гарнитур, гарнитуры ограничены передачей данных по проводному соединению с телефоном. По существу, их использование в более распространенных приложениях обмена данными ограничено. Помимо этого гарнитура визуально непривлекательна (большая и громоздкая), а также ее неудобно носить весь день, и как результат маловероятно, что пользователи захотят не снимать ее в течение всего дня. Это делает гарнитуры неудобными для использования.
Сущность изобретения
Предусмотрено мобильное устройство, которое включает в себя микрофон воздушной проводимости и альтернативный датчик, который предоставляет сигнал альтернативного датчика, указывающий на речь. Интерфейс обмена данными дает возможность мобильному устройству непосредственно обмениваться данными с другими мобильными устройствами.
Краткое описание чертежей
Фиг.1 - вид в перспективе одного варианта осуществления настоящего изобретения.
Фиг.2 иллюстрирует телефон фиг. 1 в положении на левой стороне головы пользователя.
Фиг.3 иллюстрирует телефон фиг. 1 в положении на правой стороне головы пользователя.
Фиг.4 - блок-схема микрофона костной проводимости.
Фиг.5 - вид в перспективе альтернативного варианта осуществления настоящего изобретения.
Фиг.6 - вид в поперечном разрезе микрофона костной проводимости согласно одному варианту осуществления настоящего изобретения.
Фиг.7 - вид спереди варианта осуществления с ожерельем мобильного устройства настоящего изобретения.
Фиг.8 - вид сзади одного варианта осуществления с ожерельем фиг. 7.
Фиг.9 иллюстрирует вариант осуществления фиг. 7 с ожерельем, размещенным на пользователе.
Фиг.10 предоставляет вид в перспективе варианта осуществления с браслетом/часами мобильного устройства настоящего изобретения.
Фиг.11 - блок-схема мобильного устройства согласно одному варианту осуществления настоящего изобретения.
Фиг.12 - блок-схема общей системы обработки речи настоящего изобретения.
Фиг.13 - блок-схема, иллюстрирующая возможное подключение обмена данными мобильных устройств настоящего изобретения.
Фиг.14 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречу.
Фиг.15 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать диспетчеризацию производственных нарядов.
Фиг.16 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать групповой обмен данными и оказывать помощь по спасению.
Фиг.17 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать проведение игр.
Фиг.18 - блок-схема, иллюстрирующая возможность сохранять, организовывать и просматривать видео и аудио с помощью мобильного устройства настоящего изобретения.
Фиг.19 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать определение местоположения и обмен данными с детьми/пожилыми людьми.
Фиг.20 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречи, которые требуют перевода речи.
Фиг.21 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречи, которые требуют перевода речи.
Фиг.22 - блок-схема, иллюстрирующая множество одноранговых подключений обмена данными между мобильным устройством настоящего изобретения и другими устройствами.
Осуществление изобретения
Варианты осуществления настоящего изобретения предоставляют мобильные устройства, которые содержат и микрофон воздушной проводимости, и альтернативный датчик, который может быть использован при распознавании речи и фильтрации шума. Примеры мобильных устройств настоящего изобретения включают в себя сотовые телефоны, личные цифровые помощники, ювелирные изделия и часы. Фиг.1 предоставляет типичный вариант осуществления, в котором мобильным устройством является мобильный телефон 100. Мобильный телефон 100 включает в себя клавишную панель 102, дисплей 104, элемент управления 106 курсором, микрофон 108 воздушной проводимости, динамик 110, два микрофона 112 и 114 костной проводимости и дополнительно датчик 116 близости. Мобильный телефон 100 также включает в себя источник питания, например, аккумулятор, процессор, детектор и процессор спутникового сигнала глобального позиционирования, которые не видны на поверхности телефона. Дополнительно мобильный телефон 100 может также включать в себя датчик пульса, датчик оксиметрии, датчик температуры и видеокамеру.
Сенсорная панель 102 дает пользователю возможность вводить цифры и буквы в мобильный телефон. В других вариантах осуществления сенсорная панель 102 объединена с дисплеем 104 в форме сенсорного экрана. Элемент управления 106 курсором дает пользователю возможность выделять и выбирать информацию на дисплее 104 и прокручивать изображения и страницы, большие по размеру, чем дисплей 104.
Как проиллюстрировано на фиг. 2 и 3, когда мобильный телефон 100 помещен в стандартное положение для разговора по телефону, динамик 110 размещается около левого уха 200 или правого уха 300 пользователя, а микрофон 108 воздушной проводимости размещен рядом с ртом 202 пользователя. Когда телефон размещен рядом с левым ухом пользователя, как на фиг. 2, микрофон 114 костной проводимости соприкасается с черепом или ухом пользователя и генерирует сигнал альтернативного датчика, который предоставляет информацию о речи и может быть использован, чтобы устранять шум из речевого сигнала, принятого микрофоном 108 воздушной проводимости. Например, информация, предоставленная в сигнале альтернативного датчика, может включать в себя указание на то, разговаривает ли пользователь, а также низкочастотную информацию, относящуюся к речи пользователя. Когда телефон размещен рядом с правым ухом пользователя, как на фиг. 3, микрофон 112 костной проводимости соприкасается с черепом или ухом пользователя и генерирует сигнал альтернативного датчика, который может быть использован, чтобы устранять шум из речевого сигнала.
Дополнительный датчик 116 близости показывает, как близко телефон располагается к пользователю. Как подробнее описано ниже, эта информация используется, чтобы присваивать веса вкладу микрофонов костной проводимости в генерирование значения речи. В общем, если детектор близости распознает, что телефон близко к пользователю, сигналам микрофонов костной проводимости присваиваются большие веса, чем если телефон находится на некотором расстоянии от пользователя. Эта настройка отражает тот факт, что сигнал микрофона костной проводимости более точно показывает, что пользователь говорит, когда находится в соприкосновении с пользователем. Когда он отстоит на некотором расстоянии от пользователя, то более восприимчив к шуму окружающей среды. Датчик близости используется в вариантах осуществления настоящего изобретения, поскольку пользователи не всегда держат телефон прижатым к своей голове.
Фиг.4 иллюстрирует один вариант осуществления датчика 400 костной проводимости настоящего изобретения. В датчике 400 неконтактный мост 402 из эластомера прикреплен к мембране 404 обычного микрофона 406 воздушной проводимости. Этот неконтактный мост 402 проводит колебания от контакта 408 с кожей пользователя непосредственно в мембрану 404 микрофона 406. Движение мембраны 404 преобразуется в электрический сигнал преобразователем 410 в микрофоне 406.
Фиг.5 предоставляет альтернативный вариант осуществления мобильного телефона 500 с карманным мобильным устройством настоящего изобретения. Мобильный телефон 500 включает в себя клавишную панель 502, дисплей 504, элемент управления 106 курсором, микрофон 508 воздушной проводимости, динамик 510 и сочетание микрофона костной проводимости и датчика 512 близости.
Как показано на виде в поперечном разрезе фиг. 6, сочетание микрофона костной проводимости и датчика 512 близости состоит из неконтактной среднезаполненной (жидкостью или эластомером) прокладки 600, которая имеет наружную поверхности 602, предназначенную, чтобы соприкасаться с пользователем, когда пользователь помещает телефон у своего уха. Прокладка 600 формирует кольцо вокруг отверстия, которое обеспечивает проход звука от динамика 510, который размещен в отверстии или непосредственно под отверстием в телефоне 500. Прокладка 600 не ограничена этой формой, и может быть использована любая форма для прокладки. В общем, тем не менее, предпочтительно, если прокладка 600 включает в себя части слева и справа от динамика 510, так чтобы, по меньшей мере, одна часть прокладки 600 соприкасалась с пользователем независимо от того, у какого уха пользователь помещает телефон. Части прокладки могут быть внешне непрерывными или могут быть внешне разделенными, но с помощью жидкой среды соединены друг с другом внутри телефона.
Электронный преобразователь 604 давления гидравлически соединен с жидкостью или эластомером в прокладке 600 и преобразует давление жидкости в прокладке 600 в электрический сигнал на проводнике 606. Примеры электронного преобразователя 604 давления включают в себя основанные на MEMS преобразователи. В общем, преобразователь 604 давления должен иметь высокочастотную характеристику.
Электрический сигнал в проводнике 606 включает в себя две составляющие, постоянную составляющую тока и переменную составляющую тока. Постоянная составляющая тока предоставляет сигнал датчика близости, поскольку статическое давление в прокладке 600 будет выше, когда телефон прижимается к уху, чем когда телефон находится на некотором расстоянии от уха пользователя. Переменная составляющая тока электрического сигнала предоставляет сигнал микрофона костной проводимости, поскольку колебания в костях черепа, челюсти или уха пользователя создают флюктуации давления в прокладке 600, которые преобразуются в электрический сигнал переменного тока преобразователем 604 давления. Согласно одному варианту осуществления фильтр применяется к электрическому сигналу, чтобы дать возможность пройти постоянной составляющей тока сигнала и переменным составляющим выше минимальной частоты.
Хотя выше были описаны два примера датчиков костной проводимости, другие формы датчика костной проводимости также не выходят за рамки области применения настоящего изобретения.
Фиг.7 и 8 иллюстрируют вид спереди и вид сзади альтернативного варианта осуществления мобильного устройства согласно настоящему изобретению. На фиг. 7 и 8 мобильное устройство 700 состоит из ожерелья или шейного украшения 702 и наушника 704. Ожерелье 702 включает в себя декоративный/орнаментный диск или брелок 706, который подвешен на одеваемом на шею предмете 708, например ремешке или шнурке. Одеваемый на шею предмет поддерживает мобильное устройство на пользователе и предназначен, чтобы быть прикрепленным к шее пользователя. Декоративный диск 706 включает в себя отверстие 708 микрофона и отверстие 710 для видео.
Как проиллюстрировано с помощью вида сзади фиг. 8, мобильное устройство 700 включает в себя аккумулятор 710, который питает микрофон 712 воздушной проводимости, альтернативный датчик 714, видеокамеру 716, набор 718 микросхем обработки и приемное устройство 720 спутникового сигнала глобального позиционирования (GPS). Набор 718 микросхем обработки соединен с микрофоном 712 воздушной проводимости, альтернативным датчиком 714, видеокамерой 716 и приемным устройством 720 GPS. Набор 718 микросхем обработки включает в себя процессор, запоминающее устройство, интерфейс ввода/вывода и интерфейс обмена данными. Интерфейс обмена данными дает процессору возможность обмениваться данными с процессором в наушнике 704, давая возможность процессору в наборе 718 микросхем обработки передавать электрические сигналы, представляющие акустическую информацию, наушнику 704. Интерфейс обмена данными набора 718 микросхем обработки также может в беспроводном режиме обмениваться данными с набором других устройств, в том числе видеодисплеем, персональной вычислительной машиной, маршрутизатором и другими мобильными устройствами. Протокол, используемый при таком обмене данными, может включать в себя любой известный протокол, в том числе любые разновидности протокола 802.11.
Наушник 704 включает в себя наружную часть 730, часть 732 ушного канала и отверстие 734 динамика. Наушник 704 принимает сигнал от набора 718 микросхем обработки и преобразует этот сигнал в слуховой сигнал посредством динамика, который является внутренним для наушника 704. Данный слуховой сигнал выходит через отверстие 734 динамика в ухо пользователя. Наушник 704 включает в себя аккумулятор (не показан) и интерфейс обмена данными, который дает ему возможность обмениваться данными с интерфейсом обмена данными набора 718 микросхем обработки.
Как показано на фиг.9, одеваемый на шею предмет 708 охватывает шею 900 пользователя, чтобы помещать брелок 706 в соприкосновении с передней частью шеи пользователя чуть ниже щитовидного хряща гортани, часто называемого "кадыком". Наушник 704 помещен в ухо пользователя, так что внешняя часть 730 располагается между козелком 900 и антикозелком 902 наружного уха.
Фиг.10 предоставляет наглядное изображение другого варианта осуществления мобильного устройства согласно настоящему изобретению. На фиг. 10 мобильное устройство включает в себя часы или браслет 1000 и наушник 1002. Часы 1000 включают в себя корпус 1001, размещенный на надеваемом на запястье предмете 1006, например обруче, предназначенном, чтобы закрепляться вокруг запястья пользователя. Корпус 1001 имеет внутреннюю часть, которая держит набор электронного устройства, которое включает в себя аккумулятор, процессор, память, интерфейс обмена данными, интерфейс ввода/вывода, приемное устройство спутникового сигнала глобального позиционирования, видеокамеру, динамик, микрофон воздушной проводимости, датчик пульса, датчик оксиметрии и датчик температуры. Эти устройства описаны более подробно на фиг. 11. Интерфейс обмена данными дает процессору возможность обмениваться данными с процессором в наушнике 1002 и тем самым передавать акустическую информацию в наушник 1002 и принимать данные от альтернативного датчика 1018 в наушнике 1002. Помимо этого интерфейс обмена данными дает возможность беспроводного обмена данными с одним или более из маршрутизатора, персональной вычислительной машины и других мобильных устройств. Корпус 1001 включает в себя отверстия, соответствующие некоторым из электронных устройств в корпусе, включая счетчик 1008 пульса и оксиметрии, микрофон 1010 воздушной проводимости, видеокамеру 1012. Измерительный прибор 1008 пульса и оксиметрии замеряет пульс пользователя, когда пользователь помещает палец на счетчик, а также замеряет содержание кислорода в крови пользователя с помощью источника света или светочувствительного датчика. Наружная часть одной стороны корпуса 1001 также включает в себя дисплей 1004.
Наушник 1002 включает в себя наушную часть 1014, предназначенную, чтобы быть помещенной в ушной канал пользователя, и отверстие 1016 динамика. Помимо этого наушник 1002 включает в себя альтернативный датчик 1018, который остается напротив челюсти пользователя, когда наушник 1002 вставлен в ушной канал пользователя.
Фиг.11 - блок-схема мобильного устройства 1100 согласно нескольким вариантам осуществления настоящего изобретения. Мобильное устройство 1100 включает в себя источник 1152 питания, микропроцессор 1102, память 1104, интерфейс 1106 ввода/вывода и интерфейс 1108 обмена данными для обмена данными с удаленными вычислительными машинами, сетями обмена данными или другими мобильными устройствами. В одном варианте осуществления вышеупомянутые компоненты подсоединены для обмена данными друг с другом по надлежащей шине 1110. Помимо этого все компоненты, которые требуют питания, подключены к источнику 1152 питания, которым типично является аккумулятор. На фиг. 11 соединения между источником 1152 питания и остальными компонентами не показаны, чтобы избежать ненужного усложнения чертежа.
Память 1104 может быть реализована как энергонезависимая электронная память, такая как оперативное запоминающее устройство (ОЗУ) с модулем аварийного аккумуляторного питания (не показана), так чтобы информация, сохраненная в памяти 1104, не была потеряна, когда основное питание мобильного устройства 1100 выключается. Альтернативно, все части памяти 1104 могут быть энергозависимой или энергонезависимой съемной памятью. Часть памяти 1104 предпочтительно назначается в качестве адресуемой памяти для исполнения программ, тогда как другая часть памяти 1104 предпочтительно используется для хранения, например, чтобы эмулировать хранение на жестком диске.
Память 1104 включает в себя операционную систему 1112, прикладные программы 1114, а также запоминающее устройство 1116 объектов. В ходе работы операционная система 1112 предпочтительно приводится в исполнение процессором 1102 из памяти 1104. Операционной системой 1112 в одном предпочтительном варианте осуществления является операционная система торговой марки WINDOWS CE, коммерчески распространяемая корпорацией Майкрософт. Операционная система 1112 предпочтительно предназначена для мобильных устройств и реализует функции базы данных, которая может быть использована приложениями 1114 посредством набора открытых интерфейсов и способов прикладного программирования. Объекты в запоминающем устройстве 1116 объектов сохраняются посредством приложений 1114 и операционной системы 1112, по меньшей мере, частично в ответ на обращения к открытым интерфейсам и способам прикладного программирования.
Интерфейс 1108 обмена данными представляет множество устройств и технологий, которые дают возможность мобильному устройству 1100 отправлять и принимать информацию. В некоторых вариантах осуществления интерфейс 1108 обмена данными включает в себя интерфейс сотовой телефонной сети, который взаимодействует с сотовой телефонной сетью, чтобы разрешить вызовам быть размещенными и принятыми. Другие интерфейсы включают в себя интерфейс телефонных систем частного пользования, интерфейс беспроводного протокола, например, 802.11 и его разновидности, спутниковые приемные устройства и широковещательные тюнеры, помимо прочего. Мобильное устройство 1100 также может быть напрямую подключено к вычислительной машине, чтобы обмениваться с ней данными. В таких случаях интерфейсом 1108 обмена данными может быть инфракрасное приемо-передающее устройство либо последовательное или параллельное подключение обмена данными, все из которых могут передавать потоковую информацию.
Интерфейс 1108 обмена данными дает мобильному устройству 1100 возможность обмениваться данными с внешними серверами 1154 и удаленным устройством 1156, включая прямую передачу данных другим мобильным устройствам.
Машиноисполняемые инструкции, которые приводятся в исполнение процессором 1102, чтобы реализовать настоящее изобретение, могут быть сохранены в памяти 1104 или приняты по интерфейсу 1108 обмена данными. Эти инструкции находятся в машиночитаемом носителе, который без ограничений может включать в себя носитель хранения вычислительной машины и носитель передачи данных.
Носитель хранения вычислительной машины включает в себя энергозависимый и энергонезависимый, сменный и стационарный носитель, реализованный по любому способу или технологии хранения такой информации как машиночитаемые инструкции, структуры данных, программные модули и др. данные. Носитель хранения вычислительной машины включает в себя (но не только) ОЗУ, ПЗУ, электрически стираемое программируемое ПЗУ, флэш-память или другую технологию памяти, CD-ROM, универсальные цифровые диски (DVD) или другие оптические диски, магнитные кассеты, магнитные ленты, магнитные диски или другие магнитные устройства хранения, либо любой другой носитель, который может быть использован, чтобы сохранять нужную информацию, и к которому можно осуществлять доступ.
Носитель передачи данных в типичном варианте содержит машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном информационном сигнале, таком как несущее колебание или другой механизм распространения, и включает в себя любой носитель для доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более из его характеристик, установленных или изменяемых таким образом, чтобы кодировать информацию в сигнале. Для примера, но не в качестве ограничения, носитель передачи данных включает в себя проводной носитель, такой как проводная сеть или непосредственное проводное соединение, и беспроводной носитель, такой как акустическая среда, радиочастота, инфракрасное излучение и другая беспроводная среда. Сочетания любого из вышеперечисленного также следует включить в число машиночитаемых носителей.
Интерфейс 1106 ввода/вывода представляет интерфейсы к набору устройств ввода и вывода, в том числе приемное устройство 1148 спутникового сигнала глобального позиционирования (GPS), видеокамеру 1150, динамик 1130, цифровой вход 1132 (например, одна или набор кнопок, сенсорный экран, шаровой манипулятор, мышь, ролик или сочетание этих компонентов, которые могут управляться манипуляциями большим или другим пальцем), дисплей 1134, микрофон 1136 воздушной проводимости, альтернативный датчик 1138, датчик 1142 пульса, датчик 1144 оксиметрии и датчик 1146 температуры. Согласно одному варианту осуществления альтернативным датчиком 1138 является микрофон костной проводимости или гортанной проводимости. Устройства перечислены выше в качестве примера и необязательно все должны присутствовать на мобильном устройстве 1100. Помимо этого другие устройства ввода/вывода могут быть присоединены или находиться в мобильном устройстве 1100 без отступления от области применения настоящего изобретения.
С помощью микрофона воздушной проводимости или альтернативного датчика варианты настоящего изобретения могут предоставлять улучшенный речевой сигнал. Фиг. 12 предоставляет базовую блок-схему системы обработки речи вариантов осуществления настоящего изобретения, которая предоставляет улучшенный речевой сигнал.
На фиг.12 динамик 1200 генерирует речевой сигнал 1202, который распознается микрофоном 1204 воздушной проводимости и альтернативным датчиком 1206. Одним примером альтернативного датчика является датчик костной проводимости, который размещен на или рядом с лицевой или черепной костью пользователя (например, челюстной костью) или на ухе пользователя и который воспринимает колебания уха, черепа или челюсти, которые соответствуют речи, генерируемой пользователем. Другим примером альтернативного датчика является инфракрасный датчик, который ориентирован и распознает движение рта пользователя. Дополнительным примером альтернативного датчика является гортанный датчик, который воспринимает колебания гортани пользователя, которые соответствуют речи, генерируемой пользователем. Микрофон 1204 воздушной проводимости - тип микрофона, который используется, как правило, чтобы преобразовывать звуковые волны в электрические сигналы.
Микрофон 1204 воздушной проводимости также принимает шум 1208, генерируемый одним или более источниками 1210 шума. В зависимости от типа альтернативного датчика и уровня шума шум 1208 также может быть распознан альтернативным датчиком 1206. Тем не менее согласно большинству вариантов осуществления настоящего изобретения альтернативный датчик 1206 типично менее чувствителен к шуму окружающей среды, чем микрофон 1204 воздушной проводимости. Таким образом, сигнал 1212 альтернативного датчика, генерируемый альтернативным датчиком 1206, обычно включает в себя меньше шума, чем сигнал 1214 микрофона воздушной проводимости, генерируемый микрофоном 1204 воздушной проводимости.
Сигнал 1212 альтернативного датчика и сигнал 1214 микрофона воздушной проводимости предоставляются устройством 1216 оценки чистого сигнала, который оценивает чистый речевой сигнал 1218 из сигнала 1212 альтернативного датчика и сигнала 1214 микрофона воздушной проводимости. Оценка 1218 чистого сигнала предоставляется в речевой процесс 1220. Чистым речевым сигналом 1218 может быть либо отфильтрованный сигнал временной области, либо вектор области признаков. Если оценка 1218 чистого сигнала - это сигнал временной области, речевой процесс 1220 может принимать форму приемного устройства, передающего устройства в форме сотового телефона, системы кодирования речи или системы распознавания речи. Если чистый сетевой сигнал 1218 - это вектор области признаков, речевой процесс 1220 обычно представляет собой систему распознавания речи.
Настоящее изобретение использует несколько способов и систем оценки чистой речи с помощью сигнала 1214 микрофона воздушной проводимости и сигнала 1212 альтернативного датчика. Одна система использует обучающие стереоданные, чтобы обучать поправочные векторы для сигнала альтернативного датчика. Когда эти поправочные векторы впоследствии добавляются, чтобы протестировать вектор альтернативного датчика, они предоставляют оценку вектора чистого сигнала. Одно дополнительное расширение данной системы - сначала отслеживать изменяющиеся во времени искажения и затем вставлять эту информацию в вычисление поправочных векторов и в оценку чистой речи.
Вторая система предоставляет интерполяцию между оценкой чистого сигнала, сгенерированной поправочными векторами, и оценкой, сформированной посредством вычитания оценки текущего шума в тестовом сигнале воздушной проводимости из сигнала воздушной проводимости. Третья система использует сигнал альтернативного датчика, чтобы оценить основной тон речевого сигнала, и затем использует оцененный основной тон, чтобы определить оценку для чистого речевого сигнала. Четвертая система использует непосредственную фильтрацию, в которой сигнал альтернативного датчика и сигнал воздушной проводимости используются, чтобы определить одну или более характеристик канала альтернативного датчика. Характеристика(и) канала затем используются, чтобы оценить чистый речевой сигнал.
С помощью интерфейсов 1108 обмена данными мобильное устройство настоящего изобретения может обмениваться данными с большим числом других устройств посредством большого числа различных сетей, как проиллюстрировано на блок-схеме фиг. 13. На фиг. 13 проиллюстрировано три мобильных устройства 1300, 1302 и 1304. Эти мобильные устройства могут обмениваться данными друг с другом посредством интерфейса 1108 обмена данными. Согласно одному конкретному варианту осуществления протокол обмена данными 802.11 используется, чтобы обмениваться данными между мобильными устройствами. Мобильные устройства могут обмениваться данными друг с другом на основе "один-с-одним", например, обмениваются данными только мобильные устройства 1300 и 1302 без обмена данными с мобильным устройством 1304. Мобильные устройства также могут обмениваться данными в конфигурации "один-со-многими", в которой одно из мобильных устройств обменивается данными со всеми другими мобильными устройствами, но другие мобильные устройства не обмениваются данными друг с другом. Например, мобильное устройство 1300 будет обмениваться данными с мобильными устройствами 1302 и 1304, но мобильное устройство 1302 не будет обмениваться данными с мобильным устройством 1304. Мобильные устройства также могут обмениваться данными на основе "многие-со-многими", когда все мобильные устройства могут обмениваться данными друг с другом.
Каждое мобильное устройство также может обмениваться данными с одной или более из множества сетей, например, сотовой телефонной сетью 1306, телефонной сетью 1308 частного пользования и локальной вычислительной сетью/глобальной вычислительной сетью (ЛВС/ГВС) 1310. Чтобы обмениваться данными с сотовой телефонной сетью 1306, мобильные устройства могут использовать прямой канал связи с сотовой телефонной вышкой посредством интерфейса 1108 обмена данными или могут обмениваться данными с сотовым телефоном посредством локального протокола, например, 802.11. Сотовый телефон в таком случае будет передавать обмен данными мобильных устройств сотовой телефонной вышке сотовой телефонной сети 1306.
Мобильные устройства 1300, 1302 и 1304 могут обмениваться данными с телефонной сетью 1308 частного пользования посредством концентратора телефонной системы частного пользования, которая преобразует беспроводной сигнал в проводной сигнал для телефонной сети частного пользования. Любые подходящие протоколы для такого концентратора могут быть использованы согласно настоящему изобретению. Мобильные устройства могут обмениваться данными с ЛВС/ГВС 1310 посредством беспроводного подключения к дорожной вычислительной машине, персональной вычислительной машине или беспроводному маршрутизатору, который является частью ЛВС/ГВС.
Посредством сетей 1306, 1308 и 1310 мобильные устройства могут обмениваться данными с другими устройствами, например устройствами 1312 и 1314. Эти другие устройства могут содержать дорожные вычислительные машины, персональные вычислительные машины или серверы, которые предоставляют услуги мобильному устройству. Эти серверы включают в себя согласно некоторым вариантам осуществления сервер распознавания речи, который распознает текст из речевого сигнала, и/или сервер перевода, который переводит текст на одном языке в текст или звук на другом языке. Серверы также могут включать в себя сервер живого обмена данными, который дает возможность мгновенного обмена сообщениями, отслеживает информацию о присутствии, например, доступен ли пользователь для встреч, и координирует обмен данными, чтобы дать возможность совместной работы в реальном времени над документами в ходе живых встреч, которые включают в себя обмен звуковыми и видеоданными. Серверы также могут включать в себя основанный на местоположении сервер, который предоставляет информацию о мобильном устройстве, например карты, показывающие местоположение мобильного устройства относительно других интересующих точек.
Поскольку мобильное устройство настоящего изобретения использует и микрофон воздушной проводимости, и альтернативный датчик, чтобы воспринимать речевые сигналы, оно предоставляет улучшенный речевой сигнал, которые дает возможность повышенной производительности в ряде приложений. Дополнительно объединение этих микрофонов и альтернативных датчиков с другими устройствами, например приемным устройством GPS, видеокамерой и датчиком работоспособности, таким как датчик пульса, датчик оксиметрии и датчик температуры, дает возможность мобильному устройству настоящего изобретения быть использованным с несколькими серверами, чтобы предоставлять интегрированные решения, чтобы облегчать обмен данными между несколькими участниками.
Фиг.14 предоставляет блок-схему соединений между серверами и мобильным устройством, которые предоставляют возможность определять местоположение человека, имеющего при себе мобильное устройство, отправлять мгновенное сообщение мобильному устройству, чтобы запросить встречу, и использовать сервер живого обмена данными, чтобы поддерживать встречу.
На фиг.14 мобильное устройство 1300 оснащено приемным устройством GPS. С помощью информации от приемного устройства GPS мобильное устройство 1400 периодически передает данные о своем местоположении основанному на местоположении серверу 1402 посредством сетевого подключения 1404, например, сотовой телефонной сети или ЛВС/ГВС. Это дает возможность удаленному пользователю использовать приложение 1408 определения местоположения людей на вычислительном устройстве 1406 удаленного пользователя, чтобы получать информацию о местоположении мобильного устройства 1400 от основанного на местоположении сервера 1402 посредством сетевого подключения 1410. Эта информация о местоположении может включать в себя адрес или графическое представление местоположения мобильного устройства, например демонстрацию местоположения на карте.
Посредством сетевого подключения 1404, которым может быть то же сетевое подключение, используемое, чтобы подключаться к основанному на местоположении серверу 1402, или другое сетевое подключение, мобильное устройство 1400 также может обмениваться данными с сервером 1412 живого обмена данными. Посредством этого соединения пользователь, владеющий мобильным устройством 1400, может указывать то, является ли он доступным и находится ли в оперативном режиме, а также то, находится он в офисе или вне офиса. В общем, это называется информацией "о присутствии".
Помимо этого мобильное устройство 1400 может отправлять и принимать мгновенные сообщения посредством сервера 1412 живого обмена данными. Эти сообщения идут к и от устройства 1406 удаленного пользователя, который использует приложение 1414 обмена мгновенными сообщениями, чтобы отправлять и принимать сообщения. Это должно, например, дать возможность удаленному пользователю запрашивать, чтобы пользователь мобильного устройства 1400 присоединился к живой встрече.
Удаленный пользователь может устанавливать живую встречу с помощью приложения 1418 живых встреч, которое использует услуги, предоставляемые сервером 1412 живого обмена данными, чтобы давать возможность нескольким клиентам обмениваться звуковыми и видеосигналами и управлять совместно используемыми документами, так чтобы изменения в документе, сделанные на мобильном устройстве 1400, отображались в реальном времени на дисплее вычислительного устройства 1406 удаленного пользователя.
С помощью беспроводного соединения мобильное устройство 1400 может обмениваться данными с дорожной вычислительной машиной 1420. С помощью улучшенного речевого сигнала, предоставляемого посредством наличия сигнала микрофона воздушной проводимости и сигнала альтернативного датчика, мобильное устройство 1400 может отправлять речевые сигналы, представляющие команды, дорожной вычислительной машине 1420. Приложение 1422 командного управления в дорожной вычислительной машине 1420 переадресует речевые сигналы серверу 1424 распознавания речи посредством сетевого подключения 1426. Сервер 1424 распознавания речи преобразует речевой сигнал в текст и возвращает текст приложению 1422 командного управления. На основе распознанной команды приложение 1422 командного управления инициирует одно или более приложений 1428 и управляет их работой.
Одно из приложений, инициированных посредством блока 1422 командного управления, может включать в себя приложение живых встреч, которое дает возможность пользователю мобильного устройства присоединиться к живой встрече, сгенерированной удаленным пользователем 1406. Дорожная вычислительная машина 1420 может обмениваться данными с сервером 1412 живого обмена данными посредством сетевого подключения 1430. Пользователь может взаимодействовать с живой встречей непосредственно на дорожной вычислительной машине 1420 или посредством выдачи речевых команд с помощью мобильного устройства 1400 для дорожной вычислительной машины 1420. Помимо этого дорожная вычислительная машина 1420 может передавать речевые сигналы, сгенерированные мобильным устройством 1400, посредством сервера 1412 живого обмена данными устройству 1406 удаленного пользователя, тем самым обеспечивая звуковую часть живой встречи. С помощью приложения живых встреч пользователь мобильного устройства может использовать звук, видео и документы совместно с удаленным пользователем. Это включает в себя возможность и пользователю мобильного устройства, и удаленному пользователю управлять одним и тем же документом в реальном времени.
Таким образом, с помощью блок-схемы фиг. 14 удаленный пользователь может определять, что человек, имеющий при себе мобильное устройство 1400, еще не сел на борт самолета, а по-прежнему находится в аэропорту. После этого удаленный пользователь может отправить мгновенное сообщение обладателю мобильного устройства 1400, предлагая обладателю мобильного устройства присоединиться к живой встрече. Когда обладатель мобильного устройства может присоединиться к встрече, он может включить свою дорожную вычислительную машину 1420, выдать команды посредством мобильного устройства 1400 и присоединиться к живой встрече, установленной удаленным пользователем 1406. В ходе встречи пользователь может разговаривать посредством мобильного устройства 1400, чтобы предоставлять звуковой вход для живой встречи. Поскольку речь в мобильном устройстве 1400 улучшена, команды, предоставляемые дорожной вычислительной машине 1420, выполняются более эффективно и надежно, а речь, предоставляемая мобильному устройству 1400, более разборчива в ходе живой встречи.
Фиг.15 предоставляет альтернативный вариант осуществления, в котором мобильное устройство настоящего изобретения используется диспетчером, чтобы назначать задания одному или более сотрудникам и взаимодействовать с сотрудниками, чтобы предоставлять им информацию, необходимую, чтобы выполнять задания. В частности, диспетчер имеет при себе мобильное устройство 1500 на фиг. 15. Диспетчер принимает телефонные звонки от клиентов по телефонной сети 1504 частного пользования, которая обменивается данными с мобильным устройством 1500 посредством базовой станции 1502 частного пользования. В частности, базовая станция 1502 частного пользования предоставляет беспроводное соединение с мобильным устройством 1500 и преобразует передачу данных по беспроводному соединению в аналоговый сигнал, который может быть продолжен в телефонную сеть 1504 частного пользования.
После приема запроса на задание диспетчер определяет, кто из множества выездных сотрудников доступен и ближе всего к рабочей площадке. Чтобы определить, какие сотрудники доступны, диспетчер говорит в мобильное устройство 1500, чтобы сгенерировать речевые команды, который предоставляются блоку 1506 командного управления. Блок 1506 командного управления может находиться в мобильном устройстве 1500 или может быть в отдельном устройстве, например дорожной или персональной вычислительной машине. Блок 1506 командного управления преобразует речевой сигнал в одну или более команд. Согласно одному варианту осуществления блок 1506 командного управления выполняет это преобразование посредством передачи речевого сигнала серверу 1508 распознавания речи посредством сети 1510. Сервер 1508 распознавания речи преобразует речевой сигнал в текст, представляющий команду, и возвращает текст блоку 1506 командного управления.
Чтобы определить, доступен ли сотрудник, командой, предоставленной блоку 1506 командного управления, будет команда проверить состояние "присутствия" каждого сотрудника с помощью приложения 1512 присутствия. Приложение присутствия обменивается данными с сервером 1514 живого обмена данными посредством сетевого соединения 1516. Сервер живого обмена данными сохраняет и обновляет состояние присутствия каждого сотрудника. Конкретно, каждый сотрудник имеет мобильное устройство, например мобильные устройства 1518, 1520 и 1522, которые подключены к серверу 1514 живого обмена данными по сетевому подключению 1524. Заметим, что хотя на фиг. 15 проиллюстрировано одно сетевое соединение 1524, каждое мобильное устройство может быть подключено посредством различных сетевых соединений и даже различных типов сетевых соединений. Посредством сетевого соединения 1524 мобильные устройства 1518, 1520 и 1522 могут обновлять состояние присутствия каждого из сотрудников, ассоциативно связанного с мобильными устройствами.
Для сотрудников, которые доступны, диспетчер использует мобильное устройство 1500, чтобы находить текущее местоположение каждого сотрудника посредством выдачи речевой команды блоку 1506 командного управления, чтобы открыть приложение 1530 определения местоположения людей. Приложение 1530 определения местоположения людей обменивается данными посредством сетевого соединения 1532 с основанным на местоположении сервером 1534. Основанный на местоположении сервер 1534 отслеживает местоположение мобильных устройств 1518, 1520 и 1522 посредством приема информации о местоположении посредством сети 1536. Сеть 1536 может включать в себя сотовую телефонную сеть, в которой местоположение мобильного устройства определяется тем, посредством какой вышки в сотовой телефонной сети обменивается данными мобильное устройство. В других вариантах осуществления каждое мобильное устройство 1518, 1520 и 1522 может включать в себя приемное устройство GPS, и информация о положении, определенная приемными устройствами GPS, может быть передана посредством сети 1536 основанному на местоположении серверу 1534.
В ответ на запрос посредством приложения 1530 определения местоположения людей основанный на местоположении сервер 1534 может предоставлять информацию о местоположении для каждого из мобильных устройств. Эта информация о местоположении может быть в форме адреса или в форме графического представления, в котором местоположение каждого из мобильных устройств показано на карте.
На основе местоположения каждого из сотрудников диспетчер выбирает одного из сотрудников, чтобы назначить ему задание. Согласно одному варианту осуществления диспетчер отправляет мгновенное сообщение этому сотруднику посредством выдачи речевой команды с помощью блока 1506 командного управления, чтобы инициировать приложение 1538 мгновенных сообщений и создать мгновенное сообщение, которое маршрутизируется через сеть 1516, сервер 1514 живого обмена данными, сеть 1524, чтобы достичь одного из мобильных устройств 1518, 1520 и 1522. В другом варианте осуществления диспетчер выдает команду посредством мобильного устройства 1500 и блока 1506 командного управления, чтобы инициировать вспомогательное приложение 1540, которое осуществляет доступ к базе 1542 данных контактов, чтобы найти телефонный номер мобильного устройства, ассоциативно связанного с сотрудником. С помощью телефонного номера мобильное устройство 1500 подключается к мобильному устройству сотрудника посредством сотовой телефонной сети 1544. С помощью этого сотового телефонного подключения диспетчер инструктирует сотрудника, чтобы прибыть на рабочую площадку.
Если сотруднику требуются указания, как добраться до рабочей площадки, диспетчер выдает голосовую команду посредством мобильного устройства 1500, чтобы подвергнуть обработке приложение 1546 указания местоположения, которое использует основанный на местоположении сервер 1534, чтобы предоставлять указания одному из сотрудников посредством мобильных устройств 1518, 1520 и 1522. В частности, основанный на местоположении сервер 1534 использует местоположение мобильного устройства и местоположение задания, предоставленного посредством мобильного устройства 1500 диспетчером, чтобы сгенерировать карту и указания, как добраться до местоположения рабочей площадки из текущего местоположения сотрудника.
После того, как сотрудник прибыл на местоположение, он может использовать свое мобильное устройство, например мобильные устройства 1518, 1520 и 1522, чтобы установить живую встречу с диспетчером, чтобы принимать технические требования по заданию. Это может быть достигнуто посредством использования диспетчером мобильного устройства 1500, чтобы активировать приложение живых встреч, которое обменивается данными с сервером 1514 живого обмена данными, чтобы дать возможность совместной работы в реальном времени и совместного использования документов, таких как форм ввода заказов и планов проектов.
Согласно другим вариантам осуществления настоящего изобретения мобильное устройство может переключаться между различными режимами обмена данными. Например, на фиг. 16 мобильное устройство 1600 может первоначально передать информацию непосредственно другим мобильным устройствам 1602 и 1604 на основе "один-со-многими". Например, мобильное устройство 1600 может предоставлять информацию, например звук, видео, информацию о положении GPS и информацию о работоспособности, например пульс, оксиметрию и температуру, мобильным устройствам 1602 и 1604. В этом режиме обмена данными мобильное устройство 1604 может использовать информацию о положении от мобильного устройства 1600, чтобы получить графическое представление положения обладателя мобильного устройства 1600. В одном конкретном варианте осуществления мобильное устройство 1604 может предоставлять информацию о положении от мобильного устройства 1600 основанному на местоположении серверу 1608 посредством беспроводного подключения к сети 1610. Основанный на местоположении сервер 1608 затем будет использовать информацию о положении, чтобы сгенерировать карту, которая возвращается мобильному устройству 1604. В этом варианте осуществления беспроводное подключение к сети 1610 может быть выполнено посредством маршрутизатора, персональной вычислительной машины или дорожной вычислительной машины.
Мобильное устройство 1600 может переключиться с вышеописанного однорангового обмена данными на обмен данными с одним или более серверами посредством сетевого подключения 1612. Например, если обладатель мобильного устройства 1600 сталкивается с потерпевшей стороной в ходе работы, обладатель может переключить мобильное устройство 1600 из обмена данными "один-со-многими" с мобильными устройствами в обмен данными посредством сети 1612. С помощью сетевого подключения обладатель мобильного устройства 1600 может осуществлять доступ к веб-страницам, сохраненным на веб-сервере 1614, который подключен к сети 1612, чтобы определять местоположение и обмениваться данными с группой 1616 скорой помощи.
После того, как связались с группой 1616 скорой помощи, она может инициировать приложение 1620 скорой помощи, чтобы собрать информацию от мобильного устройства 1600, чтобы помочь потерпевшей стороне. Эта информация может включать в себя информацию о положении GPS, предоставленную мобильным устройством 1600 основанному на местоположении серверу 1618 посредством сети 1612. Приложение 1620 скорой помощи может отправить запрос основанному на местоположении серверу 1618, чтобы получить графическое представление положения мобильного устройства 1600, тем самым облегчая для группы 1616 скорой помощи определить местоположение обладателя мобильного устройства. Приложение 1620 скорой помощи также может использовать сервер 1622 живого обмена данными, чтобы совместно использовать информацию с обладателем мобильного устройства 1600, такую как текущее положение группы скорой помощи и ожидаемое время прибытия, а также инструкции по оказанию помощи потерпевшей стороне. Эти инструкции могут включать в себя видео, показывающее способ помощи потерпевшему, а также видео, захваченное мобильным устройством 1600 потерпевшего.
Если потерпевший также имеет при себе мобильное устройство, такое как мобильное устройство 1624, это мобильное устройство может быть включено во встречу посредством сервера 1622 живого обмена данными, с тем чтобы мобильное устройство могло предоставить информацию о потерпевшей стороне.
Если предполагается, что повреждения серьезны, группа скорой помощи может попросить службу 1626 здравоохранения в больнице присоединиться к живой встрече с помощью приложения 1628 удаленной неотложной помощи. Это приложение неотложной удаленной помощи позволяет собрать информацию о состоянии здоровья, предоставленную мобильным устройством 1624, и дать возможность службе здравоохранения предоставить звуковые и видеоинструкции группе 1616 скорой помощи. Приложение 1628 удаленной неотложной помощи может также дать возможность службе здравоохранения начать распределение необходимых ресурсов в больнице, чтобы оказать помощь пациенту, таких как диагностическое оборудование и операционные.
Мобильное устройство настоящего изобретения также может быть использовано в контексте проведения игр, чтобы дать пользователю возможность обмениваться данными с членами команды и оппонентами в игре. Как показано на фиг. 17, игроки, например игроки 1700 и 1702, обладающие соответствующими мобильными устройствами 1704 и 1706, взаимодействуют с игровой базовой станцией 1708.
Согласно одному варианту осуществления удаленный игрок 1710 определяет, что игрок 1700 доступен посредством осуществления доступа к приложению 1712 списка игроков, которое подключается к серверу 1714 живого обмена данными посредством сетевого соединения 1713, чтобы определить присутствие или доступность игрока 1700 посредством соединения между мобильным устройством 1704 и сервером живого обмена данными 1714 по сети 1716. Если сервер 1714 живого обмена данными показывает, что игрок 1700 доступен, игрок 1710 может отправить мгновенное сообщение посредством сервера 1714 живого обмена данными мобильному устройству 1704, чтобы запросить, чтобы игрок присоединился к игре. Согласно одному варианту осуществления эта игра управляется игровым сервером 1718, который подключен к игровой базовой станции 1708 посредством сети 1720 и к игроку 1710 посредством сети 1722.
В ходе проведения игры звук и видео от игроков 1700 и 1702 захватываются мобильными устройствами 1704 и 1706 соответственно и предоставляются игровой базовой станции/ПЭВМ 1708 посредством беспроводного соединения. Этот звук и/или видео предоставляются посредством сетевого соединения 1720 с игровым сервером 1718 и переадресуются игроку 1710 посредством игрового сервера 1718.
Согласно одному варианту осуществления, чтобы снизить полосу пропускания звуковой информации, распространяемой посредством сети 1720, мобильные устройства 1704 и 1706 отфильтровывают все звуки за исключением тех, которые возникают, когда игрок, ассоциативно связанный с мобильным устройством, разговаривает. В частности, посредством использования альтернативного датчика в мобильном устройстве мобильное устройство может определять, когда игрок фактически разговаривает. Когда игрок не разговаривает, мобильное устройство не передает никаких звуковых данных. Как результат, речевые сигналы от другого игрока, который находится в комнате, или речевые сигналы, сгенерированные игровой станцией посредством динамика 1724, не выводятся в качестве звуковых данных мобильными устройствами 1704 и 1706. Это снижает объем информации, которая отправляется игровой базовой станции 1708 и, таким образом, снижает объем информации, которая проходит через сеть 1720. Посредством уменьшения объема информации, выводимого мобильными устройствами 1704 и 1706, настоящее изобретение снижает энергопотребление мобильных устройств 1704 и 1706 за счет того, что не требует от мобильных устройств, чтобы они фильтровали и передавали лишние звуковые данные. Другой более прямой способ снижения энергопотребления - отключить обработку (в микрофоне), когда пользователь не разговаривает.
Мобильное устройство настоящего изобретения также дает возможность записи и сохранения звука более лучшего качества, особенно речевых сигналов, которые впоследствии могут быть проверены. Фиг. 18 предоставляет блок-схему системы, которая дает возможность сохранения и проверки звуковых и видеоданных.
На фиг. 18 мобильное устройство 1800 сохраняет звуковые и видеоданные локально в запоминающем устройстве 1802 звука/видео. С помощью беспроводного подключения к персональной вычислительной машине 1804 звуковые и видеоданные, сохраненные в запоминающем устройстве 1802, могут быть загружены в ПЭВМ 1804, чтобы стать загруженными данными 1806. Когда звуковые и видеоданные сохранены в запоминающем устройстве 1802 звука/видео, мобильное устройство 1800 включает в себя временную метку, показывающую время, когда звук и видео были захвачены, а также метку положения, показывающую положение мобильного устройства 1800, когда звук и видео были собраны. Согласно одному варианту осуществления временная метка генерируется из часов 1801, а метка положения генерируется приемным устройством спутникового сигнала глобального позиционирования 1803. Временные метки и метки положения загружаются с соответствующими звуковыми и видеоклипами в загруженные данные 1806.
С помощью временных меток контролируемая по времени записная книжка 1808 может организовывать данные на основе времени, чтобы сформировать организованные по времени данные 1810. Основанная на местоположении записная книжка 1812 организует звуковые и видеоданные на основе метки положения, ассоциативно связанной с данными, чтобы сформировать организованные по местоположению данные 1814. Затем пользователь может использовать дисплей персональной вычислительной машины 1804, чтобы проверять организованные по времени данные 1810 или организованные по местоположению данные 1814.
Звуковые данные в загруженных данных 1806 также могут быть преобразованы приложением 1816 преобразования. Чтобы преобразовать звуковые данные, приложение 1816 преобразования может использовать сервер 1818 распознавания речи, который может находиться локально на персональной вычислительной машине 1804 или может быть подключен к персональной вычислительной машине 1804 посредством сетевого соединения 1820. Приложение 1816 преобразования отправляет звуковые данные, представляющие звуковой сигнал, серверу 1818 распознавания речи, который преобразует звуковые данные в текст. Затем текст возвращается в приложение 1816 преобразования, которое использует текст, чтобы генерировать представление 1822. Поскольку мобильное устройство 1800 использует альтернативный датчик и микрофон воздушной проводимости, чтобы собрать речевые данные, распознавание, выполняемое сервером 1818 распознавания речи, значительно улучшено, и представление 1822 лучше отражает фактическую речь, собранную мобильным устройством 1800.
После того, как представления 1822 были сформированы, пользователь может активировать приложение 1824 поиска, которое может осуществлять поиск в представлениях 1822 по ключевым словам, чтобы находить конкретные разговоры.
Мобильные устройства настоящего изобретения также могут быть использованы, чтобы определять местоположение и обмениваться данными с детьми и пожилыми людьми, которые имеют при себе мобильное устройство. Например, на фиг. 19 мобильное устройство 1900 имеет при себе ребенок или пожилой человек. Мобильное устройство предоставляет информацию о положении GPS посредством сети 1902 основанному на местоположении серверу 1904. С помощью персональной вычислительной машины 1906 другой пользователь может связаться с основанным на местоположении сервером 1904, чтобы получить информацию о положении обладателя мобильного устройства 1900. Эта информация о положении может быть предоставлена в форме адреса или графического представления карты, показывающего местоположение обладателя на карте. Другой пользователь также может связаться с обладателем мобильного устройства с помощью телефона 1908 посредством телефонной сети 1910, которая передает данные мобильному устройству 1900. Примером такой телефонной сети будет сотовая телефонная сеть. С помощью альтернативного датчика и датчика микрофона воздушной проводимости мобильное устройство 1900 предоставляет более оптимальный речевой сигнал для обмена данными посредством телефонной сети 1910. Это особенно важно, когда обладателем мобильного устройства 1900 является ребенок или пожилой человек, поскольку речевые сигналы детей и пожилых людей зачастую имеют меньшую амплитуду и, таким образом, их труднее различать в шумном окружении.
Мобильное устройство настоящего изобретения также может быть использовано, чтобы усовершенствовать услуги автоматического перевода. Например, на фиг. 20 мобильное устройство 2000 принимает речевой ввод от обладателя мобильного устройства 2002 и говорящего на иностранном языке человека 2004. Поскольку мобильное устройство имеет при себе владелец 2002, мобильное устройство 2000 может различать речь, генерируемую обладателем 2002, и речь, генерируемую говорящим на иностранном языке человеком 2004. Речь, генерируемая говорящим на иностранном языке человеком 2004, таким образом может быть маршрутизирована мобильным устройством 2000 серверу 2006 перевода посредством сетевого соединения 2008. Сервер 2006 перевода затем может вернуть либо переведенный звук, либо переведенный текст речи, сгенерированной говорящим на иностранном языке человеком 2004. С помощью дисплея на мобильном устройстве 2000 или динамика на мобильном устройстве 2000 обладатель 2002, таким образом, может понимать содержимое речи говорящего на иностранном языке человека 2004. Поскольку мобильное устройство 2000 может автоматически разделять два речевых сигнала, перевод получается более легко.
Мобильное устройство 2000 также может использовать иностранную речь, переведенную речь или переведенный текст и видео говорящего на иностранном языке человека, захваченное мобильным устройством 2000, совместно с удаленным пользователем 2010. Согласно одному варианту осуществления эта информация совместно используется посредством сервера 2012 живого обмена данными, который соединен с удаленным пользователем 2010 посредством сетевого соединения 2014 и с мобильным устройством 2000 посредством сетевого соединения 2008. С помощью соединения посредством сервера 2012 живого обмена данными удаленный пользователь 2010 может разговаривать с говорящим на иностранном языке человеком 2004 и может предоставлять видеоданные говорящему на иностранном языке человеку 2004 посредством дисплея на мобильном устройстве 2000. Речь, предоставляемая удаленным пользователем 2010, может быть маршрутизирована мобильным устройством 2000 серверу 2006 перевода, чтобы быть переведенной на язык говорящего на иностранном языке человека. Звуковой сигнал на основе этого перевода затем предоставляется говорящему на иностранном языке человеку посредством динамика в мобильном устройстве 2000.
Фиг.21 предоставляет альтернативный вариант осуществления настоящего изобретения для усовершенствования услуг автоматического перевода. На фиг.21 мобильное устройство 2100 принимает речевой ввод от обладателя мобильного устройства 2102 и говорящего на иностранном языке человека 2104. Поскольку мобильное устройство имеет при себе владелец 2102 мобильное устройство 2100 может различать речь, генерируемую обладателем 2102, и речь, генерируемую говорящим на иностранном языке человеком 2104. Речь, генерируемая говорящим на иностранном языке человеком 2100, таким образом может быть определена в обмене данными между мобильным устройством 2100 и другим мобильным устройством 2105. Мобильное устройство 2105 может принять речевые данные, которые были определены как исходящие от говорящего на иностранном языке человека мобильным устройством 2100, и предоставить их серверу перевода 2106 посредством сетевого соединения 2108. Сервер 2106 перевода затем может вернуть либо переведенный звук, либо переведенный текст речи, сгенерированной говорящим на иностранном языке человеком 2104. С помощью дисплея на мобильном устройстве 2100 или динамика на мобильном устройстве 2100 обладатель 2102, таким образом, может понимать содержимое речи говорящего на иностранном языке человека 2104. Поскольку мобильное устройство 2100 может автоматически разделять два речевых сигнала, перевод получается более легко.
Мобильное устройство 2105 также может совместно использовать иностранную речь, переведенную речь или переведенный текст и видео говорящего на иностранном языке человека, захваченное мобильным устройством 2100, с множеством удаленных пользователей 2110, 2120 и 2130. Согласно одному варианту осуществления эта информация совместно используется посредством сервера 2112 живого обмена данными, который соединен с удаленными пользователями 2110, 2120 и 2130 посредством сетевого соединения 2114 и с мобильным устройством 2105 посредством сетевого соединения 2108. С помощью соединения посредством сервера 2112 живого обмена данными удаленные пользователи 2110, 2120 и 2130 могут разговаривать с говорящим на иностранном языке человеком 2104 и могут предоставлять видеоданные говорящему на иностранном языке человеку 2104 посредством дисплея на мобильном устройстве 2100. Речь, предоставляемая удаленными пользователями 2110, 2120 и 2130, может быть маршрутизирована мобильным устройством 2105 серверу 2106 перевода, чтобы быть переведенной на язык говорящего на иностранном языке человека. Звуковой сигнал на основе этого перевода затем предоставляется говорящему на иностранном языке человеку посредством динамика в мобильном устройстве 2100.
Мобильные устройства настоящего изобретения также могут обмениваться данными в одноранговом режиме с другими устройствами, например принтерами, бытовыми электроприборами, устройствами записи мультимедиа, устройствами воспроизведения мультимедиа и автомобилями. Фиг. 22 предоставляет диаграмму, иллюстрирующую мобильное устройство 2200 при обмене данными с другими устройствами, такими как устройства 2202, 2204 и 2206.
Согласно одному конкретному варианту осуществления протокол обмена данными 802.11 используется, чтобы обмениваться данными между мобильным устройством и другими устройствами. Мобильное устройство может обмениваться данными с другими устройствами на основе "один-с-одним", например, мобильное устройство 2200 обменивается данными с устройством 2202 без обмена данными с устройствами 2204 и 2206. Мобильное устройство также может обмениваться данными в конфигурации "один-со-многими", в которой мобильное устройство или одно из других устройств обменивается данными с мобильным устройством и всеми другими устройствами, но другие устройства не обмениваются данными друг с другом. Например, мобильное устройство 2200 будет обмениваться данными с устройствами 2202 и 2204, но устройство 2202 не будет обмениваться данными с устройством 2204. Устройства также могут обмениваться данными на основе "многие-со-многими", когда все устройства и мобильное устройство могут обмениваться данными друг с другом.
Хотя настоящее изобретение было описано со ссылками на конкретные варианты осуществления, специалисты в данной области техники признают, что изменения могут быть сделаны в форме и деталях без отступления от духа и области применения изобретения.

Claims (34)

1. Мобильное устройство, причем устройство содержит:
микрофон воздушной проводимости, который преобразует акустические волны в электрический сигнал микрофона;
альтернативный датчик, который предоставляет сигнал альтернативного датчика, содержащий информацию о речи;
датчик близости, который представляет сигнал, содержащий информацию о расстоянии между мобильным устройством и пользователем;
устройство оценки чистого сигнала, которое выполняет оценку значения чистой речи на основе упомянутого сигнала микрофона, сигнала альтернативного датчика и сигнала датчика близости; и
интерфейс обмена данными, который дает возможность мобильному устройству непосредственно передавать упомянутое значение чистой речи в другие мобильные устройства.
2. Мобильное устройство по п.1, в котором интерфейс обмена данными дает возможность осуществлять несколько типов обмена данными с другими мобильными устройствами.
3. Мобильное устройство по п.2, в котором один из нескольких типов обмена данными содержит обмен данными "один-с-одним" с одним другим мобильным устройством, даже когда более одного мобильного устройства доступно для обмена данными.
4. Мобильное устройство по п.2, в котором один из нескольких типов обмена данными содержит обмен данными "один-со-многими" с множеством других мобильных устройств.
5. Мобильное устройство по п.2, в котором интерфейс обмена данными один из нескольких типов обмена данными содержит обмен данными "многие-со-многими".
6. Мобильное устройство по п.1, в котором интерфейс обмена данными дополнительно дает возможность обмена данными с сетью.
7. Мобильное устройство по п.6, в котором интерфейс обмена данными дополнительно дает возможность обмена данными с сервером в сети.
8. Мобильное устройство по п.7, в котором обмен данными с сервером содержит звук и видео.
9. Мобильное устройство по п.8, в котором обмен данными с сервером дополнительно содержит данные, соответствующие изображению документа, который совместно используется с другим вычислительным устройством.
10. Мобильное устройство по п.9, в котором обмен данными с сервером дополнительно содержит инструкции, чтобы модифицировать документ, и в котором на основе инструкций сервер модифицирует документ и предоставляет данные, соответствующие модификации документа, другому вычислительному устройству.
11. Мобильное устройство по п.7, в котором мобильное устройство дополнительно содержит приемное устройство спутникового сигнала глобального позиционирования, которое может генерировать значение положения, указывающее положение мобильного устройства.
12. Мобильное устройство по п.11, в котором обмен данными с сервером содержит предоставление значения положения серверу.
13. Мобильное устройство по п.7, в котором сервер размещает программу распознавания речи, и в котором обмен данными с сервером содержит предоставление звуковых данных серверу и прием распознанного текста от сервера.
14. Мобильное устройство по п.7, в котором сервер размещает программу перевода, и в котором обмен данными с сервером содержит предоставление содержимого на одном языке серверу и прием перевода на другом языке от сервера.
15. Мобильное устройство по п.1, в котором мобильное устройство содержит сотовый телефон.
16. Мобильное устройство по п.1, в котором мобильное устройство содержит личного цифрового помощника.
17. Мобильное устройство по п.1, в котором интерфейс обмена данными дополнительно дает возможность непосредственного обмена данными с другим устройством.
18. Способ оценки сигнала речи в мобильном устройстве, при этом способ содержит этапы, на которых:
принимают сигнал микрофона воздушной проводимости;
принимают сигнал альтернативного датчика, который содержит информацию о речи;
принимают сигнал датчика близости, содержащий информацию о расстоянии между мобильным устройством и пользователем;
оценивают улучшенное значение чистой речи на основе сигнала микрофона воздушной проводимости и сигнала альтернативного датчика;
и сигнала датчика близости; и
предоставляют улучшенное значение чистой речи непосредственно другому мобильному устройству.
19. Способ по п.18, в котором предоставление улучшенного значения чистой речи непосредственно другому мобильному устройству содержит этапы, на которых предоставляют улучшенное значение чистой речи в ходе обмена данными "один-с-одним" между мобильным устройством и другим мобильным устройством.
20. Способ по п.18, в котором предоставление улучшенного значения чистой речи непосредственно другому мобильному устройству содержит этапы, на которых предоставляют улучшенное значение чистой речи в ходе обмена данными "один-со-многими" между мобильным устройством и множеством других мобильных устройств.
21. Способ по п.18, в котором предоставление улучшенного значения чистой речи непосредственно другому мобильному устройству содержит этапы, на которых предоставляют улучшенное значение чистой речи в ходе обмена данными "многие-со-многими" между множеством мобильных устройств.
22. Способ по п.18, при этом способ дополнительно содержит этапы, на которых обмениваются данными между мобильным устройством и сетью вычислительного устройства.
23. Способ по п.22, при этом способ дополнительно содержит этапы, на которых обмениваются данными между мобильным устройством и сервером в сети вычислительных устройств.
24. Способ по п.23, в котором обмен данными между мобильным устройством и сервером содержит этапы, на которых обмениваются мгновенными сообщениями.
25. Способ по п.23, в котором обмен данными между мобильным устройством и сервером содержит этапы, на которых обмениваются информацией, которая совместно используется с другим вычислительным устройством, который поддерживает обмен данными с сервером.
26. Способ по п.25, в котором информация, которая совместно используется, содержит изменения в объект, отображаемый на мобильном устройстве и другом вычислительном устройстве.
27. Способ по п.26, в котором информация, которая совместно используется, дополнительно содержит звуковую информацию.
28. Способ по п.27, в котором информация, которая совместно используется, дополнительно содержит видеоинформацию.
29. Способ по п.23, при этом способ дополнительно содержит этапы, на которых определяют положение мобильного устройства и передают положение мобильного устройства от мобильного устройства серверу.
30. Способ по п.29, при этом способ дополнительно содержит этапы, на которых используют положение мобильного устройства, чтобы сгенерировать карту, и передают карту от сервера другому вычислительному устройству.
31. Способ по п.23, при этом способ дополнительно содержит этапы, на которых используют службу перевода на сервере, чтобы переводить текст с одного языка на другой язык на основе данных, отправленных с мобильного устройства серверу.
32. Способ по п.31, при этом способ дополнительно содержит этапы, на которых возвращают значения, представляющие звуковой сигнал, от сервера мобильному устройству, причем звуковой сигнал представляет перевод текста.
33. Способ по п.31, при этом способ дополнительно содержит этапы, на которых возвращают текст от сервера мобильному устройству, причем текст представляет перевод текста.
34. Способ по п.18, при этом способ дополнительно содержит этапы, на которых обмениваются данными между мобильным устройством и другим устройством.
RU2005127851/09A 2004-10-12 2005-09-06 Способ и аппарат мультисенсорного улучшения речи в мобильном устройстве RU2391716C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/962,954 2004-10-12
US10/962,954 US7283850B2 (en) 2004-10-12 2004-10-12 Method and apparatus for multi-sensory speech enhancement on a mobile device

Publications (2)

Publication Number Publication Date
RU2005127851A RU2005127851A (ru) 2007-03-20
RU2391716C2 true RU2391716C2 (ru) 2010-06-10

Family

ID=35517548

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2005127851/09A RU2391716C2 (ru) 2004-10-12 2005-09-06 Способ и аппарат мультисенсорного улучшения речи в мобильном устройстве

Country Status (10)

Country Link
US (2) US7283850B2 (ru)
EP (1) EP1648150B1 (ru)
JP (1) JP4870953B2 (ru)
KR (1) KR101176732B1 (ru)
CN (1) CN1761265B (ru)
AU (1) AU2005203610A1 (ru)
BR (1) BRPI0503644A (ru)
CA (2) CA2518640C (ru)
MX (1) MXPA05009800A (ru)
RU (1) RU2391716C2 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2605522C2 (ru) * 2010-11-24 2016-12-20 Конинклейке Филипс Электроникс Н.В. Устройство, содержащее множество аудиодатчиков, и способ его эксплуатации
RU2627117C2 (ru) * 2012-09-28 2017-08-03 Самсунг Электроникс Ко., Лтд. Электронное устройство, сервер и способ управления такими устройствами
RU2713874C2 (ru) * 2017-07-28 2020-02-07 Сергей Иванович Демидов Мобильное голосовое информационное устройство

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675027B1 (en) * 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
US7587318B2 (en) * 2002-09-12 2009-09-08 Broadcom Corporation Correlating video images of lip movements with audio signals to improve speech recognition
US20050033571A1 (en) * 2003-08-07 2005-02-10 Microsoft Corporation Head mounted multi-sensory audio input system
US7383181B2 (en) * 2003-07-29 2008-06-03 Microsoft Corporation Multi-sensory speech detection system
US7447630B2 (en) * 2003-11-26 2008-11-04 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7499686B2 (en) * 2004-02-24 2009-03-03 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US7986954B1 (en) 2004-06-25 2011-07-26 Nortel Networks Limited Wireless communication network having a broadcast system for information distribution
US7574008B2 (en) * 2004-09-17 2009-08-11 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
JPWO2006059679A1 (ja) * 2004-12-02 2008-06-05 松下電器産業株式会社 携帯端末装置
US8103305B2 (en) * 2004-12-13 2012-01-24 Broadcom Corporation Method and system for cellular network and integrated broadcast television (TV) downlink with intelligent service control with feedback information
US7835773B2 (en) * 2005-03-23 2010-11-16 Kyocera Corporation Systems and methods for adjustable audio operation in a mobile communication device
US7483727B2 (en) * 2005-04-04 2009-01-27 Research In Motion Limited Mobile wireless communications device having improved antenna impedance match and antenna gain from RF energy
US7346504B2 (en) * 2005-06-20 2008-03-18 Microsoft Corporation Multi-sensory speech enhancement using a clean speech prior
US7680656B2 (en) * 2005-06-28 2010-03-16 Microsoft Corporation Multi-sensory speech enhancement using a speech-state model
US7406303B2 (en) 2005-07-05 2008-07-29 Microsoft Corporation Multi-sensory speech enhancement using synthesized sensor signal
US7697941B2 (en) * 2005-08-02 2010-04-13 Sony Ericsson Mobile Communications Ab Updating presence in a wireless communications device
US8073700B2 (en) 2005-09-12 2011-12-06 Nuance Communications, Inc. Retrieval and presentation of network service results for mobile device using a multimodal browser
JP2007105316A (ja) * 2005-10-14 2007-04-26 Konica Minolta Sensing Inc 生体情報測定器
US7477909B2 (en) * 2005-10-31 2009-01-13 Nuance Communications, Inc. System and method for conducting a search using a wireless mobile device
US7930178B2 (en) * 2005-12-23 2011-04-19 Microsoft Corporation Speech modeling and enhancement based on magnitude-normalized spectra
CN101390440B (zh) * 2006-02-27 2012-10-10 松下电器产业株式会社 可穿戴终端、控制可穿戴终端的处理器及方法
US7876906B2 (en) 2006-05-30 2011-01-25 Sonitus Medical, Inc. Methods and apparatus for processing audio signals
US20120243714A9 (en) * 2006-05-30 2012-09-27 Sonitus Medical, Inc. Microphone placement for oral applications
US20080031475A1 (en) 2006-07-08 2008-02-07 Personics Holdings Inc. Personal audio assistant device and method
US11450331B2 (en) 2006-07-08 2022-09-20 Staton Techiya, Llc Personal audio assistant device and method
US8291912B2 (en) * 2006-08-22 2012-10-23 Sonitus Medical, Inc. Systems for manufacturing oral-based hearing aid appliances
CA2663017C (en) * 2006-09-08 2014-03-25 Sonitus Medical, Inc. Methods and apparatus for treating tinnitus
US9591392B2 (en) * 2006-11-06 2017-03-07 Plantronics, Inc. Headset-derived real-time presence and communication systems and methods
EP1921852A1 (en) * 2006-11-07 2008-05-14 Microsoft Corporation Sharing Television Clips
TWM318873U (en) * 2006-12-28 2007-09-11 Micro Star Int Co Ltd Wireless earphone with decoration effect
JP4940956B2 (ja) * 2007-01-10 2012-05-30 ヤマハ株式会社 音声伝送システム
US7734247B2 (en) * 2007-01-25 2010-06-08 Sony Ericsson Mobile Communications Ab Configurable serial memory interface
US8949130B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Internal and external speech recognition use with a mobile communication facility
US8886540B2 (en) 2007-03-07 2014-11-11 Vlingo Corporation Using speech recognition results based on an unstructured language model in a mobile communication facility application
US8635243B2 (en) 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US20080312934A1 (en) * 2007-03-07 2008-12-18 Cerra Joseph P Using results of unstructured language model based speech recognition to perform an action on a mobile communications facility
US8838457B2 (en) 2007-03-07 2014-09-16 Vlingo Corporation Using results of unstructured language model based speech recognition to control a system-level function of a mobile communications facility
US8949266B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US20080221884A1 (en) 2007-03-07 2008-09-11 Cerra Joseph P Mobile environment speech processing facility
US10056077B2 (en) 2007-03-07 2018-08-21 Nuance Communications, Inc. Using speech recognition results based on an unstructured language model with a music system
US8886545B2 (en) * 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US8843376B2 (en) 2007-03-13 2014-09-23 Nuance Communications, Inc. Speech-enabled web content searching using a multimodal browser
US20080234842A1 (en) * 2007-03-21 2008-09-25 Microsoft Corporation Microphones as contact sensors for device control
US10057676B2 (en) * 2007-04-20 2018-08-21 Lloyd Douglas Manning Wearable wirelessly controlled enigma system
US8270638B2 (en) * 2007-05-29 2012-09-18 Sonitus Medical, Inc. Systems and methods to provide communication, positioning and monitoring of user status
US20080304677A1 (en) * 2007-06-08 2008-12-11 Sonitus Medical Inc. System and method for noise cancellation with motion tracking capability
EP2007167A3 (en) * 2007-06-21 2013-01-23 Funai Electric Advanced Applied Technology Research Institute Inc. Voice input-output device and communication device
US20090028352A1 (en) * 2007-07-24 2009-01-29 Petroff Michael L Signal process for the derivation of improved dtm dynamic tinnitus mitigation sound
US20120235632A9 (en) * 2007-08-20 2012-09-20 Sonitus Medical, Inc. Intra-oral charging systems and methods
US8433080B2 (en) * 2007-08-22 2013-04-30 Sonitus Medical, Inc. Bone conduction hearing device with open-ear microphone
US8224013B2 (en) * 2007-08-27 2012-07-17 Sonitus Medical, Inc. Headset systems and methods
US7682303B2 (en) 2007-10-02 2010-03-23 Sonitus Medical, Inc. Methods and apparatus for transmitting vibrations
US20090105523A1 (en) * 2007-10-18 2009-04-23 Sonitus Medical, Inc. Systems and methods for compliance monitoring
US8795172B2 (en) * 2007-12-07 2014-08-05 Sonitus Medical, Inc. Systems and methods to provide two-way communications
US8270637B2 (en) 2008-02-15 2012-09-18 Sonitus Medical, Inc. Headset systems and methods
US7974845B2 (en) 2008-02-15 2011-07-05 Sonitus Medical, Inc. Stuttering treatment methods and apparatus
US8023676B2 (en) 2008-03-03 2011-09-20 Sonitus Medical, Inc. Systems and methods to provide communication and monitoring of user status
US8150075B2 (en) 2008-03-04 2012-04-03 Sonitus Medical, Inc. Dental bone conduction hearing appliance
US20090226020A1 (en) 2008-03-04 2009-09-10 Sonitus Medical, Inc. Dental bone conduction hearing appliance
US20090249422A1 (en) * 2008-03-31 2009-10-01 Broadcom Corporation Video transmission system with authentication based on a global clock and methods for use therewith
US20090270673A1 (en) * 2008-04-25 2009-10-29 Sonitus Medical, Inc. Methods and systems for tinnitus treatment
US8315876B2 (en) * 2008-05-09 2012-11-20 Plantronics, Inc. Headset wearer identity authentication with voice print or speech recognition
US8526998B2 (en) * 2008-05-16 2013-09-03 Sharp Kabushiki Kaisha Mobile terminal having pulse meter
US20100080361A1 (en) * 2008-09-29 2010-04-01 Conrad Edward Houghton Method for Sharing Audio-only content, Audio-Visual content, and Visual-only content between Subscribers on a Telephone call
US9009053B2 (en) 2008-11-10 2015-04-14 Google Inc. Multisensory speech detection
US20110010172A1 (en) * 2009-07-10 2011-01-13 Alon Konchitsky Noise reduction system using a sensor based speech detector
US20120284022A1 (en) * 2009-07-10 2012-11-08 Alon Konchitsky Noise reduction system using a sensor based speech detector
US8060031B2 (en) * 2009-08-05 2011-11-15 Francella Henderson Hands-free cell phone jewelry
US8433082B2 (en) 2009-10-02 2013-04-30 Sonitus Medical, Inc. Intraoral appliance for sound transmission via bone conduction
US8358746B2 (en) * 2009-10-15 2013-01-22 Avaya Inc. Method and apparatus for unified interface for heterogeneous session management
US8363796B2 (en) * 2009-10-15 2013-01-29 Avaya Inc. Selection and initiation of IVR scripts by contact center agents
US20110135108A1 (en) * 2009-12-09 2011-06-09 Chin Wei Chien Dual-functional earphone
US8626498B2 (en) * 2010-02-24 2014-01-07 Qualcomm Incorporated Voice activity detection based on plural voice activity detectors
US20110288860A1 (en) * 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
US8744860B2 (en) * 2010-08-02 2014-06-03 At&T Intellectual Property I, L.P. Apparatus and method for providing messages in a social network
TW201208335A (en) * 2010-08-10 2012-02-16 Hon Hai Prec Ind Co Ltd Electronic device
EP2458586A1 (en) * 2010-11-24 2012-05-30 Koninklijke Philips Electronics N.V. System and method for producing an audio signal
US9313306B2 (en) 2010-12-27 2016-04-12 Rohm Co., Ltd. Mobile telephone cartilage conduction unit for making contact with the ear cartilage
JP5911248B2 (ja) * 2011-09-22 2016-04-27 株式会社ファインウェル 携帯電話
JP5902416B2 (ja) * 2011-08-19 2016-04-13 株式会社ファインウェル 携帯電話
US8918149B2 (en) 2010-12-27 2014-12-23 Rohm Co., Ltd. Mobile telephone
US8521239B2 (en) * 2010-12-27 2013-08-27 Rohm Co., Ltd. Mobile telephone
EP2661054B1 (en) 2010-12-27 2020-08-26 FINEWELL Co., Ltd. Transmitter/receiver unit
JP5783352B2 (ja) 2011-02-25 2015-09-24 株式会社ファインウェル 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法
US8818275B2 (en) * 2011-03-10 2014-08-26 Continental Automotive Systems, Inc Enhancing vehicle infotainment systems by adding remote sensors from a portable device
JP2012205147A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 携帯電子機器および音声制御システム
KR101863831B1 (ko) * 2012-01-20 2018-06-01 로무 가부시키가이샤 연골 전도부를 갖는 휴대 전화
US8903309B2 (en) * 2012-06-05 2014-12-02 J.A. Wells and Associates, L.L.C. True stereo wireless headset and method
US9263044B1 (en) * 2012-06-27 2016-02-16 Amazon Technologies, Inc. Noise reduction based on mouth area movement recognition
KR101836023B1 (ko) 2012-06-29 2018-03-07 로무 가부시키가이샤 스테레오 이어폰
US9094749B2 (en) 2012-07-25 2015-07-28 Nokia Technologies Oy Head-mounted sound capture device
JP6005476B2 (ja) * 2012-10-30 2016-10-12 シャープ株式会社 受話装置、制御プログラム、記録媒体
US9979757B1 (en) * 2013-03-11 2018-05-22 Ca, Inc. Method and apparatus for providing a media content from a collaborative meeting to a remote user
GB2513559B8 (en) * 2013-04-22 2016-06-29 Ge Aviat Systems Ltd Unknown speaker identification system
US10157618B2 (en) 2013-05-02 2018-12-18 Xappmedia, Inc. Device, system, method, and computer-readable medium for providing interactive advertising
JP6090027B2 (ja) * 2013-07-22 2017-03-08 株式会社ナカヨ 特定音付き音声コマンド対応情報端末
CN105493478B (zh) * 2013-08-23 2018-06-12 罗姆股份有限公司 移动电话
US9705548B2 (en) 2013-10-24 2017-07-11 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
US9620116B2 (en) * 2013-12-24 2017-04-11 Intel Corporation Performing automated voice operations based on sensor data reflecting sound vibration conditions and motion conditions
CN106170681A (zh) 2014-03-18 2016-11-30 罗伯特·博世有限公司 自适应声学强度分析仪
FR3019422B1 (fr) 2014-03-25 2017-07-21 Elno Appareil acoustique comprenant au moins un microphone electroacoustique, un microphone osteophonique et des moyens de calcul d'un signal corrige, et equipement de tete associe
US9524731B2 (en) * 2014-04-08 2016-12-20 Doppler Labs, Inc. Active acoustic filter with location-based filter characteristics
US9736264B2 (en) 2014-04-08 2017-08-15 Doppler Labs, Inc. Personal audio system using processing parameters learned from user feedback
US9557960B2 (en) 2014-04-08 2017-01-31 Doppler Labs, Inc. Active acoustic filter with automatic selection of filter parameters based on ambient sound
US9648436B2 (en) 2014-04-08 2017-05-09 Doppler Labs, Inc. Augmented reality sound system
US9825598B2 (en) 2014-04-08 2017-11-21 Doppler Labs, Inc. Real-time combination of ambient audio and a secondary audio source
US9560437B2 (en) 2014-04-08 2017-01-31 Doppler Labs, Inc. Time heuristic audio control
US20150363572A1 (en) * 2014-06-13 2015-12-17 Helge Myklebust System and Method for Providing Emergency Medical Counselling
TWM492015U (zh) * 2014-07-30 2014-12-11 Wen-Tsung Sun 電子式助發聲裝置
JP6551919B2 (ja) 2014-08-20 2019-07-31 株式会社ファインウェル 見守りシステム、見守り検知装置および見守り通報装置
US9953646B2 (en) 2014-09-02 2018-04-24 Belleau Technologies Method and system for dynamic speech recognition and tracking of prewritten script
KR102188268B1 (ko) * 2014-10-08 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
US9924288B2 (en) 2014-10-29 2018-03-20 Invensense, Inc. Blockage detection for a microelectromechanical systems sensor
KR101973486B1 (ko) 2014-12-18 2019-04-29 파인웰 씨오., 엘티디 전자형 진동 유닛을 사용한 연골 전도 청취 장치 및 전자형 진동 유닛
US10235129B1 (en) 2015-06-29 2019-03-19 Amazon Technologies, Inc. Joining users to communications via voice commands
WO2017010547A1 (ja) 2015-07-15 2017-01-19 ローム株式会社 ロボットおよびロボットシステム
CN105120198A (zh) * 2015-08-26 2015-12-02 无锡华海天和信息科技有限公司 一种能够消除通话中回音的视频通话系统及其实现方法
JP6551929B2 (ja) 2015-09-16 2019-07-31 株式会社ファインウェル 受話機能を有する腕時計
US9978366B2 (en) 2015-10-09 2018-05-22 Xappmedia, Inc. Event-based speech interactive media player
US9678709B1 (en) 2015-11-25 2017-06-13 Doppler Labs, Inc. Processing sound using collective feedforward
US11145320B2 (en) 2015-11-25 2021-10-12 Dolby Laboratories Licensing Corporation Privacy protection in collective feedforward
US9584899B1 (en) 2015-11-25 2017-02-28 Doppler Labs, Inc. Sharing of custom audio processing parameters
US10853025B2 (en) 2015-11-25 2020-12-01 Dolby Laboratories Licensing Corporation Sharing of custom audio processing parameters
US9703524B2 (en) 2015-11-25 2017-07-11 Doppler Labs, Inc. Privacy protection in collective feedforward
CN110010149B (zh) * 2016-01-14 2023-07-28 深圳市韶音科技有限公司 基于统计模型的双传感器语音增强方法
CN108496345B (zh) 2016-01-19 2021-02-26 株式会社精好 笔型呼入呼出通话装置
WO2018079576A1 (ja) * 2016-10-28 2018-05-03 パナソニックＩｐマネジメント株式会社 骨伝導ヘッドセット
CN106412813A (zh) * 2016-11-30 2017-02-15 深圳市高为通信技术有限公司 一种利用蓝牙耳机进行实时通讯翻译的方法
TW201834438A (zh) * 2017-03-08 2018-09-16 捷音特科技股份有限公司 耳麥翻譯系統
US10936830B2 (en) * 2017-06-21 2021-03-02 Saida Ashley Florexil Interpreting assistant system
JP2020053948A (ja) 2018-09-28 2020-04-02 株式会社ファインウェル 聴取装置
US10856070B2 (en) * 2018-10-19 2020-12-01 VocoLabs, Inc. Throat microphone system and method
US11752916B2 (en) 2019-06-18 2023-09-12 The Boeing Company Pod-centric module integration with a vehicle
US11796321B2 (en) 2019-06-18 2023-10-24 The Boeing Company System for pod-based transportation
US11465545B2 (en) 2019-06-18 2022-10-11 The Boeing Company Reconfigurable pods for use with one or more vehicles
US11953916B2 (en) 2020-01-31 2024-04-09 The Boeing Company Transportation pod that deploys from an aircraft or vehicle
US11741561B2 (en) * 2020-01-31 2023-08-29 The Boeing Company Rescue operations for pods that deploy from a vehicle
CN111882250B (zh) * 2020-06-17 2024-07-12 广东城市智慧物联网工程有限公司 医疗资源的管理调度方法、系统及计算机可读存储介质

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3383466A (en) * 1964-05-28 1968-05-14 Navy Usa Nonacoustic measures in automatic speech recognition
US3746789A (en) * 1971-10-20 1973-07-17 E Alcivar Tissue conduction microphone utilized to activate a voice operated switch
US3787641A (en) * 1972-06-05 1974-01-22 Setcom Corp Bone conduction microphone assembly
US4382164A (en) * 1980-01-25 1983-05-03 Bell Telephone Laboratories, Incorporated Signal stretcher for envelope generator
JPS62239231A (ja) * 1986-04-10 1987-10-20 Kiyarii Rabo:Kk 口唇画像入力による音声認識方法
JPH0755167B2 (ja) * 1988-09-21 1995-06-14 松下電器産業株式会社 移動体
JPH03108997A (ja) 1989-09-22 1991-05-09 Temuko Japan:Kk 骨伝導マイク
JPH03160851A (ja) * 1989-11-20 1991-07-10 Fujitsu Ltd 携帯電話機
US5054079A (en) * 1990-01-25 1991-10-01 Stanton Magnetics, Inc. Bone conduction microphone with mounting means
US5404577A (en) * 1990-07-13 1995-04-04 Cairns & Brother Inc. Combination head-protective helmet & communications system
WO1993001664A1 (en) 1991-07-08 1993-01-21 Motorola, Inc. Remote voice control system
US5295193A (en) * 1992-01-22 1994-03-15 Hiroshi Ono Device for picking up bone-conducted sound in external auditory meatus and communication device using the same
JP2924989B2 (ja) 1992-01-28 1999-07-26 日本特殊陶業株式会社 ダイヤモンド膜被覆窒化珪素基部材及びその製造方法
JPH05276587A (ja) 1992-03-30 1993-10-22 Retsutsu Corp:Kk イヤーマイクロフォン
US5446789A (en) * 1993-11-10 1995-08-29 International Business Machines Corporation Electronic device having antenna for receiving soundwaves
ZA948426B (en) 1993-12-22 1995-06-30 Qualcomm Inc Distributed voice recognition system
AU684872B2 (en) * 1994-03-10 1998-01-08 Cable And Wireless Plc Communication system
US5828768A (en) * 1994-05-11 1998-10-27 Noise Cancellation Technologies, Inc. Multimedia personal computer with active noise reduction and piezo speakers
JP3082825B2 (ja) 1994-08-29 2000-08-28 日本電信電話株式会社 通信装置
EP0984660B1 (en) * 1994-05-18 2003-07-30 Nippon Telegraph and Telephone Corporation Transmitter-receiver having ear-piece type acoustic transducer part
JP3488749B2 (ja) 1994-08-23 2004-01-19 株式会社ダッド・ジャパン 骨伝導型マイクロホン
JP3306784B2 (ja) 1994-09-05 2002-07-24 日本電信電話株式会社 骨導マイクロホン出力信号再生装置
JPH08186654A (ja) 1994-12-22 1996-07-16 Internatl Business Mach Corp <Ibm> 携帯端末装置
US5692059A (en) * 1995-02-24 1997-11-25 Kruger; Frederick M. Two active element in-the-ear microphone system
US5555449A (en) * 1995-03-07 1996-09-10 Ericsson Inc. Extendible antenna and microphone for portable communication unit
KR960042590A (ko) * 1995-05-23 1996-12-21 김광호 테이프 재생용 음량기기에서의 발음비교방법
US5647834A (en) * 1995-06-30 1997-07-15 Ron; Samuel Speech-based biofeedback method and system
JPH09172479A (ja) * 1995-12-20 1997-06-30 Yokoi Kikaku:Kk 送受話器およびそれを用いた通話装置
US6377919B1 (en) * 1996-02-06 2002-04-23 The Regents Of The University Of California System and method for characterizing voiced excitations of speech and acoustic signals, removing acoustic noise from speech, and synthesizing speech
US6006175A (en) * 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
US6243596B1 (en) * 1996-04-10 2001-06-05 Lextron Systems, Inc. Method and apparatus for modifying and integrating a cellular phone with the capability to access and browse the internet
JP3097901B2 (ja) 1996-06-28 2000-10-10 日本電信電話株式会社 通話装置
JP3095214B2 (ja) 1996-06-28 2000-10-03 日本電信電話株式会社 通話装置
US5943627A (en) * 1996-09-12 1999-08-24 Kim; Seong-Soo Mobile cellular phone
JPH10150647A (ja) * 1996-11-19 1998-06-02 Fujitsu Ltd ビデオ会議システム
JPH10261910A (ja) * 1997-01-16 1998-09-29 Sony Corp 携帯無線装置およびアンテナ装置
JPH10224253A (ja) * 1997-02-10 1998-08-21 Sony Corp 携帯通信機
US6308062B1 (en) * 1997-03-06 2001-10-23 Ericsson Business Networks Ab Wireless telephony system enabling access to PC based functionalities
FR2761800A1 (fr) 1997-04-02 1998-10-09 Scanera Sc Dispositif de transmission de voix et telephone le mettant en oeuvre
US5983073A (en) * 1997-04-04 1999-11-09 Ditzik; Richard J. Modular notebook and PDA computer systems for personal computing and wireless communications
US6175633B1 (en) * 1997-04-09 2001-01-16 Cavcom, Inc. Radio communications apparatus with attenuating ear pieces for high noise environments
WO1999004500A1 (de) 1997-07-16 1999-01-28 Siemens Aktiengesellschaft Funktelefonhandgerät
JP3434215B2 (ja) 1998-02-20 2003-08-04 日本電信電話株式会社 収音装置，音声認識装置，これらの方法、及びプログラム記録媒体
JPH11249692A (ja) 1998-02-27 1999-09-17 Nec Saitama Ltd 音声認識装置
JPH11265199A (ja) 1998-03-18 1999-09-28 Nippon Telegr & Teleph Corp <Ntt> 送話器
DE69936476T2 (de) 1998-03-18 2007-11-08 Nippon Telegraph And Telephone Corp. Tragbares Kommunikationsgerät zur Eingabe von Befehlen durch Detektion der Fingeraufschläge oder Vibrationen der Fingerspitzen
AU763861B2 (en) * 1998-05-19 2003-07-31 Spectrx, Inc. Apparatus and method for determining tissue characteristics
US6052464A (en) * 1998-05-29 2000-04-18 Motorola, Inc. Telephone set having a microphone for receiving or an earpiece for generating an acoustic signal via a keypad
US6137883A (en) * 1998-05-30 2000-10-24 Motorola, Inc. Telephone set having a microphone for receiving an acoustic signal via keypad
JP3160714B2 (ja) * 1998-07-08 2001-04-25 株式会社シコー技研 携帯無線通信機
JP3893763B2 (ja) * 1998-08-17 2007-03-14 富士ゼロックス株式会社 音声検出装置
AU6291599A (en) 1998-10-08 2000-04-26 Resound Corporation Dual-sensor voice transmission system
JP2000196723A (ja) 1998-12-25 2000-07-14 Koichi Tamura 筒状アンテナ、マイク
JP2000209688A (ja) 1999-01-19 2000-07-28 Temuko Japan:Kk 骨導マイク
US6760600B2 (en) 1999-01-27 2004-07-06 Gateway, Inc. Portable communication apparatus
JP2000261529A (ja) 1999-03-10 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 通話装置
JP2000261534A (ja) 1999-03-10 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 送受話器
JP2000261530A (ja) 1999-03-10 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 通話装置
JP2000295338A (ja) 1999-04-02 2000-10-20 Toshiba Corp 通信装置
DE19917169A1 (de) 1999-04-16 2000-11-02 Kamecke Keller Orla Verfahren zur Speicherung und Wiedergabe von Audio-, Video- und Anwendungsprogrammdaten in Mobilfunkendgeräten
US6952483B2 (en) 1999-05-10 2005-10-04 Genisus Systems, Inc. Voice transmission apparatus with UWB
US20020057810A1 (en) 1999-05-10 2002-05-16 Boesen Peter V. Computer and voice communication unit with handsfree device
US6542721B2 (en) * 1999-10-11 2003-04-01 Peter V. Boesen Cellular telephone, personal digital assistant and pager unit
US6094492A (en) * 1999-05-10 2000-07-25 Boesen; Peter V. Bone conduction voice transmission apparatus and system
US6560468B1 (en) * 1999-05-10 2003-05-06 Peter V. Boesen Cellular telephone, personal digital assistant, and pager unit with capability of short range radio frequency transmissions
JP2000354284A (ja) 1999-06-10 2000-12-19 Iwatsu Electric Co Ltd 送受一体形電気音響変換器を用いる送受話装置
US6594629B1 (en) * 1999-08-06 2003-07-15 International Business Machines Corporation Methods and apparatus for audio-visual speech detection and recognition
JP2001119797A (ja) 1999-10-15 2001-04-27 Phone Or Ltd 携帯電話装置
US6339706B1 (en) * 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
US6411933B1 (en) * 1999-11-22 2002-06-25 International Business Machines Corporation Methods and apparatus for correlating biometric attributes and biometric attribute production features
US6675027B1 (en) * 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
JP3576915B2 (ja) 2000-02-28 2004-10-13 株式会社ケンウッド 携帯電話装置
JP3339579B2 (ja) * 2000-10-04 2002-10-28 株式会社鷹山 電話装置
JP2002125298A (ja) 2000-10-13 2002-04-26 Yamaha Corp マイク装置およびイヤホンマイク装置
US20020075306A1 (en) * 2000-12-18 2002-06-20 Christopher Thompson Method and system for initiating communications with dispersed team members from within a virtual team environment using personal identifiers
WO2002077972A1 (en) 2001-03-27 2002-10-03 Rast Associates, Llc Head-worn, trimodal device to increase transcription accuracy in a voice recognition system and to process unvocalized speech
GB2375276B (en) 2001-05-03 2003-05-28 Motorola Inc Method and system of sound processing
WO2002098169A1 (en) 2001-05-30 2002-12-05 Aliphcom Detecting voiced and unvoiced speech using both acoustic and nonacoustic sensors
JP2002358089A (ja) 2001-06-01 2002-12-13 Denso Corp 音声処理装置及び音声処理方法
US6987986B2 (en) * 2001-06-21 2006-01-17 Boesen Peter V Cellular telephone, personal digital assistant with dual lines for simultaneous uses
US7054423B2 (en) * 2001-09-24 2006-05-30 Nebiker Robert M Multi-media communication downloading
JP3532544B2 (ja) * 2001-10-30 2004-05-31 株式会社テムコジャパン 面体又は帽体のストラップ装着用送受話装置
US7162415B2 (en) * 2001-11-06 2007-01-09 The Regents Of The University Of California Ultra-narrow bandwidth voice coding
US6664713B2 (en) * 2001-12-04 2003-12-16 Peter V. Boesen Single chip device for voice communications
US8527280B2 (en) * 2001-12-13 2013-09-03 Peter V. Boesen Voice communication device with foreign language translation
AU2002222893A1 (en) 2001-12-21 2003-07-09 Rti Tech Pte Ltd. Vibration-based talk-through method and apparatus
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
US9374451B2 (en) 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
GB2421668B (en) 2002-06-24 2007-01-03 Samsung Electronics Co Ltd Usage position detection
JP4000095B2 (ja) * 2003-07-30 2007-10-31 株式会社東芝 音声認識方法、装置及びプログラム
US20060008256A1 (en) * 2003-10-01 2006-01-12 Khedouri Robert K Audio visual player apparatus and system and method of content distribution using the same
US7447630B2 (en) * 2003-11-26 2008-11-04 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7499686B2 (en) 2004-02-24 2009-03-03 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
JP2005346747A (ja) * 2004-05-31 2005-12-15 Pioneer Electronic Corp 情報再生装置
US8095073B2 (en) * 2004-06-22 2012-01-10 Sony Ericsson Mobile Communications Ab Method and apparatus for improved mobile station and hearing aid compatibility
US7574008B2 (en) * 2004-09-17 2009-08-11 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2605522C2 (ru) * 2010-11-24 2016-12-20 Конинклейке Филипс Электроникс Н.В. Устройство, содержащее множество аудиодатчиков, и способ его эксплуатации
RU2627117C2 (ru) * 2012-09-28 2017-08-03 Самсунг Электроникс Ко., Лтд. Электронное устройство, сервер и способ управления такими устройствами
US10120645B2 (en) 2012-09-28 2018-11-06 Samsung Electronics Co., Ltd. Electronic device, server and control method thereof
US11086596B2 (en) 2012-09-28 2021-08-10 Samsung Electronics Co., Ltd. Electronic device, server and control method thereof
RU2713874C2 (ru) * 2017-07-28 2020-02-07 Сергей Иванович Демидов Мобильное голосовое информационное устройство

Also Published As

Publication number Publication date
US20060079291A1 (en) 2006-04-13
US20070036370A1 (en) 2007-02-15
CA2518640C (en) 2014-02-11
US7283850B2 (en) 2007-10-16
JP2006115476A (ja) 2006-04-27
BRPI0503644A (pt) 2006-05-23
AU2005203610A1 (en) 2006-04-27
CN1761265A (zh) 2006-04-19
JP4870953B2 (ja) 2012-02-08
EP1648150B1 (en) 2017-11-01
RU2005127851A (ru) 2007-03-20
MXPA05009800A (es) 2006-04-18
EP1648150A2 (en) 2006-04-19
CA2812014A1 (en) 2006-04-12
KR101176732B1 (ko) 2012-08-23
CA2518640A1 (en) 2006-04-12
KR20060050836A (ko) 2006-05-19
CN1761265B (zh) 2011-04-20
EP1648150A3 (en) 2006-05-31
CA2812014C (en) 2015-11-03

Similar Documents

Publication Publication Date Title
RU2391716C2 (ru) Способ и аппарат мультисенсорного улучшения речи в мобильном устройстве
US12062016B2 (en) Automated clinical documentation system and method
US7443283B2 (en) Methods and apparatus for connecting an intimate group by exchanging awareness cues and text, voice instant messages, and two-way voice communications
CN203435060U (zh) 无线电话会议的电话系统和电话网关
CN110322878A (zh) 一种语音控制方法、电子设备及系统
Chern et al. A smartphone-based multi-functional hearing assistive system to facilitate speech recognition in the classroom
Xu et al. Crowdsensing the speaker count in the wild: Implications and applications
CA3065096A1 (en) Adaptation of the auditory output of an electronic digital assistant in accordance with an indication of the acoustic environment
CN111752387A (zh) 信息交互方法、装置、系统及设备
CN110178159A (zh) 具有集成式投影仪的音频/视频可穿戴式计算机系统
US11107343B2 (en) System and method of user mobility monitoring
JP6286289B2 (ja) 管理装置、会話システム、会話管理方法及びプログラム
JP2007272906A (ja) プレゼンス情報取得／送信／出力装置
Shaikh et al. Automatic life-logging: A novel approach to sense real-world activities by environmental sound cues and common sense
US20230169966A1 (en) System and method for encouraging group discussion participation
CN104523290A (zh) 一种无线网络化数字听诊系统
JP2016091221A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN103778359B (zh) 多媒体信息处理系统及多媒体信息处理方法
CN108055633A (zh) 一种音频播放方法及移动终端
Thibodeau Advanced practices: assistive technology in the age of smartphones and tablets
CN110049196A (zh) 信息处理方法、移动终端及网络侧设备
JP3227725U (ja) 文字表示機能付き補聴システム
US11270682B2 (en) Information processing device and information processing method for presentation of word-of-mouth information
US20240015462A1 (en) Voice processing system, voice processing method, and recording medium having voice processing program recorded thereon
JP2020194021A (ja) 音声処理装置、音声処理方法およびプログラム

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20120907