RU2661791C2 - Способ функционирования канала беспроводной связи и система портативного терминала - Google Patents

Способ функционирования канала беспроводной связи и система портативного терминала Download PDF

Info

Publication number
RU2661791C2
RU2661791C2 RU2014104373A RU2014104373A RU2661791C2 RU 2661791 C2 RU2661791 C2 RU 2661791C2 RU 2014104373 A RU2014104373 A RU 2014104373A RU 2014104373 A RU2014104373 A RU 2014104373A RU 2661791 C2 RU2661791 C2 RU 2661791C2
Authority
RU
Russia
Prior art keywords
content
user
criterion
output
control unit
Prior art date
Application number
RU2014104373A
Other languages
English (en)
Other versions
RU2014104373A (ru
Inventor
Дзихиун АХН
Сора КИМ
Дзинйонг КИМ
Хиункянг КИМ
Хеевоон КИМ
Юми АХН
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Publication of RU2014104373A publication Critical patent/RU2014104373A/ru
Application granted granted Critical
Publication of RU2661791C2 publication Critical patent/RU2661791C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

Изобретение относится к мобильному терминалу с поддержкой функции голосового общения и способу управления голосовым общением. Технический результат заключается в расширении арсенала средств. Мобильный терминал, поддерживающий функцию голосового общения, включает блок отображения, блок обработки звука, блок управления, выполненный с возможностью выбора контента, соответствующего первому критерию, ассоциированному с пользователем, в ответ на ввод от пользователя, определения схемы вывода контента на основании второго критерия, ассоциированного с пользователем, и вывода выбранного контента через блок отображения и блок обработки звука в соответствии со схемой вывода контента, причем первый критерий основан на изображении лица пользователя. 2 н. и 28 з.п. ф-лы, 12 ил.

Description

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к мобильному терминалу с поддержкой функции голосового общения и способу управления голосовым общением, и более конкретно, к мобильному терминалу с поддержкой функции голосового общения и способу управления голосовым общением для вывода контента в точности в соответствии с текущим эмоциональным состоянием, возрастом и полом пользователя.
2. ОПИСАНИЕ РОДСТВЕННОЙ ОБЛАСТИ ТЕХНИКИ
Общепринятая функция голосового общения действует таким образом, что ответ на вопрос пользователя выбирается из базового набора ответов, предоставленного изготовителем терминала. Соответственно, функция голосового общения ограничивается тем, что на один и тот же вопрос отвечают одним и тем же ответом независимо от пользователя. Это означает, что когда многочисленные пользователи используют мобильный терминал с поддержкой функции голосового общения, общепринятая функция голосового общения не обеспечивает ответ, оптимизированный для каждого пользователя.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Настоящее изобретение направлено на решение по меньшей мере описанных выше проблем и недостатков и на обеспечение по меньшей мере преимуществ, описанных ниже. Соответственно, аспект настоящего изобретения обеспечивает мобильный терминал для вывода контента, отражающего текущее эмоциональное состояние, возраст и пол пользователя, и способ управления голосовым общением для него.
В соответствии с аспектом настоящего изобретения, обеспечен мобильный терминал, поддерживающий функцию голосового общения. Терминал включает в себя блок отображения, блок обработки звука и блок управления, выполненный с возможностью выбора контента, соответствующего первому критерию, ассоциированному с пользователем, в ответ на ввод от пользователя, определения схемы вывода контента на основании второго критерия, ассоциированного с пользователем, и вывода выбранного контента через блок отображения, и блок обработки звука в соответствии со схемой вывода контента.
В соответствии с другим аспектом настоящего изобретения, обеспечен способ голосового общения мобильного терминала. Способ включает в себя выбор контента, соответствующего первому критерию, ассоциированному с пользователем, в ответ на ввод от пользователя, определение схемы вывода контента на основании второго критерия, ассоциированного с пользователем, и вывод выбранного контента через блок отображения и блок обработки звука мобильного терминала в соответствии со схемой вывода контента.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Вышеупомянутые и другие аспекты, признаки и преимущества вариантов осуществления настоящего изобретения станут понятными из последующего подробного описания, рассматриваемого совместно с прилагаемыми чертежами, на которых:
фиг. 1 представляет блок-схему, иллюстрирующую конфигурацию мобильного терминала 100 в соответствии с вариантом осуществления настоящего изобретения;
фиг. 2 представляет схему последовательности операций, иллюстрирующую способ управления функцией голосового общения в соответствии с вариантом осуществления настоящего изобретения;
фиг. 3 представляет таблицу, сопоставляющую эмоциональные состояния и элементы контента для использования в способе управления голосовым общением в соответствии с вариантом осуществления настоящего изобретения;
фиг. 4 и 5 представляют схемы отображений на экране, иллюстрирующие вывод контента на основании первого критерия в соответствии с вариантом осуществления настоящего изобретения;
фиг. 6 представляет схему последовательности операций, иллюстрирующую подробности первого этапа получения критерия, показанного на фиг. 2;
фиг. 7 представляет таблицу, сопоставляющую эмоциональные состояния и элементы контента для использования в способе управления голосовым общением в соответствии с вариантом осуществления настоящего изобретения;
фиг. 8 и 9 представляют схемы отображений на экране, иллюстрирующие вывод контента на основании первого критерия в соответствии с вариантом осуществления настоящего изобретения;
фиг. 10 представляет таблицу, сопоставляющую эмоциональные состояния и элементы контента для использования в способе управления голосовым общением в соответствии с вариантом осуществления настоящего изобретения;
фиг. 11 представляет схему отображений на экране, иллюстрирующую вывод контента на основании первого критерия в соответствии с вариантом осуществления настоящего изобретения; и
фиг. 12 является схематическим представлением, иллюстрирующим систему для функции голосового общения мобильного терминала в соответствии с вариантом осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ
Настоящее изобретение будет описано более подробно со ссылкой на прилагаемые чертежи, на которых показаны иллюстративные варианты осуществления изобретения. Однако, данное изобретение может быть воплощено во многих различных формах и не должно быть истолковано, как ограниченное вариантами осуществления, изложенными в данном документе. Скорее, эти варианты осуществления обеспечены так, чтобы описание настоящего изобретения было полным и завершенным и полностью передавало объем изобретения специалистам в данной области техники. Настоящее изобретение определяется прилагаемой формулой изобретения.
Хотя имеются порядковые номера, такие как описаны более подробно ниже со ссылкой на прилагаемые чертежи, на которых показаны иллюстративные варианты осуществления изобретения, однако данное изобретение может быть воплощено во многих различных формах и не должно быть ограничено только теми терминами, которые используются лишь для того, чтобы отличать один элемент, компонент, область, уровень или раздел от другого. Таким образом, первый элемент, компонент, область, уровень или раздел, обсуждаемые ниже, можно назвать вторым элементом, компонентом, областью, уровнем или разделом, не отступая от концепций изобретения. Описания следует понимать, как включающие в себя любые и все комбинации одного или более из ассоциированных перечисленных элементов, когда эти элементы описываются с использованием соединительного термина "и/или" и т.п.
Фиг. 1 представляет блок-схему, иллюстрирующую конфигурацию мобильного терминала 100 в соответствии с вариантом осуществления настоящего изобретения.
Как показано на фиг. 1, мобильный терминал 100 включает в себя блок 110 радиосвязи, блок 120 камеры, блок 130 измерения местоположения, блок 140 обработки звука, блок 150 отображения, блок 160 памяти и блок 170 управления.
Блок 110 радиосвязи передает/принимает радиосигналы, несущие данные. Блок 110 радиосвязи может включать в себя радиочастотный (РЧ) передатчик, выполненный с возможностью преобразования с повышением частоты и усиления передаваемых сигналов, и РЧ приемник, выполненный с возможностью усиления с низким уровнем шумов и преобразования с понижением частоты принимаемых сигналов. Блок 110 радиосвязи передает данные, принимаемые по радиоканалу, в блок 170 управления и передает по радиоканалу выходные данные от блока 170 управления.
Блок 120 камеры принимает видеосигналы. Блок 120 камеры обрабатывает видеокадры неподвижных и движущихся изображений, полученные датчиком изображения в режиме видеоконференции или в режиме съемки изображений. Блок 120 камеры может выводить обработанный видеокадр в блок 150 отображения. Видеокадр, обработанный блоком 120 камеры, может быть сохранен в блоке памяти и/или передан внешним образом посредством блока 110 радиосвязи.
Блок 120 камеры может включать в себя два или больше модулей камеры в зависимости от реализации мобильного терминала 100. Например, мобильный терминал 100 может включать в себя камеру, обращенную в том же направлении, что и экран блока 150 отображения, и другую камеру, обращенную в противоположную от экрана сторону.
Блок 130 измерения местоположения может быть снабжен модулем приема спутниковых сигналов для измерения текущего местоположения мобильного терминала 100 на основании сигналов, принимаемых от спутников. Посредством блока 110 радиосвязи, блок 130 измерения местоположения также может измерять текущее местоположение мобильного терминала 100 на основании сигналов, принимаемых от внутреннего или внешнего устройства радиосвязи внутри учреждения.
Блок 140 обработки звука может быть снабжен пакетом кодеков, включающим в себя кодек данных для обработки пакетных данных и аудиокодек для обработки звукового сигнала, такого как голос. Блок 140 обработки звука может преобразовывать цифровые звуковые сигналы в аналоговые звуковые сигналы посредством аудиокодека, чтобы выводить аналоговый сигнал через динамик (SPK), и преобразовывать ввод аналоговых сигналов через микрофон (MIC) в цифровые звуковые сигналы.
Блок 150 отображения отображает для пользователя в визуальной форме меню, вводимые данные, информацию о конфигурации функционирования и т.д. Блок 150 отображения выводит экран загрузки, экран ожидания, экран меню, экран телефонной связи и другие экраны выполнения приложения.
Блок 150 отображения может быть реализован с помощью одного из жидкокристаллического дисплея (LCD), дисплея на основе органических светодиодов (OLED), дисплея с активной матрицей OLED (AMOLED), гибкого дисплея и трехмерного (3D) дисплея.
Блок 160 памяти сохраняет программы и данные, необходимые для функционирования мобильного терминала 100, и может быть разделен на область программ и область данных. Область программ может сохранять основные программы для управления всей работой мобильного терминала 100, операционную систему (ОС) для загрузки мобильного терминала 100, приложения для воспроизведения мультимедийного контента и другие приложения для выполнения дополнительных функций, таких как голосовое общение, камера, воспроизведение звука и воспроизведение видео. Область данных может сохранять данные, сгенерированные в состоянии использования мобильного терминала 100, такие как неподвижные и движущиеся изображения, телефонная книга и аудиоданные.
Блок 170 управления управляет всеми операциями компонентов мобильного терминала 100. Блок 170 управления принимает речевой ввод пользователя через блок 140 обработки звука и управляет блоком 150 отображения для отображения на экране контента, соответствующего речи пользователя, в функции голосового общения, выполняемой в соответствии с манипулированием пользователя. Блок 170 управления также может воспроизводить контент, соответствующий речи пользователя, через блок 140 обработки звука. В данном документе, контент может включать в себя по меньшей мере одно из мультимедийного контента, такого как текст, изображение, звук, фильм и видеоклип, и информации, такой как погода, рекомендуемые местоположения и избранный контакт.
Более подробно, блок 170 управления распознает речь пользователя для получения соответствующего текста. Затем, блок 170 управления извлекает контент, соответствующий тексту, и выводит контент по меньшей мере через одно из блока 150 отображения и блока 140 обработки звука. Наконец, блок 170 управления может проверять смысл текста для извлечения соответствующего контента из числа сходного контента, хранящегося в блоке 160 памяти. Таким образом, при использовании интерактивной речевой связи, пользователю может быть предоставлена надлежащая информация через соответствующий сохраненный контент. Например, если пользователь говорит "Какая сегодня погода?", мобильный терминал 100 принимает речевой ввод пользователя через блок 140 обработки звука. Затем мобильный терминал 100 принимает контент (информацию о погоде), соответствующий тексту "Какая сегодня погода", полученному из речи пользователя, и выводит извлеченный контент по меньшей мере через одно из блока 150 отображения и блока 140 обработки звука.
В частности, в варианте осуществления настоящего изобретения, блок 170 управления может выбирать контент, подлежащий выведению через блок 150 отображения и/или блок 140 обработки звука, в зависимости от текущего эмоционального состояния, возраста и пола пользователя. Для того, чтобы выполнять это, блок 170 управления, в соответствии с вариантом осуществления настоящего изобретения, может включать в себя модуль 171 выбора контента и модуль 175 вывода контента.
Фиг. 2 представляет схему последовательности операций, иллюстрирующую способ управления функцией голосового общения в соответствии с вариантом осуществления настоящего изобретения.
Как показано на фиг. 2, если на этапе S210 выполняется функция голосового общения, на этапе S220 модуль 171 выбора контента получает первый критерий, ассоциированный с пользователем. В данном документе, первый критерий может включать в себя текущее эмоциональное состояние пользователя. Эмоциональное состояние обозначает настроение или переживаемое чувство, такое как радость, печаль, гнев, удивление и т.д.
Модуль 171 выбора контента на этапе S230 определяет, обнаружен ли речевой ввод пользователя. Если речевой ввод пользователя обнаружен через блок 140 обработки звука, модуль 171 выбора контента на этапе S240 выбирает контент, соответствующий речевому вводу пользователя, на основании первого критерия. Более подробно, модуль 171 выбора контента извлекает фразу из речи пользователя. Затем, модуль 171 выбора контента выбирает элементы контента, соответствующие этой фразе. Затем, модуль 171 выбора контента выбирает элементы контента, используя информацию об эмоциональном состоянии, предварительно определенную на основании первого критерия. В данном документе, характерная для эмоционального состояния информация о контенте может быть предварительно сконфигурирована и сохранена в блоке 160 памяти. Модуль 171 выбора контента также может извлекать элементы контента сначала на основании первого критерия, а затем выбирать один из этих элементов контента, соответствующих фразе.
В противном случае, если на этапе S230 речевой ввод пользователя не обнаружен, на этапе S250 модуль 171 выбора контента выбирает контент на основании первого критерия.
Если контент выбран, на этапе S260 модуль 175 вывода контента получает второй критерий, ассоциированный с пользователем. В данном документе, второй критерий может включать в себя по меньшей мере одно из возраста и пола пользователя. Возраст пользователя может быть точным возрастом пользователя или одной из предварительно определенных возрастных групп. Например, возраст пользователя может быть обозначен с помощью точного числа, такого как 30 или 50, или с помощью возрастной группы, такой как 20-летние, 50-летние, ребенок, взрослый и пожилой.
Более подробно, модуль вывода контента принимает изображение лица пользователя от блока 120 камеры. Модуль 175 вывода контента может получать второй критерий автоматически на основании изображения лица пользователя, основываясь на усредненной информации о лице для каждого пола или для каждой возрастной группы, хранящейся в блоке 160 памяти. Модуль 175 вывода контента также принимает речевой ввод пользователя через блок 140 обработки звука. Затем, модуль 175 вывода контента может получить второй критерий из речи пользователя, используя усредненную информацию о речи для каждой возрастной группы или для каждого пола. Модуль 175 вывода контента также может получить второй критерий на основании слов, составляющих фразу, полученную из речи пользователя. В это время, модуль 175 вывода контента может получить второй критерий, используя слова, характерные для каждого пола или для каждой возрастной группы. Например, если из речи пользователя получена фраза "I want new jim-jams (Я хочу новую пижаму)", можно судить о пользователе, как о ребенке, основываясь на слове "jim-jams" (пижама).
Модуль 175 вывода контента может получать второй критерий на основании как изображения лица, так и речи пользователя. Хотя описание относится к случаю, когда модуль 175 вывода контента получает второй критерий, основываясь на изображении лица и речи пользователя, различные варианты осуществления настоящего изобретения не ограничиваются только этим, а могут быть воплощены так, чтобы второй критерий вводил пользователь. В этом случае, второй критерий, введенный пользователем, может быть сохранен в блоке 160 памяти. Тогда модуль 175 вывода контента выполняет предварительно определенные функции, основанные на втором критерии, хранящемся в блоке 160 памяти.
Если второй критерий получен, модуль 175 вывода контента на этапе S270 определяет схему вывода контента на основании второго критерия. Таким образом, модуль 175 вывода контента определяет схему вывода контента посредством изменения слов, составляющих контент, выбранный модулем 171 выбора контента, скорости вывода выбранного контента и размера вывода выбранного контента.
Более подробно, модуль 175 вывода контента может изменять слова, составляющие выбранный контент, на слова, подходящие для второго критерия, основываясь на информации о словах для каждой возрастной группы или информации о словах для каждого пола. Например, если контент включает в себя "Pajamas store" (магазин пижам) и если пользователь принадлежит к возрастной группе "дети", модуль 175 вывода контента изменяет слово "Pajamas" (пижама) на слово "jim-jams" (пижама), подходящее для детей.
Модуль 175 вывода контента определяет скорость вывода выбранного контента на основании информации о скорости вывода для каждой возрастной группы или информации о скорости вывода для каждого пола, хранящейся в блоке 160 памяти. Например, если пользователь принадлежит к возрастной группе "дети" или "пожилые", модуль 175 вывода контента может уменьшить скорость воспроизведения речи для выбранного контента.
Модуль 175 вывода контента также определяет размер вывода выбранного контента, основываясь на информации о размере вывода для каждой возрастной группы или информации о размере вывода для каждого пола. Например, если пользователь принадлежит к возрастной группе "пожилые", модуль 175 вывода контента может увеличить объем вывода выбранного контента и размер отображения (например, размер шрифта) выбранного контента, основываясь на информации о размере вывода для каждой возрастной группы. Блок 160 памяти хранит таблицу, которая содержит сопоставление возрастной группы или пола со схемой вывода контента (скорость и размер вывода контента), и модуль 175 вывода контента определяет схему вывода выбранного контента, основываясь на данных, хранящихся в сопоставлении таблицы. Если схема вывода контента выбрана, на этапе S280 модуль 175 вывода контента выводит контент, выбранный модулем 171 выбора контента, через блок 150 отображения и блок 140 обработки звука в соответствии со схемой вывода контента.
Впоследствии, если на этапе S290 обнаружен запрос завершения функции голосового общения, блок 170 управления завершает функцию голосового общения. Если запрос завершения функции голосового общения на этапе S290 не обнаружен, блок 170 управления возвращает процедуру к этапу S220.
Как описано выше, способ управления голосовым общением согласно настоящему изобретению выбирает контент, подходящий для текущего эмоционального состояния пользователя, и определяет схему вывода контента в соответствии с возрастом и/или полом пользователя, чтобы предоставить пользователю персонализированный контент. Этот способ позволяет обеспечивать более реалистичные функциональные возможности голосового общения.
Между тем, если фраза, полученная из речевого ввода пользователя через блок 140 обработки звука, представляет собой запрос на изменение схемы вывода контента, модуль 175 вывода контента изменяет схему вывода контента в соответствии с этой фразой. Например, после того, как контент был выведен в соответствии со схемой вывода контента, определенной на основании второго критерия, если пользователь говорит фразу "Можете ли вы говорить быстрее и потише?", модуль 175 вывода контента увеличивает скорость воспроизведения речи на одну ступень и уменьшает громкость звука на одну ступень.
Модуль 175 вывода контента может сохранить измененную схему вывода контента в блоке 160 памяти. Впоследствии, модуль 175 вывода контента изменяет схему вывода контента, определенную на основании второго критерия, с использованием истории ранее сохраненных схем вывода элементов контента. Модуль 175 вывода контента может выводить выбранный контент в соответствии с измененной схемой вывода контента.
Процедура вывода контента в соответствии с вариантом осуществления изобретения описана ниже со ссылкой на фиг. 3-5.
Фиг. 3 представляет таблицу, сопоставляющую эмоциональные состояния и элементы контента для использования в способе управления голосовым общением в соответствии с вариантом осуществления настоящего изобретения. Фиг. 4 и 5 представляют схемы отображений на экране, иллюстрирующие вывод контента на основании первого критерия в соответствии с вариантом осуществления настоящего изобретения.
Как показано на фиг. 3, элементы контента предварительно сопоставляются с эмоциональными состояниями. Эмоциональное состояние "радость" сопоставляется с элементом A контента, эмоциональное состояние "печаль" - с элементом В контента, эмоциональное состояние "гнев" - с элементом C контента, а эмоциональное состояние "удивление" - с элементом D контента. Эти эмоциональные состояния и элементы контента предварительно сопоставляются и сохраняются в блоке 160 памяти.
Модуль 171 выбора контента может выбирать контент, подходящий для первого критерия (текущего эмоционального состояния пользователя), из числа элементов контента для каждого эмоционального состояния.
Как показано на фиг. 4, на основании фразы UT, полученной из речевого ввода пользователя через блок 140 обработки звука, и первого критерия (текущего эмоционального состояния пользователя), модуль 171 выбора контента выбирает контент А (AT1) для эмоционального состояния "радость" и элемент В контента (AT2) для эмоционального состояния "печаль".
Как показано на фиг. 5, модуль 171 выбора контента выбирает элемент С контента (AT1) для эмоционального состояния "гнев" и элемент D контента (AT2) для эмоционального состояния "удивление" на основании первого критерия (текущего эмоционального состояния пользователя).
Хотя фиг. 3 направлена на сопоставление одного элемента контента для каждого эмоционального состояния, настоящее изобретение этим не ограничено, а может быть воплощено так, чтобы сопоставлять множество элементов контента для каждого эмоционального состояния. В этом случае, модуль 171 выбора контента может выбирать один из множества элементов контента, соответствующих первому критерию (текущему эмоциональному состоянию пользователя), случайным образом.
Элементы контента могут быть сгруппированы для каждого эмоционального состояния. Термин "группа элементов контента" обозначает набор элементов контента, имеющих одинаковое/аналогичное свойство. Например, группа элементов контента может быть отнесена к одной из группы элементов контента фильмов жанра "боевик", группы элементов контента музыки жанра "R&B" (ритм-н-блюз) и т.д. В этом случае, модуль 171 выбора контента может выбирать один из элементов контента в группе элементов контента, удовлетворяющей первому критерию (текущему эмоциональному состоянию пользователя), случайным образом.
Фиг. 6 представляет схему последовательности операций, иллюстрирующую подробности первого этапа получения критерия, показанного на фиг. 2.
Как показано на фиг. 6, модуль 171 выбора контента на этапе S310 получает изображение лица пользователя от блока 120 камеры и на этапе S320 из этого изображения лица обнаруживает область лица. Таким образом, модуль 171 выбора контента обнаруживает область лица, имеющую глаза, нос и рот.
Затем, модуль 171 выбора контента на этапе S330 извлекает контрольные точки глаз, носа и рта, и на этапе S340 распознает выражение лица на основании этих контрольных точек. Таким образом, модуль 171 выбора контента распознает текущее выражение лица пользователя, основываясь на информации о контрольных точках для каждого выражения, хранящейся в блоке 160 памяти.
Впоследствии, модуль 171 выбора контента автоматически извлекает первый критерий, основываясь на выражении, определенном на основании предварительно определенной информации о выражении для каждого эмоционального состояния, на этапе S350. В данном документе, информация о выражении для каждого эмоционального состояния может быть предварительно сконфигурирована и храниться в блоке 160 памяти.
Хотя описание относится к случаю, когда модуль 171 выбора контента получает первый критерий, основываясь на изображении лица пользователя, настоящее изобретение этим не ограничено, а может быть воплощено так, чтобы первый критерий вводился пользователем.
Другая процедура вывода контента в соответствии с вариантом осуществления настоящего изобретения описана ниже со ссылкой на фиг. 7-9.
Фиг. 7 представляет таблицу, сопоставляющую эмоциональные состояния и элементы контента для использования в способе управления голосовым общением в соответствии с вариантом осуществления настоящего изобретения. Фиг. 8 и 9 представляют схемы отображений на экране, иллюстрирующие вывод контента на основании первого критерия в соответствии с вариантом осуществления настоящего изобретения.
Модуль 171 выбора контента может выбирать контент на основании первого критерия (текущего эмоционального состояния пользователя), используя историю прошлых воспроизведений контента пользователя. История прошлых воспроизведений контента хранится в блоке 160 памяти и обновляется всякий раз, когда контент воспроизводится в соответствии с манипулированием пользователя.
Как показано на фиг. 7, количества воспроизведений или соответствующие элементы контента хранятся в блоке 160 памяти. Элемент A1 контента воспроизводился три раза, элемент A2 контента - десять раз, элемент B1 контента - пять раз, элемент B2 контента - дважды, элемент C1 контента - восемь раз, элемент C2 контента - пятнадцать раз, элемент D1 контента - дважды, и элемент D2 контента - однажды. Элементы A1 и A2 контента сопоставляются с эмоциональным состоянием "радость", элементы B1 и B2 контента - с эмоциональным состоянием "печаль", элементы C1 и C2 контента - с эмоциональным состоянием "гнев", а элементы D1 и D2 контента - с эмоциональным состоянием "удивление" (см. фиг. 3).
Модуль 171 выбора контента может выбирать один из множества элементов контента, подходящий для первого критерия (текущего эмоционального состояния пользователя), основываясь на истории прошлых воспроизведений элементов контента.
Как показано на фиг. 8, если первый критерий (текущее эмоциональное состояние пользователя) представляет собой "радость", модуль 171 выбора контента выбирает элемент A2 контента (AT1), который воспроизводился чаще из числа элементов A1 и A2 контента, сопоставленных с первым критерием (текущим эмоциональным состоянием пользователя). Если первый критерий (текущее эмоциональное состояние пользователя) представляет собой "печаль", модуль 171 выбора контента выбирает элемент В1 контента (AT2), который воспроизводился чаще из числа элементов B1 и B2 контента, сопоставленных с первым критерием (текущим эмоциональным состоянием пользователя).
В это время, модуль 171 выбора контента может выбрать множество элементов контента, сопоставленных с первым критерием (текущим эмоциональным состоянием пользователя). Затем модуль 175 вывода контента может определить позиции вывода множества элементов контента, основываясь на истории прошлых воспроизведений элементов контента.
Как показано на фиг. 9, если первый критерий (текущее эмоциональное состояние пользователя) представляет собой "радость", модуль 171 выбора контента выбирает оба элемента A1 и A2 контента в качестве элементов контента (AT1), удовлетворяющих первому критерию (текущему эмоциональному состоянию пользователя). Затем модуль 175 вывода контента классифицирует элемент A1 контента ниже элемента A2 контента (AT1), который воспроизводился более часто. Если первый критерий (текущее эмоциональное состояние пользователя) представляет собой "печаль", модуль 171 выбора контента выбирает оба элемента B1 и B2 контента в качестве элементов контента (AT2), удовлетворяющих первому критерию (текущему эмоциональному состоянию пользователя). Затем модуль 175 вывода контента классифицирует элемент B2 контента ниже элемента В1 контента (AT2), который воспроизводился более часто.
Другая процедура вывода контента в соответствии с вариантом осуществления настоящего изобретения описана ниже со ссылкой на фиг. 10 и 11.
Фиг. 10 представляет таблицу, сопоставляющую эмоциональные состояния и элементы контента для использования в способе управления голосовым общением в соответствии с вариантом осуществления настоящего изобретения. Фиг. 11 представляет схему отображений на экране для иллюстрирования вывода контента на основании первого критерия в соответствии с вариантом осуществления настоящего изобретения.
Модуль 171 выбора контента может выбирать контент на основании первого критерия (текущего эмоционального состояния пользователя) и истории вывода контента на основании прошлых эмоциональных состояний пользователя. История вывода контента на основании прошлых эмоциональных состояний пользователя сохраняется в блоке 160 памяти и обновляется всякий раз, когда контент выводится в соответствии с эмоциональным состоянием пользователя, в то время как функция голосового общения активирована.
Как показано на фиг. 10, количество выводов элементов контента на основании прошлых эмоциональных состояний сохраняется в блоке 160 памяти. Элемент A1 контента был выведен три раза, элемент A2 контента - восемь раз, элемент В1 контента - четыре раза, элемент B2 контента - однажды, элемент C1 контента - три раза, элемент C2 контента - одиннадцать раз, элемент D1 контента - дважды, и элемент D2 контента - пять раз.
Модуль 171 выбора контента может выбирать один из множества элементов контента, сопоставленных с первым критерием (текущим эмоциональным состоянием пользователя), с использованием истории вывода контента на основании прошлых эмоциональных состояний.
Как показано на фиг. 11, если первый критерий (текущее эмоциональное состояние пользователя) представляет собой "радость", модуль 171 выбора контента в качестве контента (AT1), соответствующего первому критерию, выбирает элемент A2 контента, который выводился чаще в связи с прошлым эмоциональным состоянием пользователя, из числа элементов A1 и A2 контента. Если первый критерий (текущее эмоциональное состояние пользователя) представляет собой "печаль", модуль 171 выбора контента выбирает элемент B1 контента, который выводился чаще в связи с прошлым эмоциональным состоянием пользователя, в качестве контента (AT2), соответствующего первому критерию (текущему эмоциональному состоянию пользователя) из числа элементов B1 и B2 контента.
Модуль 171 выбора контента может выбирать все сопоставленные элементы контента для удовлетворения первому критерию (текущему эмоциональному состоянию пользователя). Затем модуль 175 вывода контента определяет позиции вывода множества элементов контента, используя историю вывода контента на основании прошлых эмоциональных состояний. Например, если первый критерий (текущее эмоциональное состояние пользователя) представляет собой "радость", модуль 171 выбора контента выбирает оба элемента A1 и A2 контента в качестве элементов контента, соответствующих первому критерию (текущему эмоциональному состоянию пользователя). Затем модуль 175 вывода контента классифицирует элемент A1 контента ниже элемента A2 контента, который воспроизводился чаще в соответствии с прошлым эмоциональным состоянием пользователя.
Ниже описывается другая процедура вывода контента в соответствии с вариантом осуществления настоящего изобретения.
Модуль 171 выбора контента может выбирать элементы контента на основании первого критерия (текущего эмоционального состояния пользователя) с использованием информации о текущем местоположении мобильного терминала 100, которая получается через блок 130 измерения местоположения. Более подробно, модуль 171 выбора контента получает множество элементов контента на основании первого критерия (текущего эмоционального состояния пользователя). Затем, модуль 171 выбора контента выбирает контент, ассоциированный с областью в пределах предварительно определенного радиуса вокруг текущего местоположения мобильного терминала, из числа полученных элементов контента. Например, если контент представляет собой информацию о рекомендуемых местах (ресторан, кафе и т.д.), модуль 171 выбора контента может выбрать контент, подходящий для текущего местоположения мобильного терминала 100, основываясь на информации о текущем местоположении мобильного терминала.
Конечно, модуль 171 выбора контента может получить множество элементов контента, ассоциированных с областью в пределах предварительно определенного радиуса вокруг текущего местоположения мобильного терминала, и затем выбрать контент, удовлетворяющий первому критерию (текущему эмоциональному состоянию пользователя), из числа полученных элементов контента.
Хотя описание было направлено на случай, в котором блок 170 управления, модуль 171 выбора контента и модуль 175 вывода контента выполнены по отдельности и отвечают за различные функции, настоящее изобретение этим не ограничено, а может быть воплощено таким образом, чтобы блок управления, модуль выбора контента и модуль вывода контента функционировали интегрированным образом.
Фиг. 12 является схематическим представлением, иллюстрирующим систему для функции голосового общения мобильного терминала в соответствии с вариантом осуществления настоящего изобретения.
Поскольку мобильный терминал 100 в данном случае идентичен мобильному терминалу, описанному выше в отношении фиг. 1, подробное описание мобильного терминала 100 в этом случае опускается. Мобильный терминал 100 в соответствии с вариантом осуществления настоящего изобретения соединен с сервером 200 через сеть 300 беспроводной связи.
В описанных выше вариантах осуществления, блок 170 управления мобильного терминала 100 выполняет операцию получения первого критерия, операцию выбора контента на основании первого критерия, операцию получения второго критерия и операцию определения схемы вывода контента.
Однако, в этом варианте осуществления, блок 170 управления мобильного терминала 100 обменивается данными с сервером посредством блока 100 радиосвязи и выполняет операцию получения первого критерия, операцию выбора контента на основании первого критерия, операцию получения второго критерия и операцию определения схемы вывода контента.
Например, блок 170 управления мобильного терминала 100 предоставляет серверу 200 ввод изображения лица пользователя через блок 120 камеры и речевой ввод пользователя через блок 140 обработки звука. Затем сервер 200 получает первый и второй критерии, основываясь на изображении лица и речи пользователя. Сервер 200 предоставляет мобильному терминалу 100 полученные первый и второй критерии.
Хотя описание было сделано в предположении о единственном пользователе, настоящее изобретение этим не ограничено, и оно также может быть применено к случаю, когда мобильный терминал 100 используется множеством пользователей. В этом случае необходимо добавить операцию для идентификации текущего пользователя мобильного терминала 100. История прошлых схем вывода контента пользователя, история прошлых воспроизведений контента пользователя и история вывода контента на основании прошлых эмоциональных состояний пользователя могут быть сохранены для каждого пользователя. Соответственно, даже когда множество пользователей используют мобильный терминал 100, можно предоставлять характерный для пользователя контент.
Как описано выше, мобильный терминал с поддержкой функции голосового общения и способ управления голосовым общением согласно настоящему изобретению способны выбирать какой-либо контент, подходящий для текущего эмоционального состояния пользователя, и определять схему вывода контента в соответствии с возрастом и полом пользователя. Соответственно, может быть предоставлен контент, адаптированный для индивидуального пользователя. Соответственно, настоящее изобретение способно реализовывать функцию реалистичного голосового общения.
Хотя выше были подробно описаны варианты осуществления изобретения, специалистам в данной области техники должно быть понятно, что множество вариаций и модификаций основной концепции изобретения, описанной в данном документе, все еще будут находиться в пределах сущности и объема изобретения, как определено в нижеследующей формуле изобретения и ее эквивалентах.

Claims (42)

1. Мобильный терминал, поддерживающий функцию голосового общения, причем терминал содержит:
блок отображения,
блок обработки звука,
блок управления, выполненный с возможностью выбора контента, соответствующего первому критерию, ассоциированному с пользователем, в ответ на ввод от пользователя, определения схемы вывода контента на основании второго критерия, ассоциированного с пользователем, и вывода выбранного контента через блок отображения и блок обработки звука в соответствии со схемой вывода контента,
причем первый критерий основан на изображении лица пользователя.
2. Терминал по п. 1, в котором первый критерий представляет собой текущее эмоциональное состояние пользователя, а второй критерий представляет собой информацию о пользователе, включающую в себя по меньшей мере одно из возраста и пола пользователя.
3. Терминал по п. 1, в котором блок управления выбирает контент, соответствующий первому критерию, причем соответствующий контент содержит по меньшей мере один предварительно определенный контент, ассоциированный с эмоциональным состоянием пользователя.
4. Терминал по п. 1, в котором блок управления выбирает контент на основании первого критерия и истории прошлых воспроизведений контента пользователя.
5. Терминал по п. 1, в котором блок управления выбирает контент на основании первого критерия и информации о текущем местоположении терминала.
6. Терминал по п. 1, в котором блок управления выбирает контент на основании истории вывода контента в связи с прошлыми эмоциональными состояниями пользователя.
7. Терминал по п. 1, в котором блок обработки звука принимает речь пользователя, а блок управления выбирает контент, соответствующий фразе, полученной из упомянутой речи, на основании первого критерия.
8. Терминал по п. 7, в котором блок управления получает второй критерий на основании слов, составляющих упомянутую фразу.
9. Терминал по п. 1, в котором блок управления изменяет по меньшей мере одно из слов, составляющих контент, скорости вывода контента и размера вывода контента, основываясь на втором критерии, и выводит контент в соответствии со схемой вывода контента.
10. Терминал по п. 1, в котором блок обработки звука принимает речь пользователя и, когда фраза, полученная из упомянутой речи, представляет собой запрос на изменение схемы вывода контента, блок управления изменяет схему вывода контента.
11. Терминал по п. 1, в котором блок управления изменяет схему вывода контента, определенную на основании второго критерия, используя историю прошлых схем вывода контента пользователя, и выводит контент в соответствии с измененной схемой вывода контента.
12. Терминал по п. 1, дополнительно содержащий блок камеры, который захватывает изображение лица пользователя, при этом блок управления автоматически получает первый критерий, основываясь на изображении лица пользователя.
13. Терминал по п. 12, в котором блок управления получает первый критерий из предварительно определенной информации о выражении для каждого эмоционального состояния на основании выражений лица, полученных из изображения лица пользователя.
14. Терминал по п. 1, дополнительно содержащий блок камеры, который захватывает изображение лица пользователя, при этом блок обработки звука принимает речь пользователя, а блок управления автоматически получает второй критерий на основании по меньшей мере одного из изображения лица и речи пользователя.
15. Терминал по п. 1, в котором блок управления принимает первый и второй критерии через блок обработки звука.
16. Способ голосового общения мобильного терминала, причем способ содержит:
выбор контента, соответствующего первому критерию, ассоциированному с пользователем, в ответ на ввод от пользователя,
определение схемы вывода контента на основании второго критерия, ассоциированного с пользователем, и
вывод выбранного контента через блок отображения и блок обработки звука мобильного терминала в соответствии со схемой вывода контента,
причем первый критерий основан на изображении лица пользователя.
17. Способ по п. 16, в котором первый критерий представляет собой текущее эмоциональное состояние пользователя, а второй критерий представляет собой информацию о пользователе, включающую в себя по меньшей мере одно из возраста и пола пользователя.
18. Способ по п. 16, в котором выбор контента содержит выбор контента, соответствующего первому критерию, при этом соответствующий контент содержит по меньшей мере один предварительно определенный контент, ассоциированный с эмоциональным состоянием пользователя.
19. Способ по п. 16, в котором выбор контента содержит выбор контента на основании первого критерия и истории прошлых воспроизведений контента пользователя.
20. Способ по п. 16, в котором выбор контента содержит выбор контента на основании первого критерия и информации о текущем местоположении терминала.
21. Способ по п. 16, в котором выбор контента содержит выбор контента на основании истории вывода контента в связи с прошлыми эмоциональными состояниями пользователя.
22. Способ по п. 16, дополнительно содержащий прием речи пользователя, причем выбор контента содержит выбор контента, соответствующего фразе, полученной из упомянутой речи, на основании первого критерия.
23. Способ по п. 22, дополнительно содержащий получение второго критерия на основании слов, составляющих упомянутую фразу.
24. Способ по п. 16, в котором определение схемы вывода контента содержит изменение по меньшей мере одного из слов, составляющих контент, скорости вывода контента и размера вывода контента на основании второго критерия и вывод контента в соответствии со схемой вывода контента.
25. Способ по п. 24, дополнительно содержащий прием речи пользователя, и при этом определение схемы вывода контента содержит, когда фраза, полученная из упомянутой речи, представляет собой запрос на изменение схемы вывода контента, изменение схемы вывода контента.
26. Способ по п. 16, в котором определение схемы вывода контента содержит изменение схемы вывода контента, определенной на основании второго критерия с использованием истории прошлых схем вывода контента пользователя.
27. Способ по п. 16, дополнительно содержащий:
прием изображения лица пользователя, и
автоматическое получение первого критерия на основании изображения лица пользователя.
28. Способ по п. 27, в котором получение первого критерия содержит получение первого критерия из предварительно определенной информации о выражении для каждого эмоционального состояния на основании выражений лица, полученных из изображения лица пользователя.
29. Способ по п. 16, дополнительно содержащий:
прием по меньшей мере одного из изображения лица и речи пользователя, и
автоматическое получение второго критерия на основании по меньшей мере одного из изображения лица и речи пользователя.
30. Способ по п. 16, дополнительно содержащий прием первого и второго критериев через блок обработки звука.
RU2014104373A 2013-02-07 2014-02-07 Способ функционирования канала беспроводной связи и система портативного терминала RU2661791C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130013757A KR102050897B1 (ko) 2013-02-07 2013-02-07 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
KR10-2013-0013757 2013-02-07

Publications (2)

Publication Number Publication Date
RU2014104373A RU2014104373A (ru) 2015-08-20
RU2661791C2 true RU2661791C2 (ru) 2018-07-19

Family

ID=50072918

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014104373A RU2661791C2 (ru) 2013-02-07 2014-02-07 Способ функционирования канала беспроводной связи и система портативного терминала

Country Status (10)

Country Link
US (1) US20140222432A1 (ru)
EP (1) EP2765762B1 (ru)
JP (1) JP6541934B2 (ru)
KR (1) KR102050897B1 (ru)
CN (1) CN103984408A (ru)
AU (1) AU2014200660B2 (ru)
BR (1) BR102014003021A2 (ru)
CA (1) CA2842005A1 (ru)
RU (1) RU2661791C2 (ru)
TW (1) TWI628650B (ru)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US10431209B2 (en) * 2016-12-30 2019-10-01 Google Llc Feedback controller for data transmissions
KR102340251B1 (ko) * 2014-06-27 2021-12-16 삼성전자주식회사 데이터 관리 방법 및 그 방법을 처리하는 전자 장치
JP6596865B2 (ja) * 2015-03-23 2019-10-30 日本電気株式会社 電話機、電話システム、電話機の音量設定方法、及びプログラム
JP6601069B2 (ja) * 2015-09-01 2019-11-06 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
KR20170034154A (ko) * 2015-09-18 2017-03-28 삼성전자주식회사 콘텐츠 제공 방법 및 이를 수행하는 전자 장치
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
JP6927989B2 (ja) 2016-02-25 2021-09-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． コールの優先度レベルおよび／または会話継続時間を決定するための通信装置および方法
WO2018020766A1 (ja) * 2016-07-28 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10276149B1 (en) * 2016-12-21 2019-04-30 Amazon Technologies, Inc. Dynamic text-to-speech output
CN106873800A (zh) * 2017-02-20 2017-06-20 北京百度网讯科技有限公司 信息输出方法和装置
US20180350371A1 (en) * 2017-05-31 2018-12-06 Lenovo (Singapore) Pte. Ltd. Adjust output settings based on an identified user
US10983753B2 (en) 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
CN108920129A (zh) * 2018-07-27 2018-11-30 联想(北京)有限公司 信息处理方法和信息处理系统
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
CN109637519B (zh) * 2018-11-13 2020-01-21 百度在线网络技术（北京）有限公司 语音交互实现方法、装置、计算机设备及存储介质
JP6533634B1 (ja) * 2018-12-25 2019-06-19 クックパッド株式会社 サーバ装置、情報処理端末、システム、方法およびプログラム
JP2022517207A (ja) 2019-01-11 2022-03-07 マジック リープ， インコーポレイテッド 種々の深度における仮想コンテンツの時間多重化された表示
KR20200111853A (ko) 2019-03-19 2020-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 음성 인식 제어 방법
KR102388465B1 (ko) * 2020-02-26 2022-04-21 최갑천 가상 콘텐츠 생성 방법
JP7469211B2 (ja) 2020-10-21 2024-04-16 東京瓦斯株式会社 対話型コミュニケーション装置、コミュニケーションシステム及びプログラム
CN113380240B (zh) * 2021-05-07 2022-04-12 荣耀终端有限公司 语音交互方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2007133095A (ru) * 2005-02-04 2009-03-10 Квэлкомм Инкорпорейтед (US) Защищенная самонастройка для беспроводной связи
US20100036660A1 (en) * 2004-12-03 2010-02-11 Phoenix Solutions, Inc. Emotion Detection Device and Method for Use in Distributed Systems
US20100169091A1 (en) * 2008-12-30 2010-07-01 Motorola, Inc. Device, system and method for providing targeted advertisements and content
US20100312547A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Contextual voice commands

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255150A (ja) * 1995-03-17 1996-10-01 Toshiba Corp 情報公開装置及びマルチモーダル情報入出力システム
JPH10326176A (ja) * 1997-05-23 1998-12-08 Oki Hokuriku Syst Kaihatsu:Kk 音声対話制御方法
JP2001215993A (ja) * 2000-01-31 2001-08-10 Sony Corp 対話処理装置および対話処理方法、並びに記録媒体
KR20020067921A (ko) * 2000-10-23 2002-08-24 소니 가부시끼 가이샤 각식 로봇 및 각식 로봇의 행동 제어 방법, 및 기억 매체
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
JP2003046980A (ja) * 2001-08-02 2003-02-14 Matsushita Electric Ind Co Ltd 要求応答方法、装置及びプログラム
US9374451B2 (en) * 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
JP2004310034A (ja) * 2003-03-24 2004-11-04 Matsushita Electric Works Ltd 対話エージェントシステム
JP2005065252A (ja) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
US7881934B2 (en) * 2003-09-12 2011-02-01 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
JP2005275601A (ja) * 2004-03-23 2005-10-06 Fujitsu Ltd 音声による情報検索システム
JP2006048663A (ja) * 2004-06-30 2006-02-16 Metallic House Inc 商品・サービス受発注システム及び商品・サービス受発注方法、並びにサーバ装置及び端末装置
JP2006146630A (ja) * 2004-11-22 2006-06-08 Sony Corp コンテンツ選択再生装置、コンテンツ選択再生方法、コンテンツ配信システムおよびコンテンツ検索システム
US7490042B2 (en) * 2005-03-29 2009-02-10 International Business Machines Corporation Methods and apparatus for adapting output speech in accordance with context of communication
US7672931B2 (en) * 2005-06-30 2010-03-02 Microsoft Corporation Searching for content using voice search queries
US20070288898A1 (en) * 2006-06-09 2007-12-13 Sony Ericsson Mobile Communications Ab Methods, electronic devices, and computer program products for setting a feature of an electronic device based on at least one user characteristic
KR20090085376A (ko) * 2008-02-04 2009-08-07 삼성전자주식회사 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치
JP2010057050A (ja) * 2008-08-29 2010-03-11 Sharp Corp 情報端末装置、情報配信装置、情報配信システム及びプログラム
JP2012513147A (ja) * 2008-12-19 2012-06-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 通信を適応させる方法、システム及びコンピュータプログラム
JP2010181461A (ja) * 2009-02-03 2010-08-19 Olympus Corp デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
KR101625668B1 (ko) * 2009-04-20 2016-05-30 삼성전자 주식회사 전자기기 및 전자기기의 음성인식방법
EP2437213A1 (en) * 2009-06-16 2012-04-04 Intel Corporation Camera applications in a handheld device
US20120011477A1 (en) * 2010-07-12 2012-01-12 Nokia Corporation User interfaces
KR101916107B1 (ko) * 2011-12-18 2018-11-09 인포뱅크 주식회사 통신 단말 및 그 통신 단말의 정보처리 방법
CN102541259A (zh) * 2011-12-26 2012-07-04 鸿富锦精密工业（深圳）有限公司 电子设备及其根据脸部表情提供心情服务的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100036660A1 (en) * 2004-12-03 2010-02-11 Phoenix Solutions, Inc. Emotion Detection Device and Method for Use in Distributed Systems
RU2007133095A (ru) * 2005-02-04 2009-03-10 Квэлкомм Инкорпорейтед (US) Защищенная самонастройка для беспроводной связи
US20100169091A1 (en) * 2008-12-30 2010-07-01 Motorola, Inc. Device, system and method for providing targeted advertisements and content
US20100312547A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Contextual voice commands

Also Published As

Publication number Publication date
JP6541934B2 (ja) 2019-07-10
AU2014200660A1 (en) 2014-08-21
TW201435857A (zh) 2014-09-16
RU2014104373A (ru) 2015-08-20
US20140222432A1 (en) 2014-08-07
KR20140100704A (ko) 2014-08-18
CA2842005A1 (en) 2014-08-07
TWI628650B (zh) 2018-07-01
KR102050897B1 (ko) 2019-12-02
CN103984408A (zh) 2014-08-13
AU2014200660B2 (en) 2019-05-16
EP2765762A1 (en) 2014-08-13
EP2765762B1 (en) 2019-07-10
BR102014003021A2 (pt) 2018-04-10
JP2014153715A (ja) 2014-08-25

Similar Documents

Publication Publication Date Title
RU2661791C2 (ru) Способ функционирования канала беспроводной связи и система портативного терминала
US10522146B1 (en) Systems and methods for recognizing and performing voice commands during advertisement
KR102042152B1 (ko) 오디오를 재생하기 위한 제어 방법 및 장치
RU2634696C2 (ru) Способ и устройство для идентификации аудиоинформации
US20140201122A1 (en) Electronic apparatus and method of controlling the same
CN109614470B (zh) 回答信息的处理方法、装置、终端及可读存储介质
US10111020B1 (en) Systems and methods for initiating action based on audio output device
KR102023157B1 (ko) 휴대 단말기의 사용자 음성 녹음 및 재생 방법 및 장치
KR102226817B1 (ko) 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
US20170374423A1 (en) Crowd-sourced media playback adjustment
US11967338B2 (en) Systems and methods for a computerized interactive voice companion
CN105677707A (zh) 一种实现图片处理的方法及终端
US11443737B2 (en) Audio video translation into multiple languages for respective listeners
CN112306603A (zh) 信息提示方法、装置、电子设备及存储介质
CN113301444B (zh) 视频处理方法、装置、电子设备及存储介质
JP2020119043A (ja) 音声翻訳システムおよび音声翻訳方法
CN111050261A (zh) 听力补偿方法、装置及计算机可读存储介质
KR102180955B1 (ko) 음성 데이터 송신 및 수신 방법
KR20150058734A (ko) 전자 장치의 컨텐츠 제공 방법 및 장치
CN104683550A (zh) 一种信息处理方法及电子设备
KR20180125863A (ko) 단어 추천 방법 및 이를 위한 장치
Wu et al. 3D audio interface for rich mobile web experiences
KR20230101603A (ko) 전자 장치 및 그 제어 방법
CN113079247A (zh) 关联服务提供方法和关联服务提供装置
CN117459636A (zh) 铃声播放方法、装置及电子设备