RU2653283C2 - Способ диалога между машиной, такой как гуманоидный робот, и собеседником-человеком, компьютерный программный продукт и гуманоидный робот для осуществления такого способа - Google Patents

Способ диалога между машиной, такой как гуманоидный робот, и собеседником-человеком, компьютерный программный продукт и гуманоидный робот для осуществления такого способа Download PDF

Info

Publication number
RU2653283C2
RU2653283C2 RU2016116893A RU2016116893A RU2653283C2 RU 2653283 C2 RU2653283 C2 RU 2653283C2 RU 2016116893 A RU2016116893 A RU 2016116893A RU 2016116893 A RU2016116893 A RU 2016116893A RU 2653283 C2 RU2653283 C2 RU 2653283C2
Authority
RU
Russia
Prior art keywords
interlocutor
dialogue
phrase
profile
machine
Prior art date
Application number
RU2016116893A
Other languages
English (en)
Other versions
RU2016116893A (ru
Inventor
Магали ПАТРИС
Давид УССЕН
Жером МОНСО
Original Assignee
Альдебаран Роботикс
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Альдебаран Роботикс filed Critical Альдебаран Роботикс
Publication of RU2016116893A publication Critical patent/RU2016116893A/ru
Application granted granted Critical
Publication of RU2653283C2 publication Critical patent/RU2653283C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Machine Translation (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к способу диалога между машиной и человеческим существом. Технический результат заключается в обеспечении более естественного диалога с машиной, адаптированного к собеседнику (не стереотипного). Такой результат достигается за счет того, что идентифицируют собеседника-человека; извлекают из базы данных профиль собеседника, содержащий множество переменных диалога, по меньшей мере одно значение присвоено по меньшей мере одной из упомянутых переменных диалога; получают и анализируют по меньшей мере одну фразу от упомянутого собеседника и формулируют и выдают по меньшей мере одну ответную фразу в зависимости от по меньшей мере упомянутой фразы, полученной и интерпретированной на предыдущем этапе и от упомянутой переменной диалога упомянутого профиля собеседника, при этом анализ упомянутой фразы от упомянутого собеседника и формулировку упомянутой ответной фразы осуществляют посредством множества моделей фраз, представленных соответствующими синтаксическими деревьями. 2 н. и 13 з.п. ф-лы, 6 ил.

Description

Настоящее изобретение относится к способу диалога между машиной и человеческим существом. Машина может быть любым устройством обработки данных, таким как компьютер, процессор «смартфона» или роботом, в частности гуманоидным, содержащим, по меньшей мере, один встроенный процессор, а диалог может осуществляться в устной форме. Изобретение также относится к компьютерному программному продукту и роботу, предпочтительно гуманоидному, для осуществления такого способа.
«Гуманоидный робот» может быть определен как робот, демонстрирующий некоторые атрибуты внешнего вида и функций человеческого существа, таких как туловище, голова, руки, ноги, способность устно общаться с человеческим существом с использованием средств распознавания и синтеза речи и т.д. Этот тип робота направлен на снижение когнитивного расстояния между человеком и машиной. Одной из наиболее важных особенностей гуманоидного робота является его способность, как можно более естественно, поддерживать диалог с собеседником-человеком. Эта способность является важной для разработки «роботов компаньонов», предназначенных для помощи пожилым людям, больным или просто одиноким в повседневных нуждах, и обеспечения этим людям приемлемой замены присутствию личного помощника- человека.
Способы диалога для гуманоидных роботов известные из предшествующего уровня техники не удовлетворительны, поскольку они приводят к повторяющимся и стереотипным диалогам, в любом случае неестественным.
Статья S. Rosenthal и M.Veloso «Mixed-Initiative Long-Term Interactions with an All-Day-Companion Robot»(«Длительные взаимодействия со смешанной-инициативой с постоянным компаньоном роботом»), в Dialogs with Robots: Доклады с AAAI Fall Symposium (FS-10-05), страницы 97–102, описывает робота способного указывать дорогу человеку во время посещения, например, департамента робототехники университета. Робот запрограммирован избегать повторений во время диалога; но двум различным собеседникам-людям будут предложены, по существу, идентичные диалоги.
В документе US 7,539,656 описан способ, с помощью которого машина ведет диалог с собеседником-человеком, чтобы получить информацию необходимую для предоставления услуги - например, принятия заказа на завтрак. Такой диалог очень стереотипен и не подразумевает воспроизведение разговора. Поэтому, способ не подходит для реализации эффективных «роботов компаньонов».
Документ US 7,987,091 описывает способ, при котором машина ведет «персонализированный» и «развивающийся» диалог с одним или несколькими собеседниками. Диалог является персонализированным, так как машина ведет диалог на основе различной информации о собеседниках, хранящейся в ее памяти. Он является развивающимся, так как машина приобретает новую информацию в ходе диалога. Тем не менее, диалог остается неестественным, поскольку этапы приобретения и использования информации, четко разделены.
Изобретение направлено на преодоление вышеуказанных недостатков предшествующего уровня техники путем обеспечения способа диалога с машиной – в частности роботом – более приближающегося к естественному диалогу с другим человеческим существом. В частности, изобретение должно сделать возможным установление диалога, адаптированного к собеседнику (не стереотипного), развивающегося и естественного, позволяя установление настоящей эмоциональной связи между собеседником-человеком и роботом. Развитие подразумевается, как в рамках одного и того же диалога (или «диалоговой сессии»), так и между двумя последовательными диалогами, даже разделенными во времени, с тем же самым собеседником-человеком.
Объектом изобретения, позволяющим достичь этой цели, является способ диалога между машиной и по меньшей мере одним собеседником-человеком, включающий в себя следующие этапы, выполняемые указанной машиной, на которых:
идентифицируют указанного собеседника-человека;
извлекают из базы данных профиль собеседника, содержащий множество переменных диалога, причем по меньшей мере одно значение присвоено по меньшей мере одной из указанных переменных диалога;
получают и анализируют по меньшей мере одну фразу от указанного собеседника, анализируют указанную или каждую указанную фразу от указанного собеседника для извлечения из нее по меньшей мере одного значения для присвоения по меньшей мере одной переменной диалога указанного профиля собеседника и регистрируют указанное или каждое указанное значение в указанном профиле собеседника; и
формулируют и передают по меньшей мере одну ответную фразу в зависимости от по меньшей мере указанной фразы, полученной и интерпретированной на этапе c) и от указанной переменной диалога указанного профиля собеседника.
Идентификация собеседника и использование профиля собеседника для формулирования ответных фраз обеспечивает персонализацию диалога. Термин «ответ» следует толковать в широком смысле, чтобы охватить любую фразу, выданную в ответ на возбудитель, а не прямо в качестве значения «ответ на вопрос».
Анализ ответов позволяет машине дополнить профиль собеседника во время диалога, или в течение последовательных диалогов. Можно сказать, что она все лучше и лучше узнает своего собеседника, и использует свои знания для уточнения диалога.
Кроме того, диалог не стереотипен, поскольку ответ машины зависит одновременно от профиля собеседника и от, по меньшей мере, одной фразы, которую последний только что произнес. В отличие от того, что происходит в способе согласно патенту US 7,987,091, упомянутому выше, не существует никакого разделения между «диалогом получения» (информации) и «диалогом использования» (информации). В соответствии с изобретением, во время одного и того же диалога машина использует информацию о своем собеседнике, которой она уже обладает, и получает новую информацию, которая может быть использована немедленно или позднее.
Анализ указанной или по меньшей мере одной фразы от указанного собеседника и формулировка указанной или по меньшей мере одной ответной фразы могут быть осуществлены посредством множества моделей фраз («шаблонов» («patterns»)) представленных соответствующими синтаксическими деревьями.
Преимущественно, по меньшей мере, некоторые из упомянутых моделей фраз содержат, по меньшей мере один, указатель на переменную диалога указанного профиля собеседника. При формулировании ответа, машина заменяет указатель на значение переменной диалога, хранящейся в профиле собеседника. С другой стороны, при анализе полученной фразы, машина интерпретирует конкретное слово этой фразы - занимающее место, которое, в модели, занято указателем - как значение, которое подлежит сохранению в профиле собеседника как значение соответствующей переменной диалога.
Преимущественно, по меньшей мере некоторые из указанных моделей фраз могут содержать как минимум один указатель на по меньшей мере одну совокупность взаимозаменяемых терминов в фразе, называемых «понятие» («concept»).
Указанный этап d) может быть выполнен с помощью множества правил, связывающих по меньшей мере одну модель фразы от указанного собеседника и по меньшей мере одну модель ответной фразы. Эти правила, в свою очередь, могут быть представлены в виде структур типа «дерево».
В данном случае, во время указанного этапа d), по меньшей мере одно, указанное правило может связать с одной и той же моделью фразы от указанного собеседника множество моделей фраз, которые могут служить в качестве ответных фраз; кроме того, среди указанных моделей ответных фраз, могут быть исключены те, что содержат указатель на переменную диалога, которой не присвоено никакое значение в указанном профиле собеседника. Таким образом, машина может выбрать свой ответ в зависимости от того, что она знает – или не знает – о своем собеседнике.
Предпочтительно, по меньшей мере, одно указанное правило может быть отмечено меткой («tag»), идентифицирующей тему разговора и, во время указанного этапа d), правило или правила, отмеченные по меньшей мере одной меткой, идентифицирующей определенную тему разговора, могут быть активированы или деактивированы в зависимости от по меньшей мере одного параметра диалога (значение – или отсутствие данных - одной или нескольких переменных диалога, контекстный параметр, история диалога...). В целом тут идет речь о техническом способе реализации развития диалога.
Указанный профиль собеседника может также включать в себя историю диалога и, на указанном этапе d), указанный или, по меньшей мере один упомянутый ответ может быть также сформулирован в зависимости от упомянутой истории диалога. Это обеспечивает развитие диалога и позволяет избежать повторения.
Во время указанного этапа d), указанный или по меньшей мере один указанный ответ также может быть сформулирован в зависимости от контекстного параметра, полученного или определенного указанной машиной. В частности, этот параметр может быть временем, определенным по часам: так, например, при приближении полдня, разговор может идти об обеде. Также, параметр может быть датой, определенной по календарю, температурой или освещенностью полученной с помощью датчика, и т.д.
Во время указанного этапа a), указанный собеседник-человек может быть идентифицирован с помощью устройства захвата изображений, такого как камера, путем распознавания лица или путем считывания графического кода, представленного указанной камере. Также возможны другие формы идентификации (биометрия, код, введенный с помощью клавиатуры, распознавание голоса ...).
Во время указанного этапа b), машина может иметь доступ к удаленному серверу посредством коммуникационной сети и дистанционно загружать указанный профиль собеседника из указанной базы данных, что хранится на указанном удаленном сервере. Также, машина может, имея доступ к указанному удаленному серверу через коммуникационную сеть, загружать в указанную базу данных профиль собеседника, обновленный путем регистрации по меньшей мере одного значения, присвоенного по меньшей мере одной переменной диалога, извлеченной, во время указанного этапа c), из по меньшей мере одной фразы от указанного собеседника. В качестве альтернативы, база данных может храниться локально.
Предпочтительно указанная машина содержит процессор, встроенный в гуманоидного робота. Однако, возможны другие варианты осуществления; например, машина может быть настольным компьютером, «смартфоном», бортовым компьютером транспортного средства и т.д.
Другим объектом настоящего изобретения является компьютерный программный продукт (то есть компьютерная программа в исполняемом формате, хранимая на материальном носителе данных, таком как постоянная или энергозависимая память на полупроводниках, или диск типа CD-ROM или жесткий диск) для осуществления такого способа.
Еще одним объектом настоящего изобретения является гуманоидный робот, содержащий встроенный процессор, запрограммированный для осуществления такого способа. Преимущественно, такой гуманоидный робот может также включать в себя:
- устройство захвата изображений, такое как камера, взаимодействующее с указанным встроенным процессором для идентификации собеседника-человека;
- устройства захвата звука, такое как микрофон или микрофонная решетка, взаимодействующее с указанный встроенным процессором для получения по меньшей мере одной фразы, произнесенной указанным собеседником-человеком; и
- устройство передачи звука, такое как громкоговоритель, взаимодействующее с указанным встроенным процессором для передачи указанной ответной фразы.
Другие особенности, детали и преимущества изобретения станут очевидными при прочтении описания сделанного со ссылкой на прикладываемые чертежи, приведенные в виде примеров, и которые демонстрируют, соответственно:
фиг. 1 - гуманоидный робот общающийся с собеседником-человеком и сообщающийся с удаленным сервером в соответствии с одним вариантом осуществления настоящего изобретения;
фиг. 2 - блок-схема способа согласно варианту осуществления изобретения; и
фиг. 3A, 3B, 3C и 3D - древовидные структуры, используемые для осуществления способа согласно изобретению.
Фиг. 1 представляет гуманоидного робота RT взаимодействующего с собеседником-человеком INT. Робот содержит, кроме гибкого тела воспроизводящего форму человека:
- встроенный процессор или компьютер OE, расположенный, например, в голове робота, осуществляющий способ диалога согласно изобретению; это может быть процессор, специализированный для выполнения этой задачи, или выполняющий также другие задачи и, в крайнем случае, контролирующий самого робота;
- одно или несколько устройств захвата изображений (камеры) DAI, расположенные в голове робота, например, в его рту и/или на его лбу, для получения изображения собеседника INT;
- устройство передачи звука (громкоговоритель) DES, расположенное, например, по бокам головы робота, чтобы позволить ему «говорить»; и
- одно или несколько устройств захвата звука DAS (микрофоны), расположенные, например, на верхней поверхности головы робота, чтобы позволить последнему слышать.
Устройства захвата изображения и захвата звука предоставляют входящие данные процессору OE, и в частности:
- по меньшей мере одно изображение, полученное устройствами DAI, позволяющее идентификацию собеседника; это может быть изображение лица указанного собеседника, или графический код, показанный последним с целью облегчения идентификации (например, QR-код, полученный благодаря специальному приложению на «смартфоне»);
- звуки, что могут представлять фразы, сказанные собеседником, которые должны быть распознаны и проанализированы.
Процессор OE хранит в памяти и выполняет программное обеспечение распознавания изображений и распознавания голоса (известные сами по себе) для обработки этих входных данных. В качестве альтернативы, программное обеспечение, или некоторое из них может быть сохранено во внешней базе данных, как это будет объяснено далее.
Устройство излучения звука DES управляется процессором OE.
Робот RT соединяется, через сеть RC (например, Internet к которому он получает доступ через соединение Wi-Fi), с удаленным сервером SVD, который хранит базу данных «профилей собеседников».
Робот передает на сервер SVD идентификационные данные INT_ID собеседника INT, полученные применением алгоритма распознавания изображений (распознавание лица или графического кода) к изображениям, полученным через средства DAI. В некоторых случаях, эти данные могут быть непосредственно изображением, в таком случае этап идентификации осуществляется удаленным сервером. Например, в частном варианте осуществления пользователь регистрируется на сервере SVD с помощью своего «смартфона»; сервер ему отправляет, на указанный смартфон, QR-код; пользователь выводит этот код на экран смартфона и демонстрирует его роботу показывая его перед одной из его камер; робот передает изображение QR-кода на сервер, который связывает указанное изображение с пользователем, который становится в этот момент идентифицированным собеседником. В других вариантах осуществления, идентификация осуществляется на основании изображения лица собеседника, путем распознавания его голоса или просто на основании фразы представления произнесенной в начале диалога, такой как «Добрый день, я - Жан».
На основании полученных идентификационных данных, сервер SVD извлекает из базы данных BDD профиль собеседника IN_PR и передает его роботу RT через сеть RC. Профиль собеседника является файлом, содержащим список переменных, которые связаны с одним (или несколькими) значениями в зависимости от пользователя. Выдержка из профиля собеседника «Жан Дюпон» может быть, например, следующими персональными данными:
Идентификатор собеседника: 00011
Имя: Жан
Возраст: 35
Профессия: Инженер
Интересы: плавание; бег; езда на велосипеде
Домашние животные:
Родной язык: французский
Другие языки:
Эта выдержка содержит восемь переменных: Идентификатор собеседника, «Имя», «Фамилию», «Возраст», «Профессию», «Интересы», «Домашние животные», «Родной язык» и «Другие языки». Четыре первые переменные принимают единственное значение, которое им в действительности назначено. Переменная «Интересы» может принимать несколько значений в одно и тоже время; в нашем случае ей присвоены значения «плавание», «бег» и «езда на велосипеде». Переменная «Домашние животные» может принимать несколько значений, но они не указаны. «Родной язык» (единственное значение: "Французский") и "Других языков" (возможны несколько значений, тут не указаны) являются особенно важными. Действительно, в многоязычной версии способа, процессор может использовать значения этих переменных, чтобы определить, на каком языке обращаться к собеседнику (когда робот будет говорить первым) или какие параметры языка использовать для распознавания и анализа услышанных фраз.
Процессор OE робота использует значения, присвоенные переменным (или факт, что они не известны) для генерации диалога с собеседником INT, как это будет подробно описано далее. По этой причине переменные называются «диалоговые переменные».
Как это будет подробно описано далее, процессор OE также может изменять содержимое профиля собеседника на основании диалога. Например, он может узнать, что Жан Дюпон говорит также по-английски, и присвоить значение «английский» переменной «Другие языки» его профиля. Это обучение осуществляется на основе анализа фраз, произнесенных собеседником (в ответ на вопрос робота, после не вопросительного предложения, выданного роботом, или даже спонтанно). После такого обновления (непосредственно после, или в конце диалога, или через определенные промежутки времени...), затем процессор передает на сервер SVD модифицированную версию профиля собеседника, которая записывается в базу данных BDD. В качестве альтернативы, база данных BDD может храниться локально, в этом случае соединение с сетью RC не является необходимым.
Пример диалога, в котором робот использует информацию, содержащуюся в профиле собеседника, и дополняет этот же самый профиль, представлен далее. Собеседник - Жан (идентификатор 00011), профиль которого в начале диалога представлен выше. Фразы, произнесенные роботом и собеседником-человеком, выделены курсивом; слова, соответствующие переменным диалога (использованным или полученным) или историческим данным прошлых диалогов (также записанных в профиль собеседника), подчеркнуты.
Робот определяет вхождение человека в поле зрения камеры (или одной из его камер) и идентифицирует его лицо, как лицо собеседника «00011». Он загружает в память соответствующий профиль собеседника и использует информацию «Имя», чтобы персонализировать частично предварительно подготовленную фразу приветствия. Робот также использует информацию, относящуюся к истории диалогов: факт, что вчера имел место еще один диалог с тем же собеседником.
Робот: Добрый день, Жан! Спасибо, что пришел меня проведать, мне очень приятно! Как ты поживаешь со вчерашнего дня?
Собеседник отвечает вопросом:
Человек: Хорошо, а ты?
Вопрос, заданный собеседником («а ты?»), вызывает ответ, который в данном случае является стереотипным:
Робот: Спасибо, очень хорошо!
Чтобы продолжить диалог, робот использует контекстные данные: дату – в нашем случае, 9 мая, День Европы (эта информация хранилась в памяти робота):
Робот: Скажи мне, знал ли ты, что сегодня День Европы? Я считаю, это здорово, эти страны, что объединяются, все с разными языками и культурами. Впрочем, я говорю на нескольких европейских языках! А ты, Жан, ты говоришь на других языках кроме французского?
Использование контекстных данных объясняется детальнее далее.
Для персонализации фразы выше (основная структура или «модель» которой предварительно подготовлена, как это будет детальнее объяснено далее) робот использует три типа данных из профиля собеседника: его имя («Жан»), значение («французский») переменной «Родной язык» и факт, что переменная «Другие языки» не указана. Ответ собеседника позволяет роботу дополнить его профиль, назначая значение «английский» этой переменной:
Человек: Да, я свободно говорю на английском.
Реплика робота использует это новое сохраненное значение, значение («Инженер»), которое было ранее присвоено переменной «Профессия» и «правило» - зарегистрированное в его памяти – связывая некоторые значения переменной «Другие языки» и некоторые значения переменной «Профессия»:
Робот: О, это хорошо, действительно, английский язык очень полезен для профессии инженера.
Робот также может предложить собеседнику продолжить общение на языке, что был только что зарегистрирован в профиле:
Робот: Ты хочешь немного поговорить по-английски?
Человек: Ok, это даст мне попрактиковаться.
Робот: Nice, let’s go!
Положительный ответ собеседника вызвал диалог на английском (предполагается, что робот запрограммирован для диалога на этом языке).
в конце диалога, профиль собеседника изменился, поскольку значение «английский» было присвоено переменной «Другие языки»:
Идентификатор собеседника: 00011
Имя: Жан
Возраст: 35
Профессия: Инженер
Интересы: плавание; бег; езда на велосипеде
Домашние животные:
Родной язык: французский
Другие языки: английский
Блок-схема на фиг. 2 более детально иллюстрирует осуществление способа согласно варианту реализации изобретения.
Этап a) идентификации собеседника-человека содержит два под-этапа:
- под-этап a1 захвата изображения, что, как описано выше, может быть изображением лица собеседника или также графическим идентификационным кодом;
- под-этап a2 идентификации собеседника распознаванием вышеуказанного изображения; как объяснено выше, этот этап может быть осуществлен локально или удаленным сервером.
Также возможны другие варианты идентификации.
Этап b) содержит извлечение профиля собеседника INT_PR, соответствующего собеседнику, идентифицированному на этапе a), из базы данных хранящейся локально или на удаленном сервере.
Опционально, после этапа b), робот может брать инициативу в диалоге, например, приветствуя собеседника и называя его по его имени (если эта переменная задана в профиле собеседника, что должно быть в обычно случае). Этот этап не представлен, чтобы не перегружать фигуру.
Этап c) содержит четыре под-этапа:
- под-этап c1 принятия звуков от указанного пользователя с помощью средств одного или нескольких микрофонов DAS;
- под-этап c2 распознавания голоса, осуществляемого над звуками, полученными во время под-этапа c1 с помощью известных алгоритмов, для извлечения фраз;
- под-этап c3 анализа фразы; этот под-этап будет описан более детально с помощью фиг. 3A-3D;
- если анализ, осуществленный на под-этапе c3, привел к идентификации нового значения для присвоения переменной профиля, этап c содержит под-этап c4 обновления указанного профиля.
В более простых вариантах осуществления, в которых диалог осуществляется в письменном виде, посредством клавиатуры и экрана, под-этапы c1 и c2 заменяются простым получением текста.
Этап d) ответа содержит три под-этапа:
- под-этап d1, опциональный, извлечения контекстуальных данных: даты, времени дня, метеорологических данных, присутствия других людей...;
- под-этап d2 формулировки ответной фразы; этот под-этап описан более детально с помощью фигур 3A-3D; и
- под-этап d3 выдачи ответной фразы, произведенной на под-этапе d2; этот под-этап реализован с использованием известных алгоритмов синтеза речи и одного или нескольких громкоговорителей DES.
Таким образом, способ повторяется, начиная с под-этапа c1, робот находится в ожидании новой фразы от пользователя.
Алгоритм может оканчиваться по прошествии максимального времени ожидания. Кроме того, анализ фразы, осуществляемый на под-этапе c3, может указывать роботу, что собеседник желает положить конец диалогу (например, такое желание может быть заключено из обнаружения такой фразы как «я должен уйти»; «до свидания»; «пока»...). Также, в случае исчезновения собеседника из поля зрения камер DAI (под-этап D1) робот может решить прекратить диалог. Эти варианты не показаны, чтобы избежать перегрузки чертежа.
Как анализ (под-этап c3), так и формулировка (под-этап d2) фраз процессором робота применяют «модели» или «шаблоны» (по-английски «patterns»). Модель фразы состоит из слов, указателей на переменные, «понятий» и «меток», а также индикаторов действий, связанных с одним или несколькими логическими операторами. Модели фраз могут быть представлены в виде древовидной структуры, называемой «синтаксическое дерево».
Фигура 3A демонстрирует первый пример синтаксического дерева AS1 соответствующего модели MDP используемой, во время реализации под-этапа c3 способа, для анализа фразы, произнесенной собеседником-человеком. Эта модель описывается скриптовым языком, разработанным для этой цели:
«mon nom est _~Liste-prénoms »
Она содержит три слова («mon» («мое»), «nom» («имя»), «est» («есть»)) и одного понятия («~Liste-prénoms» («~Список-имен»)). Тильда «~» идентифицирует понятие, символ «_» обозначает, что понятие должно храниться.
Слова и понятие - ссылка CPT - формируют листья синтаксического дерева AS, связанные логическим оператором «ET» формируя корень дерева.
Понятие состоит из множества семантически близких и взаимозаменяемых слов в предложении - тут, это список имен. Понятие «Liste-prénoms» также представлено деревом (фиг 3B), листья которого являются взаимозаменяемыми словами («Джон», «Питер», «Пол», «Жак», ...), а корень логическим оператором «ИЛИ». Если собеседник говорит, например, «Меня зовут Джон», процессор робота проверяет, что эта фраза соответствует шаблону и сохраняет (команда #stokage# (#хранение#), что соответствует символу «_» в шаблоне, символ «диез» - # - указывает на то, что это не имя, которое должно быть произнесено) значение «Джон» во временной переменной памяти робота.
Фиг. 3C иллюстрирует другой пример синтаксического дерева соответствующего модели MDP, используемой, во время осуществления под-этапов c4 (обновление профиля собеседника) и d2 (формулировка ответной фразы). Эта модель описывается:
«c’est un joli nom $1 ! $INT/Prénom=$1»
Она содержит четыре слова («c’est» («это»), «un», «joli» («красивое»), «nom» («имя»)), маркер интонации («!») и указатель на временную переменную, в которой хранится имя собеседника («$1» - символ «$» обозначает переменные). Она также содержит операцию присваивания диалоговой переменной VD «$INT/Prénom» значения, содержащегося во временной переменной $1. Операция присваивания, также представленная деревом (внизу фиг. 3B), связывающая переменную «INT/Prénom» и указатель «$1» посредством оператора равенства «=».
Правила позволяют процессору связывать входы (фразы, произнесенные собеседником) и выходы (ответные фразы, выдаваемые роботом). Фиг. 3D иллюстрирует дерево R представляющее такое правило. Речь идет об очень простом правиле, которое связывает модель, представленную деревом AS1 (вход) с моделью представленной деревом AS2 (выход). Таким образом, применяя это правило, когда собеседник говорит «меня зовут Жан», робот отвечает «это красивое имя, Жан!» - «Жан» может быть заменено любым другим именем перечисленном в понятии «Liste- prénoms». Дополнительно, как описано выше, процессор обновляет профиль пользователя, регистрируя информацию, что имя - «Жан», и может использовать эту информацию в дальнейшем во время диалога.
Правила могут быть гораздо более сложными, например, выход может выбираться среди многих альтернативных вариантов в зависимости от значения, присвоенного нескольким переменным и/или контекстным данным (например, даты, как, например, в диалоге, представленном выше). Таким же образом, несколько альтернативных моделей могут быть предусмотрены на входе, связанные с одним или одними же выходами.
Дерево R правил содержит также метку («tag», по-английски) TG: «#Présentation#». В этом случае метка позволяет прикрепить правило к «теме разговора» («topic», на английском языке), которая включает в себя семантически близкие правила - тут, тема разговора состоит из представлений собеседников. В зависимости от значения некоторых переменных, истории зарегистрированного диалога в профиле собеседника и/или контекстных данных, правила, отмеченные некоторыми метками, могут быть активированы или деактивированы. Например, правила, обозначенные меткой «Рождество», могут быть активированы только в период с 1 декабря по 15 января (контекстные данные); правила, отмеченные меткой «домашние животные» могут быть деактивированы, если профиль указывает на то, что собеседник их не имеет; когда применяется некоторое количество правил с меткой, можно считать, что тема будет обработана достаточно и эти правила могут быть деактивированы на некоторое время.
История диалога, предшествующего, содержит список предыдущих диалогов с их датами, список ответов и вопросов, озвученных роботом (уже заданные вопросы деактивируются для избегания повторения), список меток с их состоянием (активированы/деактивированы) и список тем, что уже были обработаны - с опциональным измерением глубины каждой темы. Эта история представлена в виде списка ключей и значений.
Все эти особенности способствуют персонализации и развитию диалога.

Claims (27)

1. Способ диалога между машиной и по меньшей мере одним собеседником-человеком, включающий в себя следующие этапы, выполняемые упомянутой машиной:
a) идентифицируют упомянутого собеседника-человека;
b) извлекают из базы данных профиль собеседника, содержащий множество переменных диалога, причем по меньшей мере одной из упомянутых переменных диалога присвоено по меньшей мере одно значение;
c) получают по меньшей мере одну фразу от упомянутого собеседника, анализируют упомянутую или каждую упомянутую фразу от упомянутого собеседника для извлечения из нее по меньшей мере одного значения для присвоения по меньшей мере одной переменной диалога упомянутого профиля собеседника и регистрируют упомянутое или каждое упомянутое значение в упомянутом профиле собеседника; и
d) формулируют и выдают по меньшей мере одну ответную фразу в зависимости от по меньшей мере упомянутой фразы, полученной и интерпретированной на этапе c) и от одной упомянутой переменной диалога упомянутого профиля собеседника,
отличающийся тем, что упомянутая или по меньшей мере одна упомянутая фраза, полученная и проанализированная на этапе c), является фразой, произнесенной упомянутым собеседником спонтанно или вслед за невопросительной фразой, выданной упомянутой машиной, и тем, что анализ упомянутой или по меньшей мере одной фразы от упомянутого собеседника и формулировку упомянутой или по меньшей мере одной ответной фразы осуществляют посредством множества моделей фраз, представленных соответствующими синтаксическими деревьями.
2. Способ диалога по п. 1, в котором по меньшей мере некоторые из упомянутых моделей фраз содержат по меньшей мере один указатель на переменную диалога упомянутого профиля собеседника.
3. Способ диалога по п. 1, в котором по меньшей мере некоторые из упомянутых моделей фраз содержат по меньшей мере один указатель на по меньшей мере одну совокупность взаимозаменяемых терминов во фразе, называемых понятием.
4. Способ диалога по п. 1, в котором упомянутый этап d) выполняют с помощью множества правил, связывающих по меньшей мере одну модель фразы от упомянутого собеседника и по меньшей мере одну модель ответной фразы.
5. Способ диалога по п. 4, в котором во время упомянутого этапа d) по меньшей мере одно упомянутое правило связывает с одной и той же моделью фразы от упомянутого собеседника множество моделей фраз, которые могут служить в качестве ответных фраз, и при этом среди упомянутых моделей ответных фраз исключают те, которые содержат указатель на переменную диалога, которой не присвоено никакое значение в упомянутом профиле собеседника.
6. Способ диалога по п. 4, в котором:
- по меньшей мере одно упомянутое правило отмечают меткой, идентифицирующей тему разговора;
- во время упомянутого этапа d) правило или правила, отмеченные по меньшей мере одной меткой, идентифицирующей определенную тему разговора, активируют или деактивируют в зависимости от по меньшей мере одного параметра диалога.
7. Способ диалога по п. 5, в котором:
- по меньшей мере одно упомянутое правило отмечают меткой, идентифицирующей тему разговора;
- во время упомянутого этапа d) правило или правила, отмеченные по меньшей мере одной меткой, идентифицирующей определенную тему разговора, активируют или деактивируют в зависимости от по меньшей мере одного параметра диалога.
8. Способ диалога по п. 1, в котором упомянутый профиль собеседника также включает в себя историю диалога, и на упомянутом этапе d) упомянутую или по меньшей мере одну упомянутую ответную фразу также формулируют в зависимости от упомянутой истории диалога.
9. Способ диалога по п. 1, в котором во время упомянутого этапа d) упомянутую или по меньшей мере одну упомянутую ответную фразу также формулируют в зависимости от по меньшей мере одного контекстного параметра, полученного или определенного упомянутой машиной.
10. Способ диалога по п. 1, в котором во время упомянутого этапа a) идентифицируют упомянутого собеседника-человека с помощью устройства захвата изображений путем распознавания лица или считывания графического кода, представленного упомянутому устройству.
11. Способ диалога по п. 1, в котором во время упомянутого этапа b) машина имеет доступ к удаленному серверу посредством коммуникационной сети и дистанционно загружает упомянутый профиль собеседника из упомянутой базы данных, которая хранится на упомянутом удаленном сервере.
12. Способ диалога по п. 11, в котором машина, имея доступ к упомянутому удаленному серверу через упомянутую коммуникационную сеть, загружает в упомянутую базу данных профиль собеседника, обновленный путем регистрации по меньшей мере одного значения, присвоенного по меньшей мере одной переменной диалога, извлеченной во время упомянутого этапа c) из по меньшей мере одной фразы от упомянутого собеседника.
13. Способ диалога по любому из предшествующих пунктов, в котором упомянутая машина содержит процессор, встроенный в гуманоидного робота.
14. Гуманоидный робот, содержащий встроенный процессор, запрограммированный для осуществления способа по п. 13.
15. Гуманоидный робот по п. 14, также содержащий:
- устройство захвата изображений, взаимодействующее с упомянутым встроенным процессором для идентификации собеседника-человека;
- устройство захвата звука, взаимодействующее с упомянутым встроенным процессором для получения по меньшей мере одной фразы, произнесенной упомянутым собеседником-человеком; и
- устройство выдачи звука, взаимодействующее с упомянутым встроенным процессором для выдачи упомянутой ответной фразы.
RU2016116893A 2013-10-01 2014-09-29 Способ диалога между машиной, такой как гуманоидный робот, и собеседником-человеком, компьютерный программный продукт и гуманоидный робот для осуществления такого способа RU2653283C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1359514A FR3011375B1 (fr) 2013-10-01 2013-10-01 Procede de dialogue entre une machine, telle qu'un robot humanoide, et un interlocuteur humain, produit programme d'ordinateur et robot humanoide pour la mise en œuvre d'un tel procede
FR1359514 2013-10-01
PCT/EP2014/070782 WO2015049198A1 (fr) 2013-10-01 2014-09-29 Procede de dialogue entre une machine, telle qu'un robot humanoïde, et un interlocuteur humain, produit programme d'ordinateur et robot humanoïde pour la mise en œuvre d'un tel procede

Publications (2)

Publication Number Publication Date
RU2016116893A RU2016116893A (ru) 2017-11-13
RU2653283C2 true RU2653283C2 (ru) 2018-05-07

Family

ID=50069049

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016116893A RU2653283C2 (ru) 2013-10-01 2014-09-29 Способ диалога между машиной, такой как гуманоидный робот, и собеседником-человеком, компьютерный программный продукт и гуманоидный робот для осуществления такого способа

Country Status (11)

Country Link
US (1) US10127226B2 (ru)
EP (1) EP3053162B1 (ru)
JP (1) JP2016536630A (ru)
CN (1) CN105940446B (ru)
AU (1) AU2014331209B2 (ru)
BR (1) BR112016007199A8 (ru)
CA (1) CA2925930C (ru)
FR (1) FR3011375B1 (ru)
MX (1) MX2016004208A (ru)
RU (1) RU2653283C2 (ru)
WO (1) WO2015049198A1 (ru)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199464A1 (ja) * 2015-06-12 2016-12-15 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN106570443A (zh) * 2015-10-09 2017-04-19 芋头科技（杭州）有限公司 一种快速识别方法及家庭智能机器人
US9940929B2 (en) * 2015-12-09 2018-04-10 Lenovo (Singapore) Pte. Ltd. Extending the period of voice recognition
CN105427856B (zh) * 2016-01-12 2020-05-19 北京光年无限科技有限公司 一种面向智能机器人的约请数据处理方法和系统
JP2017205324A (ja) * 2016-05-19 2017-11-24 パナソニックＩｐマネジメント株式会社 ロボット
JP6719740B2 (ja) * 2016-05-20 2020-07-08 日本電信電話株式会社 対話方法、対話システム、対話装置、およびプログラム
US10872609B2 (en) * 2016-05-20 2020-12-22 Nippon Telegraph And Telephone Corporation Method, apparatus, and program of dialog presentation steps for agents
CN106649280B (zh) * 2017-02-13 2019-07-09 长沙军鸽软件有限公司 一种创建共享语料库的方法
US20190237069A1 (en) * 2018-01-31 2019-08-01 GM Global Technology Operations LLC Multilingual voice assistance support
US10832118B2 (en) * 2018-02-23 2020-11-10 International Business Machines Corporation System and method for cognitive customer interaction
US11314944B2 (en) * 2018-03-05 2022-04-26 Google Llc Transitioning between prior dialog contexts with automated assistants
EP3859568A4 (en) * 2018-09-28 2021-09-29 Fujitsu Limited DIALOGUE DEVICE, DIALOGUE PROCEDURE AND DIALOGUE PROGRAM
US11279036B2 (en) 2018-10-01 2022-03-22 Toyota Research Institute, Inc. Methods and systems for implementing customized motions based on individual profiles for identified users
CN109584858A (zh) * 2019-01-08 2019-04-05 武汉西山艺创文化有限公司 一种基于ai人工智能的虚拟配音方法及其装置
WO2020159395A1 (ru) * 2019-01-29 2020-08-06 Публичное Акционерное Общество "Сбербанк России" Способ создания модели анализа диалогов на базе искусственного интеллекта
WO2021131737A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021909A1 (en) * 1999-12-28 2001-09-13 Hideki Shimomura Conversation processing apparatus and method, and recording medium therefor
US20040015344A1 (en) * 2001-07-27 2004-01-22 Hideki Shimomura Program, speech interaction apparatus, and method
US20060047362A1 (en) * 2002-12-02 2006-03-02 Kazumi Aoyama Dialogue control device and method, and robot device
US20060155765A1 (en) * 2004-12-01 2006-07-13 Takeuchi Johane Chat information service system
US20060177802A1 (en) * 2003-03-20 2006-08-10 Atsuo Hiroe Audio conversation device, method, and robot device
RU2336560C2 (ru) * 2002-05-14 2008-10-20 Конинклейке Филипс Электроникс Н.В. Диалоговое управление для электрического устройства

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350293B2 (ja) * 1994-08-09 2002-11-25 株式会社東芝 対話処理装置及び対話処理方法
JP3797047B2 (ja) * 1999-12-08 2006-07-12 富士通株式会社 ロボット装置
WO2001067225A2 (en) 2000-03-06 2001-09-13 Kanisa Inc. A system and method for providing an intelligent multi-step dialog with a user
US6604094B1 (en) 2000-05-25 2003-08-05 Symbionautics Corporation Simulating human intelligence in computers using natural language dialog
US6728679B1 (en) 2000-10-30 2004-04-27 Koninklijke Philips Electronics N.V. Self-updating user interface/entertainment device that simulates personal interaction
US20020133347A1 (en) 2000-12-29 2002-09-19 Eberhard Schoneburg Method and apparatus for natural language dialog interface
ITTO20011035A1 (it) * 2001-10-30 2003-04-30 Loquendo Spa Metodo per la gestione di dialoghi persona-macchina ad iniziativa mista basato sull'interazione vocale.
JP2004195636A (ja) * 2002-12-02 2004-07-15 Sony Corp 対話制御装置及び方法並びにロボット装置
JP4539149B2 (ja) * 2004-04-14 2010-09-08 ソニー株式会社 情報処理装置および情報処理方法、並びに、プログラム
US7382392B2 (en) 2004-07-20 2008-06-03 Samsung Electronics Co., Ltd. Method and apparatus for compensating for scanning skew
US7620549B2 (en) 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
JP2009025658A (ja) * 2007-07-20 2009-02-05 Oki Electric Ind Co Ltd 音声合成装置、音声合成システム
CN101618280B (zh) * 2009-06-30 2011-03-23 哈尔滨工业大学 具有人机交互功能的仿人头像机器人装置及行为控制方法
CN103078867A (zh) * 2013-01-15 2013-05-01 深圳市紫光杰思谷科技有限公司 机器人间自动聊天方法及聊天系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021909A1 (en) * 1999-12-28 2001-09-13 Hideki Shimomura Conversation processing apparatus and method, and recording medium therefor
US20040015344A1 (en) * 2001-07-27 2004-01-22 Hideki Shimomura Program, speech interaction apparatus, and method
RU2336560C2 (ru) * 2002-05-14 2008-10-20 Конинклейке Филипс Электроникс Н.В. Диалоговое управление для электрического устройства
US20060047362A1 (en) * 2002-12-02 2006-03-02 Kazumi Aoyama Dialogue control device and method, and robot device
US20060177802A1 (en) * 2003-03-20 2006-08-10 Atsuo Hiroe Audio conversation device, method, and robot device
US20060155765A1 (en) * 2004-12-01 2006-07-13 Takeuchi Johane Chat information service system

Also Published As

Publication number Publication date
MX2016004208A (es) 2017-08-16
CN105940446A (zh) 2016-09-14
BR112016007199A2 (pt) 2017-08-01
CN105940446B (zh) 2020-03-13
CA2925930A1 (fr) 2015-04-09
WO2015049198A1 (fr) 2015-04-09
US20160283465A1 (en) 2016-09-29
AU2014331209B2 (en) 2017-11-30
CA2925930C (fr) 2020-06-02
AU2014331209A1 (en) 2016-05-19
RU2016116893A (ru) 2017-11-13
EP3053162A1 (fr) 2016-08-10
EP3053162B1 (fr) 2020-04-01
FR3011375A1 (fr) 2015-04-03
FR3011375B1 (fr) 2017-01-27
JP2016536630A (ja) 2016-11-24
BR112016007199A8 (pt) 2020-03-10
US10127226B2 (en) 2018-11-13

Similar Documents

Publication Publication Date Title
RU2653283C2 (ru) Способ диалога между машиной, такой как гуманоидный робот, и собеседником-человеком, компьютерный программный продукт и гуманоидный робот для осуществления такого способа
US10977452B2 (en) Multi-lingual virtual personal assistant
US9430467B2 (en) Mobile speech-to-speech interpretation system
WO2017054122A1 (zh) 语音识别系统及方法、客户端设备及云端服务器
EP3866160A1 (en) Electronic device and control method thereof
JP2013512461A (ja) 外国語学習装置及び対話システム
KR20200059054A (ko) 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
CN101861621A (zh) 自动同步解释系统
JP2023552854A (ja) ヒューマンコンピュータインタラクション方法、装置、システム、電子機器、コンピュータ可読媒体及びプログラム
Gemmeke et al. Self-taught assistive vocal interfaces: an overview of the aladin project
Catania et al. CORK: A COnversational agent framewoRK exploiting both rational and emotional intelligence
KR20190068021A (ko) 감정 및 윤리 상태 모니터링 기반 사용자 적응형 대화 장치 및 이를 위한 방법
JP2023153283A (ja) 作業支援システムおよび作業支援方法ならびに作業支援装置
WO2023102889A1 (zh) 语音交互的方法和装置
KR20180121120A (ko) 음성, 텍스트, 시각적 인터페이스를 결합하여 모바일 기기로 물건을 구매할 수 있는 머신러닝 기반 음성 주문 시스템
WO2007007228A2 (en) Method for communication and communication device
KR100369732B1 (ko) 전문가 시스템을 이용한 음성인식 기반의 지능형 대화장치 및 그 방법
JP6790791B2 (ja) 音声対話装置および対話方法
Popescu et al. A platform that aims to help people to learn how to interact with robotic platforms
Bahendwar et al. Mirr-Active An Aritificially Intelligent Interactive Mirror
CN113674743A (zh) 用于自然语言处理中asr结果替换处理设备及处理方法
JP2002287791A (ja) 専門家システムを用いた音声認識基盤の知能型対話装置及びその方法
Carrión On the development of Adaptive and Portable Spoken Dialogue Systems: Emotion Recognition, Language Adaptation and Field Evaluation

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20190930