WO2011003628A2 - Systeme et procede pour generer des comportements contextuels d'un robot mobile - Google Patents

Systeme et procede pour generer des comportements contextuels d'un robot mobile Download PDF

Info

Publication number
WO2011003628A2
WO2011003628A2 PCT/EP2010/004234 EP2010004234W WO2011003628A2 WO 2011003628 A2 WO2011003628 A2 WO 2011003628A2 EP 2010004234 W EP2010004234 W EP 2010004234W WO 2011003628 A2 WO2011003628 A2 WO 2011003628A2
Authority
WO
WIPO (PCT)
Prior art keywords
robot
editing
control
text
behaviors
Prior art date
Application number
PCT/EP2010/004234
Other languages
English (en)
Other versions
WO2011003628A3 (fr
Inventor
Bruno Maisonnier
Jérôme MONCEAUX
Original Assignee
Aldebaran Robotics S.A
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aldebaran Robotics S.A filed Critical Aldebaran Robotics S.A
Priority to US13/383,196 priority Critical patent/US9205557B2/en
Priority to EP10784435A priority patent/EP2451617A2/fr
Priority to CN201080035241.XA priority patent/CN102596516B/zh
Priority to JP2012518831A priority patent/JP2012532390A/ja
Publication of WO2011003628A2 publication Critical patent/WO2011003628A2/fr
Publication of WO2011003628A3 publication Critical patent/WO2011003628A3/fr

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Definitions

  • the present invention pertains to the field of robot programming systems. More precisely, it applies to the control of behaviors coherent with the context in which the robot, in particular of human or animal form, evolves, expresses itself and moves on members articulated or not.
  • a robot can be called a humanoid from the moment it has certain attributes of the appearance and functionality of the man: a head, a trunk, two arms, possibly two hands, two legs, two feet ...
  • One of the features likely to give the robot an appearance and quasi-human behavior is the possibility of ensuring a strong coupling between gestural expression and oral expression.
  • to achieve this result in an intuitive way would allow new groups of users to access the programming of behaviors of humanoid robots. This problem has not been correctly solved by the prior art.
  • the invention makes it possible to insert in a text spoken by the robot commands of intonation and / or behaviors associated with the oral expression, said commands being able to be expressed for example graphically.
  • the present invention discloses a system for editing and controlling behaviors of at least one robot comprising a module for editing a script to be reproduced by the robot, a sound synthesis module of said script, a library behavior control tags to be executed by the robot, a module for inserting said tags into said script and a module for generating and controlling the behaviors of said robot, said system being characterized in that said command tag library comprises at least one tag for controlling a behavior depending on the content of the script.
  • the editing and control system further comprises a robot environment monitoring module and said control tag library comprises at least one tag for controlling a behavior depending on the environment of the robot.
  • the control tag library comprises at least one tag selected from the waiting commands group, response commands to an expected external action.
  • control tags are chosen from the group comprising graphic symbols, punctuation marks and words.
  • a portion of the command tags is inserted into the script in the form of a list, each item of said list corresponding to a phrase with which a group of behaviors is associated.
  • control tags is inserted into the script between at least one opening separator and at least one closing separator which respectively trigger the start of a sequence of behaviors and the end of said sequence.
  • the behaviors to be executed by the robot are chosen from the group comprising combinations of the modulations of the voices reading the script, script accompanying gestures and signal transmissions.
  • the modulations of the voices are chosen from a group comprising combinations of languages, voices, tones, speeds and different intonations.
  • the script editing module communicates with the behavior control module of the robot by an electronic mail module.
  • the editing and control system is able to interact with elements belonging to a group comprising physical robots, virtual robots and computers.
  • the robots belonging to the commanded group each execute a part of the script determined by at least one control tag characteristic of each of the elements of the group.
  • the behavior controlled by a control tag can change according to a method chosen from the group comprising the random change, the cyclic change or the contextual change.
  • the invention also discloses a method for editing and controlling behaviors of at least one robot comprising a step of editing a script to be reproduced by the robot, a step of sound synthesis of said script, a step of reading a library of behavior control tags to be executed by the robot, a step of inserting said tags into said script and a step of controlling behaviors of said robot, said method being characterized in that said control tag library comprises at least one minus a tag to control a behavior depending on the contents of the script.
  • the invention makes it possible to create behavioral libraries and to easily insert them into a script of scenes played by the robot.
  • the language used is formally very close to the one used on the Internet and is therefore very easily accessible, without any prior knowledge or training.
  • the invention also satisfactorily completes French Patent Application No. 09/53434 relating to a system and a method for editing and controlling the behavior of a mobile robot belonging to the Applicant.
  • This provides means to execute behaviors by a robot, said behaviors can be controlled either using a specialized scripting language, accessible to programmers, or graphically by using preprogrammed libraries that can be selected and insert into a series of boxes of behaviors linked by events.
  • the invention makes it possible to further simplify the programming interface of the behavior of the robot.
  • the invention will be better understood and its various features and advantages will emerge from the following description of several exemplary embodiments and its appended figures including:
  • FIG. 1 is an example of programming behaviors using elements of the BML language according to a document of the prior art
  • FIG. 2 is a flowchart indicating the main steps of the method of the invention in one of its embodiments
  • FIG. 3 is a view of a control beacon shaft provided for implementing the invention in one of its embodiments
  • FIG. 4 is a first example of a scenario of use of the invention in one of its embodiments
  • FIG. 5 is a second example of a scenario of use of the invention in one of its embodiments.
  • FIG. 6 is a third example of a scenario of use of the invention in one of its embodiments.
  • FIG. 7 is a fourth example of a scenario of use of the invention in one of its embodiments.
  • FIG. 1 is an example of programming behaviors using elements of the BML language according to a document of the prior art.
  • BML programming is for a virtual robot and not a physical robot. It does not generate commands directly executable by a physical robot.
  • the system is able to control the behavior of a robot 10 which may be a humanoid robot with two lower limbs and two upper limbs or a robot having the appearance of a two or four-limb animal.
  • the members of the robot can be provided with motorized joints, controlled by cards, possibly allowing it to move according to commands that are embedded and interpreted by one or more processors or transmitted from a server in form directly executable by the or processors embedded or to be developed by said processors.
  • the robot is advantageously endowed with a head and a body completing its humanoid or animal form. It is also advantageously equipped with sensors enabling it to position itself in its environment and to perceive sound or movement signals coming from said environment.
  • the robot can also have other action capabilities with its environment, such as sources of light emission or sound, or the ability to act on the Internet such as sending a mail or a phone call or a modification of the environment by communication with a home automation system.
  • the editing and control system is provided with a script editor 20 in which is entered a text intended to be reproduced by the robot in the form of sound signals.
  • This entry can be made directly using a simple computer keyboard or by loading into the system a file type text (* .doc, * .txt or other) or a html file (optionally designated by its URL).
  • These files can also be received from a remote site, for example via a messaging system.
  • the system or the robot is provided with a synthesis device 30 able to interpret the text of the script editor to produce sounds, which can be either words in the case of a humanoid robot, or sounds representative of the behavior of an animal.
  • the sound synthesis device can also reproduce background sounds, for example background music which, possibly, can be played on a remote computer.
  • the triggering of the reading of a story can be done during the reception of an external event to the robot such as:
  • the system includes a library 40 of control tags to be inserted into the script editor by via an insertion module 50.
  • the insertion is effected by dragging (gesture "drag and drop” with a mouse connected to the computer on which the editor is implanted) the command tag chosen in the editor.
  • Fig. 3 is a view of a control beacon shaft provided for implementing the invention in one of its embodiments
  • the different command tags are grouped by type of behavior to generate in directories some of which are viewable next to the script editor.
  • Forms of reading of the script for example, the language in which the script will be read, in the case of a humanoid robot, may be chosen (French, English, Anglo-American, German, Russian, etc.) ); the voice may be a male, female or child voice; the tone may be more or less serious or acute; the speed may be more or less rapid; the intonation can be chosen according to the emotion that the robot is likely to feel according to the text of the script (affection, astonishment, anger, joy, remonstrance, etc.);
  • Script accompanying gestures for example, arm movement up or forward; strike a foot on the ground; movements of the head upwards, downwards, to the right or to the left, according to the impression that one wants to communicate coherently with the script ...
  • Emitting signals for example, if the robot is equipped with LEDs, they can be activated to express strong emotions "felt" by the robot by reading the text or to generate a blink of the eye adapted to the form and speed of speech.
  • the tags inserted in the script generate the execution of the corresponding commands by the robot via a control module 6OB which can pass to the module for generating the signals transmitted by the robot. robot in response to commands.
  • one of the features of the invention is to allow the automatic generation of commands consistent with the content of the script to be read by the robot.
  • a first way to achieve this coupling is to have control tags related to punctuation: in this case, a question mark will generate a tone control consistent with the interrogative mode. Similarly for an exclamation point. Some words or punctuation may also automatically generate a tag that will command consistent behavior with that word. As non-limiting illustrations:
  • the quotation marks can be linked to a beacon programmed to trigger a "quote” gesture, which consists of lifting the arms and opening and closing the fingers twice; adverbs or key words such as “here”, “after”, “many” can be linked to a programmed beacon to trigger the corresponding gesture;
  • the word “hello” may be related to a programmed beacon to automatically generate an arm lift command tag;
  • the expression “I love you” can be linked to a beacon programmed to automatically generate a control of the LEDs of the face which generates a blush of it;
  • the expression "drive a car” can be linked to a beacon programmed to generate a movement imitating the gesture indicated in the expression;
  • certain commands can be commands for interrupting and waiting for an external event, such as a movement in response to a question posed by the robot.
  • certain commands may be dependent on the reactions of the robot to its environment, as measured by means of an environmental monitoring module 70.
  • This module interfaces with sensors embedded on the robot.
  • sensors embedded on the robot.
  • a camera can identify features in the robot environment, such as another robot or a human handing the robot, or simply the presence or absence of spectators to play the robot. text only in the presence of an audience.
  • the sensors can be, alternatively or in addition, ultrasonic sensors that detect movement in the environment close to the robot. In this case, if it is an expected response by the script in which a wait command has been inserted, the following command is executed.
  • the commands of the library are transformed into the syntax of the tag language used to implement the invention from commands generated by the editing and control system disclosed by the French patent application No.
  • the editing and control system can allow the control of several robots near or distant. It can be foreseen that the choice of the robot called to play a particular passage of a script is at the discretion of the user who can make your choice for example using tabs provided for this purpose in the interface of the editing and control system. We can also automate this allocation of passages of the script corresponding to different characters to separate robots, by embedding particular tags corresponding to each of the characters within the script.
  • FIG. 4 is a first example of a scenario of use of the invention in one of its embodiments.
  • [LANG en] -> changes the current language of the robot, so the robot is multi-language and the editor supports all languages of the robot (English, French, Italian, Spanish, German ...);
  • Fig. 5 is a second exemplary use scenario of the invention in one of its embodiments.
  • a graphical tag is inserted.
  • This tag has the appearance of a "smiley” or emoticon, which is now a common language used in messaging and internet chats. This type of tag makes it even more intuitive to use the editing and control system of the invention.
  • FIG. 6 is a third example of a scenario of use of the invention in one of its embodiments.
  • Fig. 7 is a fourth exemplary use scenario of the invention in one of its embodiments.
  • Figure 7 combines graphic tags and text tags.
  • the user also has the possibility to change the name of the tags as he wishes and so replace them with a word of his choice. He may also decide to create a new behavior that he will associate with a word of his choice. For example, he can quite decide that every time he writes "Hi" in the editing and command system of the invention, the robot accompanies this word with a hand movement, the behavior containing the movement of the hand will therefore be associated with the tag "Hi".
  • a beacon can be programmed to correspond to several behaviors: thus at each reading the behavior can change (it is either taken randomly, or sequentially, or can be dependent on the preceding and following words and markers, that is to say contextualized) .
  • the invention can be implemented on a commercial computer that communicates with one or more robots via wired or wireless links.
  • the generation of commands is advantageously carried out by the editing and control system disclosed by French Patent Application No. 09/53434 already cited.
  • the robot or robots are advantageously equipped with a three-level control command architecture such as that disclosed by the French patent application No. 08/01956000 also belonging to the applicant. They must be equipped with software for interpreting the commands sent by the command generator of the invention.
  • the examples described above are given by way of illustration of embodiments of the invention. They in no way limit the scope of the invention which is defined by the following claims.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • Toys (AREA)
  • Stored Programmes (AREA)

Abstract

L'invention concerne un système et un procédé pour générer des comportements d'un robot apte à reproduire un script, notamment en fonction du sens du script et, éventuellement, de réactions de l'environnement du robot. Pour ce faire, le système est doté d'une bibliothèque de balises de commande et d'un module d'insertion des dites balises dans l'éditeur du script à reproduire par le ou les robots. L'invention permet ainsi à un utilisateur qui n'est pas doté de connaissances particulières en programmation de réaliser des scénarios complexes d'utilisation de son robot. Ces scénarios peuvent également être échangés entre différents utilisateurs.

Description

SYSTEME ET PROCEDE POUR GENERER DES COMPORTEMEMENTS CONTEXTUELS D'UN ROBOT MOBILE La présente invention appartient au domaine des systèmes de programmation de robots. Plus précisément, elle s'applique à la commande de comportements cohérents avec le contexte dans lequel le robot notamment de forme humaine ou animale, évolue, s'exprime et se déplace sur des membres articulés ou non. Un robot peut être qualifié d'humanoïde à partir du moment où il possède certains attributs de l'apparence et des fonctionnalités de l'homme: une tête, un tronc, deux bras, éventuellement deux mains, deux jambes, deux pieds... Une des fonctionnalités susceptibles de donner au robot une apparence et des comportements quasi-humains est la possibilité d'assurer un couplage fort entre expression gestuelle et expression orale. En particulier, parvenir à ce résultat de manière intuitive permettrait à de nouveaux groupes d'utilisateurs d'accéder à la programmation de comportements de robots humanoïdes. Ce problème n'a pas été correctement résolu par l'art antérieur. Dans le domaines des agents virtuels et des avatars, des langages spécialisés dans la programmation de comportements au niveau fonctionnel ou intentionnel, indépendamment des actions physiques tels que le FML (Function Markup Language) ou au niveau de comportements eux-mêmes (qui impliquent plusieurs parties du personnage virtuel pour exécuter une fonction) tel que le BML (Behaviour Markup Language) ne restent accessibles qu'au programmeur professionnel et ne s'intègrent pas avec des scripts écrits en langage de tous les jours. L'invention permet de dépasser ces limitations de l'art antérieur.
Notamment, l'invention permet d'insérer dans un texte parlé par le robot des commandes d'intonation et/ou de comportements associées à l'expression orale, lesdites commandes pouvant être exprimées par exemple de manière graphique.
A cet effet, la présente invention divulgue un système d'édition et de commande de comportements d'au moins un robot comprenant un module d'édition d'un script à reproduire par le robot, un module de synthèse sonore dudit script, une bibliothèque de balises de commande de comportements à exécuter par le robot, un module d'insertion desdites balises dans ledit script et un module de génération et de contrôle des comportements dudit robot, ledit système étant caractérisé en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant du contenu du script.
Avantageusement, le système d'édition et de commande selon l'invention comprend en outre un module de surveillance de l'environnement du robot et ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant de l'environnement du robot. Avantageusement, la bibliothèque de balises de commande comprend au moins une balise choisie dans le groupe commandes d'attente, commandes de réponse à une action extérieure attendue.
Avantageusement, les balises de commande sont choisies dans le groupe comprenant des symboles graphiques, des signes de ponctuation et des mots.
Avantageusement, une partie des balises de commande est insérée dans le script sous forme d'une liste, chaque article de ladite liste correspondant à un membre de phrase auquel est associé un groupe de comportements.
Avantageusement, une partie des balises de commande est insérée dans le script entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite.
Avantageusement, les comportements à exécuter par le robot sont choisis dans le groupe comprenant des combinaisons des modulations des voix lisant le script, des gestes d'accompagnement du script et des émissions de signaux.
Avantageusement, les modulations des voix sont choisies dans un groupe comprenant des combinaisons de langues, de voix, de tonalités, de vitesses et d'intonations différentes.
Avantageusement, le module d'édition de script communique avec le module de contrôle des comportements du robot par un module de messagerie électronique.
Avantageusement, le système d'édition et de commande selon l'invention est apte à dialoguer avec des éléments appartenant à un groupe comprenant des robots physiques, des robots virtuels et des ordinateurs. Avantageusement, les robots appartenant au groupe commandé exécutent chacun une partie du script déterminée par au moins une balise de commande caractéristique de chacun des éléments du groupe.
Avantageusement, le comportement commandé par une balise de commande peut changer selon une méthode choisie dans le groupe comprenant le changement aléatoire, le changement cyclique ou le changement contextuel.
L'invention divulgue également un procédé d'édition et de commande de comportements d'au moins un robot comprenant une étape d'édition d'un script à reproduire par le robot, une étape de synthèse sonore dudit script, une étape de lecture d'une bibliothèque de balises de commande de comportements à exécuter par le robot, une étape d'insertion desdites balises dans ledit script et une étape de contrôle des comportements dudit robot, ledit procédé étant caractérisé en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant du contenu du script.
L'invention permet de créer des bibliothèques de comportements et de les insérer facilement dans un script de scènes jouées par le robot. En outre, le langage utilisé est formellement très proche de celui qui est utilisé sur Internet et est donc très facilement accessible, sans aucune connaissance ou formation préalables.
L'invention complète également de manière appropriée la demande de brevet française n° 09/53434 relative à un système et à un procédé pour éditer et commander les comportements d'un robot mobile appartenant à la demanderesse. Celle-ci procure des moyens pour faire exécuter des comportements par un robot, lesdits comportements pouvant être commandés soit en utilisant un langage script spécialisé, accessible à des programmeurs, soit de manière graphique en faisant appel à des bibliothèques préprogrammées que l'on peut sélectionner et insérer dans une suite de boîtes de comportements reliées par des événements. L'invention permet de simplifier encore l'interface de programmation des comportements du robot. L'invention sera mieux comprise et ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont :
- La figure 1 est un exemple de programmation de comportements en utilisant des éléments du langage BML selon un document de l'art antérieur ;
- La figure 2 est un organigramme indiquant les principales étapes du procédé de l'invention dans un de ses modes de réalisation;
- La figure 3 est une vue d'un arbre des balises de commande prévues pour mettre en œuvre l'invention dans un de ses modes de réalisation ;
- La figure 4 est un premier exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation;
- La figure 5 est un deuxième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ;
- La figure 6 est un troisième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ;
- La figure 7 est un quatrième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.
La figure 1 est un exemple de programmation de comportements en utilisant des éléments du langage BML selon un document de l'art antérieur.
La programmation BML s'adresse à un robot virtuel et non à un robot physique. Elle ne génère donc pas de commandes directement exécutables par un robot physique.
En outre, dans la programmation BML, le script qui doit être lu par le robot n'est pas directement accessible à partir de l'éditeur de programmation (Cf l'instruction <sentence>). Ce type d'interface de programmation n'est donc pas accessible à un utilisateur non doté de capacités techniques de programmation. C'est une caractéristique distinctive de l'invention d'être accessible en langage totalement naturel dans lequel le texte qui est reproduit par un robot physique est directement accessible dans l'éditeur de commandes. D'autres caractéristiques distinctives seront détaillées dans la suite de la description. La figure 2 est un organigramme indiquant les principales étapes du procédé de l'invention dans un de ses modes de réalisation.
Le système est apte à contrôler les comportements d'un robot 10 qui peut être un robot humanoïde à deux membres inférieurs et deux membres supérieurs ou un robot ayant l'apparence d'un animal à deux ou quatre membres inférieurs. Les membres du robot peuvent être dotés d'articulations motorisées, contrôlées par des cartes, lui permettant éventuellement de se déplacer selon des commandes qui sont embarquées et interprétées par un ou plusieurs processeurs ou transmises à partir d'un serveur en forme directement exécutable par le ou les processeurs embarqués ou qui doivent être élaborées par lesdits processeurs. Le robot est avantageusement doté d'une tête et d'un corps complétant sa forme humanoïde ou d'animal. Il est également avantageusement doté de capteurs lui permettant de se positionner dans son environnement et de percevoir des signaux sonores ou de mouvement provenant dudit environnement. Le robot peut également avoir d'autres capacités d'action avec son environnement, telles que des sources d'émission de lumière ou de sons, ou encore la possibilité d'agir sur Internet comme par exemple un envoi de mail ou un appel téléphonique ou une modification de l'environnement par communication avec un système de domotique.
Pour mettre en œuvre l'invention, le système d'édition et de commande est doté d'un éditeur de script 20 dans lequel est entré un texte destiné à être reproduit par le robot sous forme de signaux sonores. Cette entrée peut être effectuée directement à l'aide d'un simple clavier d'ordinateur ou par chargement dans le système d'un fichier de type textuel (*.doc, *.txt ou autre) ou d'un fichier html (éventuellement désigné par son adresse URL).. Ces fichiers peuvent également être reçus d'un site distant, par exemple par l'intermédiaire d'un système de messagerie. Pour opérer cette lecture, le système ou le robot sont doté d'un dispositif de synthèse 30 apte à interpréter le texte de l'éditeur de script pour produire des sons, qui peuvent être soit des paroles dans le cas d'un robot humanoïde, soit des sons représentatifs du comportement d'un animal. Le dispositif de synthèse sonore peut également reproduire des sons de fond, par exemple une musique d'ambiance qui, éventuellement, peut-être joué sur un ordinateur distant. Le déclenchement de la lecture d'une histoire peut de se faire lors de la réception d'un événement externe au robot tel que :
- la réception d'un message électronique (mail, SMS, appel téléphonique ou autre message).
- un événement domotique (par exemple, l'ouverture de la porte par quelqu'un, lumière allumée par quelqu'un ou autre événement) Le système comprend une bibliothèque 40 de balises de commande destinées à être insérées dans l'éditeur de script par l'intermédiaire d'un module d'insertion 50. Avantageusement, l'insertion s'opère en faisant glisser (geste « drag and drop » avec une souris connectée à l'ordinateur sur lequel l'éditeur est implanté) la balise de commande choisie dans l'éditeur.
La figure 3 est une vue d'un arbre des balises de commande prévues pour mettre en œuvre l'invention dans un de ses modes de réalisation ;
Les différentes balises de commande sont regroupées par type de comportement à générer dans des répertoires dont certains sont visualisables à côté de l'éditeur de script.
L'arborescence développée à partir du niveau de type le plus élevé est reproduite ci-dessous :
Général
Langue
- Français
- Anglais
- Espagnol
Prosodie
Vitesse
- lente
- moyenne
- rapide
Volume
- faible
- moyen
- fort
Style - cartoon
- normal
- speed Voix
- Heather
- Julie
- Kenny
Organisation
Titres
- Grand Titre
- Sous-titre
- Auteur Structures
- Citation Listes
- Numérotée
- Non-numérotée
Attitudes
- Exclamation
- Interrogation
- Affirmation
- Doute
- Honoré
- Blagueur
Politesse
- Bonjour
- Salut
- Au-revoir - Bisous
Indications
Lieu
- Ici
- Partout - Nulle part
- Loin
- La-bas
- A coté
Temps
- Avant
- Après
- Toujours
- Il y a longtemps
Manière
- Gentiment
- Franchement
Quantité
- Beaucoup
- Un peu
- Trop
- Assez
Négatif
- Ne pas
- Aucun
- Jamais
Mouvements
- Danse
- Marche
- Hourrah
Interactions
- Détection de visage
- Bumper (Appui sur bouton du pied)
- Détection de présence (ultra-sons)
Cette liste n'est pas limitative. Elle peut être enrichie par un éditeur de système d'édition et de commande de robot appliquant les enseignements de la présente invention. Des exemples de types de commandes sont plus particulièrement détaillés ci-dessous:
Formes de lecture du script (ou prosodie): par exemple, la langue dans laquelle le script sera lu, dans le cas d'un robot humanoïde, pourra être choisie (français, anglais, anglo-américain, allemand, russe, etc ..) ; la voix pourra être une voix mâle, femelle ou d'enfant ; la tonalité pourra être plus ou moins grave ou aiguë ; la vitesse pourra être plus ou moins rapide ; l'intonation pourra être choisie en fonction de l'émotion que le robot est susceptible de ressentir en fonction du texte du script (affection, étonnement, colère, joie, remontrance, etc ..) ;
Gestes d'accompagnement du script : par exemple, mouvement des bras vers le haut ou vers l'avant ; frappe d'un pied sur le sol ; mouvements de la tête vers le haut, le bas, à droite ou à gauche, selon l'impression que l'on veut communiquer en cohérence avec le script...
- Emission de signaux : par exemple, si le robot est doté de diodes lumineuses (LED), celles-ci pourront être actionnées pour traduire des émotions fortes « ressenties » par le robot en lisant le texte ou pour générer un clignement des yeux adapté à la forme et à la vitesse d'élocution. Par l'intermédiaire d'un module de génération de comportements 6OA, les balises insérées dans le script génèrent l'exécution des commandes correspondantes par le robot en passant par un module de contrôle 6OB qui peut passer au module de génération des signaux transmis par le robot en réponse aux commandes.
Comme il apparaît à la lecture des exemples cités ci-dessus, une des caractéristiques de l'invention est de permettre la génération automatique de commandes cohérentes avec le contenu du script à lire par le robot. Une première manière de réaliser ce couplage est de disposer de balises de commande liées à la ponctuation : dans ce cas, un point d'interrogation va générer une commande de tonalité cohérente avec le mode interrogatif. De même pour un point d'exclamation. Certains mots ou signes de ponctuation peuvent également générer automatiquement une balise qui commandera un comportement cohérent avec ce mot. A titre d'illustrations non limitatives :
les guillemets peuvent être liés à une balise programmée pour déclencher un geste "citation", qui consiste à lever les bras et ouvrir et fermer deux fois les doigts de la main ; les adverbes ou mots clefs tels que "ici", "après", "beaucoup", peuvent être liés à une balise programmée pour déclencher le geste correspondant ;
le mot « bonjour » peut être lié à une balise programmée pour générer automatiquement une balise de commande de levée de bras ; l'expression « je t'aime » peut être liée à une balise programmée pour générer automatiquement une commande des LED du visage qui génère un rougissement de celui-ci;
l'expression « conduis une voiture » peut être liée à une balise programmée pour générer un mouvement imitant le geste indiqué dans l'expression;
l'expression « il était furieux » sera accompagnée d'une modulation de la voix et d'un mouvement symbolisant la colère ;
l'expression « il regarda attentivement la personne dans les yeux » sera soulignée par une rotation de la tête du robot dans la direction d'une personne de l'assistance ;
les listes à points et les listes numérotées, où chaque point ou numéro pourra déclencher un mouvement d'énumération (la main descend d'un cran vertical à chaque point).
Avantageusement, certaines commandes peuvent être des commandes d'interruption et d'attente d'un événement extérieur, tel qu'un mouvement en réponse à une question posée par le robot.
Ainsi, certaines commandes peuvent être dépendantes des réactions du robot à son environnement, telles que mesurées par l'intermédiaire d'un module de surveillance de l'environnement 70. Ce module est interface avec des capteurs embarqués sur le robot. Par exemple, une caméra peut repérer des éléments caractéristiques dans l'environnement du robot, tels qu'un autre robot ou un humain qui tend une main au robot, ou tout simplement la présence ou l'absence de spectateurs de manière à ne jouer le texte qu'en présence d'un public. De même, les capteurs peuvent être, alternativement ou en complément, des capteurs ultrasonores qui permettent de détecter un mouvement dans l'environnement proche du robot. Dans ce cas, si c'est une réponse attendue par le script dans lequel une commande d'attente a été insérée, la commande suivante est exécutée. Avantageusement, les commandes de la bibliothèque sont transformées dans la syntaxe du langage balise utilisé pour mettre en œuvre l'invention à partir de commandes générées par le système d'édition et de commande divulgué par la demande de brevet française n° 09/53434 relative à un système et à un procédé pour éditer et commander les comportements d'un robot mobile appartenant à la demanderesse. Selon cette invention, les commandes obéissent à une double logique temporelle et événementielle, ce qui est particulièrement adapté dans le cas d'interactions d'un robot avec son environnement.
Le système d'édition et de commande selon l'invention peut permettre la commande de plusieurs robots proches ou distants On peut prévoir que le choix du robot appelé à jouer un passage particulier d'un script est à la discrétion de l'utilisateur qui peut effectuer son choix par exemple à l'aide d'onglets prévus à cet effet dans l'interface du système d'édition et de commande. On peut également automatiser cette allocation de passages du script correspondant à des personnages différents à des robots distincts, par l'incrustation de balises particulières correspondant à chacun des personnages au sein du script. La figure 4 est un premier exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.
Dans ce mode de réalisation, on voit en particulier l'utilisation possible de listes dotées de balises numérotées, chacun des éléments de la liste étant affecté à une phrase et déclenchant un comportement adapté au contenu de la phrase. En particulier :
[Story Init] -> met le robot en position de raconter une histoire (le met debout s'il est assis par exemple) ;
[LANG=fr] -> change la langue courante du robot, ainsi le robot est multi-langue et l'éditeur supporte toutes les langues du robot (anglais, français, italien, espagnol, allemand ...) ;
[Main Title]... [/Main Title] -> couple de balises d'ouverture et de fermeture déclenchant et terminant un comportement ;
[Long Time Ago] -> Le robot fait un geste du bras vers l'arrière, signifiant ainsi que l'action a lieu dans le passé ; [Therel] -> Correspond au mot-clef "la-bas", le robot fait un geste du bras vers l'horizon indiquant un lieu lointain ;
[Herel] -> Correspond au mot-clef "ici", le robot fait un geste du bras vers le bas indiquant la proximité de l'action;
- La phrase commençant par la balise [Thisi] pourra être lue avec une première voix, avec une tonalité interrogative ;
La phrase commençant par la balise [This2] pourra être lue avec une deuxième voix, avec également une tonalité interrogative ;
La phrase commençant par la balise [This3] pourra être lue avec une troisième voix, avec une tonalité exclamative ;
[Nowhere] -> Correspond à "nulle part", le robot fait un geste de déni de la tête (hochement horizontal)
Les balises d'ouverture et de fermeture d'un comportement peuvent être imbriquées sur plusieurs niveaux . Plusieurs comportements pourront alors être exécutés soit complètement simultanément (même début et même fin) soit pendant des périodes dont les ouvertures et fermetures sont déclenchées en fonction de la place des balises d'ouverture et de fermeture dans le script. La figure 5 est un second exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.
Dans cet exemple, une balise graphique est insérée. Cette balise a l'apparence d'un « smiley » ou émoticône, ce qui est désormais un langage commun utilisé dans les messageries et sur les chats internet. Ce type de balise permet de rendre encore plus intuitive l'utilisation du système d'édition et de commande de l'invention.
La figure 6 est un troisième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation ;
La figure 7 est un quatrième exemple de scénario d'utilisation de l'invention dans un de ses modes de réalisation.
Sur la figure 6, les différentes balises ont les significations qui suivent :
drapeau français -> passage de la langue en français smiley (ou émoticône) avec bras en l'air -> exclamation smiley (ou émoticône) avec point d'interrogation -> Posture interrogative (regard en l'air, mains sur les hanches)
[Bumper] Attends l'appui d'un bumper (bouton-poussoir sur le pied) pour continuer l'histoire
- guillemets -> geste de citation
smiley rigolard -> balise Blagueur
Les deux figures illustrent bien la combinaison possible de plusieurs types de balises au sein d'un même script. En particulier, la figure 7 combine des balises graphiques et des balises textuelles.
L'utilisateur a également la possibilité de modifier le nom des balises à sa guise et ainsi de les remplacer par un mot de son choix. Il peut également décider de créer un nouveau comportement qu'il associera à un mot de son choix. Par exemple, il peut tout à fait décider qu'a chaque fois qu'il écrit « Salut » dans le système d'édition et de commande de l'invention, le robot accompagne ce mot d'un mouvement de la main, le comportement contenant le mouvement de la main sera donc associé à la balise « Salut ».
Une balise peut être programmée pour correspondre à plusieurs comportements : ainsi à chaque lecture le comportement peut changer (il est soit pris aléatoirement, soit séquentiellement, ou peut être dépendant des mots et balises précédents et suivants, c'est-à-dire contextualisé).
L'invention peut être mise en œuvre sur un ordinateur du commerce qui communique avec un ou plusieurs robots par l'intermédiaire de liaisons filaires ou sans fil. La génération de commandes est avantageusement effectuée par le système d'édition et de commande divulgué par la demande de brevet française n° 09/53434 déjà citée. Le ou les robots sont avantageusement dotées d'une architecture de contrôle commande à trois niveaux telle que celle divulguée par la demande de brevet française n° 08/01956000 appartenant également à la demanderesse. Ils doivent être dotés d'un logiciel permettant d'interpréter les commandes envoyées par le générateur de commandes de l'invention. Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent.

Claims

REVENDICATIONS
1. Système d'édition et de commande de comportements d'au moins un robot (10) comprenant un module (20) d'édition d'un texte devant être déclamé par le robot, un module (30) de synthèse sonore dudit texte, une bibliothèque (40) de balises de commande de comportements à exécuter par le robot, un module d'insertion (50) desdites balises dans ledit texte et un module de génération et de contrôle (6OA, 60B) des comportements dudit robot, lesdites balises de commande comprenant au moins une balise pour commander un comportement dépendant du contenu du texte, ledit système étant caractérisé en ce que lesdites balises de commande sont des représentations sémantiques desdits comportements.
2. Système d'édition et de commande selon la revendication 1 caractérisé en ce qu'une partie des balises de commande est insérée dans le texte entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite.
3. Système d'édition et de commande selon l'une des revendications 1 à
2, caractérisé en ce qu'il comprend en outre un module (70) de surveillance de l'environnement du robot et en ce que ladite bibliothèque de balises de commande comprend au moins une balise pour commander un comportement dépendant de l'environnement du robot.
4. Système d'édition et de commande selon l'une des revendications 1 à
3, caractérisé en ce que la bibliothèque de balises de commande comprend au moins une balise choisie dans le groupe commandes d'attente, commandes de réponse à une action extérieure attendue.
5. Système d'édition et de commande selon l'une des revendications 1 à
4, caractérisé en ce que balises de commande sont choisies dans le groupe comprenant des symboles graphiques, des signes de ponctuation et des mots.
6. Système d'édition et de commande selon l'une des revendications 1 à
5, caractérisé en ce qu'une partie des balises de commande est insérée dans le texte sous forme d'une liste, chaque article de ladite liste correspondant à un membre de phrase auquel est associé un groupe de comportements.
7. Système d'édition et de commande selon l'une des revendications 1 à 6, caractérisé en ce que les comportements à exécuter par le robot sont choisis dans le groupe comprenant des combinaisons des modulations des voix lisant le texte, des gestes d'accompagnement du texte et des émissions de signaux.
8. Système d'édition et de commande selon la revendication 7, caractérisé en ce que les modulations des voix sont choisies dans un groupe comprenant des combinaisons de langues, de voix, de tonalités, de vitesses et d'intonations différentes.
9. Système d'édition et de commande selon l'une des revendications 1 à
8, caractérisé en ce que le module d'édition de texte communique avec le module de contrôle des comportements du robot par un module de messagerie électronique.
10. Système d'édition et de commande selon l'une des revendications 1 à
9, caractérisé en ce qu'il est apte à dialoguer avec des éléments appartenant à un groupe comprenant des robots physiques, des robots virtuels et des ordinateurs.
11. Système d'édition et de commande selon la revendication 10, caractérisé en ce que les robots appartenant au groupe commandé exécutent chacun une partie du texte déterminée par au moins une balise de commande caractéristique de chacun des éléments du groupe.
12. Système d'édition et de commande selon l'une des revendications 1 à 11 , caractérisé en ce que le comportement commandé par une balise de commande peut changer selon une méthode choisie dans le groupe comprenant le changement aléatoire, le changement cyclique ou le changement contextuel.
13. Procédé d'édition et de commande de comportements d'au moins un robot comprenant une étape d'édition d'un texte devant être déclamé par le robot, une étape de synthèse sonore dudit texte, une étape de lecture d'une bibliothèque de balises de commande de comportements à exécuter par le robot, ladite bibliothèque de balises de commande comprenant au moins une balise pour commander un comportement dépendant du contenu du texte, une étape d'insertion desdites balises dans ledit texte et une étape de contrôle des comportements dudit robot, ledit procédé étant caractérisé en ce que lesdites balises de commande sont des représentations sémantiques desdits comportements.
14. Procédé d'édition et de commande de comportements caractérisé en ce qu'une partie des balises de commande est insérée dans le texte entre au moins un séparateur d'ouverture et au moins un séparateur de fermeture qui déclenchent respectivement le début d'une suite de comportements et la fin de ladite suite.
PCT/EP2010/004234 2009-07-10 2010-07-12 Systeme et procede pour generer des comportements contextuels d'un robot mobile WO2011003628A2 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/383,196 US9205557B2 (en) 2009-07-10 2010-07-12 System and method for generating contextual behaviors of a mobile robot
EP10784435A EP2451617A2 (fr) 2009-07-10 2010-07-12 Systeme et procede pour generer des comportements contextuels d'un robot mobile
CN201080035241.XA CN102596516B (zh) 2009-07-10 2010-07-12 用于产生移动机器人的情境行为的系统和方法
JP2012518831A JP2012532390A (ja) 2009-07-10 2010-07-12 移動ロボットのコンテキスト動作を生成するためのシステムおよび方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0954837 2009-07-10
FR0954837A FR2947923B1 (fr) 2009-07-10 2009-07-10 Systeme et procede pour generer des comportements contextuels d'un robot mobile

Publications (2)

Publication Number Publication Date
WO2011003628A2 true WO2011003628A2 (fr) 2011-01-13
WO2011003628A3 WO2011003628A3 (fr) 2011-03-03

Family

ID=42111526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/004234 WO2011003628A2 (fr) 2009-07-10 2010-07-12 Systeme et procede pour generer des comportements contextuels d'un robot mobile

Country Status (6)

Country Link
US (1) US9205557B2 (fr)
EP (1) EP2451617A2 (fr)
JP (1) JP2012532390A (fr)
CN (1) CN102596516B (fr)
FR (1) FR2947923B1 (fr)
WO (1) WO2011003628A2 (fr)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013150076A1 (fr) 2012-04-04 2013-10-10 Aldebaran Robotics Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot
WO2013178741A1 (fr) 2012-06-01 2013-12-05 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile executes en temps reel
EP2933070A1 (fr) * 2014-04-17 2015-10-21 Aldebaran Robotics Procédés et systèmes de manipulation d'un dialogue avec un robot
EP2933067A1 (fr) 2014-04-17 2015-10-21 Aldebaran Robotics Procédé de réalisation de dialogue multimodal entre un utilisateur et un robot humanoïde, produit de programme informatique et robot humanoïde mettant en oeuvre ce procédé
US10583559B2 (en) 2014-04-17 2020-03-10 Softbank Robotics Europe Humanoid robot with an autonomous life capability
US10915709B2 (en) * 2016-04-28 2021-02-09 Masoud Amri Voice-controlled system

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2947923B1 (fr) * 2009-07-10 2016-02-05 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile
JP5698614B2 (ja) * 2011-06-22 2015-04-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ コンテキスト情報処理システム及び方法
CN106575382B (zh) * 2014-08-07 2021-12-21 学校法人冲绳科学技术大学院大学学园 估计对象行为的计算机方法和系统、预测偏好的系统和介质
US10239205B2 (en) * 2016-06-29 2019-03-26 International Business Machines Corporation System, method, and recording medium for corpus curation for action manifestation for cognitive robots
US11443161B2 (en) * 2016-12-12 2022-09-13 Microsoft Technology Licensing, Llc Robot gesture generation
CN107186706B (zh) * 2017-06-16 2019-08-09 重庆柚瓣家科技有限公司 养老机器人控制模块远程化的方法及系统
CN109521927B (zh) * 2017-09-20 2022-07-01 阿里巴巴集团控股有限公司 机器人互动方法和设备
JP2019118992A (ja) * 2017-12-28 2019-07-22 株式会社日立ビルシステム ロボット装置制御システム
US10691113B1 (en) * 2018-02-06 2020-06-23 Anthony Bergman Robotic process control system
CN111098301B (zh) * 2019-12-20 2020-08-18 西南交通大学 一种基于场景知识图谱任务型机器人的控制方法
CN111723557A (zh) * 2020-06-30 2020-09-29 北京来也网络科技有限公司 基于ai的语段编辑方法、装置、设备以及存储介质
US20230236575A1 (en) * 2022-01-26 2023-07-27 Vivek Ramdas Pai Computer-automated scripted electronic actor control

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561637A (ja) 1991-09-02 1993-03-12 Toshiba Corp 音声合成メールシステム
JPH09185607A (ja) 1995-12-28 1997-07-15 Dainippon Screen Mfg Co Ltd ハイパーテキストレイアウト装置
DE19615693C1 (de) * 1996-04-19 1997-12-11 Siemens Ag Vorrichtung und Verfahren zur Aktionsermittlung
US5838973A (en) * 1996-05-03 1998-11-17 Andersen Consulting Llp System and method for interactively transforming a system or process into a visual representation
US6259969B1 (en) * 1997-06-04 2001-07-10 Nativeminds, Inc. System and method for automatically verifying the performance of a virtual robot
JPH11224179A (ja) * 1998-02-05 1999-08-17 Fujitsu Ltd 対話インタフェース・システム
JPH11327872A (ja) * 1998-05-18 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 電子メール提示方法及び電子メール端末及び電子メール提示プログラムを格納した記憶媒体
US6629087B1 (en) * 1999-03-18 2003-09-30 Nativeminds, Inc. Methods for creating and editing topics for virtual robots conversing in natural language
US6947893B1 (en) * 1999-11-19 2005-09-20 Nippon Telegraph & Telephone Corporation Acoustic signal transmission with insertion signal for machine control
JP4465768B2 (ja) * 1999-12-28 2010-05-19 ソニー株式会社 音声合成装置および方法、並びに記録媒体
JP4032273B2 (ja) * 1999-12-28 2008-01-16 ソニー株式会社 同期制御装置および方法、並びに記録媒体
JP2001353678A (ja) * 2000-06-12 2001-12-25 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP2002127062A (ja) 2000-08-18 2002-05-08 Nippon Telegr & Teleph Corp <Ntt> ロボットシステム、ロボット制御信号生成装置、ロボット制御信号生成方法、記録媒体、プログラムおよびロボット
US6724409B1 (en) * 2000-11-16 2004-04-20 Hewlett-Packard Development Company L.P. Tree-based graphical user interface for creating and editing machine control sequences
US7367017B2 (en) * 2001-01-31 2008-04-29 Hewlett-Packard Development Company, L.P. Method and apparatus for analyzing machine control sequences
JP2002268663A (ja) 2001-03-08 2002-09-20 Sony Corp 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体
KR101137205B1 (ko) * 2002-03-15 2012-07-06 소니 주식회사 로봇의 행동 제어 시스템 및 행동 제어 방법, 및 로봇 장치
JP2003308142A (ja) * 2002-04-17 2003-10-31 Seiko Epson Corp メッセージ処理システム、音声信号処理システム、メッセージ処理設備、メッセージ送信端末、音声信号処理設備、メッセージ処理プログラム、音声信号処理プログラム、設備用プログラム、端末用プログラム及びメッセージのデータ構造、並びにメッセージ処理方法、音声信号処理方法及びメッセージ生成方法
WO2004063883A2 (fr) * 2003-01-09 2004-07-29 Evolution Robotics, Inc. Programmation de robots et/ou systemes informatiques en fonction de signes visuels et de l'environnement
US7707135B2 (en) * 2003-03-04 2010-04-27 Kurzweil Technologies, Inc. Enhanced artificial intelligence language
JP2004287016A (ja) * 2003-03-20 2004-10-14 Sony Corp 音声対話装置及び方法並びにロボット装置
EP1610221A4 (fr) * 2003-03-28 2009-01-07 Sony Corp Dispositif fournisseur d'informations, procede associe et systeme fournisseur d'informations
JP2004318862A (ja) * 2003-03-28 2004-11-11 Sony Corp 情報提供装置及び方法、並びに情報提供システム
JP4271193B2 (ja) 2003-08-12 2009-06-03 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット用制御システム
US7434176B1 (en) * 2003-08-25 2008-10-07 Walt Froloff System and method for encoding decoding parsing and translating emotive content in electronic communication
JP2005088179A (ja) * 2003-09-22 2005-04-07 Honda Motor Co Ltd 自律移動ロボットシステム
JP2005199373A (ja) * 2004-01-14 2005-07-28 Toshiba Corp コミュニケーション装置及びコミュニケーション方法
JP2005266671A (ja) * 2004-03-22 2005-09-29 Yamaha Corp ロボット及び音声再生方法
JP2006155299A (ja) * 2004-11-30 2006-06-15 Sharp Corp 情報処理装置、情報処理プログラム、および、プログラム記録媒体
JP2006263858A (ja) 2005-03-24 2006-10-05 Advanced Telecommunication Research Institute International コミュニケーションロボット
GB2427109B (en) * 2005-05-30 2007-08-01 Kyocera Corp Audio output apparatus, document reading method, and mobile terminal
JP2007044825A (ja) * 2005-08-10 2007-02-22 Toshiba Corp 行動管理装置、行動管理方法および行動管理プログラム
JP4815940B2 (ja) * 2005-08-17 2011-11-16 日本電気株式会社 ロボット制御システム、ロボット装置、およびロボット制御方法
JP4718987B2 (ja) * 2005-12-12 2011-07-06 本田技研工業株式会社 インターフェース装置およびそれを備えた移動ロボット
US7738997B2 (en) * 2005-12-19 2010-06-15 Chyi-Yeu Lin Robotic system for synchronously reproducing facial expression and speech and related method thereof
WO2007072328A2 (fr) * 2005-12-20 2007-06-28 Philips Intellectual Property & Standards Gmbh Procédé d'envoi d'un message, dispositif de transmission de message et dispositif de rendu de message
CN100348381C (zh) * 2006-01-06 2007-11-14 华南理工大学 家政服务机器人
JP2007232829A (ja) * 2006-02-28 2007-09-13 Murata Mach Ltd 音声対話装置とその方法及びプログラム
US20080071540A1 (en) * 2006-09-13 2008-03-20 Honda Motor Co., Ltd. Speech recognition method for robot under motor noise thereof
JP2008168375A (ja) * 2007-01-10 2008-07-24 Sky Kk ボディランゲージロボット、ボディランゲージロボットの制御方法及び制御プログラム
CN101020312A (zh) * 2007-03-13 2007-08-22 叶琛 基于网络功能的机器人传递行为的方法和装置
JP5025353B2 (ja) * 2007-07-03 2012-09-12 ニュアンス コミュニケーションズ，インコーポレイテッド 対話処理装置、対話処理方法及びコンピュータ・プログラム
TWI338588B (en) * 2007-07-31 2011-03-11 Ind Tech Res Inst Method and apparatus for robot behavior series control based on rfid technology
FR2947923B1 (fr) * 2009-07-10 2016-02-05 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013150076A1 (fr) 2012-04-04 2013-10-10 Aldebaran Robotics Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot
US10052769B2 (en) 2012-04-04 2018-08-21 Softbank Robotics Europe Robot capable of incorporating natural dialogues with a user into the behaviour of same, and methods of programming and using said robot
JP2015524934A (ja) * 2012-04-04 2015-08-27 アルデバラン ロボティクス ユーザとの自然対話をロボットの挙動に組み込むことができるロボットならびに前記ロボットをプログラムする方法および使用する方法
CN104470686A (zh) * 2012-06-01 2015-03-25 奥尔德巴伦机器人公司 用于生成被实时地执行的移动机器人的上下文行为的系统和方法
FR2991222A1 (fr) * 2012-06-01 2013-12-06 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile executes en temps reel
WO2013178741A1 (fr) 2012-06-01 2013-12-05 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile executes en temps reel
EP2933070A1 (fr) * 2014-04-17 2015-10-21 Aldebaran Robotics Procédés et systèmes de manipulation d'un dialogue avec un robot
EP2933067A1 (fr) 2014-04-17 2015-10-21 Aldebaran Robotics Procédé de réalisation de dialogue multimodal entre un utilisateur et un robot humanoïde, produit de programme informatique et robot humanoïde mettant en oeuvre ce procédé
WO2015158878A1 (fr) * 2014-04-17 2015-10-22 Aldebaran Robotics Procédés et systèmes de traitement d'un dialogue avec un robot
AU2015248713B2 (en) * 2014-04-17 2018-03-29 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US10242666B2 (en) 2014-04-17 2019-03-26 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
AU2018202162B2 (en) * 2014-04-17 2020-01-16 Softbank Robotics Europe Methods and systems of handling a dialog with a robot
US10583559B2 (en) 2014-04-17 2020-03-10 Softbank Robotics Europe Humanoid robot with an autonomous life capability
US10915709B2 (en) * 2016-04-28 2021-02-09 Masoud Amri Voice-controlled system

Also Published As

Publication number Publication date
US20120197436A1 (en) 2012-08-02
EP2451617A2 (fr) 2012-05-16
CN102596516B (zh) 2016-04-13
JP2012532390A (ja) 2012-12-13
CN102596516A (zh) 2012-07-18
WO2011003628A3 (fr) 2011-03-03
FR2947923A1 (fr) 2011-01-14
FR2947923B1 (fr) 2016-02-05
US9205557B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
EP2451617A2 (fr) Systeme et procede pour generer des comportements contextuels d&#39;un robot mobile
KR102627948B1 (ko) 다수의 연령 및/또는 어휘 수준을 수용하는 자동화 어시스턴트
WO2012010451A1 (fr) Robot humanoide dote d&#39;une interface de dialogue naturel, procede de controle du robot et programme correspondant
US20180133900A1 (en) Embodied dialog and embodied speech authoring tools for use with an expressive social robot
US9116880B2 (en) Generating stimuli for use in soliciting grounded linguistic information
CN106663219B (zh) 处理与机器人的对话的方法和系统
US7836437B2 (en) Semantic annotations for virtual objects
EP2834811A1 (fr) Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d&#39;utilisation dudit robot
CA2925930C (fr) Procede de dialogue entre une machine, telle qu&#39;un robot humanoide, et un interlocuteur humain, produit programme d&#39;ordinateur et robot humanoide pour la mise en oeuvre d&#39;un tel procede
US20050054381A1 (en) Proactive user interface
EP2855105A1 (fr) Systeme et procede pour generer des comportements contextuels d&#39;un robot mobile executes en temps reel
US20150142434A1 (en) Illustrated Story Creation System and Device
JP2023156489A (ja) 自然言語処理システム、自然言語処理方法および自然言語処理プログラム
Klüwer et al. Talking NPCs in a virtual game world
Ball 11 A Bayesian Heart: Computer Recognition and Simulation of Emotion
WO2019211552A1 (fr) Procede de commande d&#39;une pluralite d&#39;effecteurs d&#39;un robot
Nakatsu Nonverbal information recognition and its application to communications
Ma Confucius: An intelligent multimedia storytelling interpretation and presentation system
Boyarin Take the Bible for example: Midrash as literary theory
Silvey Communicative emergence and cultural evolution of word meanings
Brunnberg How tools shape the game authoring process
Newland Interface Design: Seeking an Appropriate Analysis Framework
Ooi Mobile augmented reality for smart pet
Birkeland ‘Things he wanted to say’: Figures in the Dialogue of Raymond Carver’s Short Fiction
Ramdoyal Generic PDA: based museum guide, with sound enhancement

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080035241.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10784435

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2012518831

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010784435

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13383196

Country of ref document: US