DISPOSITIF INTERFACE INTELLIGENT POUR LA SAISIE D'UN OBJET PAR UN ROBOT MANIPULATEUR ET PROCEDE DE MISE EN
ŒUVRE DE CE DISPOSITIF
DESCRIPTION
DOMAINE TECHNIQUE
La présente invention concerne un dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et un procédé de mise en œuvre de ce dispositif.
Le domaine de l'invention est celui de l'assistance à des personnes physiquement dépendantes, notamment des personnes handicapées. Le domaine de l'invention est également celui de l'assistance à la manipulation d'objets en milieu hostile pour alléger la tâche de l'opérateur, par exemple en milieu sous-marin ou nucléaire, avec un éventuel retour d'effort. Dans la suite de la description, à titre d'exemple, on considérera l'assistance à des personnes handicapées .
ETAT DE LA TECHNIQUE ANTERIEURE En dépit de leur utilité potentielle et des développements engagés depuis quelques dizaines d'années, les robots restent d'un usage peu courant dans le grand public et plus spécialement dans le domaine de l'assistance à des personnes handicapées, notamment à cause de leur coût élevé mais aussi à cause de leur complexité. Cette complexité rend leur utilisation difficile à des personnes non familières
avec la technique, le moindre problème devenant vite insurmontable .
La saisie d'objet par l'intermédiaire d'un robot, par exemple un bras manipulateur muni d'une pince, peut se décomposer en deux phases : l'approche de l'objet puis la préhension de celui-ci à l'aide de la pince. La phase d'approche correspond à un déplacement en espace libre, l'objectif étant de positionner géométriquement la pince par rapport à l'objet. Dans la phase de préhension, le problème est d'assurer une prise stable de l'objet.
En robotique industrielle, il est possible de conduire des opérations de saisie en boucle ouverte en utilisant la répétabilité du bras manipulateur c'est-à-dire ses capacités à refaire un déplacement préalablement appris. La position et le type des objets à saisir ou à déposer est alors parfaitement connue au préalable. Lorsque la position des objets à saisir n'est pas connue a priori, une telle manière de procéder n'est plus utilisable. Les bras manipulateurs ayant classiquement une précision faible, l'utilisation de capteurs, par exemple de caméras vidéo, pour guider les déplacements d'un bras vers un objet à saisir devient une nécessité. Dans le cas où l'objet à saisir est connu, il est possible de conduire à bien une opération de saisie en s' appuyant sur des techniques d'asservissements. Un asservissement visuel consiste à commander les déplacements du bras selon les écarts constatés entre une référence à atteindre et les informations courantes fournies par un système de
vision. Les asservissements visuels sont habituellement classés en asservissement 3D (trois dimensions) , l'asservissement utilisant des informations 3D retraitées généralement à partir d'un modèle de l'objet observé et de son image, et des asservissements 2D, l'asservissement utilisant des informations image uniquement. On peut également utiliser des asservissements 2D ^, en estimant une homographie par rapport à un plan de référence sur la cible, entre une image courante et une image désirée à chaque itération de la loi de commande.
Dans le cas où l'objet à saisir n'est pas connu on peut distinguer les solutions utilisant un système de vision observant la pince et l'objet à saisir et celles utilisant un capteur monté sur la pince du robot. Ces solutions de l'art connu nécessitent alors un marquage ou bien un modèle géométrique des objets à saisir.
Un document de l'art connu, référencé [1] en fin de description, décrit un procédé de saisie d'un objet par un bras de robot muni d'une caméra prenant des images d'un environnement de l'objet incluant l'objet, pendant les déplacements du bras. Ce procédé comprend des étapes de localisation de l'objet en calculant des coordonnées de points déterminés de l'objet dans l'environnement par rapport au bras de robot d'après des positions desdits points déterminés sur les images. Comme illustré sur la figure 1, un bras de robot 11 équipé d'une caméra 12 et finissant sur une pince 13 permet ainsi d'atteindre et de saisir un objet 14 posé sur une table 15. L'opérateur dispose d'un
ordinateur 16 à écran et clavier pour commander le bras. La caméra 12 prend une image de l'environnement situé devant elle. Le procédé de localisation comprend la sélection d'un certains nombre de points sur 1' image .
L'invention a pour objet d'améliorer ce procédé de saisie d'un objet en proposant un dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur, et un procédé de mise en œuvre de ce dispositif qui ne nécessite ni marquage de l'objet ni d'utilisation de modèle d'objet, qui soit facile à mettre en œuvre, l'activité requise pour l'utilisation étant minimisée, qui soit polyvalent, qui puisse s'appliquer à une très large variété d'objets, et qui ne requière qu'un temps d'apprentissage réduit, en masquant la technologie des équipements utilisés.
EXPOSÉ DE L'INVENTION
L' invention concerne un dispositif interface intelligent pour la saisie d'un objet comprenant :
- un robot manipulateur comprenant un bras articulé muni d'une pince à son extrémité libre et équipé d'au moins une caméra, - un calculateur associé à un écran de visualisation et à un organe de saisie,
- des moyens de commande de la pince,
- des moyens d'affichage de l'image vidéo de l'objet prise par une caméra sur l'écran de visualisation, caractérisé en ce qu' il comprend, en outre :
- des moyens de repérage graphique d'une zone de sélection entourant l'objet dans cette image à l'aide de l'organe de saisie, et en ce que les moyens de commande de la pince comprennent un bouton de commande graphique actionnable à partir de l'écran de visualisation et correspondant à au moins une des commandes suivantes :
- déplacer la pince vers la gauche,
- déplacer la pince vers la droite,
- déplacer la pince vers le bas,
- déplacer la pince vers le haut,
- faire avancer la pince,
- faire reculer la pince,
- ouvrir/fermer la pince, faire tourner la pince dans le sens horaire,
- faire tourner la pince dans le sens anti- horaire,
- valider,
- annuler,
- arrêt immédiat.
Dans un mode de réalisation avantageux, ce dispositif comprend deux caméras formant un capteur vidéo stéréoscopique . L'organe de saisie peut être notamment une souris, un « tracking » (ou suivi) de tête, un contacteur, un clavier virtuel, un « joystick » (ou levier de commande), ou un système de suivie oculaire, ou de synthèse vocale.
Chaque commande peut correspondre à un « clic » sur une icône représentée sur l'écran de
visualisation. Avantageusement la pince est équipée d'une barrière optique.
Dans un mode de réalisation le robot est fixé au bras d'un fauteuil roulant. Dans un autre mode de réalisation le robot est fixé sur une plateforme mobile .
Le dispositif de l'invention utilise des équipements de faible coût et peu encombrants, ce qui permet une large utilisation. De plus le temps d'apprentissage de ce dispositif est de quelques minutes pour un utilisateur qualifié.
L' invention concerne également un procédé de mise en œuvre d'un dispositif interface intelligent pour la saisie d'un objet comprenant : - un robot manipulateur comprenant un bras articulé muni d'une pince à son extrémité libre et équipé d'au moins une caméra, un calculateur associé à un écran de visualisation et à un organe de saisie, caractérisé en ce qu'il comprend les étapes suivantes :
- amener l'objet dans le champ de vision d'une caméra en commandant le déplacement de la pince, l'image vidéo prise par la caméra étant affichée sur l'écran de visualisation, - repérer une zone de sélection autour de l'objet en utilisant l'organe de saisie,
- faire une discrimination entre l'objet et son environnement, et estimer de la distance existant entre la pince et l'objet, - calculer le barycentre de l'objet dans
1' image,
- calculer une vitesse de consigne fonction de la distance à parcourir par la pince pour atteindre l'objet,
- déplacer la pince jusqu'à proximité de l'objet,
- déplacer la pince en aveugle et fermer la pince sur l'objet,
- ramener l'objet vers l'utilisateur.
La zone de sélection entourant l'objet peut être une zone rectangulaire, un lasso graphique défini par quelques points sélectionnés par l'utilisateur, ou le tracé d'une ligne fermée entourant l'objet.
Dans ce procédé on peut utiliser deux caméras formant un capteur vidéo stéréoscopique . On peut alors sélectionner des points d'intérêt dans les deux images issues des deux caméras, et apparier ces points deux à deux. On peut, de plus, réaliser une rectification des images issues des deux caméras.
BRÈVE DESCRIPTION DES DESSINS
La figure 1 illustre un dispositif de l'art connu .
Les figures 2 et 3 illustrent le dispositif de l' invention . La figure 4 illustre les étapes du procédé de l' invention .
EXPOSE DETAILLE DE MODES DE REALISATION PARTICULIERS
Comme illustré sur la figure 2, le dispositif interface intelligent pour la saisie d'un objet 19 selon l'invention comprend : - un robot manipulateur comprenant un bras articulé 20 muni d'une pince 21 à son extrémité libre et équipé d'au moins une caméra 22, par exemple deux caméras formant un capteur vidéo stéréoscopique,
- un calculateur 23 associé à un écran de visualisation 25 et à un organe de saisie 24,
- des moyens de commande du déplacement et de l'ouverture de la pince 21,
- des moyens d'affichage de l'image vidéo de l'objet prise par la caméra 22 sur l'écran de visualisation 25.
Comme illustré sur la figure 2, le bras 20 peut être fixé au bras d'un fauteuil roulant, par exemple d'une personne handicapé. Mais il peut aussi être fixé sur une plate forme mobile, l'ordinateur étant alors disposé sur cette plateforme, l'écran de visualisation et l'organe de commande étant accessibles à la personne.
Comme illustré sur la figure 3, le dispositif de l'invention comprend en outre : - des moyens de repérage graphique d'une zone de sélection 35, par exemple rectangulaire, entourant l'objet 19 dans cette image à l'aide de l'organe de saisie 24.
Les moyens de commande de la pince peuvent comporter les commandes suivantes :
- déplacer la pince vers la gauche,
- déplacer la pince vers la droite,
- déplacer la pince vers le bas,
- déplacer la pince vers le haut,
- faire avancer la pince, - faire reculer la pince,
- ouvrir/fermer la pince,
- valider l'objet sélectionné et déclencher une prise de l'objet en automatique,
- annuler l'objet sélectionné ou arrêter le bras,
- arrêt immédiat.
Dans le mode de réalisation, illustré sur la figure 3, un simple « clic » ou un « clic » continu sur une icône correspondante de l'écran de visualisation permet de valider une de ces fonctions.
Dans ce mode de réalisation, les moyens de repérage graphique sont pilotés par quatre commandes 30
(déplacement vers le haut) , 31 (déplacement vers le bas) , 32 (déplacement vers la gauche) et 33 (déplacement vers la droite) pour tracer une zone rectangulaire 35 entourant l'objet 19, et une commande de validation 34. Le dispositif de l'invention dispose ainsi d'un minimum de commandes. Il est intuitif et facile à utiliser. Il masque complètement l'aspect technique. Il est constitué d'une fenêtre affichant le retour vidéo de la caméra, de quatre commandes permettant le déplacement de la pince, d'une commande de validation. Il peut comprendre en outre une commande d' arrêt pour stopper le mouvement du bras en cas de problème.
Le procédé de mise en œuvre de ce dispositif comprend les étapes suivantes, illustrées sur la figure 4 :
- amener l'objet dans le champ de vision d'une caméra en commandant le déplacement de la pince, l'image vidéo prise par cette caméra étant affichée sur l'écran de visualisation (étape 40), repérer une zone de sélection, par exemple rectangulaire, autour de l'objet en utilisant l'organe de saisie (étape 41), faire une discrimination entre l'objet désigné et son environnement, et estimer la distance existant entre la pince et l'objet (étape 42), calculer le barycentre de l'objet dans l'image (étape 43),
- calculer une vitesse de consigne fonction de la distance à parcourir par la pince pour atteindre 1' objet (étape 44) ,
- déplacer la pince jusqu'à une dizaine de centimètres de l'objet (étape 45),
- déplacer la pince en aveugle et fermer la pince sur l'objet (étape 46),
- ramener l'objet vers l'utilisateur (étape 47) .
Dans un exemple de réalisation le robot utilisé est un bras manipulateur ARM (MANUS) de la société ExactDynamics, tel que décrit dans le document référencé [2], commandé par un contrôleur. Les caméras sont des caméras Webcam. Les caméras sont utilisées à la fois pour guider le mouvement du robot par
asservissement visuel et pour fournir une information à l'utilisateur. La pince est équipée d'une barrière optique qui permet de détecter avec précision le moment où l'objet est saisi dans les mors de la pince. Le calculateur est un ordinateur de type PC (« Personal Computer ») 2,8GHz. Le calculateur est relié au contrôleur du robot par un bus CAN (« Controller Area Network ») .
Le dispositif de l'invention peut s'interfacer avec tous les organes de saisie disponibles : souris, « tracking » (ou suivi) de tête, contacteur, clavier virtuel, « joystick » (ou levier de commande) de fauteuil, système de suivi oculaire, de synthèse vocale, etc.
Dans un exemple de réalisation utilisant un capteur vidéo stéréoscopique avec deux caméras dont les axes focaux sont parallèles, pendant les étapes 41 et suivantes, une fois une zone de sélection définie autour de l'objet sur l'image, on localise et on identifie l'objet désigné par l'utilisateur. Cette localisation s'appuie sur le postulat que l'objet déterminé, qui est visualisé, est prépondérant par rapport aux autres objets et par rapport au fond de la scène.
On peut alors sélectionner automatiquement des points d' intérêt dans les deux images issues des deux caméras. La technique utilisée pour l' appariement de ces points est une technique de vote consistant à retenir le groupe de points dont la distance à la caméra est la plus fréquente.
Les points extraits dans les deux images sont mis en correspondance en s' appuyant sur une géométrie épipolaire dans laquelle on utilise la connaissance de la transformation qui a lieu entre les deux images. Par exemple dans le cas d'un mouvement de translation vers la droite, on s'attend à ce que les points se déplacent sur des lignes horizontales. De même, dans le cas d'un mouvement de translation vers l'objet, on s'attend à ce que les points s'écartent du centre du « zoom » suivant les lignes partant de ce centre. C'est ce qu'on appelle le respect de la contrainte épipolaire.
Chaque appariement contribue à une hypothèse de distance. Une fois toutes les hypothèses d' appariement effectuées, la sélection de l'objet consiste à retenir la distance la plus fréquente. On suppose alors que cette distance correspond à l'objet désigné. On utilise alors le barycentre des points mis en correspondance pour localiser la direction dans laquelle se trouve l'objet. Une fois cette localisation effectuée, le processus est répété pendant les déplacements du robot pour assurer une approche correcte vers l'objet.
On peut, de plus, utiliser les paramètres internes et externes des deux caméras pour améliorer les résultats. C'est ce qu'on appelle la rectification d'images. On corrige alors les effets de distorsion et on redresse la géométrie épipolaire pour que les lignes épipolaires soient des lignes horizontales. Par mesure de sécurité, le mouvement du robot peut, à tout moment, être interrompu par
l'utilisateur en actionnant un bouton « arrêt immédiat » affiché sur l'interface utilisateur.
Selon une variante de l'invention, le dispositif ne comporte qu'une seule caméra, et on prend au moins deux images décalées pour obtenir des images stéréoscopiques de l'objet. La suite du procédé est identique au cas où le dispositif comporte un capteur vidéo stéréoscopique à deux caméras.
Selon une variante de l'invention la sélection de la zone d'intérêt autour de l'objet n'est pas nécessairement une zone rectangulaire, mais peut être de manière équivalente réalisée sous la forme d'un lasso graphique défini par quelques points sélectionnés par l'utilisateur, ou par le tracé d'une ligne fermée entourant l'objet.
Selon une autre variante la vitesse de déplacement du bras peut être calculée d'une autre manière que proportionnellement à la distance entre l'objet et la pince du robot : par exemple la vitesse peut être programmée pour suivre une courbe d'accélération décélération continue, avec une vitesse minimum et une vitesse maximum, afin d'éviter les mouvements brusques du bras de robot.
Selon une autre variante de l'invention, le déplacement du bras de robot peut être asservi non pas en vitesse mais en position : l'estimation de la distance séparant l'objet du bras du robot fournit l'orientation et la distance à parcourir par le bras du robot, par exemple à vitesse constante. Selon une variante de l'invention, l'interface peut comporter des commandes
supplémentaires d' orientation angulaire de la pince (par exemple commande d' orientation dans le sens des aiguilles d'une montre, et orientation anti-horaire).
Selon une variante de l'invention, une étape supplémentaire optionnelle peut consister, après avoir sélectionné les points de l'image, à évaluer la forme de l'objet, puis à orienter la pince sur la plus petite largeur de l'objet, afin de le saisir de manière stable . Selon une autre variante de l'invention, le procédé peut comporter une étape de validation supplémentaire, avant que la pince ne saisisse l'objet, pour que l'utilisateur confirme son souhait de saisir l'objet au moyen de la pince du bras de robot. L'invention peut aisément s'adapter à d'autres applications que la saisie d'objets par une pince de robot pour déplacer cet objet et le ramener vers l'utilisateur. Dans le domaine de la télémanipulation de robot (par exemple sous-marin) , l'invention peut permettre à un opérateur à distance d'effectuer l'accostage d'un robot sur une poignée en approchant l'extrémité du bras de robot équipé d'un système de vision stéréoscopique dont les images sont transmises à une interface graphique utilisateur, puis en l'alignant sur la poignée à saisir.
Dans le domaine de la télémanipulation en milieu hostile, par exemple dans le domaine du nucléaire, un opérateur doit généralement accompagner l'ensemble des mouvements d'un bras esclave par la tenue d'un bras maître. L'invention peut permettre, après reconnaissance et désignation d'un objet à saisir
sur l'écran, de laisser le bras robotisé effectuer l'ensemble du mouvement seul jusqu'à la fin d'un mouvement préfini.
REFERENCES
[1] FR 04 51452
[2] EP 1 178 875