WO2004051391A2 - Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire - Google Patents

Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire Download PDF

Info

Publication number
WO2004051391A2
WO2004051391A2 PCT/FR2003/003484 FR0303484W WO2004051391A2 WO 2004051391 A2 WO2004051391 A2 WO 2004051391A2 FR 0303484 W FR0303484 W FR 0303484W WO 2004051391 A2 WO2004051391 A2 WO 2004051391A2
Authority
WO
WIPO (PCT)
Prior art keywords
solid
sensor
rotation
image
translation
Prior art date
Application number
PCT/FR2003/003484
Other languages
English (en)
Other versions
WO2004051391A3 (fr
Inventor
Dominique David
Original Assignee
Commissariat A L'energie Atomique
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat A L'energie Atomique filed Critical Commissariat A L'energie Atomique
Priority to AU2003294084A priority Critical patent/AU2003294084A1/en
Publication of WO2004051391A2 publication Critical patent/WO2004051391A2/fr
Publication of WO2004051391A3 publication Critical patent/WO2004051391A3/fr

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • the present invention relates to a method and a device making it possible to capture (“sensing”) - it is also said to measure - the movement of an object or, more precisely, of a solid.
  • the invention applies to any field where there is a need to capture a movement, from the simple attitude station to miniature capture systems with six degrees of freedom.
  • the invention applies for example to the following fields:
  • Intersense called "Inertiacube” (registered trademark). This The system uses nine sensors, namely three accelerometers, three magnetometers and three gyrometers.
  • EP 1 089 215 A “Optical sensing and control of movements using multiple passive sensors”. This document describes a technique that uses only cameras to reconstruct the six parameters of a movement.
  • This technique requires complex algorithms to correct a systematic drift during the measurements.
  • the object of the present invention is to remedy the above drawbacks.
  • translation measurements without integration, carried out are combined. with passive optical means, and rotation measurements also without integration, carried out with appropriate sensors. No integration is thus necessary.
  • one or more video cameras and one or more sensors, such as accelerometers or magnetometers are associated, the measurements made with these sensors are used as corrective measurements and the latter are applied. to the measurements made with the cameras.
  • a multimodal system comprising accelerometers and / or magnetometers, is particularly well suited to restoring the angles of rotation of a solid around its center of gravity.
  • a video-based system is capable of easily estimating translational movements, at least qualitatively even quantitatively.
  • the present invention takes advantage of these complementarities to propose a device making it possible to capture the rotations and translations of a solid, with a view to restoring these rotations and translations.
  • This known device implements a technique making it possible to restore the third dimension in a scene filmed by a video camera. We use a single camera that we move to generate a succession of different points of view of the same scene.
  • the camera can be equipped with a motion capture system. This gives a device which resembles that of the present invention but, in no case, the image output of the camera is combined with the output of the capture system, unlike the present invention.
  • the output of this system is used, in the algorithms, to restore the third dimension in the scene seen by the camera and not to restore the six degrees of freedom of movement of the camera itself, the content of the image in this case being also unimportant.
  • the present invention relates to a method for measuring the movement of a solid, this method being characterized in that:
  • At least one first sensor capable of observing a scene is made rigidly integral with the solid and to provide an image thereof and at least one second sensor capable of measuring a rotation
  • images are acquired at successive times, which delimit time intervals, these time intervals being less than a predetermined value, chosen so that two consecutive images have a common scene part and , for each time interval, we determine, using at least the second sensor, the rotation of the first sensor, and therefore of the solid, between the first and second instants which delimit this time interval, and we determine the translation of the solid between these first and second instants, from the first and second images respectively acquired at the first and second instants.
  • the rotation of the first sensor is determined using the second sensor and the first sensor.
  • the rotation is applied to the first image, to obtain a first transformed image, or the reverse rotation to the second image, to obtain a second transformed image, and
  • the translation of the solid is then determined according to the first transformed image and the second image or according to the first image and the second transformed image.
  • the predetermined value is also chosen so as to be able to neglect the rotation of the solid between the first and second instants and the translation of the solid is determined as a function of the first and second images, neglecting this rotation to do this.
  • first sensors and several second sensors are made rigidly integral with the solid.
  • the present invention also relates to a device for measuring the movement of a solid, this device being characterized in that it comprises: - at least a first sensor, capable of observing a scene and providing an image of it, and at least a second sensor capable of measuring a rotation, these first and second sensors being made rigidly integral with the solid, with a view to acquiring, using the first sensor, images at successive instants, which delimit time intervals , these time intervals being less than a predetermined value, chosen so that two consecutive images have a common scene part.
  • the device which is the subject of the invention may further comprise means for processing the signals supplied by the first and second sensors, these processing means being capable of determining, for each time interval, using the signals supplied by the second sensor, the rotation of the first sensor, and therefore of the solid, between the first and second instants which delimit this time interval, and the translation of the solid between these first and second instants, from the first and second images acquired respectively at the first and second instants.
  • the processing means before determining the translation, are able to: apply the rotation to the first image, to obtain a first transformed image, or the reverse rotation to the second image, to obtain a second transformed image, and - then determine the translation of the solid as a function of the first transformed image and of the second image or as a function of the first image and of the second transformed image.
  • the predetermined value is also chosen so as to be able to neglect the rotation of the solid between the first and second instants and the processing means are capable of determining the translation of the solid from first and second images, neglecting this rotation to do this.
  • the device which is the subject of the invention may comprise several first sensors and several second sensors.
  • each first sensor is a camera.
  • each second sensor is preferably chosen from magnetometers and accelerometers.
  • a device according to the invention can be designed, provided with video cameras and angular sensors in sufficient number so that the device can continue to operate even if one of its sensors is defective or if the one of its cameras is obstructed.
  • - Figure 1 is a schematic perspective view of a first particular embodiment of the device object of the invention
  • - Figure 2 is a schematic perspective view of a second particular embodiment of this device.
  • one or more video cameras are used which operate in the visible or infrared range.
  • the number of pixels in each camera can be very small. It is worth for example 32x32.
  • one or more angular position sensors, or angular sensors are used, each of these sensors being capable of providing information on inclination with respect to at least one reference axis.
  • Each angular sensor is for example an accelerometer or a magnetometer, or even a gyrometer.
  • the reference axis is for example a vertical axis, in the case of an accelerometer, or the direction of magnetic north in the case of a magnetometer.
  • This angular sensor which is made rigidly integral with the video camera, therefore makes it possible to know the orientation of the latter relative to this axis.
  • the determination of the rotation can also be carried out by using, in addition to information coming from the angular sensor, that coming from the video camera.
  • This calculation is then adapted, as will be seen below, to take into account the additional data constituted by the knowledge of the orientation or orientations of the video camera.
  • the image supplied by this video camera can be subjected to a prior orientation, the value of which is deduced from the rotation indicated by the angular sensor, before this image is subjected to the correlation mentioned above.
  • a fifth video camera is also provided, it is arranged so that its optical axis is parallel to Y.
  • a sixth video camera is also used, it is arranged so that its optical axis is parallel to Z.
  • Figure 1 is a schematic perspective view of an example of the device object of one invention.
  • the device of FIG. 1 is intended to measure, or capture, the movement of a solid 2.
  • the device comprises a video camera 4, an angular sensor 6, which is an accelerometer or a magnetometer, and electronic means 8 provided for memorize and process the information or signals supplied by the video camera 4 and by the angular sensor 6 and to memorize the results of the treatment.
  • This video camera and this angular sensor are fixed to the solid 2 whose movement is to be measured.
  • the electronic means 8 may or may not be integral with this solid 2.
  • the video camera operates in the visible range or in the infrared range. At a given instant, it provides an image of a scene 10, that is to say of a part of the environment of the solid 2, which is in the field of this video camera 4. With the aid of the latter, images are recorded at successive instants. It is assumed that these instants are close enough that part of the scene recorded in one image is also found in the following image. More precisely, the successive instants delimit time intervals and the duration of each of these is less than a predetermined value, chosen so that two consecutive images have a common scene part. This choice depends on the maximum speed that the solid 2 is capable of reaching, the depth of field of the scene observed and the optical characteristics of the camera.
  • a value of 20 ms or 40 ms is chosen, corresponding to the standard rate of acquisition of a camera, for a maximum speed of lm / s, for a depth of field of a few meters and for a focal length of a few millimeters.
  • the present invention overcomes these drawbacks as will be understood in the light of the following.
  • the video camera 4 For each time interval [tl; t2] delimited by instants tl and t2, the video camera 4 provides at the instant tl (respectively t2) an image il (respectively i2) and the angular sensor 6 provides an angle al (respectively a2).
  • This angle is the angle formed, at this instant, between the axis of sensitivity of the sensor and a reference direction, namely the vertical direction, in the case where the sensor is an accelerometer, and the direction of magnetic north when it it is a magnetometer.
  • this movement is determined in the following way by the electronic means 8.
  • these electronic means 8 determine the rotation of the video camera 4, and therefore that of the solid 2, between the instants tl and t2, from the measurements provided by the angular sensor 6: it is a rotation whose angle is a2 - al.
  • these means 8 determine a transformed image, resulting from the angle rotation a2 - al of the image il, so that this transformed image is "aligned" with the image i2, that is to say - say made parallel to the latter.
  • the means 8 determine a transformed image by applying in this case a rotation of angle al - a2 to the image i2 to further obtain an alignment of the image il and of this transformed image.
  • the electronic means 8 carry out a conventional correlation to determine the translation of the solid 2 between the instants t1 and t2.
  • the device uses only components which are available at low cost.
  • the method does not require any mathematical integration, that is to say that it does not work from the first or second derivatives of the trajectory of the solid, derivatives which must then be integrated, which is a source known to drift.
  • the device of FIG. 1 allows the quantitative determination, in any time interval considered, of the translation of the solid, parallel to a plane which is perpendicular to the optical axis of the camera 4, and of the rotation of this solid around this axis.
  • This device comprises only one video camera so that only two components of the translation vector can be easily measured in the time interval considered, namely the projections of this vector in the image plane of the video camera. .
  • the third component is theoretically also accessible with this same camera but this requires signal processing which is complex and not very robust.
  • the angular sensor of the device in FIG. 1 only makes it possible to determine two angles of rotation of the optical axis X of the video camera 4 (uni-axis sensor), whence only a partial determination of the rotation of this camera, and therefore of solid 2, during the time interval considered.
  • the movement of the solid 2 is then measured in the manner described below.
  • the image il (respectively t2) is acquired at the instant tl (respectively i2) and the angle al or bl or cl (respectively a2 or b2 or c2) between the sensitivity axis associated with this camera and the reference axis.
  • the solid 12 has the shape of a cube and six video cameras 18a, 18b, 20a, 20b, 22a and 22b) are respectively fixed on the six faces of this cube.
  • the latter carry two cameras whose optical axes coincide with the x or y or z axis associated with these faces.
  • the x, y and z axes are respectively associated with the pairs 18a-18b, 20a-20b and 22a-22b of video cameras.
  • angular sensors are fixed on the solid 12, for example an accelerometer 24 having three axes of sensitivity and a magnetometer 26 also having three axes of sensitivity.
  • the advantage of using more than three video cameras, namely six cameras in the example of FIG. 2 is as follows: the system then becomes redundant and, therefore, even more robust.
  • the device in FIG. 2 also comprises electronic storage and processing means 28, capable of storing and processing signals supplied by the video cameras and the angular sensors and of storing the results of the processing.
  • electronic storage and processing means 28 capable of storing and processing signals supplied by the video cameras and the angular sensors and of storing the results of the processing.
  • the angular sensors (that is to say the tri-axis accelerometer 24 and the tri-axis magnetometer 26) indicate the rotation around the x axis.
  • This treatment can of course be applied (neglect of rotation) for all the cameras with which the solid 12 is provided.
  • the angular sensors 24 and 26 are fixed on the same face of the cube. However, these angular sensors, which are mechanically attached to the video cameras, could be distributed over the cube.
  • the device of Figure 2 has various advantages.
  • the device in FIG. 2 is more robust, that is to say better withstands measurement noise.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Procédé et dispositif de capture du mouvement d'un solide, utilisant au moins une caméra et un capteur angulaire. Selon l'invention, qui s'applique notamment aux jeux vidéo, on munit le solide (2) d'au moins un premier capteur (4) pour observer une scène et en fournir une image et d'au moins un deuxième capteur (6) pour mesurer une rotation, on acquiert, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps pour chacun desquels on détermine la rotation du premier capteur à l'aide au moins du deuxième capteur et la translation du solide à partir des images.

Description

PROCEDE ET DISPOSITIF DE CAPTURE DU MOUVEMENT D'UN SOLIDE, UTILISANT AU MOINS UNE CAMERA ET UN CAPTEUR
ANGULAIRE
DESCRIPTION
DOMAINE TECHNIQUE
La présente invention concerne un procédé et un dispositif permettant de capturer (« sensing ») - on dit aussi mesurer - le mouvement d'un objet ou, plus précisément, d'un solide.
L'invention s'applique à tout domaine où l'on a besoin de capturer un mouvement, depuis la simple centrale d'attitude jusqu'aux systèmes miniatures de capture à six degrés de liberté. L'invention s'applique par exemple aux domaines suivants :
- navigation multimédia,
- jeux vidéo, conception assistée par ordinateur (« computer aided design ») et conception en milieu industriel,
- périphériques informatiques,
- objets communicants, et
- santé (en particulier la chirurgie et le maintien à domicile) .
ETAT DE LA TECHNIQUE ANTERIEURE
Jusqu'à présent, personne n'a été capable de concevoir un système de capture de mouvement qui soit à la fois miniature et versatile. On sait que les professionnels utilisent des techniques de capture du genre magnétique ou optique. Les techniques réservées au grand public doivent être, quant à elles, peu coûteuses et conduisent actuellement soit à l' accélérométrie soit à la mesure en trois dimensions à partir de séquences vidéo.
Aucune de ces méthodes n'est satisfaisante : elles sont toutes difficiles à maîtriser du point de vue technique et la vidéo nécessite une grande puissance de calcul et une mise en œuvre complexe.
Plus précisément, dans le domaine de la capture du mouvement à six degré de liberté, les systèmes professionnels les plus performants font appel à des méthodes actives, nécessitant d'équiper le volume de mesure, par exemple une pièce, soit de caméras (pour les méthodes optiques actives) soit de générateurs de champ magnétique. Ces techniques sont chères, incompatibles avec une démocratisation de la capture du mouvement, dont les applications sont pourtant nombreuses. De plus, elles nécessitent des experts pour leur mise en œuvre . De nombreuses recherches sont en cours pour remédier à ces inconvénients et proposer des systèmes moins onéreux, fiables et faciles à utiliser.
Pour l'instant, les produits qui résultent de ces recherches sont rares. On peut néanmoins citer, parmi ces produits, le système de la Société
Intersense, appelé « Inertiacube » (marque déposée) . Ce système utilise neuf capteurs (« sensors » ) , à savoir trois accéléromètres, trois magnêtomètres et trois gyromètres .
Cependant, ce système ne donne pas satisfaction car il fonctionne sur un principe d'intégration des signaux. Or, on sait que les méthodes d' intégration sont extrêmement délicates à maîtriser car elles sont classiquement trop sensibles au bruit de mesure . À l'usage, le système Inertiacube (marque déposée) montre ce handicap à travers une dérive sensible de la mesure, corrigée par recalage environ toutes les secondes. Ce système s'avère ainsi difficilement utilisable car il est n'est pas assez fiable.
On se reportera en outre au document suivant :
[1] EP 1 089 215 A, « Optical sensing and control of movements using multiple passive sensors ». Ce document décrit une technique qui met en œuvre uniquement des caméras pour reconstituer les six paramètres d'un mouvement.
Cette technique nécessite des algorithmes complexes pour corriger une dérive systématique au cours des mesures.
EXPOSÉ DE L'INVENTION
La présente invention a pour but de remédier aux inconvénients précédents . Selon un aspect de l'invention, on combine des mesures de translation sans intégration, effectuées avec des moyens optiques passifs, et des mesures de rotation également sans intégration, effectuées avec des capteurs appropriés. Aucune intégration n'est ainsi nécessaire . Selon un autre aspect de l'invention, on associe une ou plusieurs caméras vidéo et un ou plusieurs capteurs, du genre des accéléromètres ou des magnêtomètres, on utilise les mesures effectuées avec ces capteurs en tant que mesures correctrices et l'on applique ces dernières aux mesures effectuées avec les caméras .
Il convient de noter qu'un système multimodal, comprenant des accéléromètres et/ou des magnêtomètres, est particulièrement bien adapté à la restitution des angles de rotation d'un solide autour de son centre de gravité. Néanmoins, il est plus difficile de mettre en œuvre un tel système dans l'intention de restituer les translations de ce solide.
Au contraire, un système fondé sur la vidéo est apte à estimer facilement des mouvements de translation, du moins de façon qualitative voire de façon quantitative.
La présente invention tire parti de ces complémentarités pour proposer un dispositif permettant de capturer les rotations et les translations d'un solide, en vue de restituer ces rotations et translations .
Il convient de distinguer le dispositif objet de l'invention d'un dispositif connu, dont la constitution ressemble à la sienne mais dont les objectifs sont totalement différents. Ce dispositif connu met en œuvre une technique permettant de restituer la troisième dimension dans une scène filmée par une caméra vidéo. On utilise une seule caméra que l'on déplace pour engendrer une succession de points de vue différents d'une même scène.
Il existe des logiciels contenant des algorithmes qui prennent en compte ces différents points de vue pour restituer cette troisième dimension de façon totale ou partielle. A titre d'exemple, la
Société Realviz commercialise de tels logiciels.
Dans certaines réalisations, la caméra peut être équipée d'un système de capture du mouvement. On obtient alors un dispositif qui ressemble à celui de la présente invention mais, en aucun cas, la sortie-image de la caméra n'est combinée à la sortie du système de capture, contrairement à la présente invention.
La sortie de ce système est utilisée, dans les algorithmes, pour restituer la troisième dimension dans la scène vue par la caméra et non pas pour restituer les six degrés de liberté du mouvement de la caméra elle - même, le contenu de l'image dans ce cas étant d'ailleurs sans importance.
Les objectifs de ce dispositif connu sont donc totalement différents de ceux de l'invention.
De façon précise, la présente invention concerne un procédé de mesure du mouvement d'un solide, ce procédé étant caractérisé en ce que :
- on rend rigidement solidaires du solide au moins un premier capteur apte à observer une scène et à fournir une image de celle-ci et au moins un deuxième capteur apte à mesurer une rotation,
- on acquiert, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune et, pour chaque intervalle de temps, on détermine, a l'aide au moins du deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et on détermine la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants .
Selon un mode de mise en œuvre particulier de l'invention, la rotation du premier capteur est déterminée à 1 ' aide du deuxième capteur et du premier capteur.
Selon un premier mode de mise en œuvre particulier du procédé objet de l'invention,
- avant de déterminer la translation, on applique la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et
- on détermine ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première image et de la deuxième image transformée. Selon un deuxième mode de mise en œuvre particulier du procédé objet de l' invention, la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide entre les premier et deuxième instants et l'on détermine la translation du solide en fonction des première et deuxième images, en négligeant, pour ce faire, cette rotation.
Selon un mode de mise en œuvre préféré du procédé objet de l'invention, on rend rigidement solidaires du solide plusieurs premiers capteurs et plusieurs deuxièmes capteurs.
La présente invention concerne aussi un dispositif de mesure du mouvement d'un solide, ce dispositif étant caractérisé en ce qu'il comprend : - au moins un premier capteur, apte à observer une scène et à fournir une image de celle-ci, et au moins un deuxième capteur apte à mesurer une rotation, ces premier et deuxième capteurs étant rendus rigidement solidaires du solide, en vue d'acquérir, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune.
Le dispositif objet de l'invention peut comprendre en outre des moyens de traitement des signaux fournis par les premier et deuxième capteurs, ces moyens de traitement étant aptes à déterminer, pour chaque intervalle de temps, à l'aide des signaux fournis par le deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants .
Selon un premier mode de réalisation particulier du dispositif objet de l'invention, avant de déterminer la translation, les moyens de traitement sont aptes à : appliquer la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et - déterminer ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première image et de la deuxième image transformée.
Selon un deuxième mode de réalisation particulier du dispositif objet de l'invention, la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide entre les premier et deuxième instants et les moyens de traitement sont aptes à déterminer la translation du solide à partir des première et deuxième images, en négligeant, pour ce faire, cette rotation.
Le dispositif objet de l'invention peut comprendre plusieurs premiers capteurs et plusieurs deuxièmes capteurs . De préférence, chaque premier capteur est une caméra. En outre, chaque deuxième capteur est de préférence choisi parmi les magnêtomètres et les accéléromètres .
Il convient de noter que l'on peut concevoir un dispositif conforme à l'invention, pourvu de caméras vidéo et de capteurs angulaires en nombre suffisant pour que le dispositif puisse continuer à fonctionner même si l'un de ses capteurs est déficient ou si l'une de ses caméras est obstruée.
BRÈVE DESCRIPTION DES DESSINS
La présente invention sera mieux comprise à la lecture de la description d'exemples de réalisation donnés ci-après, à titre purement indicatif et nullement limitatif, en faisant référence aux dessins annexés, sur lesquels :
- la figure 1 est une vue en perspective schématique d'un premier mode de réalisation particulier du dispositif objet de l'invention, et - la figure 2 est une vue en perspective schématique d'un deuxième mode de réalisation particulier de ce dispositif.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
Dans des exemples de l'invention, on utilise une ou plusieurs caméras vidéo qui fonctionnent dans le domaine visible ou infrarouge. Le nombre de pixels de chaque caméra peut être très faible. Il vaut par exemple 32x32. En outre dans ces exemples, on utilise un ou plusieurs capteurs de positions angulaires, ou capteurs angulaires, chacun de ces capteurs étant capable de fournir une information d'inclinaison par rapport à au moins un axe de référence .
Chaque capteur angulaire est par exemple un acceleromètre ou un magnétomètre, voire un gyromètre. L'axe de référence est par exemple un axe vertical, dans le cas d'un acceleromètre, ou la direction du nord magnétique dans le cas d'un magnétomètre.
Ce capteur angulaire, qui est rendu rigidement solidaire de la caméra vidéo, permet donc de connaître l'orientation de cette dernière par rapport à cet axe . La détermination de la rotation peut être aussi réalisée en utilisant, en plus des informations provenant du capteur angulaire, celles provenant de la caméra vidéo.
Si l'on utilise plusieurs capteurs angulaires à un seul axe de sensibilité (capteurs uni- axes) ou un capteur angulaire à plusieurs axes de sensibilité (capteur multi-axes) , on dispose de plusieurs axes de sensibilité et l'on peut alors connaître les orientations respectives des divers axes de sensibilité par rapport à l'axe de référence mentionné plus haut.
Si l'on utilise un capteur (acceleromètre ou magnétomètre) à trois axes de sensibilité orthogonaux (capteur tri-axe) , on est alors capable de connaître les trois angles d'Euler associés au solide portant la caméra vidéo. Il faut remarquer que dans certaines applications, il n'est pas nécessaire de connaître tous les degrés de liberté : certains d'entre eux peuvent être figés par hypothèse ou compris dans une plage de valeurs réduite. L'invention pourra alors être simplifiée en utilisant un nombre restreint de capteurs .
On peut mettre en œuvre un calcul fondé sur la corrélation qui permet de calculer la direction de translation du solide (auquel sont fixés le ou les capteurs angulaires et la ou les caméras vidéo) , voire la valeur de cette translation dans certains cas (à savoir en environnement calibré par exemple par l'adjonction de mires dans la scène observée). Ce calcul est alors adapté, comme on le verra plus loin, pour prendre en compte la donnée supplémentaire constituée par la connaissance de l'orientation ou des orientations de la caméra vidéo.
Par exemple, l'image fournie par cette caméra vidéo peut subir une orientation préalable, dont la valeur est déduite de la rotation indiquée par le capteur angulaire, avant que cette image ne soit soumise à la corrélation mentionnée plus haut.
Dans un exemple de l'invention, apte à fournir un grand nombre d'informations, jusqu'à trois valeurs de translation et trois valeurs de rotation, on utilise :
- un acceleromètre tri-axe,
- un magnétomètre tri-axe et - de une à six caméras vidéo dont les axes optiques respectifs sont orthogonaux. Dans ce cas, les trois axes de rotation de la caméra (ou de chaque caméra) sont pris en compte dans l'algorithme de corrélation entre images successives . Des informations quantitatives sont également accessibles dans le cas de cet exemple.
Précisons ce que l'on entend par "axes optiques orthogonaux" .
Cette notion n'a de sens que si l'on utilise au moins deux caméras vidéo dont les axes optiques, notés X et Y, sont alors orthogonaux.
Si l'on ajoute une troisième caméra vidéo, on la dispose de façon que son axe optique Z soit orthogonal à X et Y. Si l'on utilise en outre une quatrième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à X.
Si l'on prévoit aussi une cinquième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à Y.
Si l'on utilise de plus une sixième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à Z.
La figure 1 est une vue en perspective schématique d'un exemple du dispositif objet de 1 ' invention.
Le dispositif de la figure 1 est destiné à mesurer, ou capturer, le mouvement d'un solide 2.
Le dispositif comprend une caméra vidéo 4, un capteur angulaire 6, qui est un acceleromètre ou un magnétomètre, et des moyens électroniques 8 prévus pour mémoriser et traiter les informations ou signaux fournis par la caméra vidéo 4 et par le capteur angulaire 6 et pour mémoriser les résultats du traitement . Cette caméra vidéo et ce capteur angulaire sont fixés au solide 2 dont on veut mesurer le mouvement . Les moyens électroniques 8 peuvent être solidaires, ou non, de ce solide 2.
La caméra vidéo, dont l'axe est noté X sur la figure 1, fonctionne dans le domaine visible ou dans le domaine infrarouge. A un instant donné, elle fournit une image d'une scène 10, c'est-à-dire d'une partie de l'environnement du solide 2, qui se trouve dans le champ de cette caméra vidéo 4. A l'aide de cette dernière, on enregistre des images à des instants successifs. On suppose que ces instants sont suffisamment rapprochés pour qu'une partie de la scène enregistrée dans une image se retrouve aussi dans l'image suivante. Plus précisément, les instants successifs délimitent des intervalles de temps et la durée de chacun de ces derniers est inférieure à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune. Ce choix dépend de la vitesse maximale que le solide 2 est susceptible d'atteindre, de la profondeur de champ de la scène observée et des caractéristiques optiques de la caméra.
A titre purement indicatif et nullement limitatif, on choisit une valeur de 20ms ou 40ms, correspondant à la cadence standard d'acquisition d'une caméra, pour une vitesse maximale de lm/s, pour une profondeur de champ de quelques mètres et pour une focale de quelques millimètres.
On connaît, en particulier par le document [1] , des techniques permettant de retrouver le mouvement de la caméra vidéo . Lorsque ce mouvement inclut une rotation, ces techniques deviennent beaucoup plus complexes du point de vue des calculs et simultanément moins "robustes" c'est-à-dire moins résistantes aux bruits des mesures.
La présente invention permet de remédier à ces inconvénients comme on le comprendra à la lumière de ce qui suit.
Avec le dispositif de la figure 1, le mouvement du solide est mesuré de la façon suivante.
Pour chaque intervalle de temps [tl;t2] délimité par des instants tl et t2, la caméra vidéo 4 fournit à l'instant tl (respectivement t2) une image il (respectivement i2) et le capteur angulaire 6 fournit un angle al (respectivement a2) .
Cet angle est l'angle formé, à cet instant, entre l'axe de sensibilité du capteur et une direction de référence, à savoir la direction verticale, dans le cas où le capteur est un acceleromètre, et la direction du nord magnétique lorsque il s'agit d'un magnétomètre.
On sait qu'entre les instants tl et t2 le mouvement du solide 2 se décompose en une translation et une rotation. Conformément à l'invention, ce mouvement est déterminé de la façon suivante par les moyens électroniques 8. Dans une première étape, ces moyens électroniques 8 déterminent la rotation de la caméra vidéo 4, et donc celle du solide 2, entre les instants tl et t2, à partir des mesures fournies par le capteur angulaire 6 : il s'agit d'une rotation dont l'angle vaut a2 - al .
Dans une deuxième étape, ces moyens 8 déterminent une image transformée, résultant de la rotation d'angle a2 - al de l'image il, de sorte que cette image transformée est "alignée" avec l'image i2, c'est-à-dire rendue parallèle à cette dernière.
En variante, les moyens 8 déterminent une image transformée en appliquant dans ce cas une rotation d'angle al - a2 à l'image i2 pour obtenir encore un alignement de l'image il et de cette image transformée .
Dans une troisième étape, à partir des images ainsi alignées, les moyens électroniques 8 effectuent une corrélation classique pour déterminer la translation du solide 2 entre les instants tl et t2.
On connaît ainsi le mouvement (translation et rotation) du solide 2 entre ces instants.
En répétant les étapes mentionnées ci- dessus, on peut déterminer et mémoriser le mouvement du solide 2 pendant chaque intervalle de temps considéré et donc le mouvement de ce solide 2 entre l'instant initial et l'instant final de son déplacement.
On indique ci-après les avantages du procédé et du dispositif qui ont été décrits en faisant référence a la figure 1. D'une part, les algorithmes sont simplifiés et consomment moins de puissance de calcul que dans 1 ' art antérieur.
D'autre part, le dispositif utilise seulement des composants qui sont disponibles à faible coût.
En outre, le procédé ne nécessite aucune intégration mathématique, c'est-à-dire qu'il ne fonctionne pas à partir des dérivées première ou seconde de la trajectoire du solide, dérivées qu'il faut ensuite intégrer, ce qui est une source connue de dérive.
Ce procédé est donc très résistant aux bruits de la mesure, ce qui est un avantage déterminant par rapport aux techniques connues.
Dans une variante du procédé de mesure du mouvement d'un solide, que l'on a expliqué ci-dessus, il est possible d'utiliser une corrélation encore plus rapide pour retrouver la translation du solide entre les instants tl et t2.
Pour ce faire, on remplace la corrélation bidimensionnelle classique, qui sert à déterminer la translation du solide, dans un plan perpendiculaire à l'axe optique X de la caméra, par deux corrélations unidimensionnelles des projections des deux images il et i2 d'abord sur un axe XI puis sur un axe X2 , XI et X2 étant deux axes perpendiculaires du plan mentionné ci-dessus (qui est perpendiculaire à l'axe X).
Le dispositif de la figure 1 permet la détermination quantitative, dans tout intervalle de temps considéré, de la translation du solide, parallèlement à un plan qui est perpendiculaire à l'axe optique de la caméra 4, et de la rotation de ce solide autour de cet axe .
Ce dispositif ne comporte qu'une caméra vidéo de sorte que l'on ne peut mesurer facilement que deux composantes du vecteur de translation dans l'intervalle de temps considéré, à savoir les projections de ce vecteur dans le plan-image de la caméra vidéo.
La troisième composante est théoriquement aussi accessible avec cette même caméra mais cela requiert des traitements du signal qui sont complexes et peu robustes.
Pour mesurer complètement et de façon robuste la translation du solide, il faut fixer sur ce dernier, en plus de la caméra vidéo 4, au moins une voire deux autres caméras vidéo 4a et 4b dont les axes optiques respectifs Y et Z définissent un trièdre trirectangle avec l'axe X, afin d'obtenir les trois composantes du vecteur de translation dans l'intervalle de temps considéré.
De même, le capteur angulaire du dispositif de la figure 1, permet seulement de déterminer deux angles de rotation de l'axe optique X de la caméra vidéo 4 (capteur uni-axe) , d'où une détermination seulement partielle de la rotation de cette caméra, et donc du solide 2, pendant l'intervalle de temps considéré.
Pour mesurer complètement la rotation du solide, il faut utiliser au moins un capteur angulaire tri-axe 7 (ou au moins trois capteurs angulaires uni-axes) , à la place du capteur uni-axe 6, afin d'obtenir trois angles de rotation du solide 2 pendant l'intervalle de temps considéré et pouvoir faire la rotation d'image mentionnée plus haut pour chaque caméra vidéo utilisée.
Le mouvement du solide 2 est alors mesuré de la façon exposée ci-après. Pour chaque intervalle de temps [tl;t2] et chacune des trois caméras vidéo, on acquiert à l'instant tl (respectivement t2) l'image il (respectivement i2) et l'angle al ou bl ou cl (respectivement a2 ou b2 ou c2) entre l'axe de sensibilité associé à cette caméra et l'axe de référence.
On détermine alors les trois angles de rotation de cette caméra (première étape) , on applique successivement les trois rotations correspondantes à l'image il ou les rotations inverses à l'image i2 (deuxième étape) et, ces images étant alors
« alignées -» , on effectue une corrélation classique pour déterminer la composante du vecteur de translation, qui est associée à la caméra considérée
(troisième étape) . On détermine ainsi qualitativement la translation (c'est-à-dire les trois composantes du vecteur de translation) et quantitativement la rotation du solide 2 pour chaque intervalle de temps et donc pour la réunion de ces intervalles. Les trois caméras vidéo mentionnées plus haut peuvent être respectivement fixées sur les trois faces d'un trièdre, dans le cas où le solide comporte un tel trièdre.
Dans l'exemple de la figure 2, le solide 12 a la forme d'un cube et six caméras vidéo 18a, 18b, 20a, 20b, 22a et 22b) sont respectivement fixées sur les six faces de ce cube.
On note x, y et z des axes du cube, tels que chacun de ces axes passe par les centres de deux faces opposées du cube et soit perpendiculaire à ces deux faces .
Ces dernières portent deux des caméras dont les axes optiques coïncident avec l'axe x ou y ou z associé à ces faces. Comme on le voit, les axes x, y et z sont respectivement associés aux couples 18a-18b, 20a-20b et 22a-22b de caméras vidéo.
En outre, on fixe plusieurs capteurs angulaires sur le solide 12, par exemple un acceleromètre 24 ayant trois axes de sensibilité et un magnétomètre 26 ayant aussi trois axes de sensibilité.
L'intérêt d'utiliser à la fois cet acceleromètre et ce magnétomètre est le suivant : on peut ainsi accéder à la mesure des trois degrés de liberté de rotation du solide de manière robuste et peu coûteuse.
De même, l'intérêt d'utiliser plus de trois caméras vidéo, à savoir six caméras dans l'exemple de la figure 2, est le suivant : le système devient alors redondant et, de ce fait, encore plus robuste.
On précise que le dispositif de la figure 2 comprend encore des moyens électroniques de mémorisation et de traitement 28, aptes à mémoriser et traiter des signaux fournis par les caméras vidéo et les capteurs angulaires et à mémoriser les résultats du traitement. Considérons maintenant un autre exemple de 1 ' invention.
Supposons que le solide 12 (figure 2) , dont on veut restituer le mouvement, soit affecté d'un mouvement de rotation autour de l'axe x (voir la figure
2) , ce mouvement de rotation étant superposé à une translation selon l'axe y (figure 2).
Les capteurs angulaires (c'est-à dire 1 'acceleromètre tri-axe 24 et le magnétomètre tri-axe 26) indiquent la rotation autour de l'axe x.
Si cette rotation est faible - ce qui est toujours possible en choisissant un intervalle de temps suffisamment petit entre deux mesures consécutives - l'une des caméras vidéo dont l'axe optique coïncide avec l'axe z (figure 2) voit essentiellement la translation imposée au solide 12.
Il n'est alors même plus nécessaire d'effectuer la rotation de l'image observée selon cet axe optique (deuxième étape dans l'algorithme mentionné plus haut) . Les images fournies par cette caméra permettent d'obtenir directement la composante de translation correspondante.
On peut bien entendu appliquer ce traitement (négligence des rotations) pour toutes les caméras dont est pourvu le solide 12.
Dans l'exemple de la figure 2, les capteurs angulaires 24 et 26 sont fixés sur la même face du cube. Cependant, ces capteurs angulaires, qui sont mécaniquement solidaires des caméras vidéo, pourraient être répartis sur le cube. Le dispositif de la figure 2 présente divers avantages .
Par rapport à un dispositif sur lequel on fixe seulement des caméras vidéo, le dispositif de la figure 2 est plus robuste c'est-à-dire résiste mieux aux bruits des mesures .
En effet, une rotation par exemple autour de l'axe x se traduit par des translations apparentes sur les caméras dont les axes optiques coïncident respectivement avec les axes y et z. Il faut donc être à même de distinguer s'il s'agit d'une vraie translation ou d'une rotation. Cela se traduit par une complexification algorithmique, alors que l'un quelconque des capteurs angulaires fixés au solide 12 fournit cette information.
De plus, la redondance des informations fournies par plusieurs capteurs de natures différentes se traduit par une robustesse accrue. Ce point est capital pour la réalisation d'un dispositif destiné au grand public, qui doit fonctionner dans des environnements très variables.

Claims

REVENDICATIONS
1. Procédé de mesure du mouvement d'un solide (2, 12), ce procédé étant caractérisé en ce que :
- on rend rigidement solidaires du solide au moins un premier capteur (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) apte à observer une scène et à fournir une image de celle-ci et au moins un deuxième capteur (6, 7, 24, 26) apte à mesurer une rotation,
- on acquiert, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune et, pour chaque intervalle de temps, on détermine, à l'aide au moins du deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et on détermine la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants.
2. Procédé selon la revendication 1, dans lequel la rotation du premier capteur est déterminée à l'aide du deuxième capteur et du premier capteur.
3. Procédé selon l'une quelconque des revendication 1 et 2, dans lequel - avant de déterminer la translation, on applique la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et
- on détermine ensuite la translation du solide (2, 12) en fonction de la première image transformée et de la deuxième image ou en fonction de la première image et de la deuxième image transformée.
4. Procédé selon l'une quelconque des revendications 1 et 2, dans lequel la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide (2, 12) entre les premier et deuxième instants et l'on détermine la translation du solide en fonction des première et deuxième images, en négligeant, pour ce faire, cette rotation.
5. Procédé selon l'une quelconque des revendications 1 à 4, dans lequel on rend rigidement solidaires du solide (2, 12) plusieurs premiers capteurs (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) et plusieurs deuxièmes capteurs (7, 24, 26).
6. Dispositif de mesure du mouvement d'un solide (2, 12) , ce dispositif étant caractérisé en ce qu'il comprend :
- au moins un premier capteur (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) , apte à observer une scène et à fournir une image de celle-ci, et - au moins un deuxième capteur (6, 7, 24, 26) apte à mesurer une rotation, ces premier et deuxième capteurs étant rendus rigidement solidaires du solide, en vue d'acquérir, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune .
7. Dispositif selon la revendication 6, comprenant en outre des moyens de traitement (8, 28) des signaux fournis par les premier et deuxième capteurs, ces moyens de traitement étant aptes à déterminer, pour chaque intervalle de temps, à l'aide des signaux fournis par le deuxième capteur, la rotation du premier capteur, et donc du solide (2, 12), entre les premier et deuxième instants qui délimitent cet intervalle de temps, et la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants .
8. Dispositif selon la revendication 7, dans lequel, avant de déterminer la translation, les moyens de traitement (8, 28) sont aptes à : appliquer la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et - déterminer ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première image et de la deuxième image transformée.
9. Dispositif selon la revendication 7, dans lequel la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide (2, 12) entre les premier et deuxième instants et les moyens de traitement sont aptes à déterminer la translation du solide à partir des première et deuxième images, en négligeant, pour ce faire, cette rotation.
10. Dispositif selon l'une quelconque des revendications 6 à 9, comprenant plusieurs premiers capteurs (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) et plusieurs deuxièmes capteurs (7, 24, 26).
11. Dispositif selon l'une quelconque des revendications 6 à 10, dans lequel chaque premier capteur (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) est une caméra.
12. Dispositif selon l'une quelconque des revendications 6 à 11, dans lequel chaque deuxième capteur (6, 7, 24, 26) est choisi parmi les magnêtomètres et les accéléromètres.
PCT/FR2003/003484 2002-11-27 2003-11-25 Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire WO2004051391A2 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2003294084A AU2003294084A1 (en) 2002-11-27 2003-11-25 Method and device for capturing the movement of a solid using at least one camera and one angular sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR02/14883 2002-11-27
FR0214883A FR2847689B1 (fr) 2002-11-27 2002-11-27 Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire

Publications (2)

Publication Number Publication Date
WO2004051391A2 true WO2004051391A2 (fr) 2004-06-17
WO2004051391A3 WO2004051391A3 (fr) 2004-07-15

Family

ID=32241670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2003/003484 WO2004051391A2 (fr) 2002-11-27 2003-11-25 Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire

Country Status (3)

Country Link
AU (1) AU2003294084A1 (fr)
FR (1) FR2847689B1 (fr)
WO (1) WO2004051391A2 (fr)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1759746A2 (fr) * 2005-09-01 2007-03-07 Nintendo Co., Ltd. Système et logiciel traitant de l'information
EP1839714A2 (fr) 2006-03-28 2007-10-03 Nintendo Co., Ltd. Appareil et logiciel pour le calcul de l'inclinaison, appareil et logiciel de jeu
EP1854518A2 (fr) 2005-08-22 2007-11-14 Nintendo Co., Limited Dispositif d'opération de jeu
WO2007138245A1 (fr) * 2006-06-01 2007-12-06 New Concept Gaming Limited Contrôleur de jeu
US7786976B2 (en) 2006-03-09 2010-08-31 Nintendo Co., Ltd. Coordinate calculating apparatus and coordinate calculating program
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8907889B2 (en) 2005-01-12 2014-12-09 Thinkoptics, Inc. Handheld vision based absolute pointing system
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US9039533B2 (en) 2003-03-25 2015-05-26 Creative Kingdoms, Llc Wireless interactive game having both physical and virtual elements
US9044671B2 (en) 2005-08-24 2015-06-02 Nintendo Co., Ltd. Game controller and game system
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US9616334B2 (en) 2002-04-05 2017-04-11 Mq Gaming, Llc Multi-platform gaming system using RFID-tagged toys
US9675878B2 (en) 2004-09-29 2017-06-13 Mq Gaming, Llc System and method for playing a virtual game by sensing physical movements
US9713766B2 (en) 2000-02-22 2017-07-25 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9731194B2 (en) 1999-02-26 2017-08-15 Mq Gaming, Llc Multi-platform gaming systems and methods
US9931578B2 (en) 2000-10-20 2018-04-03 Mq Gaming, Llc Toy incorporating RFID tag
US9993724B2 (en) 2003-03-25 2018-06-12 Mq Gaming, Llc Interactive gaming toy
US10010790B2 (en) 2002-04-05 2018-07-03 Mq Gaming, Llc System and method for playing an interactive game

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2864225B1 (fr) 2003-12-22 2006-07-21 Commissariat Energie Atomique Procede de mesure du mouvement d'un solide, utilisant une mesure absolue associee a une mesure par double integration
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
JP5224832B2 (ja) 2008-01-21 2013-07-03 任天堂株式会社 情報処理プログラムおよび情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
EP1089215A1 (fr) * 1999-09-14 2001-04-04 Mitsubishi Denki Kabushiki Kaisha Détection optique et commande de mouvements par plusieurs capteurs passifs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
EP1089215A1 (fr) * 1999-09-14 2001-04-04 Mitsubishi Denki Kabushiki Kaisha Détection optique et commande de mouvements par plusieurs capteurs passifs

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AZUMA R ET AL: "Tracking in unprepared environments for augmented reality systems" COMPUTERS AND GRAPHICS, PERGAMON PRESS LTD. OXFORD, GB, vol. 23, no. 6, décembre 1999 (1999-12), pages 787-793, XP004187823 ISSN: 0097-8493 *
YOU S ET AL: "HYBRID INERTIAL AND VISION TRACKING FOR AUGMENTED REALITY REGISTRATION" PROCEEDINGS IEEE 1999 VIRTUAL REALITY. HOUSTON, TX, MARCH 13 - 17, 1999, PROCEEDINGS IEEE VIRTUAL REALITY.(VR), NEW YORK, NY: IEEE, US, 13 mars 1999 (1999-03-13), pages 260-267, XP000887668 ISBN: 0-7803-5559-9 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10300374B2 (en) 1999-02-26 2019-05-28 Mq Gaming, Llc Multi-platform gaming systems and methods
US9731194B2 (en) 1999-02-26 2017-08-15 Mq Gaming, Llc Multi-platform gaming systems and methods
US9861887B1 (en) 1999-02-26 2018-01-09 Mq Gaming, Llc Multi-platform gaming systems and methods
US10188953B2 (en) 2000-02-22 2019-01-29 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US10307671B2 (en) 2000-02-22 2019-06-04 Mq Gaming, Llc Interactive entertainment system
US9713766B2 (en) 2000-02-22 2017-07-25 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9814973B2 (en) 2000-02-22 2017-11-14 Mq Gaming, Llc Interactive entertainment system
US10307683B2 (en) 2000-10-20 2019-06-04 Mq Gaming, Llc Toy incorporating RFID tag
US9931578B2 (en) 2000-10-20 2018-04-03 Mq Gaming, Llc Toy incorporating RFID tag
US10758818B2 (en) 2001-02-22 2020-09-01 Mq Gaming, Llc Wireless entertainment device, system, and method
US9737797B2 (en) 2001-02-22 2017-08-22 Mq Gaming, Llc Wireless entertainment device, system, and method
US10179283B2 (en) 2001-02-22 2019-01-15 Mq Gaming, Llc Wireless entertainment device, system, and method
US10507387B2 (en) 2002-04-05 2019-12-17 Mq Gaming, Llc System and method for playing an interactive game
US10010790B2 (en) 2002-04-05 2018-07-03 Mq Gaming, Llc System and method for playing an interactive game
US9616334B2 (en) 2002-04-05 2017-04-11 Mq Gaming, Llc Multi-platform gaming system using RFID-tagged toys
US11278796B2 (en) 2002-04-05 2022-03-22 Mq Gaming, Llc Methods and systems for providing personalized interactive entertainment
US10478719B2 (en) 2002-04-05 2019-11-19 Mq Gaming, Llc Methods and systems for providing personalized interactive entertainment
US9707478B2 (en) 2003-03-25 2017-07-18 Mq Gaming, Llc Motion-sensitive controller and associated gaming applications
US9770652B2 (en) 2003-03-25 2017-09-26 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US11052309B2 (en) 2003-03-25 2021-07-06 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US10583357B2 (en) 2003-03-25 2020-03-10 Mq Gaming, Llc Interactive gaming toy
US9039533B2 (en) 2003-03-25 2015-05-26 Creative Kingdoms, Llc Wireless interactive game having both physical and virtual elements
US10369463B2 (en) 2003-03-25 2019-08-06 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US10022624B2 (en) 2003-03-25 2018-07-17 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US9993724B2 (en) 2003-03-25 2018-06-12 Mq Gaming, Llc Interactive gaming toy
US9675878B2 (en) 2004-09-29 2017-06-13 Mq Gaming, Llc System and method for playing a virtual game by sensing physical movements
US8907889B2 (en) 2005-01-12 2014-12-09 Thinkoptics, Inc. Handheld vision based absolute pointing system
US9700806B2 (en) 2005-08-22 2017-07-11 Nintendo Co., Ltd. Game operating device
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US7931535B2 (en) 2005-08-22 2011-04-26 Nintendo Co., Ltd. Game operating device
US10661183B2 (en) 2005-08-22 2020-05-26 Nintendo Co., Ltd. Game operating device
EP1854518A2 (fr) 2005-08-22 2007-11-14 Nintendo Co., Limited Dispositif d'opération de jeu
US10238978B2 (en) 2005-08-22 2019-03-26 Nintendo Co., Ltd. Game operating device
US10155170B2 (en) 2005-08-22 2018-12-18 Nintendo Co., Ltd. Game operating device with holding portion detachably holding an electronic device
US10137365B2 (en) 2005-08-24 2018-11-27 Nintendo Co., Ltd. Game controller and game system
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US11027190B2 (en) 2005-08-24 2021-06-08 Nintendo Co., Ltd. Game controller and game system
US9044671B2 (en) 2005-08-24 2015-06-02 Nintendo Co., Ltd. Game controller and game system
EP1759746A3 (fr) * 2005-09-01 2008-09-24 Nintendo Co., Ltd. Système et logiciel traitant de l'information
EP2078547A1 (fr) * 2005-09-01 2009-07-15 Nintendo Co., Ltd. Système de traitement d'informations et programme
EP2075042A3 (fr) * 2005-09-01 2009-07-08 Nintendo Co., Ltd. Système de traitement d'informations et programme
EP1759746A2 (fr) * 2005-09-01 2007-03-07 Nintendo Co., Ltd. Système et logiciel traitant de l'information
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7786976B2 (en) 2006-03-09 2010-08-31 Nintendo Co., Ltd. Coordinate calculating apparatus and coordinate calculating program
EP1964595A1 (fr) * 2006-03-28 2008-09-03 Nintendo Co., Limited Appareil de calcul de l'inclinaison, programme de calcul de l'inclinaison, appareil de jeu et programme de jeu
EP1839714A3 (fr) * 2006-03-28 2007-12-12 Nintendo Co., Ltd. Appareil et logiciel pour le calcul de l'inclinaison, appareil et logiciel de jeu
US7877224B2 (en) 2006-03-28 2011-01-25 Nintendo Co, Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
EP1967239A1 (fr) 2006-03-28 2008-09-10 Nintendo Co., Limited Appareil de calcul de l'inclinaison, programme de calcul de l'inclinaison, appareil de jeu et programme de jeu
JP2007263648A (ja) * 2006-03-28 2007-10-11 Nintendo Co Ltd 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US8473245B2 (en) 2006-03-28 2013-06-25 Nintendo Co., Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
US8041536B2 (en) 2006-03-28 2011-10-18 Nintendo Co., Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
EP1839714A2 (fr) 2006-03-28 2007-10-03 Nintendo Co., Ltd. Appareil et logiciel pour le calcul de l'inclinaison, appareil et logiciel de jeu
WO2007138245A1 (fr) * 2006-06-01 2007-12-06 New Concept Gaming Limited Contrôleur de jeu
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance

Also Published As

Publication number Publication date
AU2003294084A8 (en) 2004-06-23
WO2004051391A3 (fr) 2004-07-15
FR2847689A1 (fr) 2004-05-28
FR2847689B1 (fr) 2005-01-21
AU2003294084A1 (en) 2004-06-23

Similar Documents

Publication Publication Date Title
WO2004051391A2 (fr) Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire
EP1984696B1 (fr) Dispositif de capture de mouvement et procede associe
EP1990138B1 (fr) Procédé de traitement pour la capture de mouvement d'une structure articulée
EP2718670B1 (fr) Procede d'estimation simplifie de l'orientation d'un objet et centrale d'attitude mettant en oeuvre un tel procede
EP1492998B1 (fr) Dispositif de capture des mouvements de rotation d un solide
EP2483758B1 (fr) Systeme et procede de reconnaissance de gestes
EP2459966B1 (fr) Procede d'estimation de l'orientation d'un solide en mouvement
EP2428934B1 (fr) Procédé d'estimation du mouvement d'un porteur par rapport à un environnement et dispositif de calcul pour système de navigation
WO2010007160A1 (fr) Procede d'estimation ameliore de l'orientation d'un objet et centrale d'attitude mettant en oeuvre un tel procede
FR2960082A1 (fr) Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position
EP1969314A2 (fr) Procede d'estimation d'un mouvement d'un solide
WO2014166986A1 (fr) Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference
EP2268999A1 (fr) Systeme et procede de determination de parametres representatifs de l'orientation d'un solide en mouvement soumis a deux champs vectoriels
WO2005064271A1 (fr) Procede de capture du mouvement d'un solide, utilisant une mesure absolue associee a une mesure par double integration
EP3881222A1 (fr) Procede de detection automatique de l'usurpation de visage
EP0423026B1 (fr) Procédé d'évaluation simultanée des positions relatives d'une pluralité de balises
WO2019016473A1 (fr) Procédé d'estimation du mouvement d'un objet évoluant dans un environnement et un champ magnétique
FR2999699A1 (fr) Procede de determination de l'inclinaison d'un objet
WO2018011497A1 (fr) Système et procédé de capture embarquée et de reproduction 3d/360° du mouvement d'un opérateur dans son environnement
FR2960634A1 (fr) Dispositif et procede de determination d'une information de profondeur a partir d'un capteur optique susceptible d'etre en deplacement
EP2234003B1 (fr) Procédé d'identification d'un axe de rotation unique d'un mouvement de rotation
FR3116334A1 (fr) Procédé d’alignement d’une pluralité de capteurs inertiels et/ou magnétiques et dispositif permettant la mise en œuvre d’un tel procédé
WO2014111442A1 (fr) Procédé et système de modélisation 3d absolue en tout ou en partie d'un véhicule passant devant une caméra
WO2007066002A1 (fr) Procede de mise en correspondance d'images stéréoscopiques

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP