WO2007012768A2 - Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication. - Google Patents

Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication. Download PDF

Info

Publication number
WO2007012768A2
WO2007012768A2 PCT/FR2006/001846 FR2006001846W WO2007012768A2 WO 2007012768 A2 WO2007012768 A2 WO 2007012768A2 FR 2006001846 W FR2006001846 W FR 2006001846W WO 2007012768 A2 WO2007012768 A2 WO 2007012768A2
Authority
WO
WIPO (PCT)
Prior art keywords
movement
image
images
apparent movement
terminal
Prior art date
Application number
PCT/FR2006/001846
Other languages
English (en)
Other versions
WO2007012768A3 (fr
Inventor
Antoine Martin
Gilles Rochefort
Martin Lefebure
Original Assignee
Realeyes3D
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0508188A external-priority patent/FR2889324B1/fr
Application filed by Realeyes3D filed Critical Realeyes3D
Priority to EP06794241A priority Critical patent/EP1910915A2/fr
Priority to JP2008523417A priority patent/JP2009503667A/ja
Priority to US11/997,280 priority patent/US20080225001A1/en
Publication of WO2007012768A2 publication Critical patent/WO2007012768A2/fr
Publication of WO2007012768A3 publication Critical patent/WO2007012768A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Definitions

  • the present invention relates to a method for controlling an interface using a camera equipping a communication terminal.
  • This interface can be graphic (control of the display on a screen) or audio (control of the sound emitted by the speakers of the equipment) or both simultaneously (control of a video).
  • This method applies in particular, but not exclusively, to the real-time calculation of an apparent movement using a camera equipping a communication terminal, to the interpretation of this apparent movement in user commands, then to the modification of the resulting interface.
  • the method according to the invention is particularly suitable for communication terminals having limited resources in terms of computing power and memory capacity.
  • the terminal may be a communication terminal, a computer or an audio or video terminal (Hi-Fi system, video player).
  • communication terminals are increasingly carrying rich multimedia content. Not only do the terminals offer a greater diversity of media, but also the size of these continues to grow; the images are bigger and bigger and the texts stored more and more important. Due to the small size of most communication terminals, the capabilities of the display or command entry devices are limited. This has the immediate consequence of considerably increasing the graphical interfaces of these terminals. For example, images or text should be displayed partially to maintain comfortable readability. Thus, moving the image or text requires frequent support of several keys. Similarly, the scroll control of an audio or video file is reduced to the use of the keys of the keyboard or remote control which does not allow great freedom of light, sound or video effects such as mixing, adding percussion effects, or other superimposed audio or video effects.
  • the number of presses on the keys quickly becomes prohibitive and prohibitive for a user; also include, but not limited to, adjusting brightness levels, contrast levels, volume levels, navigating a menu or set of icons, moving a graphical pointer, scrolling text or an image, the change of scale at which an image or text is displayed, the triggering and moving in a tape or an audio or video file, the scrolling of a soundtrack at different speeds or the control of video games. 'action.
  • the movement of the communication terminal can be obtained by means of specific sensors embedded in the terminal. These sensors are traditionally accelerometers, or gyroscopes. These often make it possible to absolutely reference the position or orientation of the terminal in space. However, these sensors pose integration problems in increasingly smaller terminals and induce an over-cost of production. Moreover, their accuracy does not always allow a fine control of the interface by movements of very low amplitude.
  • motion information can be calculated using a camera observing a textured and illuminated flat surface.
  • the difficulty of calculating this motion information becomes insurmountable when the camera, equipping a communication terminal, observes any scene without illumination constraint.
  • a first difficulty is that the camera equipping a communication terminal does not generally observe a flat surface or even a single object, and therefore that the movement observed results from the movements of the camera and the objects present.
  • the computation of the three-dimensional motion of the camera with only one image sequence being informed is still largely an open problem, where most of the difficulties remain intact. It is therefore not possible, in the current state of knowledge, to retrospectively restore all the movements of the terminal only from the images acquired by the camera.
  • a second important difficulty is that the illumination of the scene is not controllable by the device, even using a flash, intensities of color textures recorded in the camera images vary unpredictably in successive images. This then prohibits the use of well-known apparent motion calculation techniques based on the consistency of color intensities of the observed textures.
  • the present invention aims to remedy these drawbacks and to allow the calculation of the apparent movement in real time using the images from the camera, then to interpret this apparent movement in user commands.
  • This type of system can be advantageously used when you want to navigate a menu, move an image or text, or to position a graphical pointer, or even when playing games that require to control a movement in several simultaneously and intuitively, or to control sound volume, sound or light contrast, light intensity, scrolling an audio or video file, or add sound effects superimposed on the audio file or mixing effects. soundtracks or multimedia.
  • the method according to the invention comprises the following steps:
  • Indirect methods compute motion in three steps: (i) extraction of primitives (corners, regions, etc.), (ii) matching of primitives on several images, (iii) adjustment of the parametric model.
  • the delicate points of these methods concern the choice of primitives to extract, their numbers, and also the rejection of false matches. These methods make it possible to find movements of great amplitude if certain primitives can be matched between the successive images. Nevertheless, each of these steps can be expensive both in terms of calculation complexity and memory occupation. As a result, these methods do not seem appropriate for applications embedded on terminals whose resources in memory and computing power are limited, whose cameras have a low resolution in preview mode.
  • Direct methods calculate motion from the intensities of the image.
  • the calculation of dense motion is an under-determined problem that requires the addition of an additional constraint.
  • the estimation of a dense displacement field is made using a regularity assumption like in Horn and Schunck, Determining Optical Flow, 1981, or a local uniformity constraint as in Lucas and Kanade, An Iterative Image Registration Technique with an Application to Stereo Vision, 1981.
  • a motion described using a global parametric model as described in Bergen et al, Hierarchical model-based motion estimation , 1992, we introduce a sufficient constraint on the displacement field.
  • This criterion is most often a criterion of least squares type, and is calculated globally on all the pixels of the image. It is also possible to generalize this criterion using a robust standard in a manner similar to that described in Odobez and Bouthemy, Robust Multiresolution Estimation of Parametric Motion Models, 1995. However, the minimization of such a criterion becomes iterative and heavy in terms of calculation cost.
  • the method according to the invention proposes to pretreat the images by reducing them by a factor / predetermined.
  • the method according to the invention comprises a pretreatment of the images by histogram equalization to be reduced to a series of images whose intensity levels are then normalized.
  • images acquired economically by the camera are generally low resolution and noisy.
  • the invention proposes to preprocess them by reducing the number of levels of representation of the intensities of colors.
  • the method according to the invention is intended in particular to overcome this drawback by performing the calculation of the apparent movement with the aid of two successive images possibly pre-processed as follows:
  • a recalibrated image is calculated using a first unreduced image and gross motion
  • the apparent motion is calculated by adding coarse movement and residual motion.
  • the method according to the invention proposes that the calculation of an apparent movement of translation m is carried out using two images /; and I ⁇ , and includes the following steps:
  • the calculation can provide an apparent motion that is noise-corrupted, or that may have outliers.
  • the filtering of the apparent movement may then consist in canceling each of its components if it is, in absolute value, less than a predetermined threshold and, in other cases, decreasing or increasing it by the same threshold .
  • a non-limiting example of such a filter, in the case of translation, is given by the following formula:
  • the filtering may consist in imposing an upper bound and a lower bound for each of its components.
  • the displacement of the graphic elements or the adjustment of the sound or light level or contrast, or the scrolling of the audio or video file will be proportional to the apparent movement calculated, with a gain possibly proportional to this apparent movement.
  • the present invention also proposes that the apparent movement be interpreted into commands of the graphic and / or audio and / or video interface according to the application context and / or the simultaneous pressing on one or more keys of the keyboard by the user.
  • the different control modes of the graphic interface according to the invention relate to:
  • the different modes of control of the audio interface according to the invention relate to:
  • the graphic and / or audio and / or video elements that can be controlled in this way can consist of:
  • an apparent movement in a certain direction may be interpreted as a forward zooming control, and as a zooming out command in the opposite direction.
  • an apparent movement in a certain direction may be interpreted as a graphical and / or audio and / or video element displacement control in the same direction or in the opposite direction.
  • Apparent movement in a certain direction may be interpreted as a graphical element rotation control in a certain direction and in the opposite direction when the filtered apparent movement is of opposite direction.
  • Apparent movement in a certain direction may be interpreted as a command to increase the sound or light level or contrast and to reduce the sound or light level or contrast when the filtered apparent movement is in opposite direction.
  • the method according to the invention can also be used to control graphical and / or audio and / or video elements of another terminal connected by wire or air (via Infrared, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA or W-CDMA or Internet) to the communication terminal performing the measurement of the apparent movement.
  • An application of this method could therefore consist in controlling the graphic pointer of a pc or another terminal from a communication terminal equipped with an integrated camera.
  • the apparent movement can be calculated and interpreted in user control only when a key previously associated with a control of the interface is maintained supported, and no longer be calculated or interpreted in user command if none of these keys is not supported.
  • the method according to the invention also makes it possible to take into account other user inputs in combination with the apparent movement such as voice commands, commands received from an external keyboard or another physically connected terminal or by Infrared, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA or W-CDMA or Internet. It is also possible with this invention to adjust the levels and contrasts sound and light, trigger a sound, a series of sounds, scrolling an audio or video file, fast scrolling in one direction or the other d 'an audio or video file, produce sound or image overlay effects or' mix 'effects of sound thanks to the voluntary or involuntary movement of the user of the equipment.
  • Figure 1 is a schematic representation of a system for controlling the graphical interface and / or audio and / or video of a communication terminal using a camera equipping the same terminal;
  • FIG. 2 is a schematic representation of a system allowing control of the graphic and / or audio and / or video interface of a laptop or desktop, another communication terminal or any other device connected through a local network or even the Internet, using a camera equipping a communication terminal.
  • the system for carrying out the method according to the invention involves a device integrating at least one graphic display (A), a central unit (U), a memory (M), a camera (C), a keyboard (T), a loudspeaker (X), communication means (G) and possibly wired or overhead interfaces (E) with other devices.
  • A graphic display
  • U central unit
  • M memory
  • C camera
  • T keyboard
  • X loudspeaker
  • G possibly wired or overhead interfaces
  • E possibly wired or overhead interfaces
  • the system for carrying out the method according to the invention involves, in addition to the elements already described in FIG. 1, several other devices such as a portable or office computer (D). , another communication terminal (P), or any device connected through a local area network or even the Internet (I), whose graphic and / or audio and / or video interface can thus be controlled at distance.
  • a portable or office computer D
  • P another communication terminal
  • I Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Position Input By Displaying (AREA)

Abstract

Dans le but d'effectuer le contrôle d'une interface graphique, audio et/ou vidéo, à l'aide d'une caméra équipant un terminal de communication, le procédé selon l'invention comprend l'acquisition et/ou la mémorisation d'une première image, l'acquisition et la mémorisation d'une nouvelle image, le calcul du mouvement apparent par mise en correspondance des deux images, l'interprétation, selon un mode de contrôle prédéterminé, du mouvement apparent, en commandes utilisateur, le stockage dans une mémoire dudit terminal des commandes utilisateur, la modification de l'affichage ou du son du terminal conformément aux commandes utilisateur et l'entrée éventuelle d'une commande de validation d'un élément ou d'une zone graphique, ou d'ouverture de menu ou de déclenchement ou de défilement d'un fichier audio ou vidéo, ou le déclenchement d'une superposition de son au-dessus d'une piste sonore, ou d'exécution d'une tâche ou application par l'utilisateur sur le terminal de communication et sa transmission éventuelle à destination d'un second terminal.

Description

PROCEDE POUR LE CONTROLE D'UNE INTERFACE A L'AIDE D'UNE CAMERA EQUIPANT UN TERMINAL DE COMMUNICATION.
La présente invention concerne un procédé pour le contrôle d'une interface à l'aide d'une caméra équipant un terminal de communication. Cette interface peut être graphique (contrôle de l' affichage sur un écran) ou audio (contrôle du son émis par les haut parleurs de l'équipement) ou des deux simultanément (contrôle d'une vidéo).
Ce procédé s'applique notamment, mais non exclusivement, au calcul en temps réel d'un mouvement apparent à l'aide d'une caméra équipant un terminal de communication, à l'interprétation de ce mouvement apparent en commandes utilisateur, puis à la modification de l'interface qui en résulte.
Le procédé selon l'invention est particulièrement adapté aux terminaux de communication disposant de ressources limitées tant en puissance de calcul qu'en capacité mémoire.
Ce procédé peut se substituer à ou compléter avantageusement certaines séquences répétitives d'appui sur les touches d'un terminal. Le terminal peut être un terminal de communication, un ordinateur ou un terminal audio ou vidéo (chaîne Hi-Fi, lecteur vidéo).
Suite à l'évolution des besoins et de la technologie, il est intéressant de constater que les terminaux de communication embarquent de plus en plus de contenu multimédia riche. Non seulement les terminaux proposent une plus grande diversité de média, mais également la taille de ceux-ci ne cesse d'augmenter ; les images sont de plus en plus grandes et les textes stockés de plus en plus importants. De par la faible taille de la plupart des terminaux de communication, les capacités de l'affichage ou des dispositifs d'entrée de commandes sont limitées. Ceci a pour conséquence immédiate d'alourdir considérablement les interfaces graphiques de ces terminaux. Par exemple, les images ou les textes doivent être affichés partiellement pour conserver une lisibilité confortable. Ainsi, le déplacement de l'image ou du texte nécessite l'appui fréquent de plusieurs touches. De même, le contrôle de défilement d'un fichier audio ou vidéo est réduit à l'utilisation des touches du clavier ou de télécommande ce qui ne permet pas de grande liberté d'effets lumineux, sonores ou vidéo tels que mixage, l'ajout d'effets de percussion, ou d'autres effets audio ou vidéo superposés.
Dans de très nombreux cas, le nombre d'appuis sur les touches devient rapidement prohibitif et rédhibitoire pour un utilisateur ; citons également et de manière non exclusive le réglage de niveaux de luminosité, de contraste, de volume sonore, la navigation dans un menu ou un ensemble d'icônes, le déplacement d'un pointeur graphique, le défilement d'un texte ou d'une image, le changement d'échelle à laquelle est affichée une image ou un texte, le déclenchement et le déplacement dans une bande ou un fichier audio ou vidéo, le défilement d'une bande son à différentes vitesses ou encore le contrôle de jeux d'action.
On sait que l'entrée de commandes utilisateur par de simples mouvements volontaires du terminal de communication peut avantageusement remplacer certaines séquences répétitives d'appui sur des touches. Notamment, ce principe rend possible l'emploi de commandes proportionnelles au déplacement du terminal, offrant une forme de rétro-contrôle favorable à une meilleure interaction entre l'utilisateur et le terminal, et donc à un plus grand confort d'utilisation et un contrôle plus précis. Par ailleurs, l'utilisation de commandes formées par des mouvements volontaires du terminal de communication offre de nouvelles perspectives. Cette nouvelle entrée utilisateur peut avantageusement être utilisée en conjonction avec d'autres terminaux. Par exemple, ce procédé permet de contrôler le pointeur graphique d'un ordinateur de bureau ou de contrôler le volume, le contraste, l'intensité, le défilement d'un fichier audio ou vidéo sur un équipement tel que chaîne Hi-Fi ou lecteur vidéo, grâce aux mouvements du terminal de communication. De même, des événements extérieurs peuvent influencer le terminal de communication dans son interprétation du mouvement apparent en commandes; citons à cet effet comme exemples et de manière non-exhaustive, une communication entrante qui inhibe le procédé afin de pouvoir prendre cette communication, ou encore un jeu en réseau prenant en compte les actions des autres joueurs.
Le mouvement du terminal de communication peut être obtenu par l'intermédiaire de capteurs spécifiques embarqués dans le terminal. Ces capteurs sont traditionnellement des accéléromètres, ou des gyroscopes. Ceux-ci permettent bien souvent de référencer de manière absolue la position ou l'orientation du terminal dans l'espace. Toutefois, ces capteurs posent des problèmes d'intégration dans des terminaux de plus en plus réduits et induisent un sur-coût de production. Par ailleurs, leur précision ne permet pas toujours un contrôle fin de l'interface par des mouvements de très faible amplitude.
Or les terminaux de communication sont de plus en plus nombreux à intégrer une caméra. Il est alors légitime de vouloir utiliser cette caméra intégrée pour obtenir des informations de mouvement du terminal.
Il est connu que des informations de mouvement peuvent être calculées à l'aide d'une caméra observant une surface plane texturée et illuminée. Cependant, la difficulté de calculer ces informations de mouvement devient insurmontable lorsque la caméra, équipant un terminal de communication, observe une scène quelconque sans contrainte d'illumination.
Une première difficulté est que la caméra équipant un terminal de communication n'observe généralement pas une surface plane ni même un seul objet, et donc que le mouvement observé résulte des mouvements de la caméra et des objets présents. Le calcul du mouvement tridimensionnel de la caméra avec pour seule information une séquence d'image quelconque est pour une large part encore un problème ouvert, où la plupart des difficultés restent entières. Il n'est donc pas envisageable, dans l'état actuel des connaissances, de restituer a posteriori tous les mouvements du terminal seulement à partir des images acquises par la caméra. Une deuxième difficulté importante est que Pillumination de la scène n'étant pas maîtrisable par le dispositif, même en utilisant un flash, les intensités de couleur des textures enregistrées dans les images de la caméra varient de manière imprévisible dans les images successives. Ceci interdit alors l'emploi des techniques bien connues de calcul du mouvement apparent basées sur la constance des intensités de couleurs des textures observées.
La présente invention a pour but de remédier à ces inconvénients et de permettre le calcul du mouvement apparent en temps réel à l'aide des images issues de la caméra, puis d'interpréter ce mouvement apparent en commandes utilisateur. Ce type de système peut-être avantageusement utilisé lorsqu'on souhaite naviguer dans un menu, déplacer une image ou un texte, ou pour positionner un pointeur graphique, ou bien encore lorsque l'on joue à des jeux nécessitant de commander un mouvement dans plusieurs directions simultanément et intuitivement, ou bien pour contrôler le volume sonore, le contraste sonore ou lumineux, l'intensité lumineuse, le défilement d'un fichier audio ou vidéo ou pour ajouter des effets sonores en superposition au fichier audio ou des effets de mixage de bandes sonores ou multimédia.
Ainsi, le procédé selon l'invention comprend les étapes suivantes :
- l'acquisition d'une première image qu'on mémorise, ou bien la mémorisation d'au moins une image déjà acquise et éventuellement prétraitée.
- l'acquisition et la mémorisation d'une nouvelle image et la suppression éventuelle des images inutiles de la mémoire.
- le prétraitement de la nouvelle image et éventuellement de celles précédemment mémorisées.
- le calcul du mouvement apparent à l'aide des images prétraitées et d'une technique de mise en correspondance des images.
- Le filtrage du mouvement apparent en amplitude et/ou temporellement.
- L'interprétation, selon un mode de contrôle prédéterminé, du mouvement apparent en commandes utilisateur.
- Le stockage dans une mémoire dudit terminal et/ou la transmission à destination d'un second terminal, des commandes utilisateur. - la modification de l'affichage ou du son du terminal et/ou d'un second terminal conformément aux commandes utilisateur.
- L'entrée éventuelle d'une commande de validation d'un élément ou d'une zone graphique, ou d'ouverture de menu, ou de déclenchement ou de défilement d'un fichier audio ou vidéo, ou le déclenchement d'une superposition de son au dessus d'une piste sonore, ou d'exécution d'une tâche ou application par l'utilisateur sur le terminal de communication et sa transmission éventuelle à destination d'un second terminal.
Le calcul du mouvement apparent est un problème largement traité dans la littérature, dont on peut notamment trouver une synthèse exhaustive dans les articles des revues Brown, LG. , A survey of Image Registration Techniques, 1992, et Zitova et Flusser, Image Registration Methods : a survey, 2003.
En dehors du calcul d'un mouvement dense qui est n'est pas pertinent dans notre cas où une seule information de mouvement est nécessaire, nous relevons deux approches principales pour le calcul du mouvement apparent à l'aide de modèles paramétriques : une approche indirecte qui consiste à mettre en correspondance des primitives issues des images; et une approche directe qui exploite l'équation de conservation du flux optique, décrite dans Horn et Schunck, Determining Optical Flow, 1981. Cette dernière approche très répandue prend pour postulat que toute variation d'intensité des images au cours du temps, est uniquement due au déplacement d'un objet, dont l'intensité perçue est supposée constante dans les images successives, ou du point d'observation de la scène.
Les méthodes indirectes procèdent au calcul du mouvement en trois étapes : (i) extraction des primitives (coins, régions, etc.), (ii) appariement des primitives sur plusieurs images, (iii) ajustement du modèle paramétrique. Les points délicats de ces méthodes portent sur le choix des primitives à extraire, de leurs nombres, et aussi sur le rejet des faux appariements. Ces méthodes permettent de retrouver des mouvements de grande amplitude si certaines primitives peuvent être appariées entre les images successives. Néanmoins, chacune de ces étapes peut s'avérer coûteuse aussi bien en terme de complexité de calcul qu'en occupation mémoire. En conséquence, ces méthodes ne semblent pas indiquées dans le cadre d'applications embarquées sur des terminaux dont les ressources en mémoire et en puissance de calcul sont limitées, dont les caméras ont une faible résolution en mode prévisualisation.
Les méthodes directes calculent le mouvement à partir des intensités de l'image. Le calcul du mouvement dense est un problème sous-déterminé qui nécessite l'ajout d'une contrainte supplémentaire. Par exemple, l'estimation d'un champ de déplacement dense s'effectue à l'aide d'un a priori de régularité comme dans Horn et Schunck, Determining Optical Flow, 1981, ou d'une contrainte d'uniformité locale comme dans Lucas et Kanade, An Itérative Image Registration Technique with an Application to Stereo Vision, 1981. En cherchant un mouvement décrit à l'aide d'un modèle paramétrique global, comme c'est décrit dans Bergen et al, Hierarchical model-based motion estimation, 1992, nous introduisons une contrainte suffisante sur le champ de déplacement.
Pour calculer le mouvement entre deux images, on cherche les paramètres du modèle de mouvement qui minimisent un critère donné. Ce critère est le plus souvent un critère de type moindres carrés, et se calcule globalement sur l'ensemble des pixels de l'image. Il est également possible de généraliser ce critère à l'aide d'une norme robuste de manière similaire à celle décrite dans Odobez et Bouthemy, Robust Multiresolution Estimation of Parametric Motion Models, 1995. Cependant, la minimisation d'un tel critère devient itérative et lourde en terme de coût de calcul.
Il est connu que les techniques de calcul directes ne permettent pas d'estimer des mouvements de fortes amplitudes et cela malgré l'emploi de techniques multi- échelles comme dans Burt et Adelson, The laplacian pyramid as a compact image code, 1983.
Pour remédier à ces inconvénients et ainsi réduire le temps de calcul et calculer des mouvements apparents de grande amplitude, le procédé selon l'invention propose de prétraiter les images en les réduisant d'un facteur /prédéterminé.
Comme expliqué plus haut, en raison des changements fréquents et imprévisibles des conditions d'éclairement de la scène et du contrôle automatique de la balance des blancs de la caméra, les intensités de couleur des textures enregistrées dans les images varient dans les images successives. Or les méthodes directes basées sur les différences d'intensités des images y sont très sensibles et peuvent alors fournir des résultats approximatifs ou même aberrants.
Pour remédier à cet inconvénient, le procédé selon l'invention comprend un prétraitement des images par égalisation d'histogramme pour se ramener à une suite d'images dont les niveaux d'intensités sont alors normalisés.
De plus, les images acquises en mode économique par la caméra sont généralement de faible résolution et bruitées.
Pour supprimer cet inconvénient, l'invention propose de les prétraiter en réduisant le nombre de niveaux de représentation des intensités de couleurs.
Il est connu que les techniques multi-échelles posent le problème délicat de la propagation de l'information du mouvement d'une échelle à l'autre. Cependant, ces méthodes calculent un mouvement précis lorsqu'elles sont bien initialisées.
Le procédé selon l'invention a notamment pour but de remédier à cet inconvénient en effectuant le calcul du mouvement apparent à l'aide de deux images successives éventuellement prétraitées comme suit :
- On réduit les deux images d'un facteur/
- On calcule le mouvement grossier à l'aide des images précédemment réduites et on le multiplie par le facteur/
- On calcule une image recalée à l'aide d'une première image non réduite et du mouvement grossier
- On calcule le mouvement résiduel à l'aide de l'image recalée et de la seconde image non réduite
- On calcule le mouvement apparent par addition du mouvement grossier et du mouvement résiduel. Le procédé selon l'invention propose que le calcul d'un mouvement apparent de translation m s'effectue à l'aide de deux images /; et I∑, et comprend les étapes suivantes :
- le calcul d'un vecteur dont les composantes sont des sommes de produits des dérivées spatiales d'une première image par les différences d'intensité des deux images ;
- le calcul d'une matrice dont les coefficients sont des sommes de produits des dérivées spatiales d'une première image entre elles ;
- le calcul du déterminant et des cofacteurs de la matrice précédemment calculée ;
- le calcul des composantes du mouvement à l'aide du vecteur, du déterminant et des cofacteurs précédemment calculés.
En raison de la dégradation des images transmises par la caméra en mode d'acquisition économique, le calcul peut fournir un mouvement apparent qui est corrompu par du bruit, ou bien qui peut présenter des valeurs aberrantes.
Avantageusement, le filtrage du mouvement apparent pourra alors consister à annuler chacune de ses composantes si celle-ci est, en valeur absolue, inférieure à un seuil prédéterminé et, dans les autres cas, à la diminuer ou à l'augmenter de ce même seuil. Un exemple non limitatif d'un tel filtrage, dans le cas de la translation, est donné par la formule suivante :
m'= (mi',m2') = (sign^^.max^,! m^-s) , sign(ni2).max(0,| m2]-s)).
Avantageusement, pour filtrer les résultats aberrants du calcul du mouvement, le filtrage pourra consister à imposer une borne supérieure et une borne inférieure pour chacune de ses composantes.
Avantageusement, le déplacement des éléments graphiques ou le réglage du niveau sonore ou lumineux ou de contraste, ou le défilement du fichier audio ou vidéo se fera de manière proportionnelle au mouvement apparent calculé, avec un gain éventuellement proportionnel à ce mouvement apparent. La présente invention propose également que le mouvement apparent soit interprété en commandes de l'interface graphique et/ou audio et/ou vidéo selon le contexte applicatif et/ou l'appui simultané sur une ou plusieurs touches du clavier par l'utilisateur.
Les différents modes de contrôle de l'interface graphique selon l'invention concernent :
- le déplacement
- le changement d'échelle
- la rotation
- le défilement
- la navigation dans un menu
- la sélection et/ou la validation
- le niveau de luminosité ou de contraste
Les différents modes de contrôle de l'interface audio selon l'invention concernent :
- le volume sonore
- le contraste sonore
Les éléments graphiques et/ou audio et/ou vidéo pouvant être contrôlés de cette manière peuvent consister en :
- une image
- un texte ou un document
- un pointeur
- une zone de sélection
- un icône
- un menu
- une liste
- une bande sonore
- une vidéo Par exemple, un mouvement apparent dans une certaine direction pourra être interprété comme une commande de changement d'échelle par zoom avant, et comme une commande de changement d'échelle par zoom arrière dans la direction opposée. De même, un mouvement apparent dans une certaine direction pourra être interprété comme une commande de déplacement d'élément graphique et/ou audio et/ou vidéo dans la même direction ou dans la direction opposée. Un mouvement apparent dans une certaine direction pourra être interprété comme une commande de rotation d'élément graphique dans un certain sens et dans le sens contraire quand le mouvement apparent filtré est de direction opposée. Un mouvement apparent dans une certaine direction pourra être interprété comme une commande de d'augmentation du niveau sonore ou lumineux ou de contraste et de réduction du niveau sonore ou lumineux ou de contraste quand le mouvement apparent filtré est de direction opposée.
Le procédé selon l'invention peut également être utilisé pour contrôler des éléments graphiques et/ou audio et/ou vidéo d'un autre terminal connecté par voie filaire ou aérienne (via Infrarouge, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA ou W- CDMA ou Internet) au terminal de communication réalisant la mesure du mouvement apparent. Une application de ce procédé pourrait donc consister au contrôle du pointeur graphique d'un pc ou d'un autre terminal à partir d'un terminal de communication équipé d'une caméra intégrée.
Avantageusement, le mouvement apparent pourra n'être calculé et interprété en commande utilisateur que lorsqu'une touche préalablement associée à un contrôle de l'interface est maintenue appuyée, et n'être plus ni calculé ni interprété en commande utilisateur si aucune de ces touches n'est appuyée.
Le procédé selon l'invention permet également de prendre en compte d'autres entrées utilisateur en combinaison avec le mouvement apparent comme les commandes vocales, les commandes reçues d'un clavier externe ou d'un autre terminal connecté physiquement ou par Infrarouge, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA ou W-CDMA ou Internet. Il est également possible, avec cette invention de régler les niveaux et contrastes sonore et lumineux, de déclencher un son, une série de sons, le défilement d'un fichier audio ou vidéo, le défilement rapide dans un sens ou dans l'autre d'un fichier audio ou vidéo, produire des effets de superposition de sons ou d'images ou des effet de « mixage » de son grâce au mouvement volontaire ou involontaire de l'utilisateur de l'équipement.
Des modes d'exécution de l'invention seront décrits ci-après, à titre d'exemples non limitatifs, avec référence aux dessins annexés, dans lesquels :
La figure 1 est une représentation schématique d'un système permettant le contrôle de l'interface graphique et/ou audio et/ou vidéo d'un terminal de communication à l'aide d'une caméra équipant ce même terminal;
La figure 2 est une représentation schématique d'un système permettant le contrôle de l'interface graphique et/ou audio et/ou vidéo d'un ordinateur portable ou de bureau, un autre terminal de communication ou encore un quelconque dispositif relié au travers d'un réseau local ou même d'Internet, à l'aide d'une caméra équipant un terminal de communication.
Dans l'exemple présenté sur la Figure 1, le système pour la mise en œuvre du procédé selon l'invention fait intervenir un dispositif intégrant au minimum un affichage graphique (A), une unité centrale (U), une mémoire (M), une caméra (C), un clavier (T), un haut parleur (X), des moyens de communication (G) et éventuellement des interfaces filaires ou aériennes (E) avec d'autres dispositifs.
Dans l'exemple présenté sur la Figure 2, le système pour la mise en œuvre du procédé selon l'invention fait intervenir, en plus des éléments déjà décrits dans la Figure 1, plusieurs autres dispositifs comme un ordinateur (D) portable ou de bureau, un autre terminal de communication (P), ou encore un quelconque dispositif relié au travers d'un réseau local ou même d'Internet (I), dont l'interface graphique et/ou audio et/ou vidéo peut être ainsi contrôlée à distance.

Claims

Revendications
1. Procédé pour le contrôle d'une interface graphique à l'aide d'une caméra équipant un terminal de communication, caractérisé en ce qu'il comprend les étapes suivantes :
- l'acquisition d'une première image qu'on mémorise, ou bien la mémorisation d'au moins une image déjà acquise et éventuellement prétraitée,
- l'acquisition et la mémorisation d'une nouvelle image et la suppression éventuelle des images inutiles de la mémoire,
- le prétraitement de la nouvelle image et éventuellement de celles précédemment mémorisées, ce prétraitement comprenant d'une part une normalisation des niveaux d'intensité de l'image selon un processus comprenant une égalisation d'histogramme conduisant à une suite d'image dont les niveaux sont normalisés, et d'autre part une réduction du nombre de niveaux de présentation des intensités de couleurs,
- le calcul du mouvement apparent à l'aide des images prétraitées et d'une technique de mise en correspondance des images,
- le filtrage du mouvement apparent en amplitude et/ou temporellement,
- conversion, selon un mode de contrôle prédéterminé, du mouvement apparent en signal de commande utilisateur,
- le stockage dans une mémoire dudit terminal et/ou la transmission à destination d'un second terminal, des commandes utilisateur,
- la modification de l'affichage du terminal et/ou d'un second terminal conformément aux commandes utilisateur,
- l'entrée éventuelle d'une commande de validation d'un élément ou d'une zone graphique, ou d'ouverture de menu, ou d'exécution d'une tâche ou application par l'utilisateur sur le terminal de communication et sa transmission éventuelle à destination d'un second terminal.
2. Procédé selon la revendication 1 caractérisé en ce que les prétraitements comprennent une réduction de l'image et/ou une réduction du nombre des couleurs.
3. Procédé selon la revendication 1 caractérisé en ce que la technique de mise en correspondance utilisée pour le calcul du mouvement apparent estime un modèle paramétrique global.
4. Procédé selon l'une des revendications précédentes,
Caractérisée en ce que la technique de mise en correspondance utilisée consiste à minimiser un critère quadratique formé sur la différence d'intensité entre les images.
5. Procédé selon la revendication 1, caractérisé en ce que le calcul du mouvement apparent à l'aide de deux images successives éventuellement prétraitées comprend les étapes suivantes :
- la réduction des deux images d'un facteur /prédéterminé
- le calcul du mouvement grossier à l'aide des images précédemment réduites et sa multiplication par le facteur/
- le calcul d'une image recalée à l'aide d'une première image non réduite et du mouvement grossier
- le calcul du mouvement résiduel à l'aide de l'image recalée et de la seconde image non réduite
- Le calcul du mouvement apparent en additionnant le mouvement grossier et le mouvement résiduel.
6. Procédé selon la revendication 1, caractérisé en ce le mouvement apparent de translation m entre deux images J; et I2 est calculé à l'aide de la formule suivante : m =: M-Kb = -^—cof(M).b , det(M)
où M = ∑ VZ1 (/, J)J VJ1 (/, J) , b = ∑ VJ1 (i, j).(I2 (i, J) - 11 (/, J)) ,
0,j) (.'J)
7. Procédé selon la revendication 1, caractérisé en ce que la technique de mise en correspondance des images comprend les étapes suivantes :
- l'extraction des points d'intérêts
- Pappariement des points d'intérêts entre les images
- le calcul du mouvement apparent qui est cohérent avec les appariements trouvés.
8. Procédé selon la revendication 1, caractérisé en ce que filtrage du mouvement apparent consiste à annuler chacune de ses composantes, si celle-ci est, en valeur absolue, inférieure à un seuil prédéterminé et, dans les autres cas, à la diminuer ou à l'augmenter de ce même seuil.
9. Procédé selon la revendication 1, caractérisé en ce que le filtrage du mouvement apparent limite les valeurs de chacune de ses composantes entre une borne inférieure et une borne supérieure.
10. Procédé selon la revendication 1, caractérisé en ce que le déplacement d'éléments graphiques est proportionnel au mouvement apparent calculé, avec un gain éventuellement proportionnel au mouvement apparent.
11. Procédé selon la revendication 1, caractérisé en ce que le mode de contrôle de l'interface graphique à l'aide du mouvement apparent concerne le déplacement ou le changement d'échelle ou la rotation ou le défilement ou la navigation dans un menu ou la sélection et/ou la validation d'éléments graphiques.
12. Procédé selon la revendication I5 caractérisé en ce que la modification de l'affichage du terminal de communication ou d'un second terminal concerne une image ou un texte ou un document ou un pointeur ou une zone de sélection ou un icône ou un menu ou une liste.
13. Procédé selon l'une des revendications 1 et 10, caractérisé en ce que le mode de contrôle de l'interface graphique est choisi par l'utilisateur grâce à l'appui sur une touche du clavier qui lui est préalablement associée.
14. Procédé selon la revendication 13, caractérisé en ce que le mouvement apparent est calculé si une touche préalablement associée à un mode de contrôle de l'interface est maintenue appuyée, et n'est plus calculé ni interprété en commande utilisateur si aucune de ces touches n'est appuyée.
15. Procédé selon l'une des revendications 1, 11, 13 et 14, caractérisé en ce que le mode de contrôle est choisi par l'utilisateur grâce à une commande vocale, une commande reçue d'un clavier externe ou d'un autre terminal connecté physiquement ou par Infrarouge, Bluetooth, Wifi, GSM, GPRS, UMTS, CDMA ou W-CDMA ou Internet.
16. Procédé selon l'une des revendications 1, 10, 11 et 12, caractérisé en ce qu'un mouvement apparent dans une certaine direction est interprété comme une commande de changement d'échelle par zoom avant, et comme une commande de changement d'échelle par zoom arrière dans la direction opposée.
17. Procédé selon l'une des revendications 1, 10, 11 et 12, caractérisé en ce qu'un mouvement apparent dans une certaine direction est interprété comme une commande de déplacement d'élément graphique dans la même direction ou dans la direction opposée.
18. Procédé selon l'une des revendications 1, 10, 11 et 12, caractérisé en ce qu'un mouvement apparent dans une certaine direction est interprété comme une commande de rotation d'élément graphique dans un certain sens et dans le sens contraire au cas où le mouvement apparent filtré est dans la direction opposée.
PCT/FR2006/001846 2005-07-29 2006-07-26 Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication. WO2007012768A2 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06794241A EP1910915A2 (fr) 2005-07-29 2006-07-26 Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication
JP2008523417A JP2009503667A (ja) 2005-07-29 2006-07-26 通信端末を備えるカメラを使用してインターフェイスを制御する方法
US11/997,280 US20080225001A1 (en) 2005-07-29 2006-07-26 Method For Controlling an Interface Using a Camera Equipping a Communication Terminal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR0508188A FR2889324B1 (fr) 2005-07-29 2005-07-29 Procede pour le controle d'une interface graphique a l'aide d'une camera equipant un terminal de communication
FR0508188 2005-07-29
FR0603525A FR2889323B1 (fr) 2005-07-29 2006-04-19 Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication
FR0603525 2006-04-19

Publications (2)

Publication Number Publication Date
WO2007012768A2 true WO2007012768A2 (fr) 2007-02-01
WO2007012768A3 WO2007012768A3 (fr) 2007-05-10

Family

ID=37668310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2006/001846 WO2007012768A2 (fr) 2005-07-29 2006-07-26 Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication.

Country Status (6)

Country Link
US (1) US20080225001A1 (fr)
EP (1) EP1910915A2 (fr)
JP (1) JP2009503667A (fr)
KR (1) KR20080034177A (fr)
FR (1) FR2889323B1 (fr)
WO (1) WO2007012768A2 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2458881A (en) * 2008-03-19 2009-10-07 Robert William Albert Dobson Interface control using motion of a mobile device
CN111372004A (zh) * 2019-04-25 2020-07-03 深圳市泰衡诺科技有限公司 相机控制方法、移动终端及计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
KR101387788B1 (ko) * 2012-01-20 2014-04-21 김경희 단말기에서의 화면 조정 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001043473A1 (fr) * 1999-12-08 2001-06-14 Telbird Ltd. Processeur de donnees portable
US20030095140A1 (en) * 2001-10-12 2003-05-22 Keaton Patricia (Trish) Vision-based pointer tracking and object classification method and apparatus
DE10313019A1 (de) * 2003-03-24 2004-10-28 Siemens Ag Einhandbedienung von Endgeräten per Gestikerkennung
EP1507196A2 (fr) * 2003-08-05 2005-02-16 Research In Motion Limited Dispositif mobile avec navigation optique sur écran
FR2859800A1 (fr) * 2003-09-12 2005-03-18 Wavecom Dispositif electronique portable a interface homme/machine tenant compte de mouvements du dispositif, procede et programme informatique correspondants

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219462B1 (en) * 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure
JP4285287B2 (ja) * 2004-03-17 2009-06-24 セイコーエプソン株式会社 画像処理装置、画像処理方法およびそのプログラム、記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001043473A1 (fr) * 1999-12-08 2001-06-14 Telbird Ltd. Processeur de donnees portable
US20030095140A1 (en) * 2001-10-12 2003-05-22 Keaton Patricia (Trish) Vision-based pointer tracking and object classification method and apparatus
DE10313019A1 (de) * 2003-03-24 2004-10-28 Siemens Ag Einhandbedienung von Endgeräten per Gestikerkennung
EP1507196A2 (fr) * 2003-08-05 2005-02-16 Research In Motion Limited Dispositif mobile avec navigation optique sur écran
FR2859800A1 (fr) * 2003-09-12 2005-03-18 Wavecom Dispositif electronique portable a interface homme/machine tenant compte de mouvements du dispositif, procede et programme informatique correspondants

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AYALA P ET AL: "Exploring simple visual languages for real time human-computer interaction" VIRTUAL ENVIRONMENTS, HUMAN-COMPUTER INTERFACES AND MEASUREMENT SYSTEMS, 2003. VECIMS '03. 2003 IEEE INTERNATIONAL SYMPOSIUM ON 27-29 JULY 2003, PISCATAWAY, NJ, USA,IEEE, 27 juillet 2003 (2003-07-27), pages 107-112, XP010654964 ISBN: 0-7803-7785-0 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2458881A (en) * 2008-03-19 2009-10-07 Robert William Albert Dobson Interface control using motion of a mobile device
CN111372004A (zh) * 2019-04-25 2020-07-03 深圳市泰衡诺科技有限公司 相机控制方法、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
FR2889323A1 (fr) 2007-02-02
KR20080034177A (ko) 2008-04-18
EP1910915A2 (fr) 2008-04-16
FR2889323B1 (fr) 2008-12-12
WO2007012768A3 (fr) 2007-05-10
US20080225001A1 (en) 2008-09-18
JP2009503667A (ja) 2009-01-29

Similar Documents

Publication Publication Date Title
US10026229B1 (en) Auxiliary device as augmented reality platform
US9466127B2 (en) Image alteration techniques
EP1227442B1 (fr) Procédé de traitement d'images en 2D appliquées sur des objets en 3D
CN107103316B (zh) 基于智能手机的方法和系统
CN104700353B (zh) 图像滤镜生成方法及装置
KR101619559B1 (ko) 개체 감지 및 사용자 설정
US20120324213A1 (en) Switching between a first operational mode and a second operational mode using a natural motion gesture
FR2960986A1 (fr) Procede de selection d’un objet dans un environnement virtuel
CN112218136B (zh) 视频处理方法、装置、计算机设备及存储介质
US11570378B2 (en) Methods and apparatus for metadata-based processing of media content
EP1910915A2 (fr) Procede pour le controle d'une interface a l'aide d'une camera equipant un terminal de communication
CN112181573A (zh) 媒体资源展示方法、装置、终端、服务器以及存储介质
FR2950989A1 (fr) Dispositif d'interaction avec un objet augmente.
CN112131422A (zh) 表情图片生成方法、装置、设备及介质
US20110119631A1 (en) Method and apparatus for operating user interface based on user's visual perspective in electronic display device
FR3000632A1 (fr) Procede d'affichage de donnees dans un reseau et dispositif mobile associe
FR2859800A1 (fr) Dispositif electronique portable a interface homme/machine tenant compte de mouvements du dispositif, procede et programme informatique correspondants
US9830719B2 (en) Rendering a three-dimensional time helix in a virtual universe
FR2889324A1 (fr) Procede pour le controle d'une interface graphique a l'aide d'une camera equipant un terminal de communication
EP2987319A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
US20230409188A1 (en) Electronic Devices and Corresponding Methods for Capturing Image Quantities as a Function of Touch Input Type
FR3073654A1 (fr) Procede de representation d'un objet tridimensionnel et programme d'ordinateur et systeme informatique correspondants
US20230308775A1 (en) Methods and Systems for Presenting Image Content to a Subject in a Deformable Electronic Device
US20240223716A1 (en) Methods and Apparatus for Metadata-Based Processing of Media Content
EP3351007B1 (fr) Procédé de visualisation de données relatives à un événement et système associé

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2008523417

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2006794241

Country of ref document: EP

Ref document number: 11997280

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020087004984

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2006794241

Country of ref document: EP