WO2008015365A2 - Dispositif de capture d'images et de saisie haptique - Google Patents

Dispositif de capture d'images et de saisie haptique Download PDF

Info

Publication number
WO2008015365A2
WO2008015365A2 PCT/FR2007/051762 FR2007051762W WO2008015365A2 WO 2008015365 A2 WO2008015365 A2 WO 2008015365A2 FR 2007051762 W FR2007051762 W FR 2007051762W WO 2008015365 A2 WO2008015365 A2 WO 2008015365A2
Authority
WO
WIPO (PCT)
Prior art keywords
haptic
image
capture
sensors
image sensor
Prior art date
Application number
PCT/FR2007/051762
Other languages
English (en)
Other versions
WO2008015365A3 (fr
Inventor
Denis Chene
Charles Lenay
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Priority to EP07823674A priority Critical patent/EP2069889A2/fr
Priority to US12/375,736 priority patent/US20090189874A1/en
Publication of WO2008015365A2 publication Critical patent/WO2008015365A2/fr
Publication of WO2008015365A3 publication Critical patent/WO2008015365A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console

Definitions

  • TITLE Device for capturing images and haptic input
  • the invention relates to a device for capturing images and haptic input.
  • haptic communication refers to the sense of touch and gesture, touch perception, proprioception and kynaesthesia.
  • a so-called “haptic" communication through a network consists of exchanging, for example, information that can be perceived to the touch, in other words information using tactile sensory perception.
  • tactile sensory perception As an illustrative example, there may be mentioned the case of a person transmitting to another person distant the contour of a shape, for example of a heart, in tactile form.
  • the outline of the heart is grasped by the person in transmission, by contact and movement of his index, or a stylus, on a touching surface, and, in reception, the other person perceives tactilely, for example to the using the fingertips of a hand, the outline of the transmitted heart, on a tactile rendering surface.
  • Such a communication mode can be combined with more conventional communication modes, such as video and / or audio.
  • the patent application US 2005/0235032 describes an audio, video and haptic teleconference system, comprising
  • a video device comprising a display screen and an image capture camera
  • an audio device comprising a microphone and a loudspeaker
  • a haptic device comprising
  • a sensitive deformable touch-sensitive membrane for detecting by contact a displacement and / or a force exerted and generating a corresponding haptic signal
  • a second deformable membrane of tactile rendering adapted to deform, to move, on reception of a haptic signal.
  • Two remote people each equipped with this teleconference system, can not only talk to each other but also see each other, for example to shake hands.
  • Such a system requires the user to correctly position his camera in order to target the object or phenomenon he wishes to capture and transmit the images to his interlocutor, especially in the case where he wishes to touch the latter what he sees.
  • the present invention aims to allow a user to touch what he sees in a simpler way.
  • the invention relates to an image capture and haptic capture device comprising image capture means and haptic input means, characterized in that the image capture means and the input means haptics are mounted on the same support surface and in that, the image-capturing means comprising at least one image sensor, the haptic gripping means surround said at least one image sensor, the whole being arranged with in order to capture images of an object and then to enter tactile information on said object, by bringing the device and the object closer together.
  • image sensor any device capable of converting into a corresponding electrical signal, the energy of an optical radiation emitted or reflected by an object or a phenomenon and which makes it possible to reconstitute images of this object or of this phenomenon. It may be a camera capable of generating images from visible band radiation, an infrared sensor or an image sensor operating in any other spectral band.
  • haptic input means there are two types: the haptic input means requiring a physical contact with the object to enter tactile information; the haptic capture means capable of sensing remote tactile information, for example using laser beams for capturing the shape of an object
  • the device of the invention can be used to, initially, capture images of an object by progressively bringing the device and the object closer to one another, so as to capture more and more details.
  • visual images of the object then, in a second step, when the object enters the device's tactile detection zone, to enter tactile information relating to the object using the haptic capture means surrounding the object. image sensor.
  • the user can collect more and more precise visual information as well as tactile information relating to the object, in a simple gesture of gradually bringing his device closer to the object and then pressing it against the object. .
  • haptic gripping means makes it possible to optimize the match between what is grasped at the tactile level and what is captured at the image level, in other words between the "tactile” image and the image. of the object, while ensuring a "visual-tactile continuity".
  • visuo-tactile continuity is meant the continuous linking of continuous visual image capture and touch input. This result is obtained when, during a zoom on an object, the last net image is captured substantially at the moment when the first touch information is captured.
  • the area of visual sharpness (corresponding to the area in which the object must be located for the image sensor to capture sharp images) and the tactile detection area (corresponding to the area in which the object must be located so that the tactile input can be made) overlap slightly or have adjacent respective boundaries or at least close to each other.
  • the start time of the touch input can slightly precede or slightly follow the instant of end of visual sharpness (that is to say the beginning of the blur) or exactly correspond to that moment.
  • the tactile input begins before the instant of end of visual sharpness, in other words before the blur.
  • the touch input begins shortly after the start of the blur.
  • the "loss of the visual" and the "contact” frontier correspond substantially.
  • the various elementary tactile images captured by the various discrete tactile sensors surrounding the image sensor make it possible to reconstruct an enveloping tactile image of the visually grasped object, in which only the central part, less important in terms of tactile perception, is not grasped tactilely because of the presence of the image sensor.
  • the haptic input means comprise a plurality of tactile sensors distributed around said at least one image sensor.
  • the touch sensors can be evenly distributed around the image sensor. This makes it possible to optimally use the input means to capture the maximum of tactile information.
  • the use of discrete touch sensors facilitates the construction of the device simply by mounting the image sensor and touch sensors on the same support.
  • the touch sensors can be arranged in a circle around the lens.
  • the haptic input means may comprise an array of tactile sensors, the image sensor then being able to be disposed in the center of said matrix.
  • the device comprises a plurality of image sensors disposed in spaces separating the touch sensors.
  • the touch sensors may be arranged in parallel rows, each row having a plurality of sensors separated by gaps, and the image sensors may be disposed in said interstices.
  • the adjacent rows of sensors are advantageously in position offset from each other so as to obtain a staggered arrangement of the touch sensors.
  • the device thus makes it possible to obtain a detailed capture of an object as well at the image level as at the tactile level, while ensuring a conformity, a match between what is captured at the image level and what is captured at the tactile level.
  • the haptic gripping means comprise a deformable sensitive membrane and the image sensor is positioned in a central zone of said membrane.
  • the invention also relates to the use of the image capture and haptic capture device previously defined for, first of all, capturing images of an object by bringing the device and said object closer to each other then in a second step, enter tactile information relating to the object when the device is put in contact with it.
  • the invention relates to a communication terminal through a network comprising a device for capturing images and haptic input as defined above.
  • a communication terminal through a network comprising a device for capturing images and haptic input as defined above.
  • This may be for example a mobile phone or any other communication equipment.
  • FIG. 1 represents a first embodiment of the device visual and haptic input
  • FIG. 2 represents a second embodiment of the visual and haptic capture device
  • FIG. 3 represents a third embodiment of the visual and haptic capture device
  • FIG. 4 represents a fourth embodiment of the visual and haptic capture device
  • FIG. 5 schematically represents a visual and haptic communication using the visual and haptic capture device of one of FIGS. 1 to 4.
  • the image capture and haptic capture device of the invention comprises image capture means comprising at least one discrete image sensor and haptic input means.
  • image sensor is intended to denote a sensor capable of converting into a corresponding electrical signal the energy of an optical radiation emitted or reflected by an object, or a scene, a phenomenon, and which makes it possible to reconstitute images of this object, this scene or this phenomenon. It can be an image sensor operating in the visible band, such as an ordinary camera, in the infrared band or in any other spectral band.
  • the electrical signal generated by the image sensor is then processed to be converted, in a well known manner, by processing means into a digital type signal, which will be called "image signal”.
  • the haptic gripping means are adapted to detect the shape and / or the distribution of the pressure forces exerted by an element (object, finger, etc.), by contact, and to generate a corresponding electrical signal, which is then converted, from known manner, by processing means, in a digital type signal, which will be called "haptic signal”.
  • the haptic input means comprise a plurality of discrete tactile sensors 2. These sensors 2 make it possible to detect the presence of an object or to measure a force exerted by contact.
  • the image capture means comprise a discrete image sensor, in this case a video camera 1, the objective of which is represented in the figure, and the haptic capture means comprise a plurality of sensors.
  • the objective of the camera 1 and the discrete tactile sensors 2 are mounted on the same support 3.
  • the tactile sensors 2 are arranged in a circle around the lens 1 of the camera, close to the latter, and are evenly distributed on this circle.
  • FIG. 2 shows a second embodiment of the gripper of the invention, which differs from the first described above by the fact that the haptic gripping means comprise a plurality of discrete tactile sensors 2 arranged in matrix.
  • the objective 1 of the camera is disposed in the center of this matrix 4, in other words at the intersection of the median column of sensors 2 and the median horizontal line of sensors 2.
  • the tactile sensors 2 are thus distributed uniformly around of the lens of the camera 1.
  • FIG. 3 shows a third embodiment of the device of the invention, in which the haptic gripping means comprise several parallel rows 6 of discrete tactile sensors 2 and the image capture means comprise a plurality of sensors.
  • Discrete images 5. These are infrared sensors. However, image sensors operating in any other spectral band, for example in the visible band, could be used.
  • the neighboring rows 6 are offset relative to each other so that the touch sensors 2 are arranged generally "staggered".
  • the image sensors 5 are positioned in the interstices formed between the touch sensors 2 of each row 6.
  • each image sensor - except for those at the edge of the image capture and haptic capture area - is surrounded by four touch sensors 5 distributed uniformly around the image sensor 5 considered.
  • FIG. 4 shows a fourth embodiment of the image capture and haptic capture device, in which the tactile input means comprise a sensitive deformable tactile input surface 7, adapted to detect the shape and / or the distribution of the pressure forces exerted by an object in contact with it, and for generating a corresponding electrical signal, which is converted into a haptic signal by processing means.
  • This type of membrane is well known to those skilled in the art and will not be described in more detail here.
  • the device further comprises an image capture camera 1, having an objective shown in Figure 4 and positioned in the central portion of the sensitive touch-sensitive surface.
  • the image capturing means and the haptic gripping means are mounted on the same support surface in the various embodiments of the invention.
  • the arrangement of the haptic input means around a given image sensor makes it possible to optimize the match between what is captured at the image level and what is captured at the tactile level.
  • an even distribution of the tactile input means around the image sensor allows optimal use of the input means to capture the maximum of tactile information.
  • the device thus provides a "visual-tactile continuity". In other words, the capture of visual images and the tactile capture are linked without apparent interruption, continuously. This result is obtained when, during a zoom on an object, the last net image is captured substantially at the moment when the first touch information is captured.
  • the area of visual sharpness (corresponding to the area in which the object must be located for the image sensor to capture sharp images) and the tactile detection area (corresponding to the area in which the object must to be located so that the tactile input can be made) overlap slightly or have adjacent respective boundaries or at least close to each other.
  • the start time of the touch input can slightly precede or slightly follow the instant of end of visual sharpness (that is to say the beginning of the blur) or exactly correspond to that moment.
  • the tactile input begins before the instant of end of visual sharpness, in other words before the blur.
  • the touch input begins shortly after the start of the blur.
  • the invention also relates to the use of the image capture and haptic capture device previously described for, at first, capturing images of an object by bringing the device and the device closer together. object, in order to visualize more and more details of the object, and then, in a second step, to enter tactile information relating to the object.
  • the haptic input means and the image capture means are arranged so as to capture images of an object and then to enter tactile information on said object, by bringing the device and the object closer together.
  • the haptic input means require a physical contact
  • the input of tactile information is effected by a contact between the device and the object, which follows the approximation between them.
  • the haptic input means are able to capture remote tactile information, for example by using laser beams for capturing the shape of an object, the capture of the tactile information does not require further approximation by a user. put in contact.
  • the image capture and haptic capture device of the invention can be integrated in a communication equipment through a network, for example a mobile phone.
  • a user equipped with such a mobile phone UEi can thus, for example when shopping, show another distant person, equipped with communication equipment incorporating a display screen and a tactile rendering surface, a wallpaper, more and more detailed, then make him touch the relief of the wallpaper, by gradually moving and then brought into contact with the device of the mobile phone and wallpaper.
  • Image capture and touch input are performed one after the other without interruption, in other words continuously.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Dispositif de capture d'images et de saisie haptique Le dispositif comprend au moins un capteur d'images et des moyens de saisie haptique. L'invention réside dans le fait que le capteur d'images est entouré par les moyens de saisie haptique. Ceux-ci peuvent comprendre des capteurs tactiles discrets répartis en cercle autour du capteur d'images ou en une matrice au centre de laquelle est positionné le capteur d'images. Le dispositif peut également comprendre des rangées de capteurs tactiles en position décalée l'une par rapport à l'autre de façon à ce que les capteurs tactiles soient disposés en quinconce. Dans ce cas, le dispositif comprend plusieurs capteurs d'images positionnés dans des interstices entre les capteurs tactiles. A la place de capteurs tactiles discrets, le dispositif peut comprendre une membrane sensible déformable au centre de laquelle est positionné un capteur d'images.

Description

TITRE : Dispositif de capture d'images et de saisie haptique
L'invention concerne un dispositif de capture d'images et de saisie haptique.
Avec l'essor des télécommunications, un nouveau mode de communication apparaît aujourd'hui. Il s'agit de la communication haptique. Le terme "haptique" désigne ce qui est relatif au sens du toucher et du geste, ce qui concerne la perception tactile, la proprioception et la kynesthésie. Une communication dite "haptique" à travers un réseau consiste à s'échanger, par exemple, des informations qui peuvent être perçues au toucher, autrement dit des informations faisant appel à une perception sensorielle tactile. A titre d'exemple illustratif, on peut citer le cas d'une personne transmettant à une autre personne distante le contour d'une forme, par exemple d'un cœur, sous forme tactile. Le contour du cœur est saisi par la personne en émission, par contact et déplacement de son index, ou d'un stylet, sur une surface de saisie tactile, et, en réception, l'autre personne perçoit tactilement, par exemple à l'aide du bout des doigts d'une main, le contour du cœur transmis, sur une surface de rendu tactile.
Un tel mode de communication peut être combiné à des modes de communication plus classiques, tels que la vidéo et/ou l'audio. En particulier, la demande de brevet US 2005/0235032 décrit un système de téléconférence audio, vidéo et haptique, comprenant
- un dispositif vidéo comportant un écran d'affichage et une caméra de capture d'images,
- un dispositif audio comportant un microphone et un haut-parleur, et
- un dispositif haptique comportant
une membrane sensible déformable de saisie tactile pour détecter par contact un déplacement et/ ou une force exercée et générer un signal haptique correspondant, et
une deuxième membrane déformable de rendu tactile adaptée pour se déformer, se déplacer, sur réception d'un signal haptique.
Deux personnes distantes, équipées chacune de ce système de téléconférence, peuvent ainsi non seulement se parler et se voir mais également se toucher, par exemple pour se serrer la main.
Un tel système oblige l'utilisateur à positionner correctement sa caméra afin de viser l'objet ou le phénomène dont il souhaite capturer et transmettre les images à son interlocuteur, en particulier dans le cas où il souhaite faire toucher à ce dernier ce qu'il voit.
La présente invention vise à permettre à un utilisateur de faire toucher ce qu'il voit de façon plus simple. A cet effet, l'invention concerne un dispositif de capture d'images et de saisie haptique comprenant des moyens de capture d'images et des moyens de saisie haptique, caractérisé en ce que les moyens de capture d'images et les moyens de saisie haptique sont montés sur une même surface de support et en ce que, les moyens de capture d'images comprenant au moins un capteur d'images, les moyens de saisie haptique entourent ledit au moins un capteur d'images, le tout étant agencé de manière à capturer des images d'un objet puis à saisir des informations tactiles sur ledit objet, par rapprochement entre le dispositif et l'objet.
Par "capteur d'images", on entend désigner tout dispositif apte à convertir en un signal électrique correspondant, l'énergie d'un rayonnement optique émis ou réfléchi par un objet ou un phénomène et qui permet de reconstituer des images de cet objet ou de ce phénomène. Il peut s'agir d'une caméra apte à générer des images à partir de rayonnements dans la bande du visible, d'un capteur d'infrarouge ou d'un capteur d'images opérant dans toute autre bande spectrale.
D'emblée, on notera qu'il existe deux types de moyens de saisie haptique : les moyens de saisie haptique nécessitant une mise en contact physique avec l'objet pour saisir des informations tactiles; les moyens de saisie haptique aptes à capter des informations tactiles à distance, en utilisant par exemple des rayons lasers permettant de capter la forme d'un objet
Le dispositif de l'invention peut être utilisé pour, dans un premier temps, capturer des images d'un objet en rapprochant progressivement le dispositif et l'objet l'un de l'autre, de manière à capturer de plus en plus de détails visuels de l'objet, puis pour, dans un second temps, dès lors que l'objet entre dans la zone de détection tactile du dispositif, saisir des informations tactiles relatives à l'objet à l'aide des moyens de saisie haptique entourant le capteur d'images. Grâce à ce dispositif, l'utilisateur peut recueillir des informations visuelles de plus en plus précises ainsi que des informations tactiles relatives à l'objet, en un geste simple consistant à rapprocher progressivement son dispositif de l'objet puis à le plaquer contre ce dernier.
La disposition des moyens de saisie haptique autour du capteur d'images permet d'optimiser l'adéquation entre ce qui est saisi au niveau tactile et ce qui est capturé au niveau images, autrement dit entre l'image "tactile" et l'image visuelle de l'objet, tout en assurant une "continuité visuo-tactile". Par "continuité visuo-tactile", on entend désigner le fait d'enchaîner sans interruption apparente, de façon continue, la saisie d'images visuelles et la saisie tactile. Ce résultat est obtenu lorsque, au cours d'un zoom sur un objet, la dernière image nette est capturée sensiblement au moment où les premières informations tactiles sont saisies. Pour cela, il faut que la zone de netteté visuelle (correspondant à la zone dans laquelle l'objet doit se situer pour que le capteur d'images saisissent des images nettes) et la zone de détection tactile (correspondant à la zone dans laquelle l'objet doit se situer pour que la saisie tactile puisse être faite) se recouvrent légèrement ou bien aient des frontières respectives contigues ou tout au moins à proximité l'une de l'autre. L'instant de début de la saisie tactile peut légèrement précéder ou légèrement suivre l'instant de fin de netteté visuelle (c'est-à-dire de début du flou) ou bien correspondre exactement à cet instant. Dans le cas où les moyens de saisie haptique sont aptes à capter des informations avant contact, la saisie tactile commence avant l'instant de fin de netteté visuelle, autrement dit avant le flou. Dans le cas où les moyens de saisie haptique nécessitent une mise en contact, la saisie tactile commence peu après le début du flou. Toutefois, dans les deux cas, la frontière de "perte du visuel" et la frontière de "prise de contact" se correspondent sensiblement.
Les différentes images tactiles élémentaires saisies par les différents capteurs tactiles discrets entourant le capteur d'images permettent de reconstituer une image tactile enveloppante de l'objet visuellement saisi, dans laquelle seule la partie centrale, moins importante sur le plan de la perception tactile, n'est pas saisie tactilement du fait de la présence du capteur d'images.
Avantageusement, les moyens de saisie haptique comprennent une pluralité de capteurs tactiles répartis autour dudit au moins un capteur d'images. Les capteurs tactiles peuvent être répartis uniformément autour du capteur d'images. Cela permet d'utiliser de manière optimale les moyens de saisie pour saisir le maximum d'informations tactiles. Par ailleurs, l'utilisation de capteurs tactiles discrets permet de faciliter la construction du dispositif par simple montage du capteur d'images et des capteurs tactiles sur un même support.
Les capteurs tactiles peuvent être disposés en cercle autour de l'objectif. En variante, les moyens de saisie haptique peuvent comprendre une matrice de capteurs tactiles, le capteur d'images pouvant alors être disposé au centre de ladite matrice.
Dans une autre forme de réalisation, le dispositif comprend une pluralité de capteurs d'images disposés dans des espaces séparant les capteurs tactiles.
Les capteurs tactiles peuvent être disposés en rangées parallèles, chaque rangée comportant plusieurs capteurs séparés par des interstices, et les capteurs d'images peuvent être disposés dans lesdits interstices. Les rangées voisines de capteurs sont avantageusement en position décalée l'une par rapport à l'autre de manière à obtenir une disposition en quinconce des capteurs tactiles.
Le dispositif permet ainsi d'obtenir une saisie détaillée d'un objet aussi bien au niveau images qu'au niveau tactile, tout en assurant une conformité, une adéquation entre ce qui est capturé au niveau images et ce qui est saisi au niveau tactile.
Dans une autre forme de réalisation, les moyens de saisie haptique comprennent une membrane sensible déformable et le capteur d'images est positionné dans une zone centrale de ladite membrane. L'invention concerne également l'utilisation du dispositif de capture d'images et de saisie haptique précédemment défini pour, dans un premier temps, capturer des images d'un objet en rapprochant le dispositif et ledit objet l'un de l'autre puis, dans un second temps, saisir des informations tactiles relatives à l'objet lorsque le dispositif est mis en contact avec lui.
L'invention concerne enfin un terminal de communication à travers un réseau comprenant un dispositif de capture d'images et de saisie haptique tel que défini ci-dessus. Il peut s'agir par exemple d'un téléphone mobile ou de tout autre équipement de communication.
L'invention sera mieux comprise à l'aide de la description suivante de différentes formes de réalisation du dispositif de saisie visuelle et haptique de l'invention, en référence aux dessins annexés sur lesquels : la figure 1 représente une première forme de réalisation du dispositif de saisie visuelle et haptique ; la figure 2 représente une deuxième forme de réalisation du dispositif de saisie visuelle et haptique ; la figure 3 représente une troisième forme de réalisation du dispositif de saisie visuelle et haptique ; la figure 4 représente un quatrième forme de réalisation du dispositif de saisie visuelle et haptique ; la figure 5 représente de façon schématique une communication visuelle et haptique à l'aide du dispositif de saisie visuelle et haptique de l'une des figures 1 à 4.
Le dispositif de capture d'images et de saisie haptique de l'invention comprend des moyens de capture d'images comportant au moins un capteur d'images discret et des moyens de saisie haptique.
On rappelle ici que, par "capteur d'images", on entend désigner un capteur apte à convertir en un signal électrique correspondant, l'énergie d'un rayonnement optique émis ou réfléchi par un objet, ou une scène, un phénomène, et qui permet de reconstituer des images de cet objet, de cette scène ou de ce phénomène. Il peut s'agir d'un capteur d'images opérant dans la bande du visible, comme une caméra ordinaire, dans la bande de l'infrarouge ou dans toute autre bande spectrale. Le signal électrique généré par le capteur d'images est ensuite traité pour être converti, de manière bien connue, par des moyens de traitement en un signal de type numérique, que l'on appellera "signal d'images". Les moyens de saisie haptique sont adaptés pour détecter la forme et/ou la répartition des forces de pression exercées par un élément (objet, doigt, etc.), par contact, et pour générer un signal électrique correspondant, lequel est ensuite converti, de manière connue, par des moyens de traitement, en un signal de type numérique, que l'on appellera "signal haptique".
D'emblée, on notera que les éléments correspondants sur les différentes figures portent les mêmes références. Les figures 1 à 4 illustrent différentes formes de réalisation, non limitatives, envisagées de l'invention.
Sur les figures 1 à 3, les moyens de saisie haptique comprennent une pluralité de capteurs tactiles discrets 2. Ces capteurs 2 permettent de détecter la présence d'un objet ou de mesurer une force exercée, par contact.
Sur la figure 1 , les moyens de capture d'image comprennent un capteur d'images discret, en l'espèce une caméra vidéo 1, dont l'objectif est représenté sur la figure, et les moyens de saisie haptique comprennent une pluralité de capteurs tactiles discrets 2. L'objectif de la caméra 1 et les capteurs tactiles discrets 2 sont montés sur un même support 3. Les capteurs tactiles 2 sont disposés en cercle autour de l'objectif 1 de la caméra, à proximité de ce dernier, et sont répartis de façon uniforme sur ce cercle.
Sur la figure 2, on a représenté une deuxième forme de réalisation du dispositif de saisie de l'invention, qui diffère de la première décrite ci-dessus par le fait que les moyens de saisie haptique comprennent une pluralité de capteurs tactiles discrets 2 disposés en matrice. L'objectif 1 de la caméra est disposé au centre de cette matrice 4, autrement dit à l'intersection de la colonne médiane de capteurs 2 et de la ligne horizontale médiane de capteurs 2. Les capteurs tactiles 2 sont ainsi répartis de façon uniforme autour de l'objectif de la caméra 1.
Sur la figure 3, on a représenté une troisième forme de réalisation du dispositif de l'invention, dans laquelle les moyens de saisie haptique comprennent plusieurs rangées parallèles 6 de capteurs tactiles discrets 2 et les moyens de capture d'images comprennent une pluralité de capteurs d'images discrets 5. Il s'agit ici de capteurs d'infrarouge. Toutefois, on pourrait utiliser des capteurs d'images opérant dans toute autre bande spectrale, par exemple dans la bande du visible. Dans l'exemple particulier décrit ici, les rangées voisines 6 sont en position décalée l'une par rapport à l'autre de manière à ce que les capteurs tactiles 2 soient disposés globalement "en quinconce". Les capteurs d'images 5 sont positionnés dans les interstices ménagés entre les capteurs tactiles 2 de chaque rangée 6. Grâce à la disposition en quinconce des capteurs tactiles 2 et au positionnement des capteurs d'images 5 dans les interstices entre les capteurs tactiles 2 des rangées, chaque capteur d'images - à l'exception de ceux situés en bordure de zone de capture d'images et de saisie haptique - est entouré par quatre capteurs tactiles 5, répartis uniformément autour du capteur d'images 5 considéré.
Sur la figure 4, on a représenté une quatrième forme de réalisation du dispositif de capture d'images et de saisie haptique, dans lequel les moyens de saisie tactile comprennent une surface sensible déformable de saisie tactile 7, adaptée pour détecter la forme et/ou la répartition des forces de pression exercées par un objet en contact avec elle, et pour générer un signal électrique correspondant, lequel est converti en un signal haptique par des moyens de traitement. Ce type de membrane est bien connu de l'homme du métier et ne sera donc pas décrit plus en détails ici. Le dispositif comprend en outre une caméra 1 de capture d'images, dotée d'un objectif représenté sur la figure 4 et positionné dans la partie centrale de la surface sensible de saisie tactile.
Comme cela apparaît sur les figures 1 à 4, les moyens de capture d'images et les moyens de saisie haptique sont montés sur une même surface de support dans les différentes formes de réalisation de l'invention.
On soulignera que la disposition des moyens de saisie haptique autour d'un capteur d'images donné permet d'optimiser l'adéquation entre ce qui capturé au niveau images et ce qui est saisi au niveau tactile. En outre, une répartition uniforme des moyens de saisie tactile autour du capteur d'images permet une utilisation optimale des moyens de saisie pour saisir le maximum d'informations tactiles. Comme précédemment explicité, le dispositif assure ainsi une "continuité visuo-tactile". Autrement dit, la saisie d'images visuelles et la saisie tactile s'enchaînent sans interruption apparente, de façon continue. Ce résultat est obtenu lorsque, au cours d'un zoom sur un objet, la dernière image nette est capturée sensiblement au moment où les premières informations tactiles sont saisies. Pour cela, la zone de netteté visuelle (correspondant à la zone dans laquelle l'objet doit se situer pour que le capteur d'images saisissent des images nettes) et la zone de détection tactile (correspondant à la zone dans laquelle l'objet doit se situer pour que la saisie tactile puisse être faite) se recouvrent légèrement ou bien ont des frontières respectives contigues ou tout au moins à proximité l'une de l'autre. L'instant de début de la saisie tactile peut légèrement précéder ou légèrement suivre l'instant de fin de netteté visuelle (c'est-à-dire de début du flou) ou bien correspondre exactement à cet instant. Dans le cas où les moyens de saisie haptique sont aptes à capter des informations avant contact, la saisie tactile commence avant l'instant de fin de netteté visuelle, autrement dit avant le flou. Dans le cas où les moyens de saisie haptique nécessitent une mise en contact, la saisie tactile commence peu après le début du flou. Toutefois, dans les deux cas, la frontière de "perte du visuel" et la frontière de "prise de contact" se correspondent sensiblement. Les formes de réalisation des figures 1 à 4 sont données à titre d'exemples illustratifs. La portée de l'invention n'est pas limitée à ces exemples particuliers mais s'étend à tout dispositif de capture d'images et de saisie haptique dans lequel les moyens de saisie haptique entourent le ou les capteurs d'images.
En référence à la figure 5, l'invention concerne aussi l'utilisation du dispositif de capture d'images et de saisie haptique précédemment décrit pour, dans un premier temps, capturer des images d'un objet par rapprochement du dispositif et de l'objet, afin de visualiser de plus en plus de détails de l'objet, puis pour, dans un second temps, saisir des informations tactiles relatives à l'objet. En d'autres termes, les moyens de saisie haptique et les moyens de capture d'images sont agencés de manière à capturer des images d'un objet puis à saisir des informations tactiles sur ledit objet, par rapprochement entre le dispositif et l'objet. Dans le cas où les moyens de saisie haptique nécessitent une mise en contact physique, la saisie des informations tactiles s'effectue par une mise contact entre le dispositif et l'objet, laquelle suit le rapprochement entre ces derniers. Dans le cas où les moyens de saisie haptique sont aptes à capter des informations tactiles à distance, en utilisant par exemple des rayons lasers permettant de capter la forme d'un objet, la saisie des informations tactiles ne nécessitent pas de poursuivre le rapprochement par une mise en contact.
Le dispositif de capture d'images et de saisie haptique de l'invention peut être intégré dans un équipement de communication à travers un réseau, par exemple un téléphone mobile. Un utilisateur muni d'un tel téléphone mobile UEi peut ainsi, par exemple lorsqu'elle fait des courses, montrer à une autre personne distante, munie d'un équipement de communication intégrant un écran d'affichage et une surface de rendu tactile, un papier peint, de façon de plus en plus détaillée, puis lui faire toucher le relief du papier peint, par rapprochement progressif puis mis en contact du dispositif du téléphone mobile et du papier peint. La saisie d'images et la saisie tactile s'effectuent l'une après l'autre, sans interruption, autrement dit de façon continue.

Claims

REVENDICATIONS
1. Dispositif de capture d'images et de saisie haptique comprenant des moyens de capture d'images et des moyens de saisie haptique, caractérisé en ce que les moyens de capture d'images et les moyens de saisie haptique sont montés sur une même surface de support et en ce que, les moyens de capture d'images comprenant au moins un capteur d'images, les moyens de saisie haptique entourent ledit au moins un capteur d'images, le tout étant agencé de manière à capturer des images d'un objet puis à saisir des informations tactiles sur ledit objet, par rapprochement entre le dispositif et l'objet.
2. Dispositif selon la revendication 1, dans lequel les moyens de saisie haptique comprennent une pluralité de capteurs tactiles discrets répartis autour dudit au moins un capteur d'images.
3. Dispositif selon la revendication 2, dans lequel les capteurs tactiles sont disposés en cercle autour dudit capteur d'images.
4. Dispositif selon la revendication 2, dans lequel les moyens de saisie haptique comprennent une matrice de capteurs tactiles et le capteur d'images est disposé au centre de ladite matrice.
5. Dispositif selon la revendication 2, dans lequel il est prévu une pluralité de capteurs d'images disposés dans des espaces séparant les capteurs tactiles.
6. Dispositif selon la revendication 5, dans lequel les capteurs tactiles sont disposés en rangées parallèles, chaque rangée comportant plusieurs capteurs séparés par des interstices, et les capteurs d'images sont disposés dans lesdits interstices.
7. Dispositif selon la revendication 6, dans lequel les rangées voisines de capteurs sont en position décalée l'une par rapport à l'autre de manière à obtenir une disposition en quinconce des capteurs tactiles.
8. Dispositif selon la revendication 1, dans lequel les moyens de saisie haptique comprennent une membrane sensible déformable et le capteur d'images est positionné dans une zone centrale de ladite membrane.
9. Utilisation du dispositif de capture d'images et de saisie haptique selon l'une des revendications 1 à 8 pour, dans un premier temps, capturer des images d'un objet puis, dans un second temps, saisir des informations tactiles relatives à l'objet par rapprochement entre le dispositif et ledit objet.
10. Equipement de communication à travers un réseau comprenant un dispositif de capture d'images et de saisie haptique selon l'une des revendications 1 à 8.
PCT/FR2007/051762 2006-08-03 2007-07-31 Dispositif de capture d'images et de saisie haptique WO2008015365A2 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP07823674A EP2069889A2 (fr) 2006-08-03 2007-07-31 Dispositif de capture d'images et de saisie haptique
US12/375,736 US20090189874A1 (en) 2006-08-03 2007-07-31 Image capture and haptic input device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0653261 2006-08-03
FR0653261 2006-08-03

Publications (2)

Publication Number Publication Date
WO2008015365A2 true WO2008015365A2 (fr) 2008-02-07
WO2008015365A3 WO2008015365A3 (fr) 2008-04-10

Family

ID=37672318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2007/051762 WO2008015365A2 (fr) 2006-08-03 2007-07-31 Dispositif de capture d'images et de saisie haptique

Country Status (3)

Country Link
US (1) US20090189874A1 (fr)
EP (1) EP2069889A2 (fr)
WO (1) WO2008015365A2 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011061462A1 (fr) * 2009-11-23 2011-05-26 Universite De Technologie De Compiegne Procédé d'interaction, stimulateur sensoriel et système d'interaction adaptés à la mise en œuvre dudit procédé

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309997A1 (en) * 2008-06-13 2009-12-17 Sony Ericsson Mobile Communications Ab Image Capturing Device
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US10058302B2 (en) 2010-07-21 2018-08-28 The Regents Of The University Of California Method to reduce radiation dose in multidetector CT while maintaining image quality
US9403053B2 (en) 2011-05-26 2016-08-02 The Regents Of The University Of California Exercise promotion, measurement, and monitoring system
EP2793688A4 (fr) * 2011-12-19 2015-05-06 Univ California Système et procédé permettant de quantifier une palpation corporelle en vue de l'amélioration du diagnostic médical
EP2810146B1 (fr) * 2012-01-31 2018-10-03 FlatFrog Laboratories AB Contrôle et correction de performances dans un appareil tactile
US9483771B2 (en) 2012-03-15 2016-11-01 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized haptic emulations
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
US10019113B2 (en) 2013-04-11 2018-07-10 Flatfrog Laboratories Ab Tomographic processing for touch detection
US10201746B1 (en) 2013-05-08 2019-02-12 The Regents Of The University Of California Near-realistic sports motion analysis and activity monitoring
WO2015005847A1 (fr) 2013-07-12 2015-01-15 Flatfrog Laboratories Ab Mode de détection partielle
US10126882B2 (en) 2014-01-16 2018-11-13 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
EP3161594A4 (fr) 2014-06-27 2018-01-17 FlatFrog Laboratories AB Détection de contamination de surface
US11182023B2 (en) 2015-01-28 2021-11-23 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
US10496227B2 (en) 2015-02-09 2019-12-03 Flatfrog Laboratories Ab Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
US10401546B2 (en) 2015-03-02 2019-09-03 Flatfrog Laboratories Ab Optical component for light coupling
EP3387516B1 (fr) 2015-12-09 2022-04-20 FlatFrog Laboratories AB Identification de stylet améliorée
CN110100226A (zh) 2016-11-24 2019-08-06 平蛙实验室股份公司 触摸信号的自动优化
JP2020512607A (ja) 2016-12-07 2020-04-23 フラットフロッグ ラボラトリーズ アーベーＦｌａｔＦｒｏｇ Ｌａｂｏｒａｔｏｒｉｅｓ ＡＢ 改良されたタッチ装置
WO2018141948A1 (fr) 2017-02-06 2018-08-09 Flatfrog Laboratories Ab Couplage optique dans des systèmes de détection tactile
WO2018174788A1 (fr) 2017-03-22 2018-09-27 Flatfrog Laboratories Caractérisation d'objet pour écrans tactiles
WO2018182476A1 (fr) 2017-03-28 2018-10-04 Flatfrog Laboratories Ab Appareil de détection tactile et son procédé d'assemblage
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
WO2020153890A1 (fr) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab Terminal de visioconférence son procédé de fonctionnement
WO2020209011A1 (fr) * 2019-04-08 2020-10-15 ソニー株式会社 Dispositif de commande de mouvement et corps mobile
US12056316B2 (en) 2019-11-25 2024-08-06 Flatfrog Laboratories Ab Touch-sensing apparatus
KR20220131982A (ko) 2020-02-10 2022-09-29 플라트프로그 라보라토리즈 에이비 향상된 터치-감지 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069539A (ja) * 1996-08-28 1998-03-10 Nec Corp 景色画像の入力及び触覚出力装置
EP1376317A2 (fr) * 2002-06-19 2004-01-02 Seiko Epson Corporation Périphérique, méthode et logiciel d' entrée de données tactiles et d'images
US20050088424A1 (en) * 2000-07-05 2005-04-28 Gerald Morrison Passive touch system and method of detecting user input
US20050235032A1 (en) * 2004-04-15 2005-10-20 Mason Wallace R Iii System and method for haptic based conferencing
US20060119572A1 (en) * 2004-10-25 2006-06-08 Jaron Lanier Movable audio/video communication interface system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5459329A (en) * 1994-09-14 1995-10-17 Georgia Tech Research Corporation Video based 3D tactile reconstruction input device having a deformable membrane
US7209160B2 (en) * 1995-09-20 2007-04-24 Mcnelley Steve H Versatile teleconferencing eye contact terminal
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6368268B1 (en) * 1998-08-17 2002-04-09 Warren J. Sandvick Method and device for interactive virtual control of sexual aids using digital computer networks
US6786863B2 (en) * 2001-06-07 2004-09-07 Dadt Holdings, Llc Method and apparatus for remote physical contact
US7535468B2 (en) * 2004-06-21 2009-05-19 Apple Inc. Integrated sensing display
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
US9019209B2 (en) * 2005-06-08 2015-04-28 3M Innovative Properties Company Touch location determination involving multiple touch location processes
US20070002130A1 (en) * 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069539A (ja) * 1996-08-28 1998-03-10 Nec Corp 景色画像の入力及び触覚出力装置
US20050088424A1 (en) * 2000-07-05 2005-04-28 Gerald Morrison Passive touch system and method of detecting user input
EP1376317A2 (fr) * 2002-06-19 2004-01-02 Seiko Epson Corporation Périphérique, méthode et logiciel d' entrée de données tactiles et d'images
US20050235032A1 (en) * 2004-04-15 2005-10-20 Mason Wallace R Iii System and method for haptic based conferencing
US20060119572A1 (en) * 2004-10-25 2006-06-08 Jaron Lanier Movable audio/video communication interface system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011061462A1 (fr) * 2009-11-23 2011-05-26 Universite De Technologie De Compiegne Procédé d'interaction, stimulateur sensoriel et système d'interaction adaptés à la mise en œuvre dudit procédé

Also Published As

Publication number Publication date
EP2069889A2 (fr) 2009-06-17
WO2008015365A3 (fr) 2008-04-10
US20090189874A1 (en) 2009-07-30

Similar Documents

Publication Publication Date Title
WO2008015365A2 (fr) Dispositif de capture d'images et de saisie haptique
JP6185213B2 (ja) 撮像装置及び撮像装置の画像処理方法及びプログラム
CA2834883C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
Xiao et al. Mobile imaging: the big challenge of the small pixel
US9432643B2 (en) Image processing device, image capture device, image processing method, and non-transitory computer-readable medium
US20150317776A1 (en) Image processing device and image capture device
FR3043478A1 (fr) Terminal mobile et methode de controle associee
EP3973693B1 (fr) Dispositif de capture d'images à expositions multiples et système de surveillance d'un conducteur associé
JP4412710B2 (ja) 光電変換装置の設計方法
EP1834475A2 (fr) Terminal de visiophonie avec reglages intuitifs
US9881362B2 (en) Image processing device, image-capturing device, image processing method, and program
WO2014046038A1 (fr) Dispositif de formation d'image et procédé d'affichage de vérification de la mise au point
US10083500B2 (en) Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
US20210266425A1 (en) Electronic device
FR2999852A1 (fr) Module de camera et systeme de surveillance dote de celui-ci
WO2017129911A2 (fr) Assistant numérique personnel emboitant un ordiphone, un clavier et une tablette capable de prendre des images
JP6427720B2 (ja) 撮像素子及び撮像装置
EP1351498B1 (fr) Procédé de traitement en temps réel d'un signal représentatif d'une image
FR2910770A1 (fr) Dispositif pour permettre une communication par visioconference et procede de communication associe.
FR2799911A1 (fr) Systeme de controle du stress
EP3386191B1 (fr) Capteur matriciel a codage temporel sans arbitrage
EP1168810B1 (fr) Téléphone mobile muni d'une caméra
EP1847958B1 (fr) Segmentation d'image numérique d'une zone d'observation en temps réel
EP1826993A1 (fr) Procédé d'adaptation de l'interface homme/machine d'un téléphone et téléphone selon le procédé
EP1929777B1 (fr) Systeme et procede de traitement d'images par annulation d'echo video

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 12375736

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2007823674

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007823674

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07823674

Country of ref document: EP

Kind code of ref document: A2