WO2020016488A1 - Système d'asservissement mécanique motorisé d'un plan holographique pour le guidage manuel de précision - Google Patents

Système d'asservissement mécanique motorisé d'un plan holographique pour le guidage manuel de précision Download PDF

Info

Publication number
WO2020016488A1
WO2020016488A1 PCT/FR2019/000115 FR2019000115W WO2020016488A1 WO 2020016488 A1 WO2020016488 A1 WO 2020016488A1 FR 2019000115 W FR2019000115 W FR 2019000115W WO 2020016488 A1 WO2020016488 A1 WO 2020016488A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
mirror surface
semi
plane
source image
Prior art date
Application number
PCT/FR2019/000115
Other languages
English (en)
Inventor
Stéphane WEIBEL
Sébastien SCHNEIDER
Original Assignee
Holomake
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Holomake filed Critical Holomake
Publication of WO2020016488A1 publication Critical patent/WO2020016488A1/fr

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/144—Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity

Definitions

  • the invention described here applies to the field of industry and aims to increase a manual work station with high definition visual guides which appear very precisely in the work region in overprinting of real objects, hands and tools.
  • the present invention aims to increase the manual workstation by adapting a display mechanism, which is similar to a head-up vision system (HUD, from the English Head Up Display), which brings up information in the work region. This information which appears serves as a guide for the operator who will then be visually assisted during manual operations which require dexterity and precision.
  • HUD head-up vision system
  • the objective is to increase the performance of the human operator in the factory of the future to allow him to remain competitive in the face of the arrival of cyber-physical systems. Indeed, in the industry, assembly line operators are faced with complex product structures and complex assembly sequences. This complexity combined with the pressure of having to complete the assembly in a minimum of time and with maximum quality prevents the operator from being able to act optimally.
  • augmented reality With augmented reality, it is possible to display digital information related to the context and objects over the real environment in order to increase a user's perception of reality.
  • Today these augmented reality systems are used especially in video games, sports or tourism. Adoption is difficult to achieve in the industrial sector, mainly because the configuration of the industrial environment is particularly complex and constrained.
  • One of the keys to the successful adoption of augmented reality in the industrial sector is acceptance by the users themselves.
  • a large number of studies show that augmented reality offers a real improvement in the speed of assembly with a decrease in cognitive load and, as a bonus, an increase in quality (lower error rate). This is all the more marked on novice operators.
  • Augmented reality of the reflective type which can also be called optical direct augmented reality, is that which is exploited in the present invention and which is also exploited by head vision systems.
  • high HUD, from the English Head Up Display
  • patent document US 201201 13140 A1 or more generally by any “Pepper ghost” type system, as described in patent documents WO 2007072014 A3, or US 20140362439 A1.
  • such systems do not allow precise adjustment of the position of the hologram in space. This is particularly troublesome in the context of visual guidance of manual operations in space, in particular when the hologram is a holographic plane. Indeed, the operator's hands being caused to move during the various operations, it is particularly crucial that the hologram can be repositioned precisely and regularly.
  • Projective type augmented reality which can also be called projective direct augmented reality, works with a light projector which projects an image or information onto an existing physical medium, as described in patent documents US 20160019212 A1 , US 20070153375 A1, or WO 2016206874 A1.
  • the disadvantages of systems implementing such an augmented reality by projection are as follows: it is necessary to have a physical support for projection, the body positioned between the projector and the support intercepts the light and creates a drop shadow which prevents '' have precision guidance.
  • the invention therefore aims to provide a fixed direct optical augmented reality system, allowing precise and regular adjustment of the position of the hologram in space, and overcoming the aforementioned drawbacks of the prior art .
  • the invention relates to a fixed direct optical augmented reality system, comprising a semi-transparent mirror surface (5); and an element (14; 15) capable of emitting a source image which is reflected on the semi-transparent mirror surface (5) so as to form a hologram of the source image in a working region located opposite said element (14; 15) relative to the semi-transparent mirror surface (5); at least one of the semi-transparent mirror surface (5) and of the element (14; 15) capable of emitting a source image being mounted movable in vertical translation; further comprising a control and servo system (16) configured to adjust at least the height of the hologram, by servo the position in height of the semi-transparent mirror surface (5) and / or of the element (14; 15) capable of emitting a source image.
  • a control and servo system (16) configured to adjust at least the height of the hologram, by servo the position in height of the semi-transparent mirror surface (5) and / or of the element (14;
  • the mechanical servo control produced by the control and servo system it is possible to very precisely adjust the place where the hologram resulting from the reflection of the element capable of emitting a source image appears in the semi-transparent mirror surface.
  • This hologram which can in particular be a holographic plane adapted to the scale of human hands, makes it possible for example to guide the manual operations of an operator in a work area with sub-millimeter precision, for example in a work area of 40x40x40cm approximately. This increases the operator workstation, for example helping operators to complete assembly tasks in the most efficient way possible.
  • the system according to the invention is completely non-intrusive for the operator who does not need to carry a device and this is what makes it a device more easily adopted by operators.
  • the image or the information perceived on the work area comes from a reflection on an intermediate mirror surface located halfway between the element capable of emitting a source image and the user's work area. All the space between this intermediate mirror surface and the working area where the hologram appears is free to interact and no object in this area comes to mask the operator's vision of the hologram.
  • control and servo-control system comprises motorized mechanical means for displacement in height of the semi-transparent mirror surface and / or of the element capable of emitting a source image; and a computerized control and calculation system linked to motorized mechanical means.
  • system further comprises a support plate for the element capable of emitting a source image, said plate being mounted movable in vertical translation and in rotation about a substantially horizontal axis, the control system and d the control being further configured to adjust an angle of inclination of the hologram, via a control of the angle formed by said movable plate relative to a horizontal plane.
  • the system further comprises a light source fixed under the semi-transparent mirror surface to illuminate the working region.
  • the system further comprises means for adjusting the intensity and / or the color of the light emitted by the light source. This allows the visual mixing between the hologram and the working region to be precisely adjusted according to the ambient light conditions.
  • the element capable of emitting a source image is an electronic device, in particular a backlit electronic screen; the hologram forming a holographic plane, the content of the holographic plane consisting of one or more still or animated images, and / or one or more texts.
  • the system further comprises an information device connected to the control and servo system via a local computer network, said information device being configured to transmit to the device electronic, via the control and servo system, said content of the holographic plan.
  • the content of the holographic plane corresponds to a sequence of images
  • the system further comprises means for controlling the passage from one image to another of the sequence of images, in particular a manual pedal-type command, command button, voice or gesture command, or even an automated camera-type command installed on the system and configured to generate a command activation signal.
  • the system further comprises a camera type sensor connected to the control system and servo control, said sensor being installed at the level of the light source, under the mirror surface, and being configured to detect the gestures of an operator in the working region and to trigger actions automatically as a function of these gestures. This allows gesture control (gesture commands), optical control (automatic control), as well as performing a posteriori control of an operation performed. The system is then for example capable of indicating the quality of the action carried out.
  • the camera type sensor is further configured to scan the working region and to reintroduce into the content of the holographic plane, via the control and servo system and the electronic device, the digital content acquired, so as to form a system of virtual layers in the holographic plane. This allows you to work step by step on a physical object with a layer system that guides the sequence.
  • the element capable of emitting a source image is an opaque or transparent physical object.
  • the system further comprises one or more additional light sources oriented towards the physical object and configured to illuminate said object.
  • the system further comprises a movable platform supporting at least one object of interest positioned in said working region, the semi-transparent mirror surface and the element capable of emitting a source image being fixed in suspension on a platform located above the work area.
  • control and servo system is further configured to slave said movable plate in rotation about a vertical axis and / or in translation along this vertical axis.
  • the system further comprises a transparent surface of the same material and the same thickness as the semi-transparent mirror surface, said transparent surface being arranged between the element capable of emitting a source image and the semi-transparent mirror surface, for example applied against said element.
  • a transparent surface is glued to the element capable of emitting a source image. This avoids any risk of specularity or other color change.
  • the invention also relates to a method for calibrating a fixed direct optical augmented reality system as described above, in which the element capable of emitting a source image is an electronic device (14). , in particular a backlit electronic screen (14); the hologram forming a holographic plane (8), the system further comprising a movable plate (13) supporting at least one object of interest (3) positioned in the working region; the method being implemented by the control and servo system (16) and comprising a step consisting in displaying a target at the holographic plane (8), the target being composed of a texture and a point representing a center of rotation, so as to allow the height of the holographic plane (8) to be aligned with the plane defined by the movable plate (13), by aligning the texture of the target with the mobile plate (13), and position the holographic plane (8) in two horizontal directions, by aligning the center of rotation of the target with the center of rotation of the moving plate (13).
  • the plate is mounted mobile in rotation about a vertical axis and mobile in translation along said vertical axis, and the control and servo system is further configured to slave the mobile plate in rotation around 'a vertical axis and / or in translation along this vertical axis, the method further comprising the following steps:
  • FIG. 1 is a perspective view of a first embodiment of a fixed direct optical augmented reality system according to a first embodiment of the invention
  • FIG. 2 is a perspective view of a second embodiment of a fixed direct optical augmented reality system according to the first embodiment of the invention
  • FIG. 3 is a perspective view of a fixed direct optical augmented reality system according to a second embodiment of the invention.
  • FIG. 4 is a simplified representation of the fixed direct optical augmented reality system according to the first embodiment of the invention.
  • Figures 1 to 4 show a fixed direct optical augmented reality system comprising a semi-transparent mirror surface 5, a LED light source of variable intensity 10 and two slave plates 6, 13.
  • the mirror surface 5 is positioned horizontally and is adjustable in height, either manually or mechanically via a motorized linear guide with a stepping motor, with sub-millimeter precision. This setting allows you to optimally position the surface so that user 1 can see their workspace through it. The position of the mirror depends on the posture of user 1 (standing or sitting) and its size (large or small person).
  • This semi-transparent mirror surface 5 is for example a glass or plexiglass plate covered with a semi-reflective film or else a plexiglass plate covered with a semi-reflective coating applied under vacuum.
  • This treatment makes the surface reflective with a reflection coefficient to be chosen according to the application case and the environment of use. In the ideal case, this surface should be completely flat and without thickness to avoid problems annoying refraction, as illustrated in Figure 4. These refraction problems are all the more visible when working with a collimated (aligned) reflection on real objects.
  • a thick plexiglass mirror plate 5 is used, and the refraction of this material is compensated with a second plate 7 of the same material and of the same thickness but without reflective treatment placed between the mirror 5 and the source of the image 14.
  • the working region located under the mirror surface is illuminated by one or more LED light sources 10 which are fixed under the mirror surface and oriented downwards, towards the work plane 2.
  • This lighting must be the most diffuse and homogeneous possible, a lighting surface composed of LEDs is used. The size of this surface depends on the use case and the environment of use. A precise manual adjustment of the intensity of the LED lighting makes it possible to modify at any time the visual mixture between the reflection perceived in the mirror surface and the working region located under the mirror surface.
  • the adjustment (color intensity) of the LED light 10 is carried out by means of a potentiometer positioned on the left or on the right side and adjustable by hand. It is for example possible to adjust the light intensity via a foot-activated pedal according to the uses. In addition, the adjustment of the intensity and the color of the light sources can be controlled by a computerized automatic system.
  • the two slave plates 6, 13 serve as supports, a first plate 13 for the physical object of interest and another plate 6 for the source of the image.
  • the first tray called the work tray 13 is fixed on the work surface 2 and serves as a support for the physical object of interest 3 which is called the object of study.
  • the work plate 13 is fixed to the horizontal and is controlled by two degrees of freedom in rotation about a vertical axis via a coding wheel and in translation along this same axis, as illustrated in Figures 2 and 3.
  • This tray serves as a support for the study object 3 which is placed or fixed on it.
  • the second plate which is called the suspended plate 6, is a transparent or hollowed-out rigid plate, suspended above the semi-mirror surface. transparent 5. This plate is also fixed horizontally in its rest position and is also controlled by two degrees of freedom which are the rotation around an axis X and the translation along the axis Z, as illustrated in FIGS. 2 and 3. This suspended plate 6 serves as a support for the source of the holographic reflection 14, 15.
  • an inclination measurement sensor 12 (inclinometer) makes it possible to know the inclination of the source of the image and will be connected to processor 16 which calculates the corresponding cutting plane.
  • a sensor making it possible to measure a distance between an object and the sensor is installed either on the underside of the platform. suspended 6, ie under the mirror surface 5.
  • Such a sensor which is not shown in the figures for reasons of clarity, makes it possible to know in real time the position of the physical object of interest 3, and is connected to processor 16 in order to allow the servo-control in height of the suspended plate 6 and / or of the mirror surface 5, so as to allow automatic adjustment of the height of the projected hologram.
  • An advantage of using a TOF type flight time sensor is that it has a measurement accuracy of less than 1 cm.
  • the servo-control of the translation and rotation mechanisms is ensured by the computer system 16 which collects the measurements of the positions of the mechanisms and which controls the actuators which will allow these mechanisms to reach their set value.
  • the translation mechanisms are ensured by linear guides provided with transmission belts.
  • a toothed wheel allows the servo system to position the support plate at the set angle and to orient the work plate at the set angle.
  • the positioning in translation and in rotation can be carried out manually.
  • the support and working trays can be fixed in order to obtain a simpler system of implementation.
  • only the height of the mirror surface 5 is adjustable by mechanical control controlled by the computer system 16.
  • all of the elements mentioned, including the surface mirror 5 and the support and work trays 6, 13 are adjustable by mechanical servo controlled by the computer system 16.
  • a downward-backlit electronic screen 14 which can be:
  • the digital images can be part of a sequence
  • a network signal from a third-party system such as a sensor installed on the system, for example a camera with motion detection.
  • the real object 15 serving as a source of the reflection can be of different types and illuminated in different ways:
  • the reflection of the source image is perceived as a holographic plane 8 which cuts the working region according to a symmetrical position and orientation defined by the position and the orientation of the suspended tray 6.
  • This holographic plane 8 is at the resolution of the displayed source image (for example a 4K resolution on a 4K screen), and, as a plane, it overcomes the defects of 3D vision such as focusing or stereoscopy. This does not cause any visual discomfort for the operator who can use this non-invasive system daily without eye strain.
  • This holographic plane 8 is superimposed on the real objects 3 as well as on the hands and the tools 4 of the operator. The perceived reflection 9 is thus neither modified by the presence of real objects 3 nor by those of the hands or tools 4 manipulated by the operator.
  • the holographic plane 8 consists of digital content originating from an electronic screen 14, this content may be text, images, videos or 3D content or finally a composition of these elements.
  • the content is not necessarily digital but can also be a real volume physical object 15 and in this case it is the reflection of this real object which will appear this time in 3D volume in the working region. Certain elements of the content can be collimated with the real physical object of interest 3.
  • the refraction of the light must be corrected to keep the setting whatever the point of view and the angle of view.
  • This refraction correction is carried out by applying to the source of the image 14, 15 a surface 7 of the same material and the same thickness as the semi-transparent mirror surface but this time completely transparent. This surface 7 must be bonded to the image source 14, 15 to avoid any risk of specularity or other color change.
  • the operator by acting on electronic controls, is capable of modifying both the orientation and the height of the work platform 13 supporting the physical object of study 3, as well as entering values setpoint for the height and inclination of the holographic plane 8.
  • the operator aligns the holographic plane 8 with the plane of the work plate 13. Then the operator aligns the center of rotation of the target with the center of rotation of the physical work plate 13.
  • the operator begins by placing the work plate 13 at the desired location on the work plan 2 then it acts on processor 16 to align the position of the center of rotation on the target with the center of rotation of the work platform. [60]
  • the system is capable of displaying in virtual holographic plane 8 the virtual representation of the corresponding real cutting plane with sub-millimeter precision.
  • the processor 16 is also capable of calculating the cutting plane corresponding to the holographic plane.
  • the study object 3 is intended to be placed on the work plate 13 and there is a 3D model of this study object with its actual dimensions. From this moment, the processor 16 is capable of extracting and displaying on the holographic plane 8 the content of the corresponding cutting plane. [63] The operator will act on these four parameters:
  • the processor 16 will then calculate and display on the holographic plane the content of the corresponding cutting plane.
  • the processor 16 is capable of displaying additional textual information attached or not to elements of the section plane.
  • system is capable of:
  • the operator can move from one task to another by an action on an electronic control.
  • the present system according to the invention of augmented reality in a fixed position to guide manual operations with high precision can be applied to all fields when it comes to improving time efficiency and increase the reliability of a task carried out by a human operator or craftsman. It can be a one-off complex manual task (as in the case of a craftsman who works with raw material) or a sequence of simple chain tasks (as in the case of small-scale or medium series where the cost of process automation is not profitable).
  • the source object must be ideally transparent in order to be able to check the internal volume structure.
  • This transparent object can be obtained by 3D printing of the edges of the surface of the object (analog wire) or by Plexiglas plates engraved in layer by layer.
  • the system according to the invention can integrate an additional digital camera type sensor 11 to allow gesture control (gesture commands), optical control (automatic control) or scan of the work area.
  • This camera 11 is installed near the light sources 10 and under the mirror surface 5 and is connected to the computer control system 16 which is responsible for processing the acquired video stream.
  • the camera is capable of detecting the gestures of an operator in the work area and, based on these gestures, of triggering actions automatically (going to the next, previous step, validation, etc.).
  • the camera connected to the computer system 16 makes it possible to carry out an a posteriori control of an operation carried out; for this, the computer system 16 performs image processing in order to compare the result of the operation with the target image of the expected result. The system is then able to indicate the quality of the action.
  • this camera 11 which offers the most possibilities is its use as a scanner making it possible to digitally acquire the environment present in the working region and to offer this content to the source of digital image as a layer which is superimposed on the digital image already present.
  • This system allows you to work step by step on a physical object with a layer system that guides the sequence. A craftsman will be able to use this system for example to be able to reproduce an identical craft work on several pieces: an engraving on a flexible material, a pyrography on wood, a drawing on any support, etc ...
  • a Another example of the scanning of a real object with the system according to the invention is to reverse engineer a mechanical part or an electronic circuit in real size.
  • this system generally makes it possible to carry out a shape transfer from any physical object to a different physical medium via the digitized model which then serves as a model for the transfer to the target medium.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)

Abstract

La présente invention se rapporte à un système de réalité augmentée optique directe fixe comprenant une surface miroir semi transparente (5); et un élément (14) capable d'émettre une image source qui est réfléchie sur la surface miroir semi transparente (5) de sorte à former un hologramme de l'image source. Le système comprend en outre un système de contrôle et d'asservissement (16) configuré pour régler au moins la hauteur de l'hologramme, via un asservissement de la position en hauteur de la surface miroir semi transparente (5) et/ou de l'élément (14) capable d'émettre une image source. L'hologramme est formé grâce à l'effet d'optique du fantôme de Pepper, et peut servir de guide cognitif visuel pour l'action d'une ou plusieurs mains humaines dans une zone spatialement délimitée.

Description

Description
Système d’asservissement mécanique motorisé d’un plan holographique pour le guidage manuel de précision
[1] L’invention décrite ici s’applique au domaine de l’industrie et vise à augmenter un poste de travail manuel avec des guides visuels haute définition qui apparaissent très précisément dans la région de travail en surimpression des objets réels, des mains et des outils.
[2] Après la mécanisation, la production de masse et à la chaîne puis l’automatisation, la quatrième révolution industrielle voit l’apparition de systèmes cyber-physiques qui viennent remplacer tout ou partie des activités auparavant manuelles. Dans ce contexte, se pose la question de la place de l’humain dans cette industrie du futur et de sa collaboration avec les systèmes cyber-physiques.
[3] La présente invention a pour objectif d’augmenter le poste de travail manuel en y adaptant un mécanisme d’affichage, qui s’apparente à un système de vision tête haute (HUD, de l’anglais Head Up Display), qui vient faire apparaître une information dans la région de travail. Cette information qui apparaît sert de guide à l’opérateur qui sera alors assisté visuellement lors d’opérations manuelles qui requièrent de la dextérité et de la précision.
[4] L’objectif est d’augmenter les performances de l’opérateur humain dans l’usine du futur pour lui permettre de rester compétitif face à l’arrivée des systèmes cyber- physiques. En effet, dans l’industrie, les opérateurs de ligne d’assemblage sont confrontés à des structures de produit complexes et à des séquences d’assemblage complexes. Cette complexité combinée à la pression de devoir compléter l’assemblage dans un minimum de temps et avec une qualité maximale empêche l’opérateur de pouvoir agir de façon optimale.
[5] Avec la réalité augmentée, il est possible d’afficher des informations numériques liées au contexte et aux objets par-dessus l’environnement réel afin d’augmenter la perception de la réalité d’un utilisateur. Aujourd’hui ces systèmes de réalité augmenté sont utilisés surtout dans les jeux vidéo, le sport ou le tourisme. L’adoption peine à se réaliser dans le domaine de l'industrie, principalement parce que la configuration de l’environnement industriel est particulièrement complexe et contrainte. Une des clés de la réussite de l’adoption de la réalité augmentée dans le secteur industriel est l’acceptance par les utilisateurs eux-mêmes. Un grand nombre d’études montre que la réalité augmentée offre une réelle amélioration de la vitesse d’assemblage avec une baisse de la charge cognitive et en prime une augmentation de la qualité (taux d’erreur plus bas). Ceci est d’autant plus marqué sur des opérateurs novices.
[6] Il est connu des dispositifs de guidage visuel des opérations manuelles qui s’apparentent à des systèmes de réalité augmentée basés sur une projection d’image holographique de type“Fantôme de Pepper” (en anglais : Pepper’s Ghost effect). En effet le guide visuel qui apparaît en surimpression du plan de travail est issu du reflet d’une source d’image dans une surface miroir semi-transparente.
[7] Cet effet d’optique, découvert au XIXème siècle, est surtout utilisé dans les représentations scéniques ou pour des présentations de produits, comme décrit dans les documents brevets WO 2005096095 A1 , WO 201 1045437 A1 , EP 2508933 A1 ou encore US 8692738 B2.
[8] Un tel effet d’optique, mis en œuvre avec une source d’image qui est un écran standard, permet de créer un reflet fondamentalement plan. Ce plan est donc inefficient pour comprendre la structure 3D d’un objet volumique réel ou pour afficher la structure volumique d’un objet virtuel.
[9] Lorsque l’on parle de réalité augmentée aujourd’hui, les usages visés sont plus orientés vers le grand public que vers le monde professionnel, et les dispositifs proposés sont soit à porter sur la tête (casque, lunettes), comme décrit dans les documents brevets US 6972734 B1 , US20140320389 A1 , US9436006 B2, US 20140320389 A1 , ou US 8990682 B1 ; soit à porter à la main (smartphone, tablette), comme décrit dans les documents brevets US 20180008897 A1 , US 8633946 B2, ou WO16048366A1. L’autre façon de faire de la réalité augmentée est avec un dispositif en fixe, donc non porté, qui peut-être soit de type réflectif soit de type projectif. La réalité augmentée de type réflective, que l’on peut appeler aussi la réalité augmentée directe optique, est celle que l’on exploite dans la présente invention et qui est aussi exploitée par les systèmes de vision tête haute (HUD, de l’anglais Head Up Display), comme décrit dans le document brevet US 201201 13140 A1 , ou plus généralement par tout système de type“Fantôme de Pepper”, comme décrit dans les documents brevets WO 2007072014 A3, ou US 20140362439 A1. Toutefois, de tels systèmes ne permettent pas de régler précisément la position de l’hologramme dans l’espace. Ceci est particulièrement gênant dans le contexte du guidage visuel d’opérations manuelles dans l’espace, en particulier lorsque l’hologramme est un plan holographique. En effet, les mains de l’opérateur étant amenées à bouger au cours des différentes opérations, il est particulièrement crucial que l’hologramme puisse être repositionné précisément et régulièrement.
[10] La réalité augmentée de type projective, que l’on peut appeler aussi la réalité augmentée directe projective, fonctionne avec un projecteur de lumière qui projette une image ou information sur un support physique existant, comme décrit dans les documents brevets US 20160019212 A1 , US 20070153375 A1 , ou WO 2016206874 A1. Les inconvénients des systèmes mettant en œuvre une telle réalité augmentée par projection sont les suivants : il est nécessaire d’avoir un support physique pour la projection, le corps positionné entre le projecteur et le support intercepte la lumière et crée une ombre portée qui empêche d’avoir un guidage de précision.
[11] L’invention a donc pour but de fournir un système de réalité augmentée optique directe fixe, permettant de régler précisément et régulièrement la position de l’hologramme dans l’espace, et palliant aux inconvénients susmentionnés de l’état de la technique.
[12] A cet effet, l’invention concerne un système de réalité augmentée optique directe fixe, comprenant une surface miroir semi transparente (5) ; et un élément (14 ; 15) capable d'émettre une image source qui est réfléchie sur la surface miroir semi transparente (5) de sorte à former un hologramme de l’image source dans une région de travail située à l’opposé dudit élément (14 ; 15) par rapport à la surface miroir semi transparente (5) ; au moins l’un de la surface miroir semi transparente (5) et de l’élément (14 ; 15) capable d’émettre une image source étant monté mobile en translation verticale ; comprenant en outre un système de contrôle et d’asservissement (16) configuré pour régler au moins la hauteur de l’hologramme, via un asservissement de la position en hauteur de la surface miroir semi transparente (5) et/ou de l’élément (14 ; 15) capable d’émettre une image source..
[13] Grâce à l’asservissement mécanique réalisé par le système de contrôle et d’asservissement, il est possible de régler très précisément l’endroit où apparaît l’hologramme issu du reflet de l’élément capable d’émettre une image source dans la surface miroir semi-transparente. Cet hologramme, qui peut notamment être un plan holographique adapté à l’échelle des mains humaines, permet par exemple de guider les opérations manuelles d’un opérateur dans une zone de travail avec une précision sub-millimétrique, par exemple dans une zone de travail de 40x40x40cm approximativement. Ceci permet d’augmenter le poste de travail des opérateurs, en aidant par exemple les opérateurs à achever des tâches d’assemblage de la manière la plus efficace possible.
[14] En outre, le système selon l’invention est totalement non intrusif pour l’opérateur qui n’a pas besoin de porter un appareil et c’est ce qui en fait un dispositif plus facilement adopté par les opérateurs.
[15] Enfin, dans le cas de la présente invention, l’image ou l’information perçue sur la zone de travail est issue d’un reflet sur une surface miroir intermédiaire située à mi-chemin entre l’élément capable d’émettre une image source et la zone de travail de l’utilisateur. Tout l’espace situé entre cette surface miroir intermédiaire et la zone de travail où apparaît l'hologramme est libre pour interagir et aucun objet dans cette zone ne vient masquer à l’opérateur la vision de l’hologramme.
[16] Des formes particulières du système de réalité augmentée optique directe fixe sont définies selon l’invention.
[17] Avantageusement, le système de contrôle et d’asservissement comprend des moyens mécaniques motorisés de déplacement en hauteur de la surface miroir semi transparente et/ou de l’élément capable d’émettre une image source ; et un système de contrôle et de calcul informatique relié aux moyens mécaniques motorisés. [18] Avantageusement, le système comprend outre un plateau de support de l’élément capable d’émettre une image source, ledit plateau étant monté mobile en translation verticale et en rotation autour d’un axe sensiblement horizontal, le système de contrôle et d’asservissement étant configuré en outre pour régler un angle d’inclinaison de l’hologramme, via un asservissement de l’angle formé par ledit plateau mobile par rapport à un plan horizontal.
[19] Avantageusement, le système comprend en outre une source de lumière fixée sous la surface miroir semi transparente pour éclairer la région de travail.
[20] Avantageusement, le système comprend en outre des moyens de réglage de l’intensité et/ou de la couleur de la lumière émise par la source de lumière. Ceci permet de régler précisément le mélange visuel entre l’hologramme et la région de travail en fonction des conditions de lumière ambiante.
[21] Selon un premier mode de réalisation de l’invention, l’élément capable d’émettre une image source est un appareil électronique, notamment un écran électronique rétro-éclairé ; l’hologramme formant un plan holographique, le contenu du plan holographique étant constitué d’une ou plusieurs images fixes ou animées, et/ou d’un ou plusieurs textes.
[22] Avantageusement, dans ce premier mode de réalisation, le système comprend en outre un dispositif d’information relié au système de contrôle et d’asservissement via un réseau informatique local, ledit dispositif d’information étant configuré pour transmettre à l’appareil électronique, via le système de contrôle et d’asservissement, ledit contenu du plan holographique.
[23] Avantageusement encore, dans ce premier mode de réalisation, le contenu du plan holographique correspond à une séquence d’images, et le système comprend en outre des moyens de commande du passage d’une image à une autre de la séquence d’images, notamment une commande manuelle de type pédale, bouton de commande, commande vocale ou gestuelle, ou encore une commande automatisée de type caméra installée sur le système et configurée pour générer un signal d’activation de commande. [24] Avantageusement encore, dans ce premier mode de réalisation, le système comprend en outre un capteur de type caméra relié au système de contrôle et d’asservissement, ledit capteur étant installé au niveau de la source de lumière, sous la surface miroir, et étant configuré pour détecter les gestes d’un opérateur dans la région de travail et pour déclencher des actions automatiquement en fonction de ces gestes. Ceci permet un contrôle gestuel (commandes gestuelles), un contrôle optique (contrôle automatique), ainsi que de réaliser un contrôle a posteriori d’une opération effectuée. Le système est alors par exemple capable d’indiquer la qualité de l’action effectuée.
[25] Avantageusement, le capteur de type caméra est configuré en outre pour scanner la région de travail et pour réintroduire dans le contenu du plan holographique, via le système de contrôle et d’asservissement et l’appareil électronique, le contenu numérique acquis, de manière à former un système de calques virtuels dans le plan holographique. Ceci permet de travailler pas à pas sur un objet physique avec un système de calque qui guide la séquence.
[26] Selon un deuxième mode de réalisation de l’invention, l’élément capable d’émettre une image source est un objet physique opaque ou transparent.
[27] Avantageusement, dans ce deuxième mode de réalisation, le système comprend en outre une ou plusieurs sources de lumières additionnelles orientées vers l’objet physique et configurées pour éclairer ledit objet.
[28] Avantageusement, le système comprend en outre un plateau mobile support à au moins un objet d'intérêt positionné dans ladite région de travail, la surface miroir semi transparente et l’élément capable d'émettre une image source étant fixés en suspension sur une plateforme située au-dessus de la région de travail.
[29] Avantageusement, le système de contrôle et d’asservissement est configuré en outre pour asservir ledit plateau mobile en rotation autour d’un axe vertical et/ou en translation le long de cet axe vertical.
[30] Avantageusement, le système comprend en outre une surface transparente de même matériau et de même épaisseur que la surface miroir semi transparente, ladite surface transparente étant agencée entre l’élément capable d’émettre une image source et la surface miroir semi transparente, par exemple appliquée contre ledit élément. Ceci permet de corriger des problèmes de réfraction optique de la lumière, afin de conserver le calage des éléments quels que soient le point de vue et l’angle de vue. De préférence, la surface transparente est collée à l’élément capable d’émettre une image source. Ceci permet d’éviter tout risque de spécularité ou autre modification de couleur.
[31] A cet effet, l’invention concerne également un procédé de calibration d’un système de réalité augmentée optique directe fixe tel que décrit précédemment, dans lequel l’élément capable d’émettre une image source est un appareil électronique (14), notamment un écran électronique rétro-éclairé (14) ; l’hologramme formant un plan holographique (8), le système comprenant en outre un plateau mobile (13) support à au moins un objet d'intérêt (3) positionné dans la région de travail ; le procédé étant mis en œuvre par le système de contrôle et d’asservissement (16) et comprenant une étape consistant à afficher une mire au niveau du plan holographique (8), la mire étant composée d’une texture et d’un point représentant un centre de rotation, de sorte à permettre d’aligner la hauteur du plan holographique (8) avec le plan défini par le plateau mobile (13), par alignement de la texture de la mire avec le plateau mobile (13), et de positionner le plan holographique (8) selon deux directions horizontales, par alignement du centre de rotation de la mire avec le centre de rotation du plateau mobile (13).
[32]
[33] Avantageusement, le plateau est monté mobile en rotation autour d’un axe vertical et mobile en translation le long dudit axe vertical, et le système de contrôle et d’asservissement est configuré en outre pour asservir le plateau mobile en rotation autour d’un axe vertical et/ou en translation le long de cet axe vertical, le procédé comprenant en outre les étapes suivantes :
- mettre en mémoire un modèle en trois dimensions de l’objet d’intérêt ;
- calculer, à partir du modèle en trois dimensions de l’objet d’intérêt, de l’angle de rotation du plateau mobile autour de l’axe vertical, et de la position en hauteur du plateau mobile le long dudit axe vertical, une représentation virtuelle du plan de coupe réel de l’objet d’intérêt ;
- afficher dans le plan holographique la représentation virtuelle du plan de coupe calculée.
[34] Ceci permet notamment de comprendre la structure 3D d’un objet volumique réel, ou encore d’afficher la structure volumique d’un objet virtuel. [35]
[36] Les buts, avantages et caractéristiques du système de réalité augmentée optique directe fixe, apparaîtront mieux dans la description suivante sur la base d’au moins une forme d’exécution non limitative illustrée par les dessins sur lesquels :
- la figure 1 est une vue en perspective d’un premier exemple de réalisation d’un système de réalité augmentée optique directe fixe selon un premier mode de réalisation de l’invention ;
- la figure 2 est une vue en perspective d’un deuxième exemple de réalisation d’un système de réalité augmentée optique directe fixe selon le premier mode de réalisation de l’invention ;
- la figure 3 est une vue en perspective d’un système de réalité augmentée optique directe fixe selon un deuxième mode de réalisation de l’invention ;
- la figure 4 est une représentation simplifiée du système de réalité augmentée optique directe fixe selon le premier mode de réalisation de l’invention.
[37] Les figures 1 à 4 représentent un système de réalité augmentée optique directe fixe comprenant une surface miroir semi-transparente 5, une source de lumière LED d’intensité variable 10 et deux plateaux asservis 6, 13. [38] La surface miroir 5 est positionnée à l’horizontal et est réglable en hauteur, soit manuellement soit mécaniquement via un guidage linéaire motorisé avec un moteur pas à pas, avec une précision sub-millimétrique. Ce réglage permet de positionner la surface de façon optimale afin que l’utilisateur 1 puisse voir son espace de travail à travers elle. La position du miroir dépend de la posture de l’utilisateur 1 (debout ou assis) et de sa taille (grande ou petite personne). Cette surface miroir semi-transparente 5 est par exemple une plaque de verre ou de plexiglas recouverte d’un film semi-réfléchissant ou bien une plaque de plexiglas recouverte d’un revêtement semi-réfléchissant appliqué sous vide. Ce traitement rend la surface réfléchissante avec un coefficient de réflexion à choisir en fonction du cas d’application et de l’environnement d’utilisation. Dans le cas idéal, cette surface doit être totalement plane et sans épaisseur pour éviter les problèmes gênants de réfraction, comme illustré sur la Figure 4. Ces problèmes de réfraction sont d’autant plus visibles lorsque l’on travaille avec un reflet collimaté (aligné) sur les objets réels. Pour corriger ce problème optique, une plaque miroir épaisse en plexiglas 5 est utilisée, et la réfraction de ce matériau est compensée avec une seconde plaque 7 de même matériau et de même épaisseur mais sans traitement réflectif placée entre le miroir 5 et la source de l’image 14.
[39] La région de travail située sous la surface miroir est éclairé par une ou plusieurs sources de lumière LED 10 qui sont fixées sous la surface miroir et orientées vers le bas, vers le plan de travail 2. Cet éclairage devant être le plus diffus et homogène possible, il est utilisé une surface d’éclairage composée de LED. La dimension de cette surface dépend du cas d’usage et de l’environnement d’utilisation. Un réglage manuel précis de l’intensité de l’éclairage LED permet de modifier à tout moment le mélange visuel entre le reflet perçu dans la surface miroir et la région de travail située sous la surface miroir.
[40] Le réglage (intensité de couleur) de la lumière LED 10 s’effectue par l’intermédiaire d’un potentiomètre positionné du côté gauche ou du côté droit et réglable à la main. Il est par exemple possible de régler l’intensité lumineuse via une pédale activable au pied en fonction des usages. Par ailleurs le réglage de l’intensité et de la couleur des sources de lumière peut être piloté par un système automatique informatisé.
[41] Les deux plateaux asservis 6, 13 servent de support, un premier plateau 13 pour l’objet physique d'intérêt et un autre plateau 6 pour la source de l’image.
[42] Le premier plateau que l’on appelle le plateau de travail 13 est fixé sur le plan de travail 2 et sert de support à l’objet physique d’intérêt 3 que l’on appelle l’objet d’étude.
[43] Le plateau de travail 13 est fixé à l’horizontal et est asservi selon deux degrés de liberté en rotation autour d’un axe vertical via une roue codeuse et en translation le long de ce même axe, comme illustré sur les Figures 2 et 3. Ce plateau sert de support à l’objet d’étude 3 qui est posé ou fixé dessus.
[44] Le second plateau que l’on appelle le plateau suspendu 6 est une plaque rigide transparente ou évidée, suspendue au-dessus de la surface miroir semi- transparente 5. Ce plateau est lui aussi fixé à l’horizontal dans sa position de repos et est asservi lui aussi selon deux degrés de liberté qui sont la rotation autour d’un axe X et la translation le long de l’axe Z, comme illustré sur les Figures 2 et 3. Ce plateau suspendu 6 sert de support à la source du reflet holographique 14, 15.
[45] Sur le plateau suspendu 6, un capteur de mesure de l’inclinaison 12 (inclinomètre) permet de connaître l’inclinaison de la source de l’image et sera relié au processeur 16 qui calcule le plan de coupe correspondant.
[46] En outre, un capteur permettant de mesurer une distance entre un objet et le capteur, typiquement un capteur infrarouge de type temps de vol TOF (de l’anglais «Time of Flight »), est installé soit sur le dessous du plateau suspendu 6, soit sous la surface miroir 5. Un tel capteur, qui n’est pas représenté sur les figures pour des raisons de clarté, permet de connaître en temps réel la position de l’objet physique d’intérêt 3, et est relié au processeur 16 afin de permettre l’asservissement en hauteur du plateau suspendu 6 et/ou de la surface miroir 5, de sorte à permettre un réglage automatique de la hauteur de l’hologramme projeté. Un avantage d’utiliser un capteur de type temps de vol TOF est que ce dernier présente une précision de mesure inférieure à 1 cm.
[47] L’asservissement des mécanismes de translation et de rotation est assuré par le système informatique 16 qui récupère les mesures des positions des mécanismes et qui contrôle les actionneurs qui vont permettre à ces mécanismes d’atteindre leur valeur de consigne. Dans le cas de la présente invention, les mécanismes de translation sont assurés par des guides linéaires dotés de courroies de transmission. Pour la rotation, une roue dentée permet au système asservi de positionner le plateau support à l’inclinaison de consigne et d’orienter le plateau de travail à l’angle de consigne.
[48] Dans un mode général, notamment pour la calibration qui sera décrite par la suite, le positionnement en translation et en rotation peut être réalisé manuellement. Selon une variante de réalisation, et selon le cas d’usage, les plateaux support et de travail peuvent être fixes afin d’obtenir un système plus simple de mise en œuvre. Dans ce cas, seule la hauteur de la surface miroir 5 est réglable par asservissement mécanique contrôlé par le système informatique 16. Dans un mode préférentiel, l’ensemble des éléments cités, incluant la surface miroir 5 et les plateaux de support et de travail 6, 13 sont réglables par asservissement mécanique contrôlé par le système informatique 16.
[49] Dans le cas d’une image numérique, la source d’image fixée à ce plateau
suspendu est généralement un écran électronique rétro-éclairé 14 dirigé vers le bas, qui peut être :
- un moniteur LCD ou OLED
- une tablette numérique
- un smartphone.
[50] Dans ce cas, les images numériques peuvent faire partie d’une séquence
d’image qui vont guider l’opérateur sur plusieurs opérations successives. Les images de la séquence changent en fonction de l’activation d’une commande:
- activée par une action physique sur une ou plusieurs pédales activées au pieds ce qui permet de garder les deux mains libres
- vocale venant de l’opérateur lui-même
- activée par un signal réseau provenant d’un système tiers comme un capteur installé sur le système par exemple une caméra avec détection de mouvement.
[51] L’utilisation du système avec une source d’image numérique est illustrée sur la Figure 2. Mais, la source de l’image n’est pas forcément numérique ; il est en effet possible d’utiliser un objet physique réel 15, comme illustré sur la Figure 3. Dans ce cas, c’est le reflet de cet objet réel 15 qui apparaîtra en 3D et en volume de l’autre côté du miroir 5. Cet objet doit être éclairé par une ou plusieurs sources de lumière 10 réglables manuellement ou automatiquement par un système informatique 16, comme illustré sur la Figure 3.
[52] L’objet réel 15 servant de source au reflet peut être de différent type et éclairé de différentes façons :
- une image imprimée sur papier opaque ou transparent
- un objet réel quelconque en volume éclairé par une ou plusieurs sources de lumière
- un objet réel quelconque en volume éclairée par un ou plusieurs vidéo
projecteurs qui le recouvre d’une texture lumineuse spécifique (projection- mapping)
- un objet réel en fil de fer de façon à voir à travers et voir les structures cachées - un objet réel transparent ou translucide de façon à voir les structures cachées
- une superposition de plaque de plexiglas sérigraphiées ou gravées, permettant de reconstituer un objet volumique transparent
- un bloc de plexiglas ou de verre marqué en 3D au laser permettant de reconstituer un objet volumique transparent.
[53] En regardant à travers la surface miroir 5, le reflet de l’image source est perçu comme un plan holographique 8 qui coupe la région de travail selon une position et une orientation symétrique définies par la position et l’orientation du plateau suspendu 6. Ce plan holographique 8 est à la résolution de l’image source affichée (par exemple une résolution 4K sur un écran 4K), et, en tant que plan, il s'affranchit des défauts de la vision 3D tel que la focalisation ou la stéréoscopie. Cela n'entraîne aucune gêne visuelle pour l’opérateur qui peut utiliser ce système non invasif quotidiennement sans fatigue oculaire. Ce plan holographique 8 se superpose aux objets réels 3 ainsi qu’aux mains et aux outils 4 de l’opérateur. Le reflet perçu 9 n’est ainsi modifié ni par la présence des objets réels 3 ni par celles des mains ou des outils 4 manipulés par l’opérateur.
[54] Lorsque le plan holographique 8 est constitué de contenu numérique issu d’un écran électronique 14, ce contenu peut-être du texte, des images, des vidéos ou du contenu en 3D ou bien enfin une composition de ces éléments. Comme indiqué précédemment le contenu n’est pas forcément numérique mais peut aussi être un objet physique volumique réel 15 et dans ce cas c’est le reflet de cet objet réel qui apparaîtra cette fois en volume 3D dans la région de travail. Certains éléments du contenu peuvent être collimatés avec l’objet physique réel d'intérêt 3.
[55] Lors d’un usage en collimaté 9, la réfraction de la lumière doit être corrigée pour conserver le calage quels que soient le point de vue et l’angle de vue. Cette correction de réfraction est réalisée en appliquant sur la source de l’image 14, 15 une surface 7 de même matériau et de même épaisseur que la surface miroir semi- transparente mais cette fois totalement transparente. Cette surface 7 doit être collée à la source d’image 14, 15 pour éviter tout risque de spécularité ou autre modification de couleur.
[56] Si l’usage en mode collimaté entre le reflet de la source d’image et l’objet réel est au choix lors de l’utilisation d’une source d’image numérique 14, il est généralement utilisé lorsque la source du reflet est un objet réel 15 car l’objectif est généralement de réaliser un contrôle de gabarit ou de forme.
[57] Les asservissements mécaniques de la surface miroir 5 et des plateaux 6, 13 ainsi que le contrôleur des sources de lumière 10 et la source d’image électronique 14 sont tous connectés à un processeur de calcul 16 qui permet leur contrôle précis.
[58] L’opérateur, en agissant sur des commandes électroniques, est capable de modifier à la fois l’orientation et la hauteur du plateau de travail 13 support de l’objet physique d’étude 3, ainsi que d’entrer des valeurs de consigne pour la hauteur et l’inclinaison du plan holographique 8. [59] Dans le cas d’un usage avec une source d’image numérique 14, il est nécessaire de calibrer le plan holographique 2D 8 vis à vis du plateau de travail 13. Cette calibration s’opère grâce à une mire composée d’une texture et d’un point représentant le centre de rotation qui sera affichée par le processeur 16. A l’aide des commandes électroniques l’opérateur aligne le plan holographique 8 avec le plan du plateau de travail 13. Puis l’opérateur aligne le centre de rotation de la mire avec le centre de rotation du plateau de travail physique 13. Pour cette opération, l’opérateur commence par placer le plateau de travail 13 à l’endroit désiré sur le plan de travail 2 puis il agit sur le processeur 16 pour aligner la position du centre de rotation sur la mire avec le centre de rotation du plateau de travail. [60] Cette calibration permet de déterminer la hauteur d’origine du plan holographique 8 (Z = 0). Le Z = 0 de référence correspond au Z min de l’objet physique d’étude 3.
[61] Après calibration, le système est capable d’afficher dans le plan holographique 8 la représentation virtuelle du plan de coupe réel correspondant avec une précision sub-millimétrique. Le processeur 16 est aussi capable de calculer le plan de coupe correspondant au plan holographique.
[62] L’objet d’étude 3 est destiné à être placé sur le plateau de travail 13 et on dispose d'un modèle 3D de cet objet d’étude avec ses dimensions réelles. A partir de ce moment-là, le processeur 16 est capable d’extraire et d’afficher sur le plan holographique 8 le contenu du plan de coupe correspondant. [63] L’opérateur va agir sur ces quatre paramètres :
- Hauteur du plan holographique 8
- Inclinaison du plan holographique 8
- Rotation du plateau de travail 13
- Hauteur du plateau de travail 13.
[64] Le processeur 16 va alors calculer et afficher sur le plan holographique le contenu du plan de coupe correspondant. Le processeur 16 est capable d’afficher des informations textuelles additionnelles attachées ou non à des éléments du plan de coupe.
[65] Lorsqu’il y a des tâches séquentielles à exécuter, pour chaque tâche le
système est capable :
- d’orienter et d’élever le plateau de travail 13 de façon à présenter à l'opérateur la partie de l’objet d’étude 3 sur laquelle l’action doit s’effectuer
- de placer le plan holographique 8 à la hauteur ou l’action doit s’effectuer
- d’afficher les informations correspondantes à l’action à réaliser, qu’il s’agisse d’informations graphiques du plan de coupe ou d’informations textuelles 9.
[66] L’opérateur peut passer d’une tâche à l’autre par une action sur une commande électronique.
[67] Le présent système selon l’invention de réalité augmentée en poste fixe pour guider les opérations manuelles avec une haute précision peut s’appliquer à tous les domaines dès lors qu’il s’agit d’améliorer l’efficacité en temps et fiabiliser une tâche réalisée par un opérateur ou artisan humain. Il peut s’agir d’une tâche manuelle complexe ponctuelle (comme dans le cas d’un artisan qui travaille de la matière brute) ou d’une séquence de tâches simples à la chaîne (comme dans le cas de la fabrication en petite ou moyenne série où le coût de l’automatisation du processus n’est pas rentable).
[68] Sans être exhaustif, quelques exemples de cas d’usages où un opérateur est guidé pour réaliser des tâches manuelles sont fournis ci-après :
- des collages de pièces à des emplacements précis
- des découpes de matière à des longueurs précises et variables
- tracer des contours sur un matériau qui sera usiné par ailleurs - positionner des pièces sur le plan de travail pour effectuer une check-list ou pour réaliser un colisage suivant une pick-list
- assembler des éléments électriques ou mécaniques ou les deux entre eux
- insérer des fils électriques dans un connecteur
- insérer des composants électroniques dans un circuit imprimé
- dessiner et/ou peindre à partir d’un modèle sur tout type de support (bois, carton, papier, céramique, verre, tissus, carte à gratter, etc...)
- tracer/dessiner des éléments géométriques en perspective (urbaniste, architecte, bureau d’étude) à partir de guide de type ligne de fuite numérique - décorer un support quelconque: papeterie ou pâtisserie pour décorer une série de gâteau en suivant le même modèle par exemple
- transférer une forme numérique sur un support physique de son choix avec l’outil de son choix.
[69] Et d’autres exemples pour lesquels le système selon l’invention sert
d’affichage d’instructions en collimaté ou non sur un objet physique réel, utile pour la formation des opérateurs / techniciens :
- affichage du schéma de câblage et des broches d’un circuit électronique pour apprendre à l’utiliser
- affichage des instructions pour démonter un smartphone pour remplacement de batterie ou d’écran
- affichage d’un gabarit numérique de l’objet réel pour contrôle dimensionnel ou visuel de qualité de surface
- utilisation d’un objet réel comme source d’image analogique pour contrôler le gabarit et la forme d’un produit: un légume, un fruit, une pâtisserie, ... (tout produit devant respecter une calibration par facteur de forme). Dans ce cas d’usage, pour un contrôle optimal en volume de l’objet de référence, l’objet source doit être idéalement transparent afin de pouvoir vérifier la structure volumique interne. Cet objet transparent peut être obtenu par impression 3D des arêtes de la surface de l’objet (fil de fer analogique) ou par des plaques de plexiglas gravées en couche par couche.
[70] Optionnellement, le système selon l’invention peut intégrer un capteur supplémentaire de type caméra numérique 11 pour permettre le contrôle gestuel (commandes gestuelles), le contrôle optique (contrôle automatique) ou le scan de la région de travail. Cette caméra 1 1 vient s’installer près des sources de lumière 10 et sous la surface miroir 5 et est connectée au système de contrôle informatique 16 qui se charge du traitement du flux vidéo acquis.
[71] La caméra est capable de détecter les gestes d’un opérateur dans la zone de travail et, en fonction de ces gestes, de déclencher des actions automatiquement (passage à l’étape suivante, précédente, validation, etc..). La caméra connectée au système informatique 16 permet de réaliser un contrôle a posteriori d’une opération effectuée ; pour cela le système informatique 16 réalise un traitement d’image afin de comparer le résultat de l’opération avec l’image cible du résultat attendu. Le système est alors capable d’indiquer la qualité de l’action.
[72] Enfin, l’usage de cette caméra 11 qui offre le plus de possibilités est son utilisation comme scanner permettant de faire l'acquisition numérique de l’environnement présent dans la région de travail et de proposer ce contenu à la source d’image numérique comme un calque qui se superpose à l’image numérique déjà présente. Ce système permet de travailler pas à pas sur un objet physique avec un système de calque qui guide la séquence. Un artisan va pouvoir se servir de ce système par exemple pour pouvoir reproduire un travail artisanal à l’identique sur plusieurs pièces : une gravure sur une matière souple, une pyrogravure sur du bois, un dessin sur un support quelconque, etc... Un autre exemple du scan d’un objet réel avec le système selon l’invention est pour réaliser une rétro-ingénierie d’une pièce mécanique ou d’un circuit électronique en taille réelle. Enfin, ce système permet globalement de réaliser un transfert de forme d’un objet physique quelconque sur un support physique différent en passant par le modèle numérisé qui sert alors de modèle pour le transfert vers le support cible.

Claims

Revendications
[Revendication 1] [Système de réalité augmentée optique directe fixe comprenant une surface miroir semi transparente (5) ; et un élément (14 ; 15) capable d'émettre une image source qui est réfléchie sur la surface miroir semi transparente (5) de sorte à former un hologramme de l’image source dans une région de travail située à l’opposé dudit élément (14 ; 15) par rapport à la surface miroir semi transparente (5) ; au moins l’un de la surface miroir semi transparente (5) et de l’élément (14 ; 15) capable d’émettre une image source étant monté mobile en translation verticale ; caractérisé en ce qu’il comprend en outre un système de contrôle et d’asservissement (16) configuré pour régler au moins la hauteur de l’hologramme, via un asservissement de la position en hauteur de la surface miroir semi transparente (5) et/ou de l’élément (14 ; 15) capable d’émettre une image source.
[Revendication 2] Système selon la revendication 1 dans lequel le système de contrôle et d’asservissement (16) comprend des moyens mécaniques motorisés de déplacement en hauteur de la surface miroir semi transparente (5) et/ou de l’élément (14 ; 15) capable d’émettre une image source ; et un système de contrôle et de calcul informatique (16) relié aux moyens mécaniques motorisés.
[Revendication 3] Système selon la revendication 1 ou 2, comprenant en outre un plateau (6) de support de l’élément (14 ; 15) capable d’émettre une image source, ledit plateau (6) étant monté mobile en translation verticale et en rotation autour d’un axe sensiblement horizontal, le système de contrôle et d’asservissement (16) étant configuré en outre pour régler un angle d’inclinaison de l’hologramme, via un asservissement de l’angle formé par ledit plateau mobile (6) par rapport à un plan horizontal.
[Revendication 4] Système selon l’une quelconque des revendications précédentes, comprenant en outre une source de lumière (10) fixée sous la surface miroir semi transparente (5) pour éclairer la région de travail.
[Revendication 5] Système selon la revendication 4, comprenant en outre des moyens de réglage de l’intensité et/ou de la couleur de la lumière émise par la source de lumière (10).
[Revendication 6] Système selon l’une quelconque des revendications précédentes, dans lequel l’élément capable d’émettre une image source est un appareil électronique (14), notamment un écran électronique rétro-éclairé (14) ; l’hologramme formant un plan holographique (8), le contenu du plan holographique (8) étant constitué d’une ou plusieurs images fixes ou animées, et/ou d’un ou plusieurs textes.
[Revendication 7] Système selon la revendication 6, comprenant en outre un dispositif d’information relié au système de contrôle et d’asservissement (16) via un réseau informatique local, ledit dispositif d’information étant configuré pour transmettre à l’appareil électronique (14), via le système de contrôle et d’asservissement (16), ledit contenu du plan holographique (8).
[Revendication 8] Système selon la revendication 6 ou 7, dans lequel le contenu du plan holographique (8) correspond à une séquence d’images, et le système comprend en outre des moyens de commande du passage d’une image à une autre de la séquence d’images, notamment une commande manuelle de type pédale, bouton de commande, commande vocale ou gestuelle, ou encore une commande automatisée de type caméra (11) installée sur le système et configurée pour générer un signal d’activation de commande.
[Revendication 9] Système selon l’une des revendications 6 à 8 lorsqu’elle dépend de la revendication 4, comprenant en outre un capteur de type caméra (11) relié au système de contrôle et d’asservissement (16), ledit capteur (11) étant installé au niveau de la source de lumière (10), sous la surface miroir (5), et étant configuré pour détecter les gestes d’un opérateur dans la région de travail et pour déclencher des actions automatiquement en fonction de ces gestes.
[Revendication 10] Système selon la revendication 9, dans lequel le capteur de type caméra (1 1) est configuré en outre pour scanner la région de travail et pour réintroduire dans le contenu du plan holographique (8), via le système de contrôle et d’asservissement (16) et l’appareil électronique (14), le contenu numérique acquis, de manière à former un système de calques virtuels dans le plan holographique (8).
[Revendication 11] Système selon l’une quelconque des revendications 1 à 5, dans lequel l’élément capable d’émettre une image source est un objet physique opaque ou transparent (15).
[Revendication 12] Système selon l’une quelconque des revendications précédentes, comprenant en outre un plateau mobile (13) support à au moins un objet d'intérêt (3) positionné dans ladite région de travail, la surface miroir semi transparente (5) et l’élément (14 ; 15) capable d'émettre une image source étant fixés en suspension sur une plateforme située au-dessus de la région de travail.
[Revendication 13] Système selon la revendication 12, dans lequel le système de contrôle et d’asservissement (16) est configuré en outre pour asservir ledit plateau mobile (13) en rotation autour d’un axe vertical et/ou en translation le long de cet axe vertical.
[Revendication 14] Système selon l’une quelconque des revendications précédentes, comprenant en outre une surface transparente (7) de même matériau et de même épaisseur que la surface miroir semi transparente (5), ladite surface transparente (7) étant agencée entre l’élément (14 ; 15) capable d’émettre une image source et la surface miroir semi transparente (5), par exemple appliquée contre ledit élément (14 ; 15).
[Revendication 15] Procédé de calibration d’un système de réalité augmentée optique directe fixe selon l’une quelconque des revendications précédentes, dans lequel l’élément capable d’émettre une image source est un appareil électronique (14), notamment un écran électronique rétro-éclairé (14) ; l’hologramme formant un plan holographique (8), le système comprenant en outre un plateau mobile (13) support à au moins un objet d'intérêt (3) positionné dans la région de travail ; le procédé étant mis en œuvre par le système de contrôle et d’asservissement (16) et comprenant une étape consistant à afficher une mire au niveau du plan holographique (8), la mire étant composée d’une texture et d’un point représentant un centre de rotation, de sorte à permettre d’aligner la hauteur du plan holographique (8) avec le plan défini par le plateau mobile (13), par alignement de la texture de la mire avec le plateau mobile (13), et de positionner le plan holographique (8) selon deux directions horizontales, par alignement du centre de rotation de la mire avec le centre de rotation du plateau mobile (13).
[Revendication 16] Procédé de calibration selon la revendication 15, dans lequel le plateau (13) est monté mobile en rotation autour d’un axe vertical et mobile en translation le long dudit axe vertical, et le système de contrôle et d’asservissement (16) est configuré en outre pour asservir le plateau mobile
(13) en rotation autour d’un axe vertical et/ou en translation le long de cet axe vertical, le procédé comprenant en outre les étapes suivantes :
- mettre en mémoire un modèle en trois dimensions de l’objet d’intérêt (3) ;
- calculer, à partir du modèle en trois dimensions de l’objet d’intérêt (3), de l’angle de rotation du plateau mobile (13) autour de l’axe vertical, et de la position en hauteur du plateau mobile (13) le long dudit axe vertical, une représentation virtuelle du plan de coupe réel de l’objet d’intérêt (3) ;
- afficher dans le plan holographique (8) la représentation virtuelle du plan de coupe calculée. ]
PCT/FR2019/000115 2018-07-18 2019-07-18 Système d'asservissement mécanique motorisé d'un plan holographique pour le guidage manuel de précision WO2020016488A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1870838A FR3084173A1 (fr) 2018-07-18 2018-07-18 Systeme d'asservissement mecanique motorise d'un plan holographique pour le guidage manuel de precision
FRFR1870838 2018-07-18

Publications (1)

Publication Number Publication Date
WO2020016488A1 true WO2020016488A1 (fr) 2020-01-23

Family

ID=65951692

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/000115 WO2020016488A1 (fr) 2018-07-18 2019-07-18 Système d'asservissement mécanique motorisé d'un plan holographique pour le guidage manuel de précision

Country Status (2)

Country Link
FR (1) FR3084173A1 (fr)
WO (1) WO2020016488A1 (fr)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671091A (en) * 1994-04-15 1997-09-23 The Walt Disney Company Virtual easel
WO2005096095A1 (fr) 2004-04-01 2005-10-13 Musion Systems Limited Procede et appareil de projection destines a l'illusion 'pepper's ghost'
US6972734B1 (en) 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
GB2431016A (en) * 2005-12-21 2007-04-11 Musion Systems Ltd Projection apparatus and method to minimise the transparency of virtual images
US20070153375A1 (en) 2005-09-30 2007-07-05 Infocus Corporation Reconfigurable projection-screen system
WO2011045437A1 (fr) 2009-10-16 2011-04-21 Realfiction Aps Présentoir 3d interactif, procédé d'obtention d'un objet 3d perçu dans le présentoir et utilisation du présentoir 3d interactif
WO2011101518A1 (fr) * 2010-02-16 2011-08-25 Universidad Politécnica De Valencia (Upv) Dispositif multipoint basé sur la projection d'images et de données sur des surfaces, et procédé de fonctionnement de ce dispositif
US20120113140A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
EP2508933A1 (fr) 2011-04-04 2012-10-10 Realfiction ApS Affichage 3D pliable et procédé pour assembler ledit affichage 3D
US20120313839A1 (en) * 2011-06-10 2012-12-13 Disney Enterprises, Inc. Advanced pepper's ghost projection system with a multiview and multiplanar display
WO2013019255A1 (fr) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. Système, programmation et procédé d'acquisition de projection
US8633946B2 (en) 2005-08-29 2014-01-21 Nant Holdings Ip, Llc Interactivity with a mixed reality
US20140320389A1 (en) 2013-04-29 2014-10-30 Michael Scavezze Mixed reality interactions
US20140362439A1 (en) 2011-12-28 2014-12-11 Os Brand Solutions Gmbh Display device
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US20160019212A1 (en) 2014-07-21 2016-01-21 Airbus Operations (Sas) Maintenance assistance for an aircraft by augmented reality
WO2016018406A1 (fr) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Capture et projection d'image avec ajustement de point blanc
WO2016048366A1 (fr) 2014-09-26 2016-03-31 Hewlett Packard Enterprise Development Lp Suivi et modification de comportement utilisant la réalité augmentée mobile
US9436006B2 (en) 2014-01-21 2016-09-06 Osterhout Group, Inc. See-through computer display systems
US20160316185A1 (en) * 2015-04-27 2016-10-27 Microsoft Technology Licensing, Llc Trigger zones for objects in projected surface model
WO2016206874A1 (fr) 2015-06-23 2016-12-29 Siemens Aktiengesellschaft Système d'interaction
US20180008897A1 (en) 2016-07-07 2018-01-11 Disney Enterprises, Inc. Location-based experience with interactive merchandise

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671091A (en) * 1994-04-15 1997-09-23 The Walt Disney Company Virtual easel
US6972734B1 (en) 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
WO2005096095A1 (fr) 2004-04-01 2005-10-13 Musion Systems Limited Procede et appareil de projection destines a l'illusion 'pepper's ghost'
US8633946B2 (en) 2005-08-29 2014-01-21 Nant Holdings Ip, Llc Interactivity with a mixed reality
US20070153375A1 (en) 2005-09-30 2007-07-05 Infocus Corporation Reconfigurable projection-screen system
GB2431016A (en) * 2005-12-21 2007-04-11 Musion Systems Ltd Projection apparatus and method to minimise the transparency of virtual images
WO2007072014A2 (fr) 2005-12-21 2007-06-28 Musion Systems Limited Appareil et procédé de projection
WO2011045437A1 (fr) 2009-10-16 2011-04-21 Realfiction Aps Présentoir 3d interactif, procédé d'obtention d'un objet 3d perçu dans le présentoir et utilisation du présentoir 3d interactif
WO2011101518A1 (fr) * 2010-02-16 2011-08-25 Universidad Politécnica De Valencia (Upv) Dispositif multipoint basé sur la projection d'images et de données sur des surfaces, et procédé de fonctionnement de ce dispositif
US20120113140A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
EP2508933A1 (fr) 2011-04-04 2012-10-10 Realfiction ApS Affichage 3D pliable et procédé pour assembler ledit affichage 3D
US20120313839A1 (en) * 2011-06-10 2012-12-13 Disney Enterprises, Inc. Advanced pepper's ghost projection system with a multiview and multiplanar display
US8692738B2 (en) 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
WO2013019255A1 (fr) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. Système, programmation et procédé d'acquisition de projection
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US20140362439A1 (en) 2011-12-28 2014-12-11 Os Brand Solutions Gmbh Display device
US20140320389A1 (en) 2013-04-29 2014-10-30 Michael Scavezze Mixed reality interactions
US9436006B2 (en) 2014-01-21 2016-09-06 Osterhout Group, Inc. See-through computer display systems
US20160019212A1 (en) 2014-07-21 2016-01-21 Airbus Operations (Sas) Maintenance assistance for an aircraft by augmented reality
WO2016018406A1 (fr) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Capture et projection d'image avec ajustement de point blanc
WO2016048366A1 (fr) 2014-09-26 2016-03-31 Hewlett Packard Enterprise Development Lp Suivi et modification de comportement utilisant la réalité augmentée mobile
US20160316185A1 (en) * 2015-04-27 2016-10-27 Microsoft Technology Licensing, Llc Trigger zones for objects in projected surface model
WO2016206874A1 (fr) 2015-06-23 2016-12-29 Siemens Aktiengesellschaft Système d'interaction
US20180008897A1 (en) 2016-07-07 2018-01-11 Disney Enterprises, Inc. Location-based experience with interactive merchandise

Also Published As

Publication number Publication date
FR3084173A1 (fr) 2020-01-24

Similar Documents

Publication Publication Date Title
EP3034992B1 (fr) Projecteur de lumière structurée et scanner tridimensionnel comportant un tel projecteur
EP1649807B1 (fr) Dispositif permettant l'observation du visage
EP2498671B1 (fr) Procédé et dispositif de mesure automatique d'au moins une caractéristique de réfraction des deux yeux d'un individu
EP0165890A1 (fr) Procédé et dispositif de placement interactif sur un support de profils à des fins de tracage et/ou de découpe
CA2866355C (fr) Procede de determination d'une caracteristique geometrico-morphologique, de posture ou comportementale d'un porteur d'une paire de lunettes
EP1392472A2 (fr) Dispositif automatique ou semi-automatique pour le detourage du profil exterieur d'un verre ophtalmique
FR2910644A1 (fr) Dispositif de determination de la position et/ou d'une dimension transversale d'un trou de percage d'une lentille de presentation de lunettes a monture sans cercle
WO2020016488A1 (fr) Système d'asservissement mécanique motorisé d'un plan holographique pour le guidage manuel de précision
EP1671192B1 (fr) Procede d' etalonnage d' une machine de percage de verres ophtalmiques, dispositif pour la mise en oeuvre d' un tel procede, et appareil d' usinage de verres ophtalmiques equipe d' un tel dispositif
EP2851739B1 (fr) Procédé d'acquisition et de mesure de données géométriques d'un verre de démonstration adapté à une monture de lunettes
WO2012172044A1 (fr) Système de colocalisation d'un écran tactile et d'un objet virtuel et dispositif pour la manipulation d'objets virtuels mettant en œuvre un tel système
EP2418539B1 (fr) Dispositif eclairant et de support pour photographier un objet
EP3593204B1 (fr) Antireflet diffractif dans un dispositif d'affichage multicouche
EP1603708B1 (fr) Procede d'estimation de decalage angulaire, procede de talonnage d'une meuleuse de verres ophtalmiques, et dispositif pour la mise en oeuvre d'un tel procede d'etalonnage
EP2605214B1 (fr) Procédé de projection d'une image sur une surface de projection en relief
WO2010072912A1 (fr) Dispositif de numerisation tridimensionnelle a reconstruction dense
WO2018219832A1 (fr) Procédé de génération d'un retour sensitif pour une interface et interface associée
FR3013620A1 (fr) Procede de biseautage d'une lentille ophtalmique
EP1702472B1 (fr) Procede et systeme de determination du deplacement d un pixe l, et support d enregistrement pour la mise en oeuvre du pro cede
EP0930954B1 (fr) Systeme de fabrication d'un verre optique a partir d'une ebauche
WO2011036402A1 (fr) Procede pour ajuster une position d'un element transparent
EP1660866A1 (fr) Systeme de mesure de la caracterisation optique des materiaux et procede mis en oeuvre par ledit systeme
WO2015162235A2 (fr) Dispositif d'affichage avec simulation des reflets et ou scintillements
EP2866109B1 (fr) Procédé et dispositif d'acquisition et de calcul de données d'un objet ophtalmique
WO2006018588A1 (fr) Syteme de mesure pour la caracterisation optique des materiaux et procede de mesure mis en oeuvre par ledit systeme

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19749390

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/05/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19749390

Country of ref document: EP

Kind code of ref document: A1