WO2022157452A1 - Contrôle visuel d' un élément se déplaçant sur une ligne de production - Google Patents

Contrôle visuel d' un élément se déplaçant sur une ligne de production Download PDF

Info

Publication number
WO2022157452A1
WO2022157452A1 PCT/FR2022/050102 FR2022050102W WO2022157452A1 WO 2022157452 A1 WO2022157452 A1 WO 2022157452A1 FR 2022050102 W FR2022050102 W FR 2022050102W WO 2022157452 A1 WO2022157452 A1 WO 2022157452A1
Authority
WO
WIPO (PCT)
Prior art keywords
checked
image
video sequence
generation
conformity
Prior art date
Application number
PCT/FR2022/050102
Other languages
English (en)
Inventor
Pierre BESSET
Matthieu BELLAMY
Samuel DESSEIN
Lucas MOURA DE OLIVEIRA
Fabio MONGIO
Original Assignee
Buawei
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Buawei filed Critical Buawei
Priority to EP22705424.4A priority Critical patent/EP4281930A1/fr
Priority to KR1020237026558A priority patent/KR20230133315A/ko
Publication of WO2022157452A1 publication Critical patent/WO2022157452A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the present invention relates to the field of quality control in an industrial environment.
  • the present invention relates more particularly to a solution for the visual control of products being manufactured on a production line.
  • One of the objectives of the present invention is to allow easy and rapid deployment of a visual system for controlling a production line in an industrial environment.
  • production line within the meaning of the present invention, is meant throughout the following description a line (or chain) comprising all or part of the manufacturing operations necessary for the production of a manufactured product.
  • the products being manufactured will therefore move on this production line from one station to another via a conveyor, conveyor belt or equivalent.
  • Visual inspection traditionally refers to automated image analysis techniques to determine the characteristics of objects moving on a production line.
  • Control using machine vision enables early error detection and high throughput of production lines.
  • machine vision systems tend to be more consistent and are not prone to fatigue, illness, and stress that can impact performance.
  • the present invention aims to improve the situation described above
  • the present invention aims in particular to remedy at least one of the various technical problems mentioned above by proposing a visual control with automatic learning.
  • the object of the present invention thus relates, according to a first aspect, to a method of visual inspection of an element moving on a production line.
  • the method is implemented by computer means and comprises the following steps:
  • a generation of a conformity test by generating from the at least one first image comprising the at least one element to be checked a reference characteristic vector, said vector comprising a set of characteristic values representative of an element of reference ;
  • a learning technique is available making it possible, during a first phase, to automate the detection of anomaly by constructing a conformity test according to methods of machine learning type artificial intelligence.
  • the generation of the conformity test comprises a plotting of characteristic points of the at least one element to be checked in order to follow the at least one element to be checked in the first video sequence and to collect a plurality of elements to be checked.
  • the generation of the conformity test is carried out by learning on the plurality of elements to be checked.
  • the generation of the conformity test includes a normalization of the first image.
  • the generation of the conformity test includes a semantic analysis of the at least one element to be checked according to a plurality of determined descriptors.
  • the reference feature vector includes values representative of the semantics of the image (shape, texture, etc.).
  • the generation of the conformity test comprises a supervised partitioning (or “supervised clustering”) of the characteristic values of each characteristic vector to determine at least one cluster (or class).
  • the generation of the conformity test includes a calculation of similarity scores as a function of the distances between the characteristic vectors and the center of each cluster.
  • the first extraction comprises a display of the first video sequence on a tactile graphical interface and a selection of said at least one first image by manually interacting with the interface.
  • this selection can also be made via a simple graphical interface.
  • the step of selecting the trigger element comprises a first selection of an area of interest on the at least one first image by manually interacting with the interface.
  • the step of selecting the element to be checked comprises a second selection of a sub-zone of interest in the zone of interest corresponding to the trigger element, said second selection being carried out by manually interacting with the interface.
  • this selection can also be made via a simple graphical interface.
  • the use of a touch graphic interface facilitates the user experience who can intuitively select the image, the trigger and the element to be controlled via the touch screen.
  • the verification of the level of conformity comprises, in the event of detection of an anomaly, generation of a warning signal.
  • the object of the present invention relates to a computer program which comprises instructions adapted for the execution of the steps of the method according to the first aspect of the invention, this in particular when the computer program is executed by at least one processor.
  • Such a computer program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
  • the object of the present invention relates to a recording medium readable by a computer on which is recorded a computer program comprising instructions for the execution of the steps of the method according to the first aspect of the invention. .
  • the recording medium can be any entity or device capable of storing the program.
  • the medium may comprise a storage means, such as a ROM memory, a CD-ROM or a ROM memory of the microelectronic circuit type, or even a magnetic recording means or a hard disk.
  • this recording medium can also be a transmissible medium such as an electrical or optical signal, such a signal being able to be conveyed via an electrical or optical cable, by conventional or hertzian radio or by self-directed laser beam or by other ways.
  • the computer program according to the invention can in particular be downloaded from an Internet-type network.
  • the recording medium may be an integrated circuit in which the computer program is incorporated, the integrated circuit being adapted to execute or to be used in the execution of the method in question.
  • the object of the present invention relates, according to a fourth aspect, to a computer system for the visual control of an element moving on a production line, said system comprising computer means configured for an implementation of the steps of the method as described above. -above.
  • the object of the present invention relates, according to a fifth aspect, to a suitcase on wheels comprising a visual control computer system as described above.
  • the operator has an easy-to-use tool that can be deployed in a few minutes without prior knowledge of the industrial environment in which he operates.
  • FIG. 1 is a flowchart illustrating the different steps of the method according to an example embodiment of the invention
  • FIG. 2 represents a schematic view of a visual control system according to an exemplary embodiment of the invention.
  • a suitcase comprising a visual control system according to an exemplary embodiment of the present invention as well as the method associated with it will now be described in the following with reference jointly to FIGS. 1 and 2.
  • one of the objectives is therefore to propose a solution which allows the industry to support quality control and conformity in complete autonomy by providing the industry, and in particular the automotive industry, with a visual control tool which is simple to deploy and does not require the intervention of a specialized operator.
  • Such a transportable suitcase 200 is easy to use; it allows easy movement of all the components of the System 100 to the precise location where the operator wishes to establish his PC control point to control the LP production line.
  • this suitcase 200 includes the various technical and computer means of the system 100 allowing proper implementation of the invention.
  • the system 100 includes:
  • - Means 10 for capturing images here called a camera
  • a graphic interface 30 possibly tactile 30 such as for example a digital tablet type
  • the system 100 also comprises a communication interface 70 capable of establishing wireless communication of the type, for example radio frequency, 3G, 4G or 5G (or equivalent) or deploying other technologies such as Wifi®, Bluetooth®, ZigBee® or RFID.
  • a communication interface 70 capable of establishing wireless communication of the type, for example radio frequency, 3G, 4G or 5G (or equivalent) or deploying other technologies such as Wifi®, Bluetooth®, ZigBee® or RFID.
  • Such an interface makes it possible in particular to ensure communication with the tablet 30 and possibly with the camera 10 if necessary.
  • the processor(s) 40 configured for the execution of the instructions of the embedded software(s).
  • Processor 40 may include onboard memory, an interface input/output, and various circuits known to those skilled in the art. It can be a processor (or a microprocessor) of the type CPU, GPU, TPU, FPGA, etc. these are examples of possible implementations for those skilled in the art.
  • the concept underlying the present invention is based on the exploitation of technologies relating to artificial intelligence to detect in real time, precisely and automatically the anomalies present on the various products moving on the line. LP production.
  • a learning phase PO is thus provided in the context of the present invention.
  • this suitcase 200 he takes the camera 10 of the high resolution type for example and positions the latter according to a determined control point PC so that the field of view of the camera 10 includes the production line LP.
  • the operator then initiates the learning phase PO at a determined learning instant by launching a first acquisition S0 of a first video sequence SV1.
  • This first video sequence SV1 then comprises a stream of images comprising a plurality of objects moving on the production line LP.
  • Preliminary steps for adjusting the sharpness, brightness and/or resolution can optionally be provided to improve the quality of the image. This may be desirable in certain industrial environments, especially on production lines in industries that operate day and night and in which the lighting can often be poor.
  • the graphic interface comprises image processing means making it possible to control (continuously or discontinuously) the quality of the image (variation of light or equivalents, etc.) to detect anomalies early and remove any ambiguity. A signal is then emitted to raise the alert in the event of an anomaly or not. We also talk about disambiguation.
  • This first sequence SV 1 is then recorded on storage means 20 of the volatile at/or non-volatile memory type and/or on a memory storage device which can include volatile and/or non-volatile memory, such as EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, magnetic or optical disk.
  • volatile and/or non-volatile memory such as EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, magnetic or optical disk.
  • the operator then displays on the tablet 30 this first video sequence SV1 to extract therefrom during a step SI at least a first image II.
  • This extraction SI is done by interaction with the tablet 30 by selecting said first image II of the sequence SV1; alternatively, this SI extraction can be done automatically by software means which analyze the flow of images and select one or more images according to a determined quality criterion (sharpness for example or others).
  • the operator visualizes on his tablet 30 an image II comprising at least one object moving on the production line LP.
  • This selection step S2 is carried out via the tablet 30:
  • the operator selects S2_l on the first image II an area of interest corresponding to the trigger by manually interacting with the interface 30.
  • This selection S2_l is made for example by drawing with your finger on the screen of the tablet a frame including the TRI trigger.
  • a TRI trigger corresponds to an object or part of an object always present on the element to be controlled; here it can be, for example, the front part of the car or a wheel.
  • a TRI trigger subsequently makes it possible to trigger the capture and analysis of images in the PI production phase.
  • the operator selects S2_2 a sub-zone of interest corresponding to the element to be checked E, for example the rear-view mirror to be checked or the rim to be checked.
  • the TRI trigger object must not be the element to be checked E, because it is desirable that the image capture be triggered even if the element to be checked E is missing or abnormal.
  • this selection S2_2 is made by drawing with the finger on the screen a frame comprising the element to be checked in the previously selected zone of interest.
  • the concept of selection of trigger TRI and element to be controlled E is desirable to improve the robustness of the algorithm and to limit the processing time and the computing resources in the production phase PI.
  • This generation of conformity test is characteristic of the present invention; this is carried out by learning techniques of the Machine Learning type implemented by a processor 40 coupled to image processing means 50 included in the system 100 and integrated in the suitcase 200.
  • the generation S3 of the conformity test includes a tracing of characteristic points of the element to be checked E.
  • a tracing aims to follow the element to be checked E in the first video sequence SV1 in order to thus collect a plurality of items to check.
  • the processor can then collect a plurality of elements to be checked E from the same video sequence SV1, which therefore makes it possible from a single sequence to have enough data to have a robust test.
  • a normalization of the first image II can be provided. Then, a transformation of the first image II into a list of “features” type descriptors is provided to allow a semantic analysis of the element to be checked E according to this list of descriptors: the generation of the conformity test thus comprises a generation at from each element to be checked a reference characteristic vector V_REF comprising a set of characteristic values representative of each reference element.
  • the result, for an image, is therefore a list of scores of similarities corresponding to the diversities (red mirror 95%, blue mirror 0%).
  • a threshold on this score is set (80% by default, empirical), below which the class found cannot be considered as nominal: (example red mirror 32%, blue mirror 1%: anomaly, we do not recognize anything sufficiently ).
  • the similarity index is then presented as a score that has been designed to give a “human” and intuitive meaning to the understanding of the result. It is understood here that an overall threshold applies to each class. For each analysis of an element to be checked and independently of the class detected, if the similarity score is below the global threshold, an alert is raised.
  • the threshold by class allows to refine the definition of the threshold for each of the classes of the control point. Thus, for each analysis, if the similarity score is below the detected class threshold, an alert will be raised.
  • the table under each threshold is the confusion matrix, it facilitates the definition of the threshold because its variation modifies the content of the confusion matrix
  • This phase P 1 more particularly comprises a second acquisition S4 at a current instant, after the learning instant, of a second video sequence SV2.
  • This acquisition S4 is carried out here using the camera 10 arranged according to the control point PC.
  • Image processing is performed on this second video sequence to recognize S5 in real time the TRI trigger element in this second video sequence SV2, for example the front part of the vehicle or a wheel.
  • the processor generates a trigger signal SD which activates the image processing circuit 50 so as to extract during a step S6 one or more second images 12 from this second video sequence SV2; this or these second images which each include the trigger element TRI (for example the front part of the car or the wheel of the car) are then analyzed S 7 by image processing to detect the element or elements to be checked E (rear view mirror or rim).
  • a trigger signal SD which activates the image processing circuit 50 so as to extract during a step S6 one or more second images 12 from this second video sequence SV2; this or these second images which each include the trigger element TRI (for example the front part of the car or the wheel of the car) are then analyzed S 7 by image processing to detect the element or elements to be checked E (rear view mirror or rim).
  • a determination S8 of a characteristic vector V_E is then provided for each element to be checked E detected, and it is then possible to verify during a step S9 a level of conformity by application of the conformity test by comparing the characteristic vector V_E of each element to control E.
  • a warning signal SA intended for the warning means 60 of so that the lens (for example a flashing light) emits a visual and/or audible signal to warn the operators on the production line.
  • the present invention by providing a portable suitcase 200 makes possible the deployment of an automatic control solution by vision in an industrial environment, including in particular assembly lines, conveyors, treadmills.
  • an industrial environment including in particular assembly lines, conveyors, treadmills.
  • the 100 system on board this 200 case is ergonomic and easy to use; it also makes it possible to create and deploy industrial visual analyzes in less than 30 minutes, without involving specialized operators unlike other state-of-the-art solutions.
  • the suitcase 200 as proposed in the context of the present invention in fact embeds all the technical and computer means making it possible to easily and quickly set up an automatic image analysis system 100 (selective detection of the assembly and/or analysis (e.g. sorting, fault detection) on a production line, without programming, without computer coding, without scientific parameterization, without prior technical knowledge of the industrial environment.
  • an automatic image analysis system 100 selective detection of the assembly and/or analysis (e.g. sorting, fault detection) on a production line, without programming, without computer coding, without scientific parameterization, without prior technical knowledge of the industrial environment.
  • connection to a third-party server remains possible to download a predetermined compliance test in order to carry out a specific compliance test, for example to identify an anomaly that is difficult to detect.
  • the system 100 of the suitcase 200 can include power supply means (not shown here) of the rechargeable battery type.
  • a power cable can also be provided for a mains power supply.
  • Camera 10 is connected to system 100 by a POE type Ethernet cable or by communication interface 70.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

L'invention concerne un procédé de contrôle visuel comprenant : - une première acquisition (S0) d'une première séquence vidéo (SV1); - une première extraction (S1) d'une première image (I1) à partir de ladite première séquence vidéo (SV1); - une sélection (S2) sur ladite 5 première image (I1) d'un élément déclencheur (TRI) et d'un élément à contrôler (E); et - une génération (S3) d'un test de conformité en générant par apprentissage un vecteur caractéristique de référence (V_REF); - une reconnaissance (S5) en temps réel dudit déclencheur (TRI) dans une deuxième séquence vidéo (SV2); - une détermination (S8) d'un vecteur caractéristique (V_E) dudit élément à contrôler (E) dans une deuxième image (I2); et 10 - une vérification (S9) d'un niveau de conformité par application dudit test de conformité en comparant le vecteur caractéristique (V_E) dudit au moins un élément à contrôler (E) avec ledit vecteur caractéristique de référence (V_REF).

Description

DESCRIPTION
Titre : Contrôle visuel d’un élément se déplaçant sur une ligne de production
Domaine technique
La présente invention concerne le domaine du contrôle qualité dans un environnement industriel.
La présente invention porte plus particulièrement sur une solution de contrôle visuel des produits en cours de fabrication sur une ligne de production.
Un des objectifs de la présente invention est de permettre un déploiement facile et rapide d’un système visuel de contrôle d’une ligne de production dans un environnement industriel.
Par ligne de production au sens de la présente invention, on entend dans toute la description qui suit une ligne (ou chaîne) comprenant l’ensemble ou une partie des opérations de fabrication nécessaires à la réalisation d’un produit manufacturé. Les produits en cours de fabrication vont donc se déplacer sur cette ligne de production d’un poste vers un autre via un convoyeur, un tapis roulant ou équivalent.
Art antérieur
Les process qualité dans l’industrie sont souvent très contraignants.
Ceci est particulièrement vrai dans l’industrie automobile notamment.
La mise en place de systèmes de contrôle visuel automatisé est ainsi devenue essentielle dans les process qualité. Le contrôle visuel fait classiquement référence à des techniques d’analyse automatisée d’images pour déterminer les caractéristiques des objets se déplaçant sur une ligne de production.
Le contrôle utilisant la vision industrielle permet une détection précoce des erreurs et un débit élevé des lignes de production.
De plus, contrairement aux opérateurs humains, les systèmes de vision industrielle ont tendance à être plus cohérents et ne sont pas sujets à la fatigue, aux maladies et aux stress qui peuvent avoir un impact sur les performances.
Les industriels sont donc de plus en plus à la recherche de systèmes de contrôle visuel capables de garantir à leur client le respect des normes qualité et la conformité des pièces qui sortent de leurs lignes de production tout en maintenant leur performance industrielle.
Il existe aujourd’hui de très nombreuses solutions de contrôle visuel destinées à l’industrie. Ainsi, l’état de l’art nous rapporte qu’il est souvent utilisé sur les lignes de production des systèmes de contrôle visuel dans lesquels une pluralité de caméras capture des images comprenant les objets se déplaçant sur la ligne de production ; ces images sont ensuite analysées par des algorithmes de traitement d’images pour vérifier les défauts.
On connaît ainsi le document US2013070113 Al qui propose un système de vision industrielle complexe mettant en œuvre plusieurs caméras. Un tel système permet d’obtenir une bonne résolution : en effet, chacune des caméras capture individuellement une image d'une partie d’un objet selon un champ de vision restreint avec une haute résolution ; le système combine ensuite l’ensemble des images acquises pour créer une représentation de l’objet en entier.
Un tel système est cependant très complexe et très coûteux à mettre à place. Il requiert par ailleurs des ressources informatiques très importantes et imposent un déploiement très long avec des opérateurs spécialisés.
La technologie proposée dans ce document US2013070113A1 est très complexe et reste adaptée à des industries telles que par exemple l’industrie électronique pour le contrôle visuel des semi-conducteurs.
On connaît aussi le document US6175652B1 qui porte sur un système de vision artificielle à caméra unique pour analyser des caractéristiques basées sur des images d'objets multiples et le document US6483935B1 qui porte sur un système de contrôle à caméra unique configuré pour compter les pièces selon plusieurs champs de vision.
Les systèmes de vision industrielle proposée dans ces documents sont relativement peu coûteux et conviennent à un certain nombre d'applications telles que l'inspection de pièces d’automobiles.
En revanche, le déploiement de ces systèmes reste complexe et fastidieux et nécessite l’intervention d’opérateurs spécialisés.
Le Demandeur soumet ainsi que les différentes technologies de l’état de la technique connu ne sont pas pleinement satisfaisantes et requièrent des ressources informatiques importantes avec des temps de calcul très longs et un déploiement complexe.
Résumé de l’invention
La présente invention vise à améliorer la situation décrite ci-dessus
La présente invention vise notamment à remédier à au moins un des différents problèmes techniques mentionnés ci-dessus en proposant un contrôle visuel à apprentissage automatique.
L’objet de la présente invention concerne ainsi selon un premier aspect un procédé de contrôle visuel d’un élément se déplaçant sur une ligne de production. Selon la présente invention, le procédé est mis en œuvre par des moyens informatiques et comprend les étapes suivantes :
A) lors d’une phase initiale d’apprentissage
- une première acquisition à un instant d’apprentissage d’une première séquence vidéo à l’aide d’une caméra arrangée selon un point de contrôle déterminé pour comprendre la ligne de production dans son champ de vision ;
- une première extraction d’au moins une première image à partir de la première séquence vidéo ;
- une sélection sur l’au moins une première image extraite d’au moins un élément déclencheur et d’au moins un élément à contrôler ; et
- une génération d’un test de conformité en générant à partir de l’au moins une première image comprenant l’au moins un élément à contrôler un vecteur caractéristique de référence, ledit vecteur comprenant un ensemble de valeurs caractéristiques représentatives d’un élément de référence ;
B) lors d’une phase de production
- une deuxième acquisition à un instant courant, postérieur à l’instant d’apprentissage, d’une deuxième séquence vidéo à l’aide de la caméra arrangée selon le point de contrôle déterminé ;
- une reconnaissance en temps réel de l’au moins un élément déclencheur dans la deuxième séquence vidéo afin d’émettre un signal de déclenchement ;
- sur réception du signal de déclenchement, une deuxième extraction à partir de la deuxième séquence vidéo d’au moins une deuxième image comprenant l’au moins un élément déclencheur et une analyse de l’au moins une deuxième image pour détecter l’au moins un élément à contrôler ;
- une détermination d’un vecteur caractéristique pour l’au moins un élément à contrôler ;
- une vérification d’un niveau de conformité par application du test de conformité en comparant le vecteur caractéristique de l’au moins un élément à contrôler avec le vecteur caractéristique de référence.
Grâce à cette succession d’étapes techniques, caractéristique de la présente invention, on dispose d’une technique d’apprentissage permettant lors d’une première phase d’automatiser la détection d’anomalie en construisant un test de conformité selon des méthodes d’intelligence artificielle de type Machine Learning.
Aucune compétence technique n’est requise pour le déploiement de cette solution sur un site industriel : aucune connaissance en informatique, en vidéo ni encore en technique d’apprentissage par Machine Learning. Par ailleurs, il n’est pas nécessaire d’arrêter la ligne de production pour metre en place cete solution, contrairement à de très nombreuses méthodes de l’art antérieur.
On notera que la technique proposée ici n’exige pas un recours à une connexion au réseau Internet
On notera également qu’il est possible à tout moment de réitérer cette phase d’apprentissage en ajoutant de nouvelles images pour réentraîner le modèle ainsi mettre à jour le vecteur caractéristique et disposer d’un test de conformité à jour.
Avantageusement, la génération du test de conformité comprend un traçage de points caractéristiques de l’au moins un élément à contrôler pour suivre l’au moins un élément à contrôler dans la première séquence vidéo et collecter une pluralité d’éléments à contrôler. Avantageusement, la génération du test de conformité est réalisée par apprentissage sur la pluralité d’éléments à contrôler.
Avantageusement, la génération du test de conformité comprend une normalisation de la première image.
Avantageusement, la génération du test de conformité comprend une analyse sémantique de l’au moins un élément à contrôler selon une pluralité de descripteurs déterminés.
Ainsi, le vecteur caractéristique de référence comprend des valeurs représentatives de la sémantique l’image (forme, texture, etc.).
Avantageusement, la génération du test de conformité comprend un partitionnement supervisé (ou « supervised clustering ») des valeurs caractéristiques de chaque vecteur caractéristique pour déterminer au moins un cluster (ou classe).
Avantageusement, la génération du test de conformité comprend un calcul de scores de similarité en fonction des distances entre les vecteurs caractéristiques et le centre de chaque cluster.
Avantageusement, la première extraction comprend un affichage de la première séquence vidéo sur une interface graphique tactile et une sélection de ladite au moins une première image en interagissant manuellement avec l’interface.
On comprend alternativement que cette sélection peut aussi se faire via une simple interface graphique.
Avantageusement, l’étape de sélection de l’élément déclencheur comprend une première sélection d’une zone d’intérêt sur l’au moins une première image en interagissant manuellement avec l’interface.
On comprend alternativement que cette sélection peut aussi se faire via une simple interface graphique. Avantageusement, l’étape de sélection de l’élément à contrôler comprend une deuxième sélection d’une sous-zone d’intérêt dans la zone d’intérêt correspondant à l’élément déclencheur, ladite deuxième sélection étant réalisée en interagissant manuellement avec l’interface. Là encore, on comprendra que cette sélection peut aussi se faire via une simple interface graphique.
L’utilisation d’une interface graphique tactile facilite l’expérience utilisateur qui peut sélectionner intuitivement l’image, le déclencheur et l’élément à contrôler via l’écran tactile. Avantageusement, la vérification du niveau de conformité comprend, en cas de détection d’une anomalie, une génération d’un signal d’avertissement.
Selon un deuxième aspect, l’objet de la présente invention concerne un programme d’ordinateur qui comporte des instructions adaptées pour l’exécution des étapes du procédé selon le premier aspect de l’invention, ceci notamment lorsque le programme d’ordinateur est exécuté par au moins un processeur.
Un tel programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme d’un code source, d’un code objet, ou d’un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
Selon un troisième aspect, l’objet de la présente invention concerne un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon le premier aspect de l’invention.
D’une part, le support d’enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire ROM, un CD-ROM ou une mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique ou un disque dur.
D'autre part, ce support d’enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d’ordinateur selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d’ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l’exécution du procédé en question.
L’objet de la présente invention concerne selon un quatrième aspect un système informatique de contrôle visuel d’un élément se déplaçant sur une ligne de production, ledit système comprenant des moyens informatiques configurés pour une mise en œuvre des étapes du procédé tel que décrit ci-dessus.
L’objet de la présente invention concerne selon un cinquième aspect une valise sur roulette comprenant un système informatique de contrôle visuel tel que décrit ci-dessus.
Ainsi, par ses différentes caractéristiques techniques fonctionnelles et structurelles décrites ci- dessus, l’opérateur dispose d’un outil simple d’utilisation dont le déploiement se fait en quelques minutes sans connaissance préalable de l’environnement industriel dans lequel il évolue.
Brève description des figures
[Fig. 1]
La figure 1 est un organigramme illustrant les différentes étapes du procédé selon un exemple de réalisation de l’invention ;
[Fig. 2]
La figure 2 représente une vue schématique d’un système de contrôle visuel selon un exemple de réalisation de l’invention.
Description détaillée
Une valise comprenant un système de contrôle visuel selon un exemple de réalisation de la présente invention ainsi que le procédé qui lui est associé vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 et 2.
Dans l’exemple décrit ici, on se place dans une situation classique de l’industrie automobile où il est requis dans une démarche qualité de réaliser un contrôle visuel sur des pièces manufacturées, appelées ici objets, se déplaçant sur une ligne de production LP comme illustré en figure 2.
Dans cet exemple, il est requis de mettre en place un contrôle qualité sur une voiture en cours de fabrication se déplaçant sur une ligne de production LP. Il est plus particulièrement recherché la détection précoce d’éventuelles anomalies sur un rétroviseur ou sur une jante de roue.
On comprendra ici qu’il s’agit d’un exemple à titre purement illustratif qui ne présente en aucun cas un caractère limitatif ; en effet, la présente invention trouvera des exemples d’applications avantageuses pour d’autres types de pièces et/ou d’autres secteurs de l’industrie.
Dans ce contexte, un des objectifs est donc de proposer une solution qui permet à l'industrie d’accompagner le contrôle qualité et conformité en toute autonomie en fournissant à l’industrie, et notamment l’industrie automobile, un outil de contrôle visuel qui est simple à déployer et ne nécessite pas l’intervention d’un opérateur spécialisé.
La détection automatique d’anomalie sur les produits se déplaçant sur la ligne de production LP est rendue possible dans l’exemple qui va suivre grâce à la valise 200 proposée dans le cadre de la présente invention.
On dispose donc dans cet exemple d’une valise 200 sur roulettes.
Une telle valise 200 transportable est facile d’utilisation ; elle permet un déplacement aisé de l’ensemble des composants du système 100 à l’endroit précis où l’opérateur souhaite établir son point de contrôle PC pour contrôler la ligne de production LP.
Comme indiqué ci-dessus, cette valise 200 comprend les différents moyens techniques et informatiques du système 100 permettant une bonne mise en œuvre de l’invention.
A cet effet, le système 100 comprend :
- des moyens 10 de capture d’images, appelés ici caméra ;
- un circuit de traitement d’images 50 ;
- une interface graphique 30 éventuellement tactile 30 telle que par exemple une type tablette numérique ;
- un ou plusieurs processeurs 40 ;
- des moyens d’avertissement 60 de type verrine apte à émettre un signal visuel et/ou sonore. On notera ici que le système 100 comprend également une interface de communication 70 apte à établir une communication sans fil de type par exemple radiofréquence, 3G, 4G ou 5G (ou équivalent) ou déployant d’autres technologie de type Wifi®, Bluetooth®, ZigBee® ou RFID.
Une telle interface permet notamment d’assurer une communication avec la tablette 30 et éventuellement avec la caméra 10 si besoin.
Le ou les processeurs 40 configurés pour l’exécution des instructions du ou des logiciels embarqués. Le processeur 40 peut inclure de la mémoire intégrée, une interface d’entrée/sortie, et différents circuits connus de l’homme du métier. Il peut s’agir d’un processeur (ou d’un microprocesseur) de type CPU, GPU, TPU, FPGA, etc. il s’agit là d’exemples d’implémentation possibles pour l’homme du métier.
Dans cet exemple, aucune connaissance préalable des objets n’est nécessaire ni aucune connexion au réseau n’est requise ; ceci constitue l’un des nombreux avantages de la présente invention.
Pour atteindre ces avantages, le concept sous-jacent à la présente invention repose sur une exploitation des technologies relatives à l’intelligence artificielle pour détecter en temps réel, avec précision et de façon automatique les anomalies présentes sur les différents produits se déplaçant sur la ligne de production LP.
On prévoit ainsi dans le cadre de la présente invention une phase d’apprentissage PO.
Lors de cette phase PO, l’opérateur muni de sa valise 200 se déplace dans l’environnement industrielle et se positionne à proximité de la ligne de production LP à inspecter.
Il ouvre alors la valise 200 pour accéder à l’ensemble des éléments du système 100.
Dans cette valise 200, il saisit la caméra 10 de type haute résolution par exemple et positionne celle-ci selon un point de contrôle PC déterminé de manière à ce que le champ de vision de la caméra 10 comprenne la ligne de production LP.
L’opérateur enclenche alors la phase d’apprentissage PO à un instant d’apprentissage déterminé en lançant une première acquisition S0 d’une première séquence vidéo SV1. Cette première séquence vidéo SV1 comprend alors un flux d’images comprenant une pluralité d’objets se déplaçant sur la ligne de production LP.
On peut prévoir de façon optionnelle des étapes préalables de réglage de la netteté, de la luminosité et/ou de la résolution pour améliorer la qualité de l’image. Ceci peut être souhaitable dans certains environnements industriels, notamment sur les chaînes de production des industries qui fonctionnent de jour comme de nuit et dans lesquels bien souvent l’éclairage peut être mauvais.
On notera ici que l’interface graphique comprend des moyens de traitement d’images permettant de contrôler (de façon continue ou discontinue) la qualité de l’image (variation de lumière ou équivalents, etc.) pour détecter de façon précoce des anomalies et lever toute ambiguïté. Un signal est alors émis pour lever l’alerte en cas d’anomalie ou non. On parle également de désambiguation.
Cette première séquence SV 1 est ensuite enregistrée sur des moyens de mémorisation 20 de type mémoire volatile at/ou non volatile et/ou sur un dispositif de stockage mémoire qui peut comprendre de la mémoire volatile et/ou non volatile, telle que EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, disque magnétique ou optique.
Dans cet exemple, l’opérateur visualise ensuite sur la tablette 30 cette première séquence vidéo SV1 pour en extraire lors d’une étape SI au moins une première image II.
Cette extraction SI se fait par interaction avec la tablette 30 en sélectionnant ladite première image II de la séquence SV1 ; alternativement, cette extraction SI peut se faire automatiquement par des moyens logiciels qui analysent le flux d’images et sélectionnent une ou plusieurs images en fonction d’un critère de qualité déterminé (netteté par exemple ou autres).
Ainsi, l’opérateur visualise sur sa tablette 30 une image II comprenant au moins un objet se déplaçant sur la ligne de production LP.
Ici, par objet, on comprend un produit manufacturé ou en cours de fabrication (ici la voiture en cours de fabrication).
Il convient, après extraction SI de l’image II, de sélectionner dans cette image II un élément déclencheur TRI et un élément à contrôler E.
Cette étape de sélection S2 est réalisée par l’intermédiaire de la tablette 30 : L’opérateur sélectionne S2_l sur la première image II une zone d’intérêt correspondant au déclencheur en interagissant manuellement avec l’interface 30. Cette sélection S2_l se fait par exemple en dessinant avec le doigt sur l’écran de la tablette un cadre comprenant le déclencheur TRI. Dans l’exemple décrit ici, un tel déclencheur TRI correspond à un objet ou une partie d’un objet toujours présent sur l’élément à contrôler ; ici, il peut s’agir par exemple de la partie avant de la voiture ou d’une roue.
Comme on pourra le comprendre dans la suite de la description, un tel déclencheur TRI permet par la suite de déclencher la prise et l’analyse d’images en phase de production PI . Une fois le déclencheur TRI sélectionné sur la première image II, l’opérateur sélectionne S2_2 une sous-zone d’intérêt correspondant à l’élément à contrôler E, par exemple le rétroviseur à contrôler ou la jante à contrôler.
On notera ici que l’objet déclencheur TRI ne doit pas être l’élément à contrôler E, car il est souhaitable que la capture d’images soit déclenchée même si l’élément à contrôler E est manquant ou anormale.
De la même façon, cette sélection S2_2 se fait en dessinant avec le doigt sur l’écran un cadre comprenant l’élément à contrôler dans la zone d’intérêt préalablement sélectionnée. Le concept de sélection de déclencheur TRI et d’élément à contrôler E est souhaitable pour améliorer la robustesse de l’algorithme et limiter le temps de traitement et les ressources informatiques en phase de production PI .
Suite à cette sélection S2, il est prévu une génération S3 d’un test de conformité.
Cette génération de test de conformité est caractéristique de la présente invention ; celle-ci est réalisée par des techniques d’apprentissage de type Machine Learning mises en œuvre par un processeur 40 couplé à des moyens de traitement d’images 50 compris dans le système 100 et intégrés dans la valise 200.
Aucune connexion au réseau Internet ou à un serveur distant n’étant ici requis.
Dans cet exemple, la génération S3 du test de conformité comprend un traçage de points caractéristiques de l’élément à contrôler E. Un tel traçage vise à suivre l’élément à contrôler E dans la première séquence vidéo SV1 pour ainsi collecter une pluralité d’éléments à contrôler. Par cette technique de traçage, il est ainsi possible de réaliser cette étape de génération S3 du test de conformité par un apprentissage sur une pluralité d’éléments à contrôler E ; le processeur peut alors collecter une pluralité d’élément à contrôler E à partir d’une même séquence vidéo SV1, ce qui permet donc à partir d’une unique séquence d’avoir suffisamment de données pour avoir un test robuste.
Pour améliorer cette robustesse, on peut prévoir une normalisation de la première image II . Ensuite, on prévoit une transformation de la première image II en une liste de descripteurs de type « features » pour permettre une analyse sémantique de l’élément à contrôler E selon cette liste de descripteurs : la génération du test de conformité comprend ainsi une génération à partir de chaque élément à contrôler d’un vecteur caractéristique de référence V_REF comprenant un ensemble de valeurs caractéristiques représentatives de chaque élément de référence.
Il est ensuite prévu un partitionnement supervisé des valeurs caractéristiques de chaque vecteur caractéristique pour déterminer au moins un cluster (ou classe), puis un calcul de scores de similarité en fonction des distances entre les vecteurs caractéristiques et le centre de chaque cluster.
Le résultat, pour une image, est donc une liste de scores de similarités correspondant aux diversités (rétroviseur rouge 95%, rétroviseur bleu 0%). Un seuil sur ce score est fixé (80% par défaut, empirique), en-deçà duquel la classe trouvée ne peut pas être considérée comme nominale : (exemple rétroviseur rouge 32%, rétroviseur bleu 1% : anomalie, on ne reconnait rien suffisamment). L’indice de similarité se présente alors comme un score qui a été conçu pour donner un sens “humain” et intuitif à la compréhension du résultat. On comprend ici qu’un seuil global s’applique à chaque classe. Pour chaque analyse d’un élément à contrôler et indépendamment de la classe détectée, si le score de similarité est inférieur au seuil global, une alerte est levée. Le seuil par classe permet d’affiner la définition du seuil pour chacune des classes du point de contrôle. Ainsi, pour chaque analyse, si le score de similarité est inférieur au seuil de la classe détecté, une alerte sera levée. Le tableau sous chaque seuil est la matrice de confusion, elle permet de faciliter la définition du seuil car sa variation modifie le contenu de la matrice de confusion
Par ces différentes étapes, simples à mettre en œuvre et courte, il est possible lors d’une phase d’apprentissage de générer un test de conformité permettent par la suite lors d’une phase ultérieure de production PI de contrôler de façon automatique le niveau de conformité des éléments à contrôler et ainsi de détecter les éventuelles anomalies sur une ligne de production. Grâce à cette phase préalable d’apprentissage PO, la phase PI se fait par un traitement à la volée.
Cette phase P 1 comprend plus particulièrement une deuxième acquisition S4 à un instant courant, postérieur à l’instant d’apprentissage, d’une deuxième séquence vidéo SV2.
Cette acquisition S4 est réalisée ici à l’aide de la caméra 10 arrangée selon le point de contrôle PC.
Un traitement d’images est réalisé sur cette deuxième séquence vidéo pour reconnaître S5 en temps réel l’élément déclencheur TRI dans cette deuxième séquence vidéo SV2, par exemple la partie avant du véhicule ou une roue.
On prévoit ici la mise en œuvre d’un algorithme de traitement d’images de type « image recognition » pour cette reconnaissance du déclencheur TRI.
Une fois le déclencheur détecté, le processeur génère un signal de déclenchement SD qui active le circuit de traitement d’images 50 de manière à extraire lors d’une étape S6 une ou pl iisiciirs deuxièmes images 12 à partir de cette deuxième séquence vidéo SV2 ; ce ou ces deuxièmes images qui comprennent chacune l’élément déclencheur TRI (par exemple la partie avant de la voiture ou la roue de la voiture) sont ensuite analysées S 7 par traitement d’images pour détecter le ou les éléments à contrôler E (rétroviseur ou jante).
On prévoit ensuite une détermination S8 d’un vecteur caractéristique V_E pour chaque élément à contrôler E détecté, et on peut alors vérifier lors d’une étape S9 un niveau de conformité par application du test de conformité en comparant le vecteur caractéristique V_E de chaque élément à contrôler E.
En cas détection d’une anomalie (distance supérieure à un seuil déterminé), il est prévu une génération d’un signal d’avertissement SA à destination des moyens d’avertissement 60 de manière à ce que la verrine (par exemple un gyrophare) émette un signal visuel et/ou sonore pour prévenir les opérateurs sur la ligne de production.
Ainsi, la présente invention en mettant à disposition une valise 200 portative rend possible le déploiement d’une solution de contrôle automatique par vision en milieu industriel, incluant notamment les lignes de montage, les convoyeurs, les tapis roulants. En exploitant les technologies d’apprentissage par intelligence artificielle, le système 100 embarqué dans cette valise 200 est ergonomique et facile d’usage ; il permet en outre de créer et de déployer des analyses visuelles industrielles en moins de 30 minutes, sans faire intervenir d’opérateurs spécialisés contrairement aux autres solutions de l’état de l’art.
La valise 200 telle que proposée dans le cadre de la présente invention embarque en effet tous les moyens techniques et informatiques permettant de mettre en place facilement et rapidement un système 100 d’analyse d’image automatique (détection sélective de l’assemble et/ou analyse (e.g. tri, détection de défauts) sur une ligne de production, ceci sans programmation, sans codage informatique, sans paramétrage scientifique, sans connaissance technique préalable de l’environnement industriel.
On notera également qu’une connexion à un serveur tierce reste possible pour télécharger un test de conformité prédéterminé afin de réaliser un test de conformité spécifique par exemple pour identifier une anomalie difficilement décelable.
Bien évidemment, on comprend ici que le système 100 de la valise 200 peut comprendre des moyens d’alimentation (non représentés ici) de type batterie rechargeable. On peut également prévoir un câble d’alimentation pour une alimentation électrique sur secteur.
La caméra 10 est reliée au système 100 par un câble Ethernet de type POE ou par l’interface de communication 70.
Il devra être observé que cette description détaillée porte sur un exemple de réalisation particulier de la présente invention, mais qu’en aucun cas cette description ne revêt un quelconque caractère limitatif à l’objet de l’invention ; bien au contraire, elle a pour objectif d’ôter toute éventuelle imprécision ou toute mauvaise interprétation des revendications qui suivent. Il devra également être observé que les signes de références mis entre parenthèses dans les revendications qui suivent ne présentent en aucun cas un caractère limitatif ; ces signes ont pour seul but d’améliorer l’intelligibilité et la compréhension des revendications qui suivent ainsi que la portée de la protection recherchée.

Claims

REVENDICATIONS
1. Procédé de contrôle visuel d’un élément se déplaçant sur une ligne de production (LP), ledit procédé mis en œuvre par des moyens informatiques comprenant les étapes suivantes :
A) lors d’une phase initiale d’apprentissage (PO)
- une première acquisition (S0) à un instant d’apprentissage d’une première séquence vidéo (SV1) à l’aide d’une caméra (10) arrangée selon un point de contrôle (PC) déterminé pour comprendre ladite ligne de production (LP) dans son champ de vision ;
- une première extraction (SI) d’au moins une première image (II) à partir de ladite première séquence vidéo (SV1) ;
- une sélection (S2) sur ladite au moins une première image (II) extraite d’au moins un élément déclencheur (TRI) et d’au moins un élément à contrôler (E) ; et
- une génération (S3) d’un test de conformité en générant à partir de ladite au moins une première image (II) comprenant ledit au moins un élément à contrôler (E) un vecteur caractéristique de référence (V_REF) comprenant un ensemble de valeurs caractéristiques représentatives d’un élément de référence ;
B) lors d’une phase de production (PI)
- une deuxième acquisition (S4) à un instant courant, postérieur à l’instant d’apprentissage, d’une deuxième séquence vidéo (SV2) à l’aide de ladite caméra (10) arrangée selon ledit point de contrôle (PC) ;
- une reconnaissance (S5) en temps réel dudit au moins un élément déclencheur (TRI) dans la deuxième séquence vidéo (SV2) afin d’émettre un signal de déclenchement (SD) ;
- sur réception dudit signal de déclenchement (SD), une deuxième extraction (S6) à partir de ladite deuxième séquence vidéo (SV2) d’au moins une deuxième image (12) comprenant ledit au moins un élément déclencheur (TRI) et une analyse (S7) de ladite au moins une deuxième image (12) pour détecter ledit au moins un élément à contrôler (E) ;
- une détermination (S8) d’un vecteur caractéristique (V E) pour ledit au moins un élément à contrôler (E) ;
- une vérification (S9) d’un niveau de conformité par application dudit test de conformité en comparant le vecteur caractéristique (V E) dudit au moins un élément à contrôler (E) avec ledit vecteur caractéristique de référence (V REF).
2. Procédé selon la revendication 1, dans lequel la génération (S3) du test de conformité comprend un traçage de points caractéristiques dudit au moins un élément à contrôler (E) pour suivre ledit au moins un élément à contrôler (E) dans la première séquence vidéo (SV1) et collecter une pluralité d’éléments à contrôler (E).
3. Procédé selon la revendication 2, dans lequel la génération (S3) du test de conformité est réalisée par apprentissage sur ladite pluralité d’éléments à contrôler (E).
4. Procédé selon la revendication 3, dans lequel la génération (S3) du test de conformité comprend une normalisation de la première image (II).
5. Procédé selon la revendication 3 ou 4, dans lequel la génération (S3) du test de conformité comprend une analyse sémantique dudit au moins un élément à contrôler (E) selon une pluralité de descripteurs déterminés.
6. Procédé selon l’une quelconque des revendications 3 à 5, dans lequel la génération (S3) du test de conformité comprend un partitionnement supervisé des valeurs caractéristiques de chaque vecteur caractéristique (V E) pour déterminer au moins un cluster.
7. Procédé selon l’une quelconque des revendications 3 à 6, dans lequel la génération (S3) du test de conformité comprend un calcul de scores de similarité en fonction des distances entre les vecteurs caractéristiques (V E) et le centre de chaque cluster.
8. Procédé selon l’une quelconque des revendications précédentes, dans lequel la première extraction (SI) comprend un affichage de la première séquence vidéo (SV1) sur une interface graphique tactile (30) et une sélection de ladite au moins une première image (II) en interagissant manuellement avec ladite interface (30).
9. Procédé selon la revendication 9, dans lequel l’étape de sélection (S2) dudit élément déclencheur (TRI) comprend une première sélection (S2_l) d’une zone d’intérêt sur ladite au moins une première image (II) en interagissant manuellement avec ladite interface (40).
10. Procédé selon la revendication 9, dans lequel l’étape de sélection (S2) dudit élément à contrôler comprend une deuxième sélection (S2_2) d’une sous-zone d’intérêt dans ladite zone d’intérêt correspondant à l’élément déclencheur (TRI), ladite deuxième sélection (S2_2) étant réalisée en interagissant manuellement avec ladite interface (40).
11. Procédé selon l’une quelconque des revendications précédentes, dans lequel la vérification (S9) du niveau de conformité comprend, en cas détection d’une anomalie, une génération d’un signal d’avertissement (SA). 15 Programme d’ordinateur comportant des instructions adaptées pour l’exécution des étapes du procédé selon l’une quelconque des revendications 1 à 11 lorsque ledit programme d’ordinateur est exécuté par au moins un processeur. Support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon l’une quelconque des revendications 1 à 11. Système informatique (100) de contrôle visuel d’un élément se déplaçant sur une ligne de production (LP), ledit système (100) comprenant des moyens informatiques configurés pour une mise en œuvre des étapes du procédé selon l’une quelconque des revendications 1 à 11. Valise (200) sur roulette comprenant un système informatique (100) selon la revendication 14.
PCT/FR2022/050102 2021-01-21 2022-01-19 Contrôle visuel d' un élément se déplaçant sur une ligne de production WO2022157452A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22705424.4A EP4281930A1 (fr) 2021-01-21 2022-01-19 Contrôle visuel d' un élément se déplaçant sur une ligne de production
KR1020237026558A KR20230133315A (ko) 2021-01-21 2022-01-19 생산 라인에서 이동중인 요소에 대한 시각 검사

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2100582A FR3119038B1 (fr) 2021-01-21 2021-01-21 Contrôle visuel d’un élément se déplaçant sur une ligne de production
FRFR2100582 2021-01-21

Publications (1)

Publication Number Publication Date
WO2022157452A1 true WO2022157452A1 (fr) 2022-07-28

Family

ID=74871649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2022/050102 WO2022157452A1 (fr) 2021-01-21 2022-01-19 Contrôle visuel d' un élément se déplaçant sur une ligne de production

Country Status (4)

Country Link
EP (1) EP4281930A1 (fr)
KR (1) KR20230133315A (fr)
FR (1) FR3119038B1 (fr)
WO (1) WO2022157452A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175652B1 (en) 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
US6483935B1 (en) 1999-10-29 2002-11-19 Cognex Corporation System and method for counting parts in multiple fields of view using machine vision
US20130070113A1 (en) 2011-09-13 2013-03-21 Cognex Corporation Master and Slave Machine Vision System
US20170344822A1 (en) * 2014-12-23 2017-11-30 Commissariat A L'energie Atomique Et Aux Energies Alternatives Semantic representation of the content of an image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567538B1 (en) * 1999-08-02 2003-05-20 The United States Of America As Represented By The Secretary Of Agriculture Real time measurement system for seed cotton or lint

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175652B1 (en) 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
US6483935B1 (en) 1999-10-29 2002-11-19 Cognex Corporation System and method for counting parts in multiple fields of view using machine vision
US20130070113A1 (en) 2011-09-13 2013-03-21 Cognex Corporation Master and Slave Machine Vision System
US20170344822A1 (en) * 2014-12-23 2017-11-30 Commissariat A L'energie Atomique Et Aux Energies Alternatives Semantic representation of the content of an image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CLAUSEN SASCHA ET AL: "Parcel Tracking by Detection in Large Camera Networks", 14 February 2019, ADVANCES IN DATABASES AND INFORMATION SYSTEMS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 89 - 104, ISBN: 978-3-319-10403-4, XP047502663 *
JOSE J LOPEZ ET AL: "Computer-based detection and classification of flaws in citrus fruits", NEURAL COMPUTING AND APPLICATIONS, SPRINGER-VERLAG, LO, vol. 20, no. 7, 20 June 2010 (2010-06-20), pages 975 - 981, XP019952382, ISSN: 1433-3058, DOI: 10.1007/S00521-010-0396-2 *

Also Published As

Publication number Publication date
FR3119038B1 (fr) 2023-03-17
EP4281930A1 (fr) 2023-11-29
KR20230133315A (ko) 2023-09-19
FR3119038A1 (fr) 2022-07-22

Similar Documents

Publication Publication Date Title
US20210256320A1 (en) Machine learning artificialintelligence system for identifying vehicles
US10846556B2 (en) Vehicle insurance image processing method, apparatus, server, and system
FR2909202A1 (fr) Procede d'analyse de la disposition de produits dans un lineaire de magasin.
EP3633552B1 (fr) Procédés d'apprentissage de paramètres d'un réseau de neurones à convolution et de détection d'éléments d'intérêt visibles dans une image
WO2021213817A1 (fr) Procede, dispositif et programme d'ordinateur pour determiner la performance d'un procede de soudage a l'aide de traitements numeriques d'une image de la piece soudee
WO2016097520A1 (fr) Procede de detection de defaut sur une surface de pneumatique
EP3866064A1 (fr) Procede d'authentification ou d'identification d'un individu
FR3086428A1 (fr) Procede, programme d'ordinateur et systeme de detection et localisation d'objet dans une scene tridimensionnelle
WO2023006627A1 (fr) Procede pour la detection automatique de defauts sur des composants d'une carte electronique
FR3075433A1 (fr) Procede de determination des bords saillants d'une cible sur une image
WO2022157452A1 (fr) Contrôle visuel d' un élément se déplaçant sur une ligne de production
EP4202770A1 (fr) Reseau de neurones avec generation a la volee des parametres du reseau
EP3966739B1 (fr) Procédé d'analyse automatique d'images pour reconnaître automatiquement au moins une caractéristique rare
FR3117764A1 (fr) Procédé et système de test d’un système de surveillance d’un conducteur de véhicule
EP2180436B1 (fr) Système de procédé d'apprentissage semi-supervisé pour la classification de données à partir de paramètres discriminants
FR3051559B1 (fr) Procede d'optimisation de la detection de cibles marines et radar mettant en oeuvre un tel procede
EP3440452A1 (fr) Procédé de détection d'un défaut sur une surface par éclairage multidirectionnel et dispositif associé
WO2018229391A1 (fr) Plateforme de commande et de suivi des inspections de surfaces d'objets par des robots d'inspection et système d'inspection mettant en oeuvre une telle plateforme
FR3107378A1 (fr) Procédé de détection et de classification des défauts des canalisations
WO2024023453A1 (fr) Dispositif de surveillance d'opération industrielle
FR3101715A1 (fr) Procédé et système multimodal d’identification d’objets
EP3757943B1 (fr) Procédé et dispositif de télémétrie passive par traitement d'image et utilisation de modeles en trois dimensions
FR3104775A1 (fr) Dispositif de reconnaissance d’objet pour la Gestion de Maintenance Assistée par Ordinateur
US20220300855A1 (en) Model Management System for Improving Training Data Through Machine Learning Deployment
FR3140191A1 (fr) Procédé de génération automatique d’un algorithme d’aide à une prise de décision ; Produit programme d’ordinateur et dispositif informatique associés.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22705424

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237026558

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237026558

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022705424

Country of ref document: EP

Effective date: 20230821