WO2020094558A2 - Vorrichtung und verfahren zur bearbeitung mindestens eines arbeitsbereiches mit einem bearbeitungswerkzeug - Google Patents

Vorrichtung und verfahren zur bearbeitung mindestens eines arbeitsbereiches mit einem bearbeitungswerkzeug Download PDF

Info

Publication number
WO2020094558A2
WO2020094558A2 PCT/EP2019/080080 EP2019080080W WO2020094558A2 WO 2020094558 A2 WO2020094558 A2 WO 2020094558A2 EP 2019080080 W EP2019080080 W EP 2019080080W WO 2020094558 A2 WO2020094558 A2 WO 2020094558A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
work area
sensor data
processing tool
processing
Prior art date
Application number
PCT/EP2019/080080
Other languages
English (en)
French (fr)
Other versions
WO2020094558A3 (de
Inventor
Robert BÜCHER
Nick JAGIELLA
Frank SCHRÖDER
Konrad ZÜRL
Original Assignee
Advanced Realtime Tracking Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Realtime Tracking Gmbh filed Critical Advanced Realtime Tracking Gmbh
Priority to US17/291,052 priority Critical patent/US20210358110A1/en
Priority to CN201980087800.2A priority patent/CN113272817A/zh
Priority to EP19809714.9A priority patent/EP3877896A2/de
Publication of WO2020094558A2 publication Critical patent/WO2020094558A2/de
Publication of WO2020094558A3 publication Critical patent/WO2020094558A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the invention relates to a device with a processing tool for processing at least one working area according to the preamble of claim 1 and a method for processing at least one working area with a processing tool according to claim 40.
  • a device for logging screw connections is known from the prior art from DE 10 2012 219 871 A1.
  • an image is automatically recorded by a digital camera.
  • the screw and its immediate surroundings are included in the recorded image.
  • human errors can occur. It may therefore be necessary for the device to include systems for mechanical and / or automatic quality assurance in order to prevent, avoid and / or correct human errors.
  • the invention is therefore based on the problem of avoiding errors in the processing of the at least one work area and of increasing the quality of the processing.
  • this problem is solved by a device and a method for processing at least one work area.
  • a device for processing at least one working area of an object comprises a processing tool.
  • processing can be, for example, industrial assembly and in particular screwing and riveting on an object such as a vehicle, but is not limited to this.
  • the machining tool can be formed by an assembly tool, such as an industrial screwdriver, a flange mounting device, a gun screwdriver, a rivet gun, a stapler, a drilling device, an axial screwdriver or an angle screwdriver.
  • An image recording device for example a camera module, for generating at least one image of the at least one working area and at least one sensor, for example an inertial sensor, for generating sensor data during processing of the at least one working area are arranged on the processing tool.
  • the at least one image and the sensor data can be used for the dynamic identification of work areas or work points at which the processing tool acts on the work area.
  • the at least one image can show the working area, a section of the working area with the working point and, optionally, a section, for example a tool tip, of the Show editing tool.
  • the at least one image can be, for example, a thermal image or a 2-D or 3-D image or representation.
  • the at least one image can be a topography of the surface of the at least one work area.
  • the at least one image can also be generated by scanning the surface. In one embodiment, the scanning can take place using lighting technology. Ultrasound or laser scanning can be used for scanning, for example. In particular, a laser scanner or a time-of-flight camera can be used for scanning.
  • the at least one image and / or the sensor data can be generated before and / or after the processing of the at least one work area.
  • the at least one image and / or the sensor data can be generated when the processing tool approaches the at least one work area.
  • the at least one image can be generated as a function of the sensor data.
  • the generation of the at least one image can begin or end by the generation of specific sensor data or a specific pattern of sensor data.
  • sensor data can also be generated as a function of the at least one image.
  • a specific image or a specific pattern on an image can start or stop the generation of sensor data by the at least one sensor.
  • a sensor designed as a screwdriver control can measure whether a correct angle of rotation has been reached. Faulty angles of rotation can thus be measurable, for example. When machining a large number of work areas, the angle of rotation can be measured by the screw control for each work area.
  • the at least one sensor can be an inertial measuring unit (IMU), a position sensor, an acoustic sensor, an ultrasonic sensor, an acceleration sensor, a vibration sensor, which in particular plays a tool component, in particular when the processing tool starts processing the object , can detect a distance sensor, in particular a time-of-flight (TOF) camera, a QR code scanner, a barcode scanner or a magnetic field sensor can be formed.
  • IMU inertial measuring unit
  • a position sensor an acoustic sensor
  • an ultrasonic sensor an acceleration sensor
  • a vibration sensor which in particular plays a tool component, in particular when the processing tool starts processing the object
  • a distance sensor in particular a time-of-flight (TOF) camera, a QR code scanner, a barcode scanner or a magnetic field sensor can be formed.
  • TOF time-of-flight
  • QR code scanner QR code scanner
  • barcode scanner a barcode scanner
  • magnetic field sensor can be formed.
  • the magnetic field sensor can take advantage of the fact that different working areas modify the geomagnetic field locally differently, that is to say they have a signature in the geomagnetic field.
  • the sensor data can include location bearing data, for example.
  • the location bearing data can be generated in particular by means of marker-based tracking or using an existing radio infrastructure, which in particular includes wireless technologies such as WLAN, Bluetooth, ultra-wideband or ZigBee.
  • the generation of the at least one image can thus begin or end by measuring the distance.
  • the recording of the at least one image can be started by prior laser distance measurement.
  • the device further comprises an evaluation unit, for example a processing device such as an industrial PC.
  • the evaluation unit can include software that includes modules for the acquisition, processing and evaluation of images.
  • the evaluation unit has a computing model that can be used to evaluate the at least one image and the sensor data.
  • the at least one work area and / or a situation during the processing of the at least one work area can be identified with the computing model.
  • the work area being worked on or to be worked on can thus be determined by means of the evaluation by the computing model.
  • the evaluation unit can therefore also be used to systematically and / or statistically analyze the environment on the basis of the at least one image and / or the sensor data.
  • an operating point to be edited or edited in the at least one working area can be determinable by the computing model.
  • preconditions for processing the working point can be determined using the computing model.
  • a precondition is, for example, the use of a tool component, a component to be assembled and / or a location or position of the processing tool.
  • the calculation model can also be used with the at least one image and / or the sensor data a relative position of the processing tool to the working point or to the at least one working area can be determined.
  • the computing model was trained using machine learning using images of work areas and sensor data.
  • the training can take place before the object is processed for the first time by the processing tool.
  • an image is recorded in a first step as a reference image of each work area and / or work point.
  • different situations and combinations of images and sensor data can be recorded while processing the at least one work area.
  • (representative) positions, positions and / or angles of the machining tool, in particular tool positions can be recorded relative to the working area and / or working point.
  • machine learning comprises at least one neural network, at least one folding neural network (convolutional neural network), at least one bag-of-words and / or at least one uncorrelated decision tree (random forest).
  • neural network at least one exemplary embodiment
  • folding neural network convolutional neural network
  • bag-of-words at least one bag-of-words
  • uncorrelated decision tree random forest
  • the computing model can generate at least one classifier from at least one image and / or the sensor data.
  • the at least one classifier can represent at least one essential feature of the at least one image and / or the sensor data.
  • An essential feature can be image information and / or sensor information that is more relevant than other image information and / or sensor information.
  • An essential feature can be, for example, a section of the at least one image and / or the sensor data that differs more from an adjacent section than other mutually adjacent sections of the at least one image and / or the sensor data differ from one another.
  • an essential feature can be used to recognize a specific work area from different angles, positions and / or positions of the machining tool.
  • an essential feature can also be used for a movement of the machining tool relative to the machined or machined work area by the evaluation unit to recognize that the work area is the same as long as the essential feature is present (feature tracking).
  • a movement of the machining tool relative to the machined or machined work area can be, for example, a change in the position or position, in particular the angle and / or the distance to the work area to be machined.
  • a dark circle on a light surface is an essential feature of the at least one image.
  • a sequence of images can contain an essential feature that can be represented by the at least one classifier.
  • combinations of the at least one image and the sensor data can contain an essential feature that can be represented by the at least one classifier.
  • the computing model can differentiate optically similar work areas in which the images are identical on the basis of the sensor data. For example, in the case of optically identical screw points (due to the symmetry of the object), it is possible to differentiate the screw points based on an angle of the machining tool relative to the object.
  • the computing model can identify the at least one work area using at least one image and / or sensor data by means of the at least one classifier.
  • a degree of probability for identification can be determined by the computing model.
  • the degree of probability can indicate the probability with which the at least one work area is the identified work area (confidence). For example, the degree of probability for a correct identification can lie between 0.00 (low degree of probability) and 1.00 (high degree of probability).
  • an alternative degree of probability can additionally be determined that the at least one work area is a different work area than the identified one. From the difference between the probability level for the identified work area and the alternative A degree of probability can be used to estimate the reliability of the identification.
  • the reliability of the identification can increase with the size of the difference. So the certainty of a prediction can be quantified by score differences between first best to second best prediction that the work area is an identified or an alternative work area. If the difference is large, the prediction is more certain. If the difference is marginal, the risk of confusion increases and with it the uncertainty.
  • the computational model can use the at least one classifier to determine whether a prerequisite has been met on the basis of the at least one image and / or the sensor data.
  • the at least one classifier can perform a pixel-by-pixel evaluation, e.g. in the form of a heat map.
  • the evaluation can indicate which parts of the current image have particularly high correspondences and / or differences to already known images in the training data record.
  • the computing model can thus be designed to visually superimpose evaluation information on the at least one image.
  • the evaluation information can be based on a similarity comparison of at least a section of the at least one image with the at least one classifier and / or images of work areas with which the computing model was trained.
  • the evaluation information can indicate how similar the at least one section with the at least one classifier and / or images of work areas with which the computing model was trained is.
  • a user can be able to display the at least one image with the visually superimposed evaluation information.
  • the evaluation information can be used to identify anomalies in the at least one image.
  • An anomaly can be, for example, an (unwanted, accidental) masking of a section of the at least one image.
  • a lens of a camera of the image recording device can be covered (accidentally, unintentionally) by an object or a body part of the user.
  • Such objects can be, for example, a cable, a line and / or a rope.
  • the evaluation unit is designed to recognize static areas on the at least one image which, despite the movement of the processing tool relative to the object, are unchanged in a sequence of several images.
  • Static areas of the at least one image can be identified via all training images and / or sensor data during the training process, that is to say during the training of the computing model.
  • a static area can, for example, be a section of a tool component, in particular a machining tool.
  • the static area can be used to check that the image recording device is functioning correctly. For example, if the static range changes with respect to imaging parameters such as brightness or sharpness, there could be a camera defect, camera contamination, a camera misalignment and / or a camera misalignment.
  • the computing model extracts features from the at least one image, then weights and compresses the features to find essential features, and generates the at least one classifier from the at least one essential feature.
  • the generation of the at least one classifier can, for example, result in the computing model identifying the at least one work area on the basis of the shape and / or arrangement of holes in the at least one work area when the at least one work area is identified on the basis of the at least one image.
  • Training the computing model can also include identifying an already trained work area with the computing model and using the result (right or wrong) to improve the computing model (supervised learning; back propagation). This can improve the weighting of the characteristics.
  • the computing model can be trained as follows: in a first step, at least one image is generated from at least one working point with the image recording device. In a second step, it is checked for the at least one image whether the computing model determines the at least one working point on the basis of the at least one Can identify the image. In the event of incorrect identification, in a third step the at least one image is added to a training data record or a data pool for the at least one classifier, with which the at least one classifier is re-trained. The steps are repeated until the at least one operating point is identified correctly by the computing model or with a desired degree of probability, for example above 0.75. In one variant, the at least one working point is designed as a screw point.
  • the at least one image is used to correct the sensor data by the evaluation unit.
  • a measurement of the acceleration, the angle, the position and / or the position, in particular relative to the at least one working area can be corrected by the at least one sensor, in particular an inertial sensor, by means of the at least one image.
  • a recognition of (essential) features, such as holes or edges of the object, in particular of the at least one work area, on the at least one image can be used.
  • a correction can include, for example, that a measured acceleration is corrected on the basis of the movement of an essential feature on at least three images.
  • the measurement of a direction of rotation of the processing tool by the at least one sensor can be correctable by means of the at least one image.
  • a tool component such as an extension, a nut and / or a bit
  • the evaluation unit can, for example, recognize from the at least one image and / or the sensor data which size or which type of bit is arranged on the processing tool.
  • the tool component can be determinable on the basis of a characteristic pattern, a label and / or a marking on the tool component.
  • the marking can be optical.
  • other, in particular magnetic, barcode or QR code markings are also conceivable and possible.
  • the tool component can be worn by the evaluation unit, in particular by the image recording device and / or the at least one Sensor to be recognizable.
  • wear of the tool component can be identified on the basis of a play in the tool component, in particular a screwdriver / bit system.
  • the evaluation unit can be designed, for example, on the basis of the play of the tool component or on the basis of wear, to determine a period of use of the tool component which indicates how long the tool component has already been used.
  • a position or position of the processing tool such as, for example, an angle relative to the at least one working area, or a position relative to the object, can be determined by the evaluation unit.
  • a component such as a screw
  • the evaluation unit can be designed to recognize further deviations in the at least one working area, such as color deviations.
  • the evaluation unit is designed to identify an area of the object that is not to be processed and / or to distinguish it from the at least one work area.
  • an information device which is designed to indicate to a user of the processing tool that the at least one tool component of the processing tool needs to be replaced.
  • the notification device can indicate to the user that the tool component must be replaced when a predetermined degree of wear of the tool component is exceeded.
  • the notification device can indicate that a different tool component than the one currently arranged on the processing tool is required for processing the work area.
  • the information device can monitor the exchange of the at least one tool component by evaluating the at least one image and / or the sensor data.
  • the information device can inform the user based on the at least one image and / or monitor the sensor data when replacing the tool component and, if necessary, indicate errors during the exchange.
  • the computing model is designed to identify an assembly step in an assembly process on the basis of a sequence of images and / or sensor data.
  • a sequence of images can be formed, for example, by a plurality of images that were generated at a time interval from one another.
  • a sequence of sensor data can be formed, for example, by a plurality of sections of sensor data that were generated at a time interval from one another.
  • An assembly step can include, for example, a change in a position and / or a position of the processing tool and / or an action or a sequence of actions on the at least one work area by the processing tool.
  • An assembly process can be a sequence of assembly steps.
  • an assembly step comprises screwing at a working point such as a screwing point.
  • the evaluation unit is designed to select a key area of the at least one image for training the computing model based on a user input.
  • a key area can be an image area (region of interest) that is to be used to generate the at least one classifier by the computing model.
  • the image area can in particular contain at least one essential feature.
  • the selection of a key area can be used to ignore a background of the at least one image for training the computing model.
  • the background can be an area that has fewer features than an area that is closer (along an axis from the processing tool to the object) than the background at the working point.
  • the selection of the key area can save time for training the computing model.
  • the background can also be used to identify the at least one work area by the computing model, for example by means of the different depth of field of the background for different work areas.
  • the background in particular a far range, can be masked automatically by means of the evaluation unit, for example on the basis of a threshold value of the depth of field. A masked area is not considered for evaluation.
  • a distance between the machining tool and the object can be measurable by means of a distance measuring module of the machining tool.
  • the distance measuring module comprises a laser beam aligned with the working point in combination with a camera.
  • An installation depth to be achieved can be determined by means of the distance measuring module.
  • a further quality statement can thus be added, with the aid of which successful processing of the at least one work area can be identified. For example, it may happen that the pre-set parameters have been reached in the case of incorrect screw connections and that an OK. -The screw connection is displayed by the evaluation unit.
  • the measurement of the mounting depth can serve to determine that a head, for example a screw head, of the component to be assembled, for example a screw, is not yet in contact and thus there is an incorrect assembly, for example an incorrect screw connection.
  • the distance measuring module can comprise, for example, a TOF camera with which a time-of-flight (TOF) measurement can be carried out.
  • TOF time-of-flight
  • the distance of the background in different work areas can be determined with the distance measuring module.
  • the removal of the background can also be used to identify the at least one work area by the computing model.
  • the evaluation unit is designed to select a key area of the at least one image for identifying the at least one work area based on a user input.
  • the user can select the key area, for example, while the work area is being processed by the processing tool.
  • the image recording device is designed to take a large number of images before, during and / or after the action of the To generate machining tool on the at least one work area.
  • the image recording device can generate images at any time.
  • the image recording device generates at least one image when the processing tool acts on the at least one work area for processing.
  • the image recording device can be designed to automatically start and / or end the generation of images based on sensor data.
  • the image recording device can end the generation of images when the processing tool is put down by the user.
  • the placement of the processing tool can be measurable, for example, by means of an (inertial) sensor.
  • the image recording device can start the generation of images, for example, when a user approaches the processing tool to the at least one work area.
  • a number of the images generated per unit of time can be varied by the image recording device.
  • the image capturing device can thus vary a rate of image capturing.
  • a (wireless) transmission rate, ie a frequency of transmission, of images and / or sensor data from the image recording device and / or the at least one sensor to the evaluation unit can be varied.
  • the transmission rate can be low if the processing tool is stored and high if the at least one work area is processed by the processing tool.
  • times and distances in the cyclical filing of the processing tool can be estimated using the sensor data.
  • a transmission with a high frequency can be started at the beginning of the processing of the at least one working area or when approaching the at least one working area.
  • images and / or sensor data can be transmitted at a low frequency from the image recording device and / or the at least one sensor to the evaluation unit at any time during operation of the device.
  • the image recording device comprises at least one camera.
  • the at least one camera can be used to record the at least one image.
  • the at least one camera can comprise a zoom lens.
  • the at least one camera can then be in zoom in on at least one work area.
  • the at least one camera can use the zoom lens to record a reduced image.
  • the at least one camera can then zoom out of the at least one work area.
  • the image recording device in particular the at least one camera, can be arranged on the processing tool by means of an adapter.
  • the adapter can be designed specifically for the machining tool.
  • the image recording device, in particular the at least one camera can be arranged on processing tools of various types via the adapter. Different types of processing tools can differ in terms of different shapes, for example round or angular in cross section, so that an adapter is required for mounting the image recording device.
  • the at least one camera is adjustable relative to the processing tool.
  • the at least one camera can be movably and / or rotatably mounted on the processing tool relative to the processing tool.
  • the at least one camera can, for example, be rotatable about a tool axis and / or be displaceable along the tool axis.
  • the tool axis can essentially extend along the processing tool from a handle for gripping by the user to a tool tip for processing the at least one work area.
  • the at least one camera is designed as a barcode reader or can be used for reading barcodes.
  • the image recording device comprises at least two cameras for the simultaneous generation of at least two images of the at least one work area.
  • the images generated by the at least two cameras can show overlapping, identical or different areas of the at least one work area.
  • the at least two images can also be stitched together to form a panorama, can be fused or fused with one another (in terms of content) and / or can be designed as a stereo image.
  • a Stereo image can be used in particular to calculate depth information.
  • the at least two cameras can therefore generate a 3D view.
  • the 3D view can be used to distinguish near and far areas, for example the at least one work area and a background.
  • the image recording device comprises at least one lens.
  • the at least one lens can include the end of at least one glass fiber.
  • the image recording device records the at least one image through the at least one lens.
  • At least one optical axis of the at least one objective can intersect a working point in which the processing tool acts on the at least one working area.
  • at least one detection axis of the at least one sensor can intersect the working point.
  • the at least one detection axis of the at least one sensor can be, for example, a direction in which the at least one sensor is oriented.
  • the at least one optical axis of the at least one objective of the image recording device and / or the at least one detection axis of the at least one sensor extends parallel to an action axis along which the processing tool acts on the at least one work area.
  • the parallel alignment of the at least one optical axis and the axis of action can enable a viewing direction parallel to the axis.
  • a large number of objectives of the image recording device and / or a large number of sensors are arranged in a ring around the axis of action.
  • a parallel alignment of the action axis and the at least one optical axis and / or the at least one detection axis can be made possible by integrating at least one camera and / or at least one sensor in a ring component, such as an adapter ring.
  • the ring component can be arranged on the machining tool.
  • the axis of action can extend through the ring-shaped opening of the ring component.
  • the ring component can comprise at least one objective.
  • a connecting straight line intersects between two objectives, in particular between two ends of two glass fibers, and / or between two sensors the action axis. So the two lenses and / or the two sensors can be opposite each other with respect to the axis of action.
  • the image recording device comprises at least one lighting device.
  • the at least one work area can be illuminated by means of the lighting device. In one variant, only a section of the at least one work area can be illuminated with the lighting device.
  • the lighting device can also illuminate the machining tool or at least a part thereof. In particular, the lighting device can illuminate a tool component of the machining tool with which the machining tool acts on the at least one work area.
  • the lighting device can comprise, for example, at least one light source.
  • the spectrum of the at least one light source can in principle comprise any wavelength or a spectrum of wavelengths. In particular, the at least one light source can emit a full spectrum or infrared light. As a result, the device can be independent of external lighting, for example the lighting of a workshop.
  • the at least one light source can emit light synchronized with the generation of the at least one image, in particular with the recording of the at least one image by the at least one camera.
  • the depth information of the image recording device can also be used to control the at least one light source. For example, a far area can be illuminated less than a near area. The more distant areas can therefore be illuminated less.
  • the at least one light source can of course emit light at any time and with any length of time and / or in any time interval.
  • the at least one light source can emit light for marking a position, in particular a working point to be processed, of the at least one working area.
  • the light source can be designed, for example, as a projector.
  • the light source can then be able to project at least one pattern onto the at least one work area.
  • the at least one pattern can be a designation, for example a section of the at least one work area or include directional instructions.
  • the at least one pattern can be projectable in any direction from the processing tool onto the at least one work area. The risk of the machining tool being incorrectly positioned by the user can thus be reduced.
  • a training period for a new employee can be reduced.
  • the lighting device comprises a projection unit with which the working point to be machined can be recognized and marked as soon as the machining tool approaches the working area.
  • the device comprises a simulation system with which the at least one work area for generating the at least one image, the sensor data and / or the at least one classifier can be simulated.
  • a work area for training can be simulated for the evaluation unit using the simulation system.
  • the simulation system can provide at least one image and / or sensor data of the evaluation unit.
  • the evaluation unit can then generate at least one classifier from the at least one image and / or the sensor data.
  • the simulation system derives the at least one classifier from the at least one simulated image and / or the sensor data.
  • the at least one classifier can then be made available to identify the at least one work area.
  • the at least one classifier can be made available to the evaluation unit and / or transferred to a classifier memory (classificator repository).
  • the simulation system can simulate a 3D model of the at least one work area and make it available to the evaluation unit for training.
  • the simulation system can include a system for computer-aided design (CAD system).
  • CAD system computer-aided design
  • the 3D model of the at least one work area can depend on the computing model.
  • the 3D model of the at least one work area can be selected depending on a method of machine learning.
  • the simulation system can simulate different perspectives of the image recording device. Different perspectives of the image recording device can be, for example, different viewing angles of the at least one camera of the image recording device. Perspectives that deviate from the training can arise, for example, due to a change in the tool component, for example using an extension.
  • the simulation system can be used to generate the at least one classifier for a different perspective.
  • the at least one work area can be simulated with the simulation system during the action of the machining tool on the at least one work area, that is to say in real time.
  • the simulation in real time enables an adaptation of the calculation model, in particular the generation of additional classifiers, during the processing of the work area.
  • the at least one classifier can be called up by the simulation system, in particular for selected work areas and / or work points, in particular important screwing points (A and B screw connections).
  • the at least one classifier can be called up using an app of the evaluation unit.
  • the image recording device for generating images of the at least one work area comprises a mobile terminal, in particular a mobile device, a cell phone or a smartphone.
  • the mobile terminal can be arranged on the processing tool.
  • the image recording device comprises at least one further camera for generating images of the at least one working area.
  • the mobile terminal can comprise at least one sensor.
  • the at least one sensor of the mobile terminal can, for example, determine a position, position and / or a location of the processing tool for generating sensor data.
  • the mobile terminal can be connected to the evaluation unit for the transmission of the images and / or the sensor data.
  • the mobile terminal device generates sensor data that represent a state of the machining tool, in particular screwdriver and screwing data.
  • a state of the machining tool can include, for example, a power used, switch-on and switch-off data, a torque, a screwing time, a screwing curve, a speed, an angle relative to the object and / or other settings of the machining tool.
  • the screwing curve can be, for example, a ratio of a torque of the machining tool on a screw to a rotated angle of the screw or to a screwing time.
  • the mobile terminal can be connected to the processing tool in order to generate the sensor data, for example wirelessly, in particular by means of WLAN.
  • the mobile terminal can receive classifiers from the classifier memory and use them to identify the at least one work area on the basis of the images and sensor data generated.
  • the images and sensor data generated can be stored in connection with an identification of the processed object and / or processed work area.
  • the object or the work area can be clearly identified on the basis of the marking. This means that the images and sensor data can be used for quality evaluation in the long term. In particular, a statistical analysis of service branches and service personnel can be made possible by means of the quality evaluation.
  • the evaluation unit is designed in a sequence of a plurality of known images and / or known sensor data, in which at least one unknown image and / or at least a section of unknown sensor data is contained, the at least one unknown image and / or the at least one detect an unknown section of sensor data.
  • a sequence of known images can be, for example, an image sequence during the processing of the object, within which the evaluation unit recognizes all of the images. Recognition can mean that the probability of identification is above a certain threshold. The threshold can be, for example, 0.75 or 0.95.
  • the evaluation unit can recognize the images in particular if the images have been trained in training beforehand were.
  • the at least one unknown image can be, for example, an image or an image sequence that was not previously trained in the training. The same applies to a sequence of known sensor data.
  • the duration of a section of unknown sensor data can be shorter than the duration of the previous and subsequent known sensor data.
  • the evaluation unit can furthermore be designed to be trained by means of machine learning to identify the at least one known working area on the basis of the at least one unknown image and / or the at least one section of unknown sensor data.
  • the at least one unknown image and / or the at least one unknown section of sensor data can be used to generate at least one classifier. This can be achieved by taking the at least one unknown image and / or the at least one unknown section of sensor data into the data pool for the next classifier run. At least one classifier can be generated or improved from the data pool in one classifier run. This can increase the likelihood of the work area being identified.
  • the at least one classifier can be continuously improved during the operation of the device.
  • the device can collect images for retraining during operation.
  • the computing model is designed to be trained by itself. This happens through unsupervised learning, i.e. without an expert.
  • the at least one image can be used for retraining.
  • the prerequisite for this is that the at least one work area has been identified on the basis of the at least one image by the computing model with a high degree of probability, for example a degree of probability above 0.75.
  • any image in which the classifier can make a prediction with a high degree of certainty can be used for retraining. It is assumed that the prediction was correct.
  • the overall degree of probability can be more correct Identification of a variety of work areas can be increased. So the overall certainty of predictions should continue to increase over time.
  • the computing model is designed to be trained by a user. This is done through supervised learning, i.e. with the help of an expert.
  • the at least one image can be used for retraining.
  • the prerequisite for this is that the at least one work area has been identified on the basis of the at least one image by the computing model with a low degree of probability, for example a degree of probability below 0.45.
  • images are collected in which the classifier has a high degree of uncertainty in the prediction.
  • a user can train the computing model to recognize the at least one work area on the basis of the at least one image.
  • the at least one picture is therefore labeled by an expert, i.e. the correct recognition is assigned and can then be used for retraining.
  • sensor data can be used for retraining instead of or in addition to the at least one image.
  • the evaluation unit can also be designed to recognize at least one unknown combination of at least one image and at least a section of sensor data. It is conceivable and possible that the at least one image and the at least one section of sensor data are known in each case.
  • the evaluation unit can then also be designed to be trained by means of machine learning to identify the at least one known work area on the basis of the at least one unknown combination.
  • a control unit which is designed to document a sequence of work areas which have been processed by the processing tool.
  • the control unit can therefore document which work areas have been processed and in which order the work areas have been processed.
  • the control unit can be a used tool component, a used component, such as one screwed screw, document the at least one image and / or the sensor data.
  • the use of a component can be documented by the control unit, for example for planning the logistics of components or as proof of use. In addition to the documentation of the component used, the position and / or the surroundings of the component can be documented.
  • control unit is designed to specify a sequence of work areas and / or work points for processing by the processing tool.
  • the control unit can in particular be designed to group at least two work areas in a sequence of work areas for processing by the processing tool.
  • control unit can be used to group work areas or work points for a work area which are to be processed with a tool component and / or identical states of the processing tool, such as angles relative to the object or torque.
  • control unit can assign incorrectly processed work areas while processing a work area or after processing the plurality of work areas or a group of the plurality of work areas. If necessary, the control unit can specify incorrectly processed work areas for reprocessing. The control unit can also identify an incorrect sequence when processing work areas.
  • control unit can be connected to the processing tool, the image recording device, the at least one sensor and / or the evaluation unit for exchanging data, for example by radio or cable.
  • a control unit is provided which is connected to the processing tool, the control unit and / or the evaluation unit and with which the processing tool can be controlled.
  • States of the machining tool such as a rotational speed or a torque, can be adaptable by means of the control unit.
  • states of the machining tool can be automatically determined by means of the device based on the identified one Workspace be customizable.
  • the status of the machining tool can be adjusted in real time with dynamic detection of the working point currently being machined.
  • work points and / or work areas with the same requirements for the state of the machining tool can also be grouped by means of the control unit.
  • a signal device for outputting a signal to a user of the processing tool.
  • the signal can be used to signal the user that at least one work area was not recognized, at least one work area was processed incorrectly and / or at least one work area was not processed in a sequence of work areas.
  • the signaling device can optionally signal the need for reworking at least one work area to a user of the processing tool.
  • the signaling device can also signal to the user that the evaluation unit cannot identify a work area.
  • the signaling device signals the user a result of a determination by the evaluation unit and / or control unit.
  • the signal device can therefore basically serve to output signals from the control unit and / or the evaluation unit to the user.
  • the signaling device can, for example, output a signal for exchanging the tool component.
  • the signal can be output, for example, on the processing tool.
  • the signal can be a sound, a light, or a vibration.
  • any signals are conceivable and possible.
  • the device includes a test work area for calibrating the device.
  • a user can, for example, calibrate the image recording device and in particular the at least one camera by means of the test work area.
  • the evaluation unit can be designed to automatically recognize that calibration is required.
  • the test work area can also be designed to detect damage and / or soiling on the processing tool.
  • a standard processing routine can be carried out on the test work area for damage and / or soiling. Deviations in the at least one image and / or the sensor data from the expected at least one image and / or the expected sensor data can be an indication of damage and / or contamination.
  • a possible process can include one or the following steps: 1. Approach the test work area. 2. Check the function of the processing tool. 3. Calibrate the machining tool. 4. Focus the imaging device on the test work area. 5. Detect dirt and / or damage. 6. Correct dirt and / or damage.
  • the device comprises at least one interface which is provided for connection to another system. Information can be exchanged between the device and the other system via the interface.
  • the interface can be designed as an application programming interface (API).
  • API application programming interface
  • the device can be accessible remotely by means of the interface, for example from a server or a mobile device.
  • the device can be managed or controlled centrally by means of the interface, for example by a server.
  • the processing tool comprises a display for displaying context information, for example the at least one image, the sensor data and / or parameters, settings or states of the processing tool for the user, in particular after the at least one working area has been identified.
  • use of the device can include the following optional steps:
  • a person visits the contract workshop with the object, for example a motor vehicle.
  • the person needs a repair on the object (guarantee or critical component).
  • the authorized workshop uses the device to report the repair to a server, for example a server of an OEM network.
  • the authorized workshop may receive a required component, for example a spare part for the object.
  • the authorized workshop receives approval for repairs.
  • the device receives at least one classifier via the interface from the server, which is optionally loaded into the classifier memory. In principle, the device can receive data for monitoring and / or ensuring proper processing.
  • the processing of the object begins - for example, assembly or repair.
  • the processing tool is intended for this.
  • the machining tool is known to the OEM, connected to the server via the interface and / or has received an OEM approval.
  • the at least one classifier is loaded.
  • the at least one classifier is made available to the evaluation unit.
  • the at least one classifier can be specific to the person's motor vehicle.
  • a user of the device for example a workshop MA, arranges the image recording device on the processing tool.
  • the image recording device can be, for example, a mobile camera or a flandy.
  • the user carries out the processing of the object with the processing tool with predefined values, for example a predefined state and / or predefined situations.
  • the processing is optionally documented by means of the processing tool, in particular the image recording device and / or the at least one sensor (recognizable in the environment by a classifier), via the control unit.
  • the data for monitoring and / or ensuring proper processing is compared with the at least one image and / or the sensor data by the evaluation unit and / or control unit. Matching the data and images provides proof of successful processing.
  • the at least one classifier is provided to carry out a diagnosis on the object.
  • a diagnosis on the object By means of the at least one classifier, for example, an incorrect location on the object can be identified.
  • the at least one classifier can be optimized by current diagnostic values. For example, if a incorrect or unskilled position in at least one work area of the object, the at least one work area can be relearned.
  • the OEM can provide at least one currently valid classifier based on a unique identification number of the object, in particular the motor vehicle, via the interface, for example via an intranet connection.
  • the system can also be used for general diagnosis.
  • a trained work area with at least one structure for example on a motor vehicle, can be used to check problems such as missing, displaced and / or defective components.
  • the image recording device can be aimed at an area that may have a problem. The area can be checked visually under driving conditions during the test drive by means of the image recording device.
  • the device can also detect components that are deformed under wind load and / or acceleration and other external influences, in particular during the test drive. Inadmissible deformations e.g. due to damage can be detectable by means of the device. The deformations can still be registered and documented.
  • a method according to the invention can of course be used using a device proposed according to the invention, so that the advantages and features of embodiment variants of such a device mentioned above and below also apply to embodiment variants of a proposed method and vice versa.
  • Fig. 4 device with a control unit
  • Fig. 5 device with a control unit, a signal device and a
  • Fig. 1 1 sectional view of a device with an image recording device with two lenses;
  • Fig. 12 perspective view of a processing tool in a
  • FIG. 14 perspective view of a processing tool in a
  • 15B is a perspective view of a processing tool in a
  • the 1 shows a device with a processing tool 1 for processing a work area A of an object B.
  • the work area A extends over a surface of the object B.
  • the work area A is rectangular. In principle, any shape of the work area A is conceivable and possible.
  • a working point P is arranged within the working area A, with which the machining tool 1 interacts.
  • the machining tool 1 can be, for example, an assembly screwdriver, a torque wrench or another tool.
  • Object B can be processed, for example, for assembly or repair.
  • An image recording device 12 for generating at least one image 121 of the working area A of the object B is arranged on the processing tool 1.
  • a sensor 13 for generating sensor data 131 is arranged on the machining tool 1.
  • the device also includes an evaluation unit 2 with a computing model 21.
  • the computing model 21 is trained by means of machine learning using images 120 of work areas A and sensor data 130, as shown in FIG. 2A.
  • the work area A can be identified with the computing model 21 during the processing of the work area A.
  • the work area A can be identified with the computing model 21 before the machining, for example when the machining tool 1 approaches the work area A.
  • Working area A can also be identified on the basis of sensor data 131.
  • the work area A can be identified in space by a position, an acceleration or a position of the machining tool 1.
  • the sensor 13 can be designed, for example, as a position sensor, an acceleration sensor or a position sensor.
  • the work area A can also be identifiable via an acoustic profile, that is to say the course of a sound signal over time.
  • the working point P can be identified on the basis of the sound which arises when the machining tool 1 is placed on the working point P.
  • the sensor 13 can be designed as an acoustic sensor.
  • the work area A can also be identified using a combination of at least one image 121 and sensor data 131.
  • a situation during the processing of the at least one work area A can also be identified with the computing model 21.
  • a situation can be characterized individually by features of the processing tool 1, such as a state, in particular a torque, sensor data 131 and images 121 of the working area A, in combination or in a summary during the processing of the at least one working area A.
  • the computing model 21 forms classifiers 221, 222, 231, 232 based on sensor data 130, images 120 and / or features such as a state, the processing tool 1.
  • 2B shows the formation of a classifier 221 based on an image 120.
  • the image 120 shows a work area A which is processed by a processing tool 1, a tool component 11 interacting with the work area A.
  • the computing model 21 extracts features and forms a feature assignment.
  • the features are weighted and compressed in a second step S2.
  • the computing model 21 forms a feature vector from the result of the weighting and compression.
  • the feature vector is used to generate the classifier 221.
  • the computing model 21 uses the images 120 and sensor data 130 trained during the training, in particular the classifiers 221, in order to identify the work area A and / or a situation on the basis of the images 121 and sensor data 131 .
  • the computing model 21 also takes combinations of images 121 and sensor data 131 into account.
  • the identification of a work area A using the at least one image 121 can then depend on the sensor data 131.
  • a position or location of the machining tool 1 determined during training may be required in order to identify the at least one work area A on the basis of the at least one image 121.
  • missing or incorrect positions and / or positions of the machining tool 1 can thereby be ascertainable.
  • the evaluation unit 2 can predefine allowed positions and / or positions of the machining tool 1 to a user, for example via a signal device 5.
  • the computing model 21 can learn the missing positions and / or positions, for example in response to an input from the user.
  • the computing model 21 can also use classifiers that are formed or imported in some other way, for example on another evaluation unit, in order to identify the work area A and / or a situation on the basis of images 121 and sensor data 131.
  • the computing model 21 can be designed to relearn a work area A or a situation from a context from unknown images 12T and / or unknown sensor data 13T.
  • a context can be, for example, a sequence of known images 121 and / or known sensor data 131, in which unknown images 121 and / or sensor data 131 are included. After an unknown image 121 'and / or unknown sensor data 131' from a work area A or a situation has been learned by the computing model 21, the work area A or the situation can be identified by the computing model 21.
  • 2C shows an assignment of an angle of the machining tool 1 between 0 ° and 360 ° relative to the work area A to a degree of probability which indicates the confidence with which the work area A is identified by the computing model 21 on the basis of at least one image 121.
  • the angle is representative of any parameters and in particular any state and / or situation.
  • sensor data 131 it is also conceivable and possible to carry out such an assignment for sensor data 131. The following explanations therefore also apply to sensor data 131 and to combinations of sensor data 131 and images 121.
  • An inner area 251 indicates the degree of probability that images recorded so far have reached.
  • a middle area 252 indicates which degree of probability would potentially be achievable for the at least one image 121.
  • An outer area 253 indicates the maximum degree of probability that would theoretically be attainable.
  • the at least one image 121 is taken at a certain angle. If previously acquired images that achieve a higher degree of probability than the at least one image 121 at an angle of the processing tool 1 that is adjacent to the determined angle, the at least one image 121 is used to train the computing model 21. In particular, the at least one image 121 can be transferred to a data pool for the next classifier run (pool of reference images).
  • a difference threshold can be provided, which indicates how much higher the degree of probability of the previously acquired images must be in comparison to the at least one image 121, in order to use the at least one image 121 for training the computing model 21.
  • the difference threshold can be 0.25.
  • the degree of probability of the at least one image 121 in comparison with the degree of probability that can potentially or theoretically be attained as a maximum can be used to determine whether the at least one image 121 is to be used for training the computing model 21. The difference threshold is then relative to the potentially or theoretically maximum attainable degree of probability.
  • the image 121 produced shows the working area A during processing by the processing tool 1.
  • a circular component T can be seen on this.
  • the image 121 can show any other section of the object B.
  • the image 121 can show a section of the object B that is likely to be processed by the processing tool 1 or that has been processed by the processing tool 1.
  • a sensor 13 for generating sensor data 131 is arranged on the machining tool 1.
  • the sensor data 131 show a superposition of two waveforms with different frequencies.
  • the sensor 13 can generate the sensor data 131 at any time.
  • the sensor 13 can generate sensor data 131 before the processing of the working area A by the processing tool 1 or after the processing of the working area A by the processing tool 1.
  • the device further comprises an evaluation unit 2.
  • the evaluation unit 2 receives images 121 and sensor data 131 each from the image recording device 12 and the sensor 13 for evaluation.
  • the evaluation unit 2 is connected to the image recording device 12 and the sensor 13.
  • the evaluation unit 2 can receive the images and sensor data 131 by radio or via another transmission path.
  • the evaluation unit 2 is arranged on the machining tool 1.
  • the evaluation unit 2 has a computing model 21 which is designed to generate a classifier 221, 231 from the images 121 and / or the sensor data 131.
  • the classifiers 221, 231 each represent at least one essential feature of the images 121 and / or the sensor data 131.
  • the evaluation unit 2 generates a pane as a classifier 221 for the image 121.
  • the evaluation unit 2 in FIG. 3A selects the waveform with the lower frequency than Classifier 231.
  • the generation of the classifier depends on the computing model 21. The examples shown are for illustration only.
  • the classifiers 221, 231 generated by the evaluation unit 2 can be stored in a classifier memory 24.
  • the classifiers 221, 231 can be called up by the evaluation unit 2 and / or the processing tool 1 from the classifier memory 24.
  • the classifier memory 24 can be connected wirelessly to the processing tool 1, for example.
  • a simulation system 6 is connected to the evaluation unit 2.
  • the simulation system 6 simulates the work area A. It can be used to generate classifiers 222, 232.
  • the simulation system 6 can also be used to make simulated images 120 ′′ or sensor data 130 ′′ available to the evaluation unit 2.
  • the simulated images 120 'or sensor data 120' can be used to generate classifiers 222, 232 by the computing model 21.
  • the simulation system 6 can in particular be releasably connected to the evaluation unit 2. In one variant, the simulation system 6 can be connected to the evaluation unit 2 for training and can be dispensed with during use.
  • the simulation system 6 in FIG. 3B also generates a classifier 222, which can be used to identify a work area A with a rectangular component T.
  • Another classifier 232 generated by the simulation system 6 can be used to identify sensor data with an angular waveform.
  • the classifiers 222, 232 generated by the simulation system 6 are in the
  • Classifier memory 24 can be stored.
  • the simulation system 6 can generate classifiers 222, 232 for any work areas A and / or situations.
  • the classifiers 222, 232 can be generated in real time, that is to say for example during the processing of the work area A by the processing tool 1 with the simulation system 6.
  • the simulation system 6 can ensure, for example, that variants of work areas A or objects B can be identified by the evaluation unit 2, that were not trained using images 120 of work areas A and sensor data 130.
  • the device comprises a control unit 4 for controlling the machining tool 1.
  • the control unit 4 is connected to the machining tool 1 by means of a cable 123.
  • the control unit 4 can be connected to the machining tool 1 wirelessly, integrally or in some other way.
  • the control unit 4 can also be connected to the processing tool 1 via the evaluation unit 2.
  • the control unit 4 can also be connected to the machining tool 1 and the evaluation unit 2.
  • the device in FIG. 5 comprises a control unit 3 which is designed to document and / or log which work areas A have been processed by the processing tool 1.
  • the control unit 3 can save a sequence of work areas A that have been processed by the processing tool 1.
  • the control unit 3 is connected to the evaluation unit 2.
  • the evaluation unit 2 thus forwards information about the processed work areas A to the control unit 3.
  • the control unit 4 can also be connected to the control unit 3. The control unit 4 can therefore forward information about the processed work areas A to the control unit 3.
  • a signal device 5 is connected to the evaluation unit 2.
  • the signal device 5 can be arranged on the machining tool 1, for example.
  • the signal device 5 can also be arranged on another component of the device or can be designed separately as an independent unit.
  • the signal device 5 can be integrated into a component of the device, for example the evaluation unit 2.
  • a signal can be output to a user of the machining tool 1 by means of the signal device 5.
  • the signal is used, for example, to signal the user that the evaluation unit 2 has detected an error.
  • An error can be, for example, the processing of an incorrect work area A, the incorrect processing of a work area A and / or the processing of work areas A in an incorrect sequence.
  • a test work area 7 is used to calibrate the device.
  • a calibration of the device may be necessary, for example, in order to increase the probability of identifying a work area A.
  • the test work area 7 for example, it can be checked whether the image recording device 12 is functioning properly.
  • the image recording device 12 can be calibrated by means of the test work area 7.
  • the image recording device 12 can generate images by means of at least one camera.
  • the image recording device 12 can be arranged on a side of the processing tool 1 facing the working area A when the processing area A is being processed by the processing tool 1, as shown in FIG. 6A.
  • the image recording device 12 can be arranged at any point on the processing tool 1.
  • the image recording device 12 can comprise a multiplicity of cameras, which are arranged at different locations of the processing tool 1. Using the plurality of cameras, images of an environment of the processing tool 1, one or more work areas A and / or different perspectives of a work area A and / or an environment of the work area A can be generated by the image recording device 12.
  • the image recording device 12 comprises an objective 122, the optical axis O of which intersects a working point P, at which the processing tool 1 processes the working area A.
  • the working point P can thereby be arranged in the center of the image generated by the image recording device 12.
  • the image recording device 12 can be adjustable relative to the processing tool 1.
  • the image recording device 12 is designed to zoom into and out of a working area A.
  • the image recording device 12 can comprise at least one camera with a zoom lens.
  • the optical axis O can intersect an action axis E, along which the machining tool 1 acts on the work area A, as shown in FIG. 7.
  • the optical axis O extends parallel to the action axis E.
  • An illumination device 14 is arranged on the image recording device 12, which illuminates the work area A and a part of the processing tool 1.
  • the illumination device 14 emits light essentially along the optical axis of the image recording device 12 in the direction of the working area A.
  • the light from the lighting device 14 illuminates in particular the working point P.
  • the lighting device 14 can emit light of any wavelength in any direction. It is also conceivable and possible for the lighting device 14 to be arranged at another location on the machining tool 1, as shown in FIG. 6B, and in particular on the at least one sensor 13.
  • the lighting device 14 can comprise a multiplicity of light sources, which are arranged at different locations of the machining tool 1 and emit light in any direction.
  • the lighting device 14 can continuously emit light, emit light when processing the work area A by the processing tool 1 or emit light synchronously with the recording of at least one image by the image recording device 12 and / or the generation of sensor data by the at least one sensor 13.
  • the sensor 13 is arranged on a tip of the machining tool 1 facing away from the user, in particular the tip of the machining tool 1.
  • the sensor 13 can be arranged, that is integrated, at any desired point on the machining tool 1 and in particular within the machining tool 1.
  • a detection axis D of the sensor 13 can intersect the working point P on the working area A, as shown in FIG. 7.
  • the detection axis D can in principle extend along a direction in which the sensor 13 generates the sensor data 131 with the greatest accuracy.
  • the detection axis D can extend perpendicular to an opening of the microphone.
  • the detection axis D can in particular also extend parallel to the action axis E, as shown in FIG. 8.
  • the detection axis D can extend in any direction.
  • FIG. 9 shows a work area A with a nut T.
  • a component T can be determined by the evaluation unit 2.
  • the position of the component T can be determined by the evaluation unit 2.
  • any component T can be determinable by the evaluation unit 2.
  • the absence that is, the absence of a component T or a defective component T can be recognized by the evaluation unit 2.
  • FIG. 10 shows a processing tool 1 with an extension.
  • a tool component 11 can be depicted on the at least one image 121.
  • the evaluation unit 2 can then determine the presence of the tool component 11 on the basis of the image. Likewise, the evaluation unit 2 can recognize a wrong tool component 11, which is not suitable for processing the work area A.
  • the tool component 11 can for example comprise a marking.
  • the tool component 11 can also be recognized by the at least one sensor 13.
  • Fig. 1 1 shows an image recording device 12, the lenses 122a, 122b are arranged in a ring around the axis of action E.
  • a connecting straight line between two lenses 122a, 122b intersects the axis of action E.
  • a plurality of lenses can, for example, be arranged in a star shape around the axis of action E.
  • a variety of images that can be captured by the variety of lenses can provide a variety of perspectives of the work area A.
  • Other arrangements of objectives for example distributed over a surface of the machining tool 1 or in clusters, are of course conceivable and possible.
  • the processing tool 1 comprises an extension as tool component 1 1.
  • the image recording device 12 comprises a camera with a lens 122 and is screwed to the processing tool 1 by the tool component 11 using an adapter 15.
  • the image recording device 12 generates the at least one image 121 from the at least one working area A in an area within an image recording cone 124.
  • the image recording cone 124 cuts the tool component 11.
  • the tool component 11 is therefore also shown on the at least one image 121.
  • Cut 124 other or no section of the machining tool can be adjustable by means of an adjustable image recording device 12.
  • FIG. 14 An image 121, on which the tool component 11 is shown, is shown in FIG. 14.
  • the working point P is arranged in the center of the image 121.
  • the tool component 1 formed by an extension and a bit, extends from the edge of the image 121 into the center to the working point P.
  • Features of the work area A on the basis of which the evaluation unit 2 identifies the work area A, optionally in combination with sensor data, are represented by closed shapes and lines.
  • Object B is formed by a vehicle.
  • FIG. 15A Another embodiment is shown in Fig. 15A.
  • the tool component 1 1 is formed by a bit.
  • 15B a component T, formed by a screw, is screwed to an object B formed by a vehicle seat at a working point P in FIG. 15B.
  • the work area A is formed by one end of a seat rail.
  • the image recording device 12 generates at least one image 121 of the seat rail, the bit and the screw for identifying the work area.
  • 16A-16C each show an image 121 of a work area A on a motor vehicle door.
  • the angle of the machining tool 1 in FIG. 16A is defined as 0 ° in an image plane which is arranged essentially parallel to the working area A.
  • Several essential features 121 a, 121 b, 121 c, 121 d, 121f, 121g are visible on the work area A.
  • 121 c, 121 d, 121f, 121g are formed by holes, screws and a cover.
  • the processing tool 1 is rotated in FIG. 16B by 3 ° relative to the processing tool 1 in FIG. 16A in the image plane.
  • the rotation reveals a larger section of the essential feature 121g, which is identified by a rectangle.
  • the processing tool 1 in FIG. 16C is rotated by a further 5 ° to 8 ° relative to FIG. 16C in the image plane.
  • the essential features 121a, 121b, 121c, 121d, 121f, 121g have shifted further within the image 121.
  • Another essential feature 121 e which was previously hidden by the tool component 11, is visible.
  • the images shown in Figures 16A-C form a successive series of images. Basically, the images in a series of images have no relation to one another.
  • the images 121 can be linked via the essential features 121 a, 121 b, 121 c, 121 d, 121e, 121 f, 121g contained therein in order to establish a relationship between the images of a series of images (feature recognition) .
  • a degree of probability of identifying the processed work area can be increased by linking images.
  • 17A shows a working area A of a motor vehicle, in which a component T is missing.
  • the absence of the component can be detected by means of the device.
  • the evaluation unit 2 determines the missing component T.
  • the evaluation unit 2 thus recognizes the lack, ie the absence of the component T, of the motor vehicle.
  • 17B shows the working area A of the motor vehicle on which the screw T is mounted.
  • a work area A work area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung mit einem Bearbeitungswerkzeug zur Bearbeitung mindestens eines Arbeitsbereiches eines Objekts. An dem Bearbeitungswerkzeug sind eine Bildaufnahmevorrichtung zur Erzeugung von mindestens einem Bild des mindestens einen Arbeitsbereiches und mindestens ein Sensor zur Erzeugung von Sensordaten während der Bearbeitung des mindestens einen Arbeitsbereiches angeordnet. Die Vorrichtung umfasst eine Auswerteeinheit, die ein Rechenmodell aufweist, das mittels maschinellen Lernens anhand von Bildern von Arbeitsbereichen und Sensordaten trainiert wurde, mit dem der mindestens eine Arbeitsbereich und/oder eine Situation während der Bearbeitung des mindestens einen Arbeitsbereiches identifizierbar ist. Die Erfindung betrifft außerdem ein Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches eines Objekts

Description

Vorrichtung und Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches mit einem Bearbeitungswerkzeug
Beschreibung
Die Erfindung betrifft eine Vorrichtung mit einem Bearbeitungswerkzeug zur Bearbeitung mindestens eines Arbeitsbereiches nach dem Oberbegriff des Anspruchs 1 und ein Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches mit einem Bearbeitungswerkzeug nach Anspruch 40.
Aus dem Stand der Technik ist aus der DE 10 2012 219 871 A1 eine Vorrichtung zur Protokollierung von Verschraubungen bekannt. Hierbei wird, nachdem eine Schraube eindreht wurde und das Montagewerkzeug von einer Schraubposition abgehoben wurde, automatisch durch eine Digitalkamera ein Bild aufgezeichnet. Auf dem aufgezeichneten Bild ist die Schraube und deren unmittelbare Umgebung enthalten. Bei der Bearbeitung des Objekts, beispielsweise durch einen menschlichen Nutzer des Bearbeitungswerkzeugs, können menschliche Fehler auftreten. Daher kann es erforderlich sein, dass die Vorrichtung Systeme zur maschinellen und/oder automatischen Qualitätssicherung umfasst, um menschliche Fehler zu verhindern, zu vermeiden und/oder zu korrigieren.
Der Erfindung liegt daher das Problem zugrunde, Fehler bei der Bearbeitung des mindestens einen Arbeitsbereiches zu vermeiden und die Qualität der Bearbeitung zu erhöhen.
Dieses Problem wird erfindungsgemäß durch eine Vorrichtung und ein Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches gelöst.
Eine Vorrichtung zur Bearbeitung mindestens eines Arbeitsbereiches eines Objekts umfasst ein Bearbeitungswerkzeug. Eine derartige Bearbeitung kann beispielsweise Industriemontage und insbesondere Verschraubung und Vernietung an einem Objekt wie einem Fahrzeug sein, ist jedoch nicht darauf begrenzt. Das Bearbeitungswerkzeug kann in einer Ausgestaltung durch ein Montagewerkzeug, wie einen Industrieschrauber, ein Flandmontagegerät, einen Pistolenschrauber, eine Nietpistole, ein Klammergerät, ein Bohrgerät, ein Axialschrauber oder einen Winkelschrauber gebildet sein.
An dem Bearbeitungswerkzeug sind eine Bildaufnahmevorrichtung, beispielsweise ein Kameramodul, zur Erzeugung von mindestens einem Bild des mindestens einen Arbeitsbereiches und mindestens ein Sensor, beispielsweise ein Inertialsensor, zur Erzeugung von Sensordaten während der Bearbeitung des mindestens einen Arbeitsbereiches angeordnet.
Das mindestens eine Bild und die Sensordaten können zur dynamischen Identifikation von Arbeitsbereichen oder Arbeitspunkten, an denen das Bearbeitungswerkzeug auf den Arbeitsbereich einwirkt nutzbar sein. Das mindestens eine Bild kann hierbei den Arbeitsbereich, einen Ausschnitt des Arbeitsbereiches mit dem Arbeitspunkt und, optional, zusätzlich einen Abschnitt, beispielsweise eine Werkzeugspitze, des Bearbeitungswerkzeugs zeigen. Das mindestens eine Bild kann beispielsweise ein Wärmebild oder eine 2-D oder 3-D Aufnahme oder Darstellung sein. Insbesondere kann das mindestens eine Bild eine Topographie der Oberfläche des mindestens einen Arbeitsbereiches sein. Das mindestens eine Bild kann auch durch Abtastung der Oberfläche erzeugbar sein. In einer Ausgestaltung kann die Abtastung lichttechnisch erfolgen. Zur Abtastung kann beispielsweise Ultraschall- oder Laserabtastung verwendet werden. Insbesondere können zur Abtastung ein Laserscanner oder eine Time-of-Flight-Kamera verwendet werden.
Selbstverständlich können das mindestens eine Bild und/oder die Sensordaten vor und/oder nach der Bearbeitung des mindestens einen Arbeitsbereiches erzeugbar sein. In einer Ausgestaltung sind das mindestens eine Bild und/oder die Sensordaten bei Annäherung des Bearbeitungswerkzeugs an den mindestens einen Arbeitsbereich erzeugbar. Denkbar und möglich ist es auch, dass das mindestens eine Bild in Abhängigkeit der Sensordaten erzeugbar ist. Beispielsweise kann die Erzeugung des mindestens einen Bildes durch die Erzeugung bestimmter Sensordaten oder eines bestimmten Musters von Sensordaten beginnen oder enden. Umgekehrt kann auch die Erzeugung von Sensordaten in Abhängigkeit des mindestens einen Bildes erfolgen. Beispielsweise kann ein bestimmtes Bild oder ein bestimmtes Muster auf einem Bild die Erzeugung von Sensordaten durch den mindestens einen Sensor starten oder beenden.
In einer Ausgestaltung mit einem durch einen Industrieschrauber gebildeten Bearbeitungswerkzeug kann beispielsweise ein als eine Schraubsteuerung ausgebildeter Sensor messen, ob ein korrekter Drehwinkel erreicht wurde. Somit können beispielsweise fehlerhafte Drehwinkel messbar sein. Bei der Bearbeitung einer Vielzahl von Arbeitsbereichen können für jeden Arbeitsbereich die Drehwinkel durch die Schraubsteuerung messbar sein. In einer weiteren Ausgestaltung kann der mindestens eine Sensor durch eine inertiale Messeinheit (IMU), einen Lagesensor, einen akustischen Sensor, einen Ultraschallsensor, einen Beschleunigungssensor, einen Vibrationssensor, der insbesondere ein Spiel einer Werkzeugkomponente, insbesondere beim Start der Bearbeitung des Objekts durch das Bearbeitungswerkzeug, detektieren kann, einen Abstandssensor, insbesondere eine time-of-flight(TOF)-Kamera, einen QR-Code Scanner, einen Barcode Scanner oder einen Magnetfeldsensor gebildet sein. Der mindestens eine Magnetfeldsensor kann insbesondere anhand des Erdmagnetfeldes die Position und/oder Lage des Bearbeitungswerkzeugs relativ zu dem Objekt und/oder des Arbeitsbereiches bestimmen. Hierbei kann der Magnetfeldsensor ausnutzen, dass unterschiedliche Arbeitsbereiche das Erdmagnetfeld lokal unterschiedlich modifizieren, also eine Signatur im Erdmagnetfeld aufweisen. Selbstverständlich ist eine Vielzahl von Sensoren denkbar und möglich, die unterschiedlich ausgebildet sind. Die Sensordaten können beispielsweise Ortspeilungsdaten umfassen. Die Ortspeilungsdaten können insbesondere mittels markerbasiertem Tracking oder unter Ausnutzung einer vorhandenen Funkinfrastruktur, die insbesondere drahtlose Techniken wie WLAN, Bluetooth, Ultra-Wideband oder ZigBee umfasst, erzeugbar sein.
Insbesondere kann also die Erzeugung des mindestens einen Bildes durch eine Abstandsmessung beginnen oder enden. Beispielsweise kann die Aufnahme des mindestens einen Bildes durch vorherige Laserentfernungsmessung gestartet werden.
Die Vorrichtung umfasst weiterhin eine Auswerteeinheit, beispielsweise ein Verarbeitungsgerät wie einen Industrie-PC. Die Auswerteeinheit kann eine Software umfassen, die Module für die Aufnahme, Verarbeitung und Auswertung von Bildern umfasst. Zur Auswertung weist die Auswerteeinheit ein Rechenmodell auf, das zur Auswertung des mindestens einen Bildes und der Sensordaten dienen kann. Mit dem Rechenmodell ist der mindestens eine Arbeitsbereich und/oder eine Situation während der Bearbeitung des mindestens einen Arbeitsbereiches identifizierbar. Also kann mittels der Auswertung durch das Rechenmodell der bearbeitete oder zu bearbeitende Arbeitsbereich bestimmbar sein. Die Auswerteeinheit kann also auch dazu dienen, die Umgebung systematisch und/oder statistisch anhand des mindestens einen Bildes und/oder der Sensordaten zu analysieren.
Weiterhin kann ein zu bearbeitender oder bearbeiteter Arbeitspunkt des mindestens einen Arbeitsbereiches durch das Rechenmodell bestimmbar sein. Zusätzlich können Vorbedingungen für die Bearbeitung des Arbeitspunktes mittels des Rechenmodells bestimmbar sein. Eine Vorbedingung ist beispielsweise die Verwendung einer Werkzeugkomponente, eines zu montierenden Bauteils und/oder eine Lage oder Position des Bearbeitungswerkzeugs. Mit dem Rechenmodell kann auch mittels des mindestens einen Bildes und/oder der Sensordaten eine relative Lage des Bearbeitungswerkzeugs zum Arbeitspunkt oder zu dem mindestens einen Arbeitsbereich bestimmbar sein.
Das Rechenmodell wurde mittels maschinellen Lernens anhand von Bildern von Arbeitsbereichen und Sensordaten trainiert. Das Training kann erfolgen, bevor eine Bearbeitung des Objekts zum ersten Mal durch das Bearbeitungswerkzeug erfolgt. Beim Training wird in einer Ausgestaltung in einem ersten Schritt ein Bild als Referenzbild von jedem Arbeitsbereich und/oder Arbeitspunkt aufgenommen. Insbesondere können verschiedene Situationen und Kombinationen von Bildern und Sensordaten während der Bearbeitung des mindestens einen Arbeitsbereiches aufgenommen werden. Außerdem können (repräsentative) Positionen, Lagen und/oder Winkel des Bearbeitungswerkzeugs, insbesondere Werkzeugpositionen, relativ zu dem Arbeitsbereich und/oder Arbeitspunkt aufgenommen werden.
In einem Ausführungsbeispiel umfasst maschinelles Lernen mindestens ein neuronales Netz, mindestens ein faltendes neuronales Netz (convolutional neural network), mindestens ein Bag-of-Words und/oder mindestens einen un korrelierten Entscheidungsbaum (random forest). Weitere Methoden des maschinellen Lernens sind selbstverständlich denkbar und möglich.
In einem zweiten Schritt kann in einem Ausführungsbeispiel das Rechenmodell aus mindestens einem Bild und/oder den Sensordaten mindestens einen Klassifikator erzeugen. Der mindestens eine Klassifikator kann mindestens ein wesentliches Merkmal des mindestens einen Bildes und/oder der Sensordaten repräsentieren. Ein wesentliches Merkmal kann eine Bildinformation und/oder Sensorinformation sein, die relevanter ist als andere Bildinformationen und/oder Sensorinformationen. Ein wesentliches Merkmal kann beispielsweise ein Abschnitt des mindestens einen Bildes und/oder der Sensordaten sein, der sich von einem benachbarten Abschnitt mehr unterscheidet als andere miteinander benachbarte Abschnitte des mindestens einen Bildes und/oder der Sensordaten sich voneinander unterscheiden. Optional kann ein wesentliches Merkmal dazu dienen, einen bestimmten Arbeitsbereich aus verschiedenen Winkel, Lagen und/oder Positionen des Bearbeitungswerkzeugs und zu erkennen. Insbesondere kann ein wesentliches Merkmal auch dazu dienen, bei einer Bewegung des Bearbeitungswerkzeugs relativ zu dem bearbeiteten oder zu bearbeitenden Arbeitsbereich durch die Auswerteeinheit zu erkennen, dass der Arbeitsbereich derselbe ist, solange das wesentliche Merkmal vorhanden ist (feature tracking). Eine Bewegung des Bearbeitungswerkzeugs relativ zu dem bearbeiteten oder zu bearbeitenden Arbeitsbereich kann beispielsweise eine Änderung der Lage oder Position, insbesondere des Winkels und/oder des Abstands zu dem zu bearbeitenden Arbeitsbereich sein.
In einer Ausführung ist ein dunkler Kreis auf einer hellen Fläche ein wesentliches Merkmal des mindestens einen Bildes. Ebenso kann eine Abfolge von Bildern ein wesentliches Merkmal enthalten, das durch den mindestens einen Klassifikator repräsentierbar ist. Ebenso können Kombinationen des mindestens einen Bildes und der Sensordaten ein wesentliches Merkmal enthalten, das durch den mindestens einen Klassifikator repräsentierbar ist.
Insbesondere kann das Rechenmodell optisch ähnliche Arbeitsbereiche, bei denen die Bilder identisch sind, anhand der Sensordaten unterscheiden. Beispielsweise kann bei optisch gleichen Schraubstellen (aufgrund von Symmetrie des Objekts) anhand eines Winkels des Bearbeitungswerkzeugs relativ zu dem Objekt eine Unterscheidung der Schraubstellen möglich sein.
Mittels des mindestens einen Klassifikators kann das Rechenmodell in einer Ausgestaltung anhand von mindestens einem Bild und/oder Sensordaten den mindestens einen Arbeitsbereich identifizieren. In einer Ausgestaltung kann ein Wahrscheinlichkeitsgrad für die Identifikation durch das Rechenmodell ermittelt werden. Der Wahrscheinlichkeitsgrad kann angeben, mit welcher Wahrscheinlichkeit der mindestens eine Arbeitsbereich der identifizierte Arbeitsbereich ist (Konfidenz). Beispielsweise kann der Wahrscheinlichkeitsgrad für eine richtige Identifikation zwischen 0,00 (geringer Wahrscheinlichkeitsgrad) und 1 ,00 (hoher Wahrscheinlichkeitsgrad) liegen.
In einer Variante kann zusätzlich ein alternativer Wahrscheinlichkeitsgrad dafür bestimmt werden, dass der mindestens eine Arbeitsbereich ein anderer als der identifizierte Arbeitsbereich ist. Aus der Differenz zwischen dem Wahrscheinlichkeitsgrad für den identifizierten Arbeitsbereich und dem alternativen Wahrscheinlichkeitsgrad kann eine Zuverlässigkeit der Identifikation geschätzt werden. Die Zuverlässigkeit der Identifikation kann hierbei mit der Größe der Differenz steigen. Also kann die Sicherheit einer Vorhersage durch Score-Unterschiede zwischen erstbester zu zweitbester Vorhersage, dass der Arbeitsbereich ein identifizierter oder ein alternativer Arbeitsbereich ist, quantifiziert werden. Ist der Unterschied groß, ist die Vorhersage eher sicher. Ist der Unterschied marginal, erhöht sich die Verwechslungsgefahr und damit auch die Unsicherheit.
Zusätzlich kann durch das Rechenmodell mittels des mindestens einen Klassifikators eine Erfüllung einer Vorbedingung anhand des mindestens einen Bildes und/oder der Sensordaten bestimmbar sein.
In einer Ausführung kann der mindestens eine Klassifikator eine pixelweise Bewertung, z.B. in Form einer Heatmap, bereitstellen. Die Bewertung kann angeben, welche Teile des aktuellen Bildes besonders hohe Übereinstimmungen und/oder Unterschiede zu bereits bekannten Bildern im Trainingsdatensatz haben. Das Rechenmodell kann also dazu ausgebildet sein, dem mindestens einen Bild Bewertungsinformationen visuell zu überlagern. Die Bewertungsinformationen können auf einem Ähnlichkeitsvergleich mindestens eines Abschnitts des mindestens einen Bildes mit dem mindestens einen Klassifikator und/oder Bildern von Arbeitsbereichen, mit dem das Rechenmodell trainiert wurde, beruhen. Beispielsweise können die Bewertungsinformationen angeben, wie ähnlich der mindestens eine Abschnitt mit dem mindestens einen Klassifikator und/oder Bildern von Arbeitsbereichen, mit dem das Rechenmodell trainiert wurde, ist.
Das mindestens eine Bild mit den visuell überlagerten Bewertungsinformationen kann einem Nutzer anzeigbar sein. Die Bewertungsinformationen können genutzt werden, um Anomalien in dem mindestens einen Bild festzustellen. Eine Anomalie kann beispielsweise eine (unerwünschte, zufällige) Verdeckung eines Abschnitts des mindestens einen Bildes sein. Beispielsweise kann ein Objektiv einer Kamera der Bildaufnahmevorrichtung durch einen Gegenstand oder ein Körperteil des Nutzers (zufällig, ungewollt) verdeckt sein. Derartige Gegenstände können beispielsweise ein Kabel, eine Leitung und / oder ein Seil sein. Ebenso kann eine Unregelmäßigkeit des mindestens einen Arbeitsbereiches oder des Bearbeitungswerkzeuges, insbesondere der Werkzeugkomponente, über die Bewertungsinformationen detektiert werden.
In einer Ausführungsvariante ist die Auswerteeinheit dazu ausgebildet statische Bereiche auf dem mindestens einen Bild zu erkennen, die trotz Bewegung des Bearbeitungswerkzeuges relativ zu dem Objekt auf einer Abfolge mehrerer Bilder unverändert sind. Statische Bereiche des mindestens einen Bildes können über alle Trainingsbilder und/oder Sensordaten während des Trainingsprozesses, also beim Training des Rechenmodells, identifiziert werden. Ein statischer Bereich kann beispielsweise ein Abschnitt einer Werkzeugkomponente, insbesondere eines Bearbeitungstools, sein. Anhand des statischen Bereiches kann eine fehlerfreie Funktion der Bildaufnahmevorrichtung kontrollierbar sein. Wenn sich beispielsweise der statische Bereich in Bezug auf Abbildungsparameter wie Helligkeit oder Schärfe ändert, könnte ein Kameradefekt, eine Kameraverschmutzung, eine Kamerafehlstellung und/oder eine Kamerafehleinstellung vorliegen.
In einem Ausführungsbeispiel extrahiert das Rechenmodell aus dem mindestens einen Bild Merkmale, gewichtet und komprimiert die Merkmale anschließend, um wesentliche Merkmale zu finden, und erzeugt aus dem mindestens einen wesentlichen Merkmal den mindestens einen Klassifikator. Die Erzeugung des mindestens einen Klassifikators kann beispielsweise darin resultieren, dass das Rechenmodell beim Identifizieren des mindestens einen Arbeitsbereiches anhand des mindestens einen Bildes den mindestens einen Arbeitsbereich anhand der Form und/oder Anordnung von Löchern in dem mindestens einen Arbeitsbereich identifiziert. Zum Training des Rechenmodells kann auch gehören, dass ein bereits trainierter Arbeitsbereich durch das Rechenmodell identifiziert wird und das Resultat (richtig oder falsch) zur Verbesserung des Rechenmodells genutzt wird (supervised learning; back propagation). Dadurch kann die Gewichtung der Merkmale verbessert werden.
In einem Ausführungsbeispiel, in dem das Rechenmodell anfangs nicht trainiert ist, kann das Rechenmodell folgendermaßen trainierbar sein: In einem ersten Schritt wird von mindestens einem Arbeitspunkt mit der Bildaufnahmevorrichtung mindestens ein Bild erzeugt. In einem zweiten Schritt wird für das mindestens eine Bild überprüft, ob das Rechenmodell den mindestens einen Arbeitspunkt anhand des mindestens einen Bildes identifizieren kann. Im Falle einer falschen Identifizierung wird in einem dritten Schritt das mindestens eine Bild einem Trainingsdatensatz oder einem Datenpool für den mindestens einen Klassifikator hinzugefügt, mit dem der mindestens eine Klassifikator neu trainiert wird. Die Schritte werden wiederholt, bis der mindestens eine Arbeitspunkt durch das Rechenmodell richtig oder mit einem gewünschten Wahrscheinlichkeitsgrad, beispielsweise über 0,75, identifiziert wird. In einer Variante ist der mindestens eine Arbeitspunkt als ein Schraubpunkt ausgebildet.
In einem Ausführungsbeispiel dient das mindestens eine Bild zur Korrektur der Sensordaten durch die Auswerteeinheit. Beispielsweise kann eine Messung der Beschleunigung, des Winkels, der Lage und/oder der Position, insbesondere relativ zu dem mindestens einen Arbeitsbereich, durch den mindestens einen Sensor, insbesondere einen Inertialsensor, mittels des mindestens einen Bildes korrigierbar sein. Zur Korrektur der Sensordaten kann zum Beispiel eine Erkennung von (wesentlichen) Merkmalen, wie Löchern oder Kanten des Objekts, insbesondere des mindestens einen Arbeitsbereiches, auf dem mindestens einen Bild nutzbar sein. Eine Korrektur kann beispielsweise umfassen, dass eine gemessene Beschleunigung anhand der Bewegung eines wesentlichen Merkmals auf mindestens drei Bildern korrigiert wird. Ebenso kann die Messung einer Drehrichtung des Bearbeitungswerkzeugs durch den mindestens einen Sensor mittels des mindestens einen Bildes korrigierbar sein.
In einer weiteren Ausgestaltung ist eine Werkzeugkomponente, wie eine Verlängerung, eine Nuss und/oder ein Bit, durch die Auswerteeinheit, insbesondere mittels der Bildaufnahmevorrichtung und/oder des mindestens einen Sensors, bestimmbar. Die Auswerteeinheit kann beispielsweise anhand des mindestens einen Bildes und/oder der Sensordaten erkennen, welche Größe oder welcher Typ eines Bits an dem Bearbeitungswerkzeug angeordnet ist. Insbesondere kann die Werkzeugkomponente anhand eines charakteristischen Musters, eines Labels und/oder einer Markierung an der Werkzeugkomponente bestimmbar sein. Beispielsweise kann die Markierung optisch sein. Denkbar und möglich sind jedoch auch andere, insbesondere magnetische, Barcode oder QR-Code Markierungen. Zusätzlich kann ein Verschleiß der Werkzeugkomponente durch die Auswerteeinheit, insbesondere durch die Bildaufnahmevorrichtung und/oder den mindestens einen Sensor, erkennbar sein. Beispielsweise kann ein Verschleiß der Werkzeugkomponente anhand eines Spiels der Werkzeugkomponente, insbesondere eines Schrauber/Bit-Systems, erkennbar sein. Die Auswerteeinheit kann dazu ausgebildet sein, beispielsweise anhand des Spiels der Werkzeugkomponente oder anhand des Verschleißes, eine Benutzungsdauer der Werkzeugkomponente zu bestimmen, die angibt, wie lange die Werkzeugkomponente bereits genutzt wurde.
In einem Ausführungsbeispiel kann eine Lage oder Position des Bearbeitungswerkzeugs, wie beispielsweise ein Winkel relativ zu dem mindestens einen Arbeitsbereich, oder eine Position relativ zu dem Objekt durch die Auswerteeinheit bestimmbar sein.
Weiterhin kann ein Bauteil, wie eine Schraube, durch die Auswerteeinheit bestimmbar sein. Insbesondere kann das Fehlen, also das Nichtvorhandensein eines Bauteils, an dem Objekt, ein fehlerhaftes Bauteil, eine fehlerhafte Position eines Bauteils an dem Objekt und/oder ein geometrischer Fehler des Bauteils durch die Auswerteeinheit erkennbar sein. Zudem kann die Auswerteeinheit dazu ausgebildet sein, weitere Abweichungen des mindestens einen Arbeitsbereiches, wie farbliche Abweichungen, zu erkennen. In einer weiteren Ausgestaltung ist die Auswerteeinheit dazu ausgebildet, einen Bereich des Objekts, der nicht zu bearbeiten ist, zu identifizieren und/oder von dem mindestens einen Arbeitsbereich zu unterscheiden.
In einer Variante ist eine Hinweisvorrichtung vorgesehen, die dazu ausgebildet ist, einen notwendigen Austausch der mindestens einen Werkzeugkomponente des Bearbeitungswerkzeugs einem Nutzer des Bearbeitungswerkzeugs anzuzeigen. Beispielsweise kann die Hinweisvorrichtung dem Nutzer anzeigen, dass die Werkzeugkomponente auszuwechseln ist, wenn ein vorbestimmter Grad von Verschleiß der Werkzeugkomponente überschritten ist. Ebenso kann die Hinweisvorrichtung anzeigen, dass eine andere als die derzeit an dem Bearbeitungswerkzeug angeordnete Werkzeugkomponente zur Bearbeitung des Arbeitsbereiches erforderlich ist. In einer Variante kann die Hinweisvorrichtung den Austausch der mindestens einen Werkzeugkomponente mittels Auswertung des mindestens einen Bildes und/oder der Sensordaten überwachen. Beispielsweise kann die Hinweisvorrichtung den Nutzer anhand des mindestens einen Bildes und/oder der Sensordaten beim Austausch der Werkzeugkomponente überwachen und gegebenenfalls auf Fehler beim Austausch hinweisen.
In einem Ausführungsbeispiel ist das Rechenmodell dazu ausgebildet, anhand einer Abfolge von Bildern und/oder Sensordaten einen Montageschritt in einem Montageprozess zu identifizieren. Eine Abfolge von Bildern kann beispielsweise durch mehrere Bilder gebildet sein, die in einem zeitlichen Abstand zueinander erzeugt wurden. Ebenso kann eine Abfolge von Sensordaten beispielsweise durch mehrere Abschnitte von Sensordaten gebildet sein, die in einem zeitlichen Abstand zueinander erzeugt wurden. Ein Montageschritt kann beispielsweise eine Änderung einer Lage und/oder einer Position des Bearbeitungswerkzeugs und/oder eine Einwirkung oder eine Abfolge von Einwirkungen auf den mindestens einen Arbeitsbereich durch das Bearbeitungswerkzeug umfassen. Ein Montageprozess kann eine Abfolge von Montageschritten sein. In einer Ausgestaltung umfasst ein Montageschritt eine Verschraubung an einem Arbeitspunkt wie einer Schraubstelle.
In einem Ausführungsbeispiel ist die Auswerteeinheit dazu ausgebildet, basierend auf einer Nutzereingabe einen Schlüsselbereich des mindestens einen Bildes zum Training des Rechenmodells auszuwählen. Ein Schlüsselbereich kann ein Bildbereich (region of interest) sein, der zur Erzeugung des mindestens einen Klassifikators durch das Rechenmodell genutzt werden soll. Der Bildbereich kann insbesondere mindestens ein wesentliches Merkmal enthalten. Die Auswahl eines Schlüsselbereichs kann dazu genutzt werden, einen Hintergrund des mindestens einen Bildes zum Training des Rechenmodells unbeachtet zu lassen. Der Hintergrund kann beispielsweise ein Bereich sein, der weniger Merkmale als ein Bereich aufweist, der näher (entlang einer Achse von dem Bearbeitungswerkzeug zu dem Objekt) als der Hintergrund an dem Arbeitspunkt angeordnet ist. Beispielsweise kann die Auswahl des Schlüsselbereiches Zeit für das Training des Rechenmodells sparen. Grundsätzlich kann der Hintergrund auch zur Identifizierung des mindestens einen Arbeitsbereiches durch das Rechenmodell, beispielsweise mittels der unterschiedlichen Tiefenschärfe des Hintergrundes bei verschiedenen Arbeitsbereichen, genutzt werden. In einer alternativen Ausführung ist der Hintergrund, insbesondere eine Fernbereich, automatisch beispielsweise anhand eines Schwellwerts der Tiefenschärfe, mittels der Auswerteeinheit maskierbar. Ein maskierter Bereich wird nicht zur Auswertung berücksichtigt.
In einer Ausgestaltung kann eine Entfernung zwischen dem Bearbeitungswerkzeug und dem Objekt mittels eines Entfernungsmessmoduls des Bearbeitungswerkzeugs messbar sein. In einer Ausgestaltung umfasst das Entfernungsmessmoduls einen zum Arbeitspunkt ausgerichteten Laserstrahl in Kombination mit einer Kamera. Mittels des Entfernungsmessmoduls kann eine zu erreichende Montagetiefe ermittelbar sein. Somit kann eine weitere Qualitätsaussage hinzugefügt werden, mit deren Hilfe eine erfolgreiche Bearbeitung des mindestens einen Arbeitsbereiches erkennbar sein kann. Beispielsweise kann es Vorkommen, dass bei Fehlverschraubungen, die voreingestellten Parameter erreicht wurden und eine i.O. -Verschraubung durch die Auswerteeinheit angezeigt wird. Die Messung der Montagetiefe kann in solchen Fällen dazu dienen, festzustellen, dass ein Kopf, beispielsweise ein Schraubenkopf, des zu montierenden Bauteils, beispielsweise einer Schraube, noch nicht aufliegt und somit eine Fehlmontage, beispielsweise eine Fehlverschraubung, vorliegt.
Das Entfernungsmessmodul kann beispielsweise eine TOF-Kamera umfassen, mit der eine Laufzeitmessung (time-of-flight; TOF) durchführbar ist. Optional kann die Entfernung des Hintergrundes bei verschiedenen Arbeitsbereichen mit dem Entfernungsmessmoduls bestimmt werden. Hierbei kann die Entfernung des Hintergrundes auch zur Identifizierung des mindestens einen Arbeitsbereiches durch das Rechenmodell genutzt werden.
In einer weiteren Ausgestaltung ist die Auswerteeinheit dazu ausgebildet, basierend auf einer Nutzereingabe einen Schlüsselbereich des mindestens einen Bildes zur Identifizierung des mindestens einen Arbeitsbereiches auszuwählen. Der Nutzer kann beispielsweise während der Bearbeitung des Arbeitsbereiches durch das Bearbeitungswerkzeug den Schlüsselbereich auswählen.
In einem Ausführungsbeispiel ist die Bildaufnahmevorrichtung dazu ausgebildet, eine Vielzahl von Bildern vor, während und/oder nach der Einwirkung des Bearbeitungswerkzeuges auf den mindestens einen Arbeitsbereich zu erzeugen. Grundsätzlich kann die Bildaufnahmevorrichtung zu jeder Zeit Bilder erzeugen. In einer Variante erzeugt die Bildaufnahmevorrichtung mindestens ein Bild, wenn das Bearbeitungswerkzeug zur Bearbeitung auf den mindestens einen Arbeitsbereich einwirkt. Die Bildaufnahmevorrichtung kann dazu ausgebildet sein, basierend auf Sensordaten die Erzeugung von Bildern automatisch zu starten und/oder zu beenden. Beispielsweise kann die Bildaufnahmevorrichtung die Erzeugung von Bildern beenden, wenn das Bearbeitungswerkzeug von dem Nutzer abgelegt wird. Das Ablegen des Bearbeitungswerkzeugs kann beispielsweise mittels eines (Inertial-) Sensors messbar sein. Die Bildaufnahmevorrichtung kann die Erzeugung von Bildern beispielsweise starten, wenn ein Nutzer das Bearbeitungswerkzeug an den mindestens einen Arbeitsbereich annähert.
In einer Ausgestaltung ist eine Anzahl der erzeugten Bilder pro Zeiteinheit durch die Bildaufnahmevorrichtung variierbar. Die Bildaufnahmevorrichtung kann also eine Rate der Bildaufnahme variieren. Ebenso kann eine (kabellose) Übertragungsrate, also eine Frequenz der Übertragung, von Bildern und/oder Sensordaten von der Bildaufnahmevorrichtung und/oder dem mindestens einen Sensor an die Auswerteeinheit variierbar sein. Beispielsweise kann die Übertragungsrate gering sein, wenn das Bearbeitungswerkzeug abgelegt ist, und hoch sein, wenn der mindestens eine Arbeitsbereich durch das Bearbeitungswerkzeug bearbeitet wird. In einer Ausführung sind Zeiten und Wege beim zyklischen Ablegen des Bearbeitungswerkzeugs mittels der Sensordaten abschätzbar. Insbesondere kann eine Übertragung mit einer hohen Frequenz zu Beginn der Bearbeitung des mindestens einen Arbeitsbereiches oder bei Annäherung an den mindestens einen Arbeitsbereich gestartet werden. Grundsätzlich können zu jedem Zeitpunkt beim Betrieb der Vorrichtung Bilder und/oder Sensordaten mit einer geringen Frequenz von der Bildaufnahmevorrichtung und/oder dem mindestens einen Sensor an die Auswerteeinheit übertragen werden.
In einem Ausführungsbeispiel umfasst die Bildaufnahmevorrichtung mindestens eine Kamera. Die mindestens eine Kamera kann zur Aufnahme des mindestens einen Bildes nutzbar sein. Zur Aufnahme eines vergrößerten Bildes kann die mindestens eine Kamera ein Zoomobjektiv umfassen. Die mindestens eine Kamera kann dann in den mindestens einen Arbeitsbereich hineinzoomen. Selbstverständlich kann die mindestens eine Kamera das Zoomobjektiv zur Aufnahme eines verkleinerten Bildes nutzen. Die mindestens eine Kamera kann dann aus dem mindestens einen Arbeitsbereich herauszoomen.
Die Bildaufnahmevorrichtung, insbesondere die mindestens eine Kamera, kann mittels eines Adapters an dem Bearbeitungswerkzeug angeordnet sein. Der Adapter kann spezifisch für das Bearbeitungswerkzeug ausgebildet sein. Über den Adapter kann die Bildaufnahmevorrichtung, insbesondere die mindestens eine Kamera, an Bearbeitungswerkzeugen verschiedenen Typs anordbar sein. Verschiedene Typen von Bearbeitungswerkzeug können sich durch unterschiedliche Formen, zum Beispiel rund oder eckig im Querschnitt, unterscheiden, so dass ein Adapter zur Montage der Bildaufnahmevorrichtung erforderlich ist.
In einem Ausführungsbeispiel ist die mindestens eine Kamera relativ zu dem Bearbeitungswerkzeug verstellbar. Beispielsweise kann die mindestens eine Kamera relativ zu dem Bearbeitungswerkzeug beweglich und/oder rotierbar an dem Bearbeitungswerkzeug gelagert sein. Die mindestens eine Kamera kann beispielsweise um eine Werkzeugachse rotierbar und/oder entlang der Werkzeugachse verschieblich sein. Die Werkzeugachse kann sich entlang des Bearbeitungswerkzeugs im Wesentlichen von einem Griff zum Angreifen durch den Nutzer zu einer Werkzeugspitze zur Bearbeitung des mindestens einen Arbeitsbereiches erstrecken.
In einer Ausgestaltung ist die mindestens eine Kamera als Barcodeleser ausgebildet oder kann zum Lesen von Barcodes genutzt werden.
In einem weiteren Ausführungsbeispiel umfasst die Bildaufnahmevorrichtung mindestens zwei Kameras zur gleichzeitigen Erzeugung von mindestens zwei Bildern des mindestens einen Arbeitsbereiches. Die durch die mindestens zwei Kameras erzeugten Bilder können überlappende, identische oder verschiedene Bereiche des mindestens einen Arbeitsbereiches zeigen. Die mindestens zwei Bilder können zudem zu einem Panorama aneinander angesetzt werden (stitching), miteinander (inhaltlich) verschmelzbar oder fusionierbar sein und/oder als ein Stereobild ausgebildet sein. Ein Stereobild kann insbesondere dazu dienen, Tiefen Informationen zu berechnen. Die mindestens zwei Kameras können also eine 3D-Ansicht erzeugen. Mithilfe der 3D- Ansicht können Nah- und Fernbereich, also beispielsweise der mindestens eine Arbeitsbereich und ein Hintergrund, unterschieden werden.
In einem Ausführungsbeispiel umfasst die Bildaufnahmevorrichtung mindestens ein Objektiv. Das mindestens eine Objektiv kann das Ende mindestens einer Glasfaser umfassen. Durch das mindestens eine Objektiv nimmt die Bildaufnahmevorrichtung das mindestens eine Bild auf. Mindestens eine optische Achse des mindestens einen Objektivs kann einen Arbeitspunkt schneiden, in dem das Bearbeitungswerkzeug auf den mindestens einen Arbeitsbereich einwirkt. Ebenso kann mindestens eine Detektionsachse des mindestens einen Sensors den Arbeitspunkt schneiden. Die mindestens eine Detektionsachse des mindestens einen Sensors kann beispielsweise eine Richtung sein, in die der mindestens eine Sensor ausgerichtet ist.
In einem alternativen Ausführungsbeispiel ist die mindestens eine optische Achse des mindestens einen Objektivs der Bildaufnahmevorrichtung und/oder die mindestens eine Detektionsachse des mindestens einen Sensors parallel zu einer Einwirkungsachse, entlang der das Bearbeitungswerkzeug auf den mindestens einen Arbeitsbereich einwirkt, erstreckt. Die parallele Ausrichtung der mindestens einen optischen Achse und der Einwirkungsachse kann eine achsenparallele Blickrichtung ermöglichen. In einer Variante sind eine Vielzahl von Objektiven der Bildaufnahmevorrichtung und/oder eine Vielzahl von Sensoren ringförmig um die Einwirkungsachse angeordnet. Beispielsweise kann eine parallele Ausrichtung der Einwirkungsachse und der mindestens einen optischen Achse und/oder der mindestens einen Detektionsachse mittels einer Integration von mindestens einer Kamera und/oder mindestens eines Sensors in einem Ringbauteil, wie einem Adapterring, ermöglicht werden. Das Ringbauteil kann an dem Bearbeitungswerkzeug angeordnet sein. Die Einwirkungsachse kann sich durch die ringförmige Öffnung des Ringbauteils erstrecken. Weiterhin kann das Ringbauteil mindestens ein Objektiv umfassen,.
In einem Ausführungsbeispiel schneidet eine Verbindungsgerade zwischen zwei Objektiven, insbesondere zwischen zwei Enden zweier Glasfasern, und/oder zwischen zwei Sensoren die Einwirkungsachse. Also können sich die zwei Objektive und/oder die zwei Sensoren bezogen auf die Einwirkungsachse gegenüberliegen.
In einer Ausgestaltung umfasst die Bildaufnahmevorrichtung mindestens eine Beleuchtungsvorrichtung. Mittels der Beleuchtungsvorrichtung kann der mindestens eine Arbeitsbereich beleuchtbar sein. In einer Variante ist nur ein Abschnitt des mindestens einen Arbeitsbereiches mit der Beleuchtungsvorrichtung beleuchtbar. Ebenso kann die Beleuchtungsvorrichtung das Bearbeitungswerkzeug oder zumindest einen Teil davon beleuchten. Insbesondere kann die Beleuchtungsvorrichtung eine Werkzeugkomponente des Bearbeitungswerkzeugs beleuchten, mit der das Bearbeitungswerkzeug an dem mindestens einen Arbeitsbereich angreift. Die Beleuchtungsvorrichtung kann beispielsweise mindestens eine Lichtquelle umfassen. Das Spektrum der mindestens einen Lichtquelle kann grundsätzlich jede beliebige Wellenlänge oder ein Spektrum von Wellenlängen umfassen. Insbesondere kann die mindestens eine Lichtquelle ein Vollspektrum oder Infrarotlicht abgeben. Dadurch kann die Vorrichtung unabhängig von einer externen Beleuchtung, beispielsweise der Beleuchtung einer Werkstatt sein.
Die mindestens eine Lichtquelle kann Licht synchronisiert mit der Erzeugung des mindestens einen Bildes, insbesondere mit der Aufnahme des mindestens einen Bildes durch die mindestens eine Kamera, abgeben. Ebenso können auch die Tiefeninformationen der Bildaufnahmevorrichtung dazu genutzt werden, die mindestens eine Lichtquelle zu steuern. Beispielsweise kann ein Fernbereich geringer ausgeleuchtet sein als ein Nahbereich. Die entfernteren Bereiche können also geringer ausgeleuchtet werden.
Grundsätzlich kann die mindestens eine Lichtquelle selbstverständlich Licht zu jedem beliebigen Zeitpunkt und mit jeder beliebigen zeitlichen Länge und/oder in jedem beliebigen Zeitintervall abgeben. Insbesondere kann die mindestens eine Lichtquelle Licht zur Markierung einer Position, insbesondere eines zu bearbeitenden Arbeitspunktes, des mindestens einen Arbeitsbereiches abgeben. Die Lichtquelle kann beispielsweise als ein Projektor ausgebildet sein. Mit der Lichtquelle kann dann mindestens ein Muster auf den mindestens einen Arbeitsbereich projizierbar sein. Das mindestens eine Muster kann beispielsweise eine Bezeichnung eines Abschnitts des mindestens einen Arbeitsbereiches oder eine Richtungsanweisung beinhalten. Das mindestens eine Muster kann in beliebige Richtungen von dem Bearbeitungswerkzeug auf den mindestens einen Arbeitsbereich projizierbar sein. Somit kann die Gefahr eines falschen Ansetzens des Bearbeitungswerkzeugs durch den Benutzer verringert werden. Außerdem kann eine Einlernzeit eines neuen Mitarbeiters verringert werden.
In einer Ausgestaltung umfasst die Beleuchtungsvorrichtung eine Projektionseinheit, mit der der zu bearbeitende Arbeitspunkt bereits bei der Annäherung des Bearbeitungswerkzeug an den Arbeitsbereich erkennbar und markierbar ist.
In einem Ausführungsbeispiel umfasst die Vorrichtung ein Simulationssystem, mit dem der mindestens eine Arbeitsbereich zur Erzeugung des mindestens einen Bildes, der Sensordaten und/oder des mindestens einen Klassifikators simulierbar ist. Beispielsweise kann mittels des Simulationssystems für die Auswerteeinheit ein Arbeitsbereich zum Training simuliert werden. Dazu kann das Simulationssystem mindestens ein Bild und/oder Sensordaten der Auswerteeinheit zur Verfügung stellen. Die Auswerteeinheit kann dann aus dem mindestens einen Bild und/oder den Sensordaten mindestens einen Klassifikator erzeugen. In einer Variante leitet das Simulationssystem den mindestens einen Klassifikator aus dem mindestens einem simulierten Bild und/oder den Sensordaten ab. Der mindestens eine Klassifikator kann dann zur Identifizierung des mindestens einen Arbeitsbereiches zur Verfügung gestellt werden. Beispielsweise kann der mindestens eine Klassifikator der Auswerteeinheit zur Verfügung gestellt werden und/oder in einen Klassifikatorspeicher (classificator repository) übertragen werden. Insbesondere kann das Simulationssystem ein 3D- Modell des mindestens einen Arbeitsbereiches simulieren und der Auswerteeinheit zum Training zur Verfügung stellen. Dazu kann das Simulationssystem ein System für rechnerunterstütztes Konstruieren (CAD-System) umfassen. Das 3D-Modell des mindestens einen Arbeitsbereiches kann von dem Rechenmodell abhängen. Insbesondere kann das 3D-Modell des mindestens einen Arbeitsbereiches in Abhängigkeit einer Methode des maschinellen Lernens gewählt werden.
Mittels des Simulationssystems können Arbeitsbereiche von Objekten (virtuell) trainierbar sein, also, optional, bevor das Objekt physisch vorliegt. Ebenso kann eine Vielzahl von Varianten von Arbeitsbereichen virtuell trainierbar sein. In einer Ausgestaltung kann das Simulationssystem unterschiedliche Perspektiven der Bildaufnahmevorrichtung simulieren. Unterschiedliche Perspektiven der Bildaufnahmevorrichtung können beispielsweise unterschiedliche Blickwinkel der mindestens einen Kamera der Bildaufnahmevorrichtung sein. Von dem Training abweichende Perspektiven können beispielsweise aufgrund einer Änderung der Werkzeugkomponente, z.B. Benutzung einer Verlängerung, entstehen. Mittels des Simulationssystems kann der mindestens eine Klassifikator für eine unterschiedliche Perspektive neu erzeugbar sein.
In einer Ausgestaltung ist der mindestens eine Arbeitsbereich während der Einwirkung des Bearbeitungswerkzeugs auf den mindestens einen Arbeitsbereich, also in Echtzeit, mit dem Simulationssystem simulierbar. Durch die Simulation in Echtzeit kann eine Anpassung des Rechenmodells, insbesondere die Erzeugung zusätzlicher Klassifikatoren, während der Bearbeitung des Arbeitsbereiches ermöglicht werden.
In einer Variante ist der mindestens eine Klassifikator insbesondere für ausgewählte Arbeitsbereiche und/oder Arbeitspunkte, insbesondere wichtige Schraubstellen (A- und B-Verschraubungen), von dem Simulationssystem abrufbar. Beispielsweise ist der mindestens eine Klassifikator mittels einer App der Auswerteeinheit abrufbar.
In einem Ausführungsbeispiel umfasst die Bildaufnahmevorrichtung zur Erzeugung von Bildern des mindestens einen Arbeitsbereiches ein mobiles Endgerät, insbesondere ein Mobilgerät, ein Handy oder ein Smartphone. Das mobile Endgerät kann an dem Bearbeitungswerkzeug anordenbar sein. Selbstverständlich ist hiermit nicht ausgeschlossen, dass die Bildaufnahmevorrichtung mindestens eine weitere Kamera zur Erzeugung von Bildern des mindestens einen Arbeitsbereiches umfasst. Zusätzlich oder alternativ kann das mobile Endgerät mindestens einen Sensor umfassen. Der mindestens eine Sensor des mobilen Endgeräts kann beispielsweise eine Position, Lage und/oder einen Ort des Bearbeitungswerkzeugs zur Erzeugung von Sensordaten bestimmen. Zur Übertragung der Bilder und/oder der Sensordaten kann das mobile Endgerät mit der Auswerteeinheit verbunden sein. In einer Variante erzeugt das mobile Endgerät Sensordaten, die einen Zustand des Bearbeitungswerkzeugs, insbesondere Schrauber und Schraubdaten, darstellen. Ein Zustand des Bearbeitungswerkzeuges kann beispielsweise eine verwendete Leistung, An- und Ausschaltdaten, ein Drehmoment, eine Schraubzeit, eine Schraubkurve, eine Drehzahl, ein Winkel relativ zum Objekt und/oder andere Einstellungen des Bearbeitungswerkzeuges umfassen. Die Schraubkurve kann beispielsweise ein Verhältnis eines Drehmoments des Bearbeitungswerkzeugs an einer Schraube zu einem gedrehten Winkel der Schraube oder zu einer Schraubzeit sein. Das mobile Endgerät kann zur Erzeugung der Sensordaten, beispielsweise kabellos, insbesondere mittels WLAN, mit dem Bearbeitungswerkzeug verbunden sein.
In einem weiteren Ausführungsbeispiel kann das mobile Endgerät Klassifikatoren von dem Klassifikatorspeicher empfangen und zur Identifizierung des mindestens einen Arbeitsbereiches anhand der erzeugten Bilder und Sensordaten nutzen.
In einem Ausführungsbeispiel sind die erzeugten Bilder und Sensordaten in Verbindung mit einer Kennzeichnung des bearbeiteten Objekts und/oder bearbeiteten Arbeitsbereiches abspeicherbar. Das Objekt oder der Arbeitsbereich kann anhand der Kennzeichnung eindeutig identifizierbar sein. Somit können die Bilder und Sensordaten langfristig zur Qualitätsauswertung nutzbar sein. Insbesondere kann mittels der Qualitätsauswertung eine statistische Analyse von Serviceniederlassungen und Servicepersonal ermöglicht werden.
In einem Ausführungsbeispiel ist die Auswerteeinheit dazu ausgebildet in einer Abfolge einer Vielzahl von bekannten Bildern und/oder bekannten Sensordaten, in der mindestens ein unbekanntes Bild und/oder mindestens ein Abschnitt von unbekannten Sensordaten enthalten ist, das mindestens eine unbekannte Bild und/oder den mindestens einen unbekannten Abschnitt von Sensordaten zu erkennen. Eine Abfolge von bekannten Bildern kann beispielsweise eine Bildsequenz während der Bearbeitung des Objekts sein, innerhalb der die Auswerteeinheit alle Bilder wiedererkennt. Wiedererkennen kann bedeuten, dass der Wahrscheinlichkeitsgrad der Identifikation über einer bestimmten Schwelle liegt. Die Schwelle kann beispielsweise 0,75 oder 0,95 betragen. Die Auswerteeinheit kann die Bilder insbesondere dann wiedererkennen, wenn die Bilder im Training zuvor trainiert wurden. Das mindestens eine unbekannte Bild kann beispielsweise ein Bild oder eine Bildsequenz sein, die im Training zuvor nicht trainiert wurde. Das Gleiche trifft auf eine Abfolge von bekannten Sensordaten zu. Die Dauer eines Abschnitts von unbekannten Sensordaten kann hierbei geringer sein als die Dauer der vorhergehenden und nachfolgenden bekannten Sensordaten.
In einem Ausführungsbeispiel kann die Auswerteeinheit weiterhin dazu ausgebildet sein, mittels maschinellen Lernens trainiert zu werden, anhand des mindestens einen unbekannten Bildes und/oder des mindestens einen Abschnitts von unbekannten Sensordaten den mindestens einen bekannten Arbeitsbereich zu identifizieren. Insbesondere kann das mindestens eine unbekannte Bild und/oder der mindestens eine unbekannte Abschnitt von Sensordaten zur Erzeugung mindestens eines Klassifikators genutzt werden. Das kann dadurch erreicht werden, dass das mindestens eine unbekannte Bild und/oder der mindestens eine unbekannte Abschnitt von Sensordaten in den Datenpool für den nächsten Klassifikator-Durchlauf übernommen werden. Aus dem Datenpool kann mindestens ein Klassifikator in einem Klassifikator-Durchlauf erzeugt oder verbessert werden. Dadurch kann die Wahrscheinlichkeit einer Identifizierung des Arbeitsbereiches erhöht werden.
Mit anderen Worten kann der mindestens eine Klassifikator während des Betriebs der Vorrichtung kontinuierlich verbessert werden. Dazu kann die Vorrichtung während des Betriebs Bilder zum Nachtrainieren sammeln.
In einer ersten Variante ist das Rechenmodell dazu ausgebildet, durch sich selbst trainiert zu werden. Dies geschieht durch unüberwachtes Lernen, also ohne einen Experten. Hierbei kann das mindestens eine Bild zum Nachtrainieren benutzt werden. Voraussetzung dafür ist, dass der mindestens eine Arbeitsbereich anhand des mindestens einen Bildes durch das Rechenmodell mit einem hohen Wahrscheinlichkeitsgrad, beispielsweise einem Wahrscheinlichkeitsgrad über 0,75, identifiziert wurde. Also kann grundsätzlich jedes Bild, bei dem der Klassifikator mit hoher Sicherheit eine Vorhersage machen kann, zum Nachtrainieren benutzt werden. Dabei wird angenommen, dass die Vorhersage richtig war. Durch das Training des Rechenmodells durch sich selbst kann der Gesamtwahrscheinlichkeitsgrad richtiger Identifizierung einer Vielzahl von Arbeitsbereichen erhöht werden. Also sollte die Gesamtsicherheit von Vorhersagen über die Zeit weiter ansteigen.
In einer zweiten Variante ist das Rechenmodell dazu ausgebildet, durch einen Nutzer trainiert zu werden. Dies geschieht durch überwachtes Lernen, also mit Hilfe eines Experten. Hierbei kann das mindestens eine Bild zum Nachtrainieren benutzt werden. Voraussetzung dafür ist, dass der mindestens eine Arbeitsbereich anhand des mindestens einen Bildes durch das Rechenmodell mit einem niedrigen Wahrscheinlichkeitsgrad, beispielsweise einem Wahrscheinlichkeitsgrad unter 0,45, identifiziert wurde. Es werden also im Gegensatz zu der ersten Variante Bilder gesammelt, bei denen der Klassifikator eine hohe Unsicherheit bei der Vorhersage hat. Ein Nutzer kann das Rechenmodell durch Vorgabe der Identifizierung des mindestens einen Arbeitsbereiches trainieren, den mindestens einen Arbeitsbereich anhand des mindestens einen Bildes zu erkennen. Das mindestens eine Bild wird also von einem Experten nachgelabelt, d.h. die richtige Erkennung wird zugeordnet, und kann dann zum Nachtrainieren benutzt werden.
Selbstverständlich können bei beiden Varianten anstatt oder auch zusätzlich zu dem mindestens einen Bild Sensordaten zum Nachtrainieren genutzt werden.
Grundsätzlich kann die Auswerteeinheit auch dazu ausgebildet sein, mindestens eine unbekannte Kombination von mindestens einem Bild und mindestens einem Abschnitt von Sensordaten zu erkennen. Hierbei ist es denkbar und möglich, dass das mindestens eine Bild und der mindestens eine Abschnitt von Sensordaten jeweils bekannt sind. Die Auswerteeinheit kann dann weiterhin dazu ausgebildet sein, mittels maschinellen Lernens trainiert zu werden, anhand der mindestens einen unbekannten Kombination den mindestens einen bekannten Arbeitsbereich zu identifizieren.
In einem Ausführungsbeispiel ist eine Kontrolleinheit vorgesehen, die dazu ausgebildet ist, eine Abfolge von Arbeitsbereichen, die durch das Bearbeitungswerkzeug bearbeitet wurden, zu dokumentieren. Die Kontrolleinheit kann also dokumentieren, welche Arbeitsbereiche bearbeitet wurden und in welcher Reihenfolge die Arbeitsbereiche bearbeitet wurden. Zusätzlich kann die Kontrolleinheit eine verwendete Werkzeugkomponente, ein verwendetes Bauteil, wie beispielsweise eine verschraubte Schraube, das mindestens eine Bild und/oder die Sensordaten dokumentieren. Die Verwendung eines Bauteils kann durch die Kontrolleinheit beispielsweise zur Planung der Logistik von Bauteilen oder als Verwendungsnachweis dokumentierbar sein. Zusätzlich zur Dokumentation des verwendeten Bauteils kann die Lage und/oder das Umfeld des Bauteils dokumentiert werden.
Die Kontrolleinheit ist in einer Variante dazu ausgebildet, eine Abfolge von Arbeitsbereichen und/oder Arbeitspunkten zur Bearbeitung durch das Bearbeitungswerkzeug vorzugeben. Die Kontrolleinheit kann insbesondere dazu ausgebildet sein, mindestens zwei Arbeitsbereiche in einer Abfolge von Arbeitsbereichen zur Bearbeitung durch das Bearbeitungswerkzeug zu gruppieren. Beispielsweise können durch die Kontrolleinheit Arbeitsbereiche oder für einen Arbeitsbereich Arbeitspunkte, die mit einer Werkzeugkomponente und/oder identischen Zuständen des Bearbeitungswerkzeugs, wie Winkel relativ zum Objekt oder Drehmoment, zu bearbeiten sind, gruppiert werden.
In einer Ausgestaltung kann die Kontrolleinheit fehlerhaft bearbeitete Arbeitsbereiche während der Bearbeitung eines Arbeitsbereiches oder nach Bearbeitung der Vielzahl von Arbeitsbereichen oder einer Gruppe der Vielzahl von Arbeitsbereichen zuordnen. Gegebenenfalls kann die Kontrolleinheit fehlerhaft bearbeitete Arbeitsbereiche zur erneuten Bearbeitung vorgeben. Ebenso kann eine fehlerhafte Reihenfolge bei der Bearbeitung von Arbeitsbereichen durch die Kontrolleinheit erkennbar sein.
Zur Dokumentation der bearbeiteten Arbeitsbereiche und/oder Arbeitspunkte kann die Kontrolleinheit mit dem Bearbeitungswerkzeug, der Bildaufnahmevorrichtung, dem mindestens einen Sensor und/oder der Auswerteeinheit zum Austausch von Daten, beispielsweise per Funk oder Kabel, verbunden sein.
In einem Ausführungsbeispiel ist eine Steuereinheit vorgesehen, die mit dem Bearbeitungswerkzeug, der Kontrolleinheit und/oder der Auswerteeinheit verbunden ist und mit der das Bearbeitungswerkzeug steuerbar ist. Mittels der Steuereinheit können Zustände des Bearbeitungswerkzeugs wie eine Drehzahl oder ein Drehmoment anpassbar sein. Selbstverständlich können mittels der Vorrichtung Zustände des Bearbeitungswerkzeugs automatisch anhand des identifizierten Arbeitsbereiches anpassbar sein. Mit einer dynamischen Erkennung des aktuell zu bearbeiteten Arbeitspunktes kann der Zustand des Bearbeitungswerkzeugs in Echtzeit angepasst werden. Insbesondere können damit auch Arbeitspunkte und/oder Arbeitsbereiche mit gleichen Anforderungen an den Zustand des Bearbeitungswerkzeugs mittels der Kontrolleinheit gruppierbar sein.
In einem weiteren Ausführungsbeispiel ist eine Signalvorrichtung zur Ausgabe eines Signals an einen Nutzer des Bearbeitungswerkzeugs vorgesehen. Mit dem Signal kann dem Nutzer signalisierbar sein, dass mindestens ein Arbeitsbereich nicht erkannt wurde, mindestens ein Arbeitsbereich fehlerhaft bearbeitet wurde und/oder mindestens ein Arbeitsbereich in einer Abfolge von Arbeitsbereichen nicht bearbeitet wurde. Die Signalvorrichtung kann gegebenenfalls einem Nutzer des Bearbeitungswerkzeugs die Notwendigkeit von Nacharbeit an mindestens einem Arbeitsbereich signalisieren. Die Signalvorrichtung kann dem Nutzer ebenso signalisieren, dass die Auswerteeinheit einen Arbeitsbereich nicht identifizieren kann. In einer Variante signalisiert die Signalvorrichtung dem Nutzer ein Ergebnis einer Bestimmung durch die Auswerteeinheit und/oder Kontrolleinheit. Die Signalvorrichtung kann also grundsätzlich zur Ausgabe von Signalen der Kontrolleinheit und/oder der Auswerteeinheit an den Nutzer dienen. In einer Ausführung, in der die Auswerteeinheit bestimmt hat, dass eine Werkzeugkomponente bereits länger als die vorgeschriebene Benutzungsdauer genutzt wurde, kann die Signalvorrichtung beispielsweise ein Signal zum Austausch der Werkzeugkomponente ausgeben.
Das Signal kann beispielsweise an dem Bearbeitungswerkzeug ausgegeben werden. Beispielsweise kann das Signal ein Ton, ein Licht oder eine Vibration sein. Selbstverständlich sind beliebige Signale denkbar und möglich.
In einem Ausführungsbeispiel umfasst die Vorrichtung einen Testarbeitsbereich zum Kalibrieren der Vorrichtung. Ein Nutzer kann beispielsweise die Bildaufnahmevorrichtung und insbesondere die mindestens eine Kamera mittels des Testarbeitsbereiches kalibrieren. Die Auswerteeinheit kann dazu ausgebildet sein, automatisch zu erkennen, dass eine Kalibrierung erforderlich ist. Der Testarbeitsbereich kann ebenso dazu ausgebildet sein, Beschädigungen und/oder Verschmutzungen an dem Bearbeitungswerkzeug zu erkennen. Zur Erkennung von Beschädigungen und/oder Verschmutzungen kann eine Standardbearbeitungsroutine an dem Testarbeitsbereich durchgeführt werden. Abweichungen in dem mindestens einen Bild und/oder den Sensordaten von dem erwarteten mindestens einen Bild und/oder den erwarteten Sensordaten können ein Hinweis auf Beschädigungen und/oder Verschmutzungen sein. Ein möglicher Ablauf kann einen oder die folgenden Schritte umfassen: 1 . Heranfahren an den Testarbeitsbereich. 2. Überprüfen der Funktion des Bearbeitungswerkzeuges. 3. Kalibrieren des Bearbeitungswerkzeuges. 4. Fokussieren der Bildaufnahmevorrichtung auf den Testarbeitsbereich. 5. Verschmutzung und/oder Beschädigung erkennen. 6. Verschmutzung und/oder Beschädigung beheben.
Die Vorrichtung umfasst in einem Ausführungsbeispiel mindestens eine Schnittstelle, die zur Anbindung an ein anderes System vorgesehen ist. Über die Schnittstelle können Informationen zwischen der Vorrichtung und dem anderen System austauschbar sein. Beispielsweise kann die Schnittstelle als eine Anwendungsprogrammierschnittstelle (API) ausgebildet sein. Insbesondere kann die Vorrichtung mittels der Schnittstelle aus der Ferne (remote) beispielsweise von einem Server oder einem mobilen Gerät erreichbar sein. Ebenso kann die Vorrichtung mittels der Schnittstelle zentral, beispielsweise durch einen Server, verwaltbar oder steuerbar sein.
In einer weiteren Ausgestaltung umfasst das Bearbeitungswerkzeug ein Display zur Anzeige von Kontextinformationen, beispielsweise des mindestens einen Bildes, der Sensordaten und/oder Parameter, Einstellungen oder Zustände des Bearbeitungswerkzeuges für den Benutzer, insbesondere nach Erkennung des mindestens einen Arbeitsbereiches.
In einem Ausführungsbeispiel kann eine Nutzung der Vorrichtung folgende jeweils optionale Schritte umfassen: In einem ersten Schritt sucht eine Person mit dem Objekt, beispielsweise einem Kraftfahrzeug, eine Vertragswerkstatt auf. Die Person benötigt eine Reparatur an dem Objekt (Garantie oder kritisches Bauteil). In einem zweiten Schritt meldet die Vertragswerkstatt mittels der Vorrichtung die Reparatur bei einem Server, beispielsweise einem Server eines OEM-Netzwerks, an. In einem dritten Schritt erhält die Vertragswerkstatt gegebenenfalls ein erforderliches Bauteil, beispielsweise ein Ersatzteil für das Objekt. Außerdem erhält die Vertragswerkstatt eine Freigabe von zur Reparatur. In einem vierten Schritt erhält die Vorrichtung mindestens einen Klassifikator über die Schnittstelle von dem Server, der optional in den Klassifikatorspeicher geladen wird. Grundsätzlich kann die Vorrichtung Daten zur Überwachung und/oder Sicherstellung einer ordentlichen Bearbeitung erhalten.
In einem fünften Schritt des Ausführungsbeispiels beginnt die Bearbeitung des Objekts - beispielsweise eine Montage oder Reparatur. Dafür ist das Bearbeitungswerkzeug vorgesehen. Das Bearbeitungswerkzeug ist dem OEM bekannt, mit dem Server über die Schnittstelle verbunden und/oder hat eine OEM-Freigabe erhalten. In einem sechsten Schritt wird der mindestens eine Klassifikator geladen. Der mindestens eine Klassifikator wird hierbei der Auswerteeinheit zur Verfügung gestellt. Der mindestens eine Klassifikator kann spezifisch für das Kraftfahrzeug der Person sein. In einem siebten Schritt ordnet ein Nutzer der Vorrichtung, beispielsweise ein Werkstatt-MA, die Bildaufnahmevorrichtung an dem Bearbeitungswerkzeug an. Die Bildaufnahmevorrichtung kann beispielsweise eine mobile Kamera oder ein Flandy sein. In einem achten Schritt führt der Nutzer die Bearbeitung des Objekts mit dem Bearbeitungswerkzeug mit vorgegebenen Werten, also beispielsweise einem vorgegebenen Zustand und/oder vorgegebenen Situationen durch. Die Bearbeitung wird mittels des Bearbeitungswerkzeug, insbesondere der Bildaufnahmevorrichtung und/oder dem mindestens einen Sensor (im Umfeld durch Klassifikator erkennbar), optional über die Kontrolleinheit dokumentiert. In einem neunten Schritt werden die Daten zur Überwachung und/oder Sicherstellung einer ordentlichen Bearbeitung mit dem mindestens einen Bild und/oder den Sensordaten durch die Auswerteeinheit und/oder Kontrolleinheit abgeglichen. Übereinstimmen der Daten und Bilder ergibt den Nachweis einer erfolgreichen Bearbeitung.
In einer Variante ist der mindestens eine Klassifikator dazu vorgesehen, eine Diagnose an dem Objekt durchzuführen. Mittels des mindestens einen Klassifikators kann beispielsweise eine fehlerhafte Stelle an dem Objekt identifizierbar sein.
In einer weiteren Variante kann der mindestens eine Klassifikator durch aktuelle Diagnosewerte optimiert werden. Beispielsweise kann bei Feststellung einer fehlerhaften oder nicht gelernten Stelle in mindestens einem Arbeitsbereich des Objekts der mindestens eine Arbeitsbereich nachlernbar sein.
In einer zusätzlichen Variante kann der OEM anhand einer eindeutigen Identifikationsnummer des Objekts, insbesondere des Kraftfahrzeugs, über die Schnittstelle, beispielsweise über eine Intranet-Verbindung, mindestens einen aktuell gültigen Klassifikator zur Verfügung stellen.
Grundsätzlich kann das System zudem zur allgemeinen Diagnose genutzt werden. Ein trainierter Arbeitsbereich mit mindestens einer Struktur, beispielsweise an einem Kraftfahrzeug, kann zur Überprüfung von Problemen, wie fehlenden, verschobenen und/oder defekten Bauteilen, genutzt werden. Beispielsweise kann bei einer Testfahrt mit einem Kraftfahrzeug, bei dem ein Problem vermutet wird, die Bildaufnahmevorrichtung auf einen Bereich ausgerichtet werden, der möglicherweise ein Problem hat. Der Bereich kann unter Fahrbedingungen bei der Testfahrt visuell mittels der Bildaufnahmevorrichtung überprüft werden. In einer Ausgestaltung kann die Vorrichtung ebenso Bauteile, die unter Windlast und/oder Beschleunigung und anderen äußeren Einflüssen, insbesondere während der Testfahrt, deformiert werden, erfassen. Unzulässige Deformationen z.B. aufgrund von Beschädigungen können mittels der Vorrichtung detektierbar sein. Die Deformationen können weiterhin registrierbar und dokumentierbar sein.
Ein erfindungsgemäßes Verfahren kann dabei selbstverständlich unter Nutzung einer erfindungsgemäß vorgeschlagenen Vorrichtung genutzt werden, sodass vorstehend und nachstehend genannte Vorteile und Merkmale von Ausführungsvarianten einer solchen Vorrichtung auch für Ausführungsvarianten eines vorgeschlagenen Verfahrens gelten und umgekehrt.
Im Folgenden werden Ausführungsbeispiele exemplarisch darstellt. Dabei zeigt:
Fig. 1 Vorrichtung zur Bearbeitung mindestens eines
Arbeitsbereiches eines Objekts;
Fig. 2A Training eines Rechenmodells und Anwendung des Rechenmodells; Fig. 2B Erzeugung eines Klassifikators;
Fig. 2C Konfidenz, mit der ein Arbeitsbereich in einem Winkel des
Bearbeitungswerkzeugs identifizierbar ist;
Fig. 3A Vorrichtung mit einem Klassifikatorspeicher;
Fig. 3B Vorrichtung mit einem Simulationssystem;
Fig. 4 Vorrichtung mit einer Steuereinheit;
Fig. 5 Vorrichtung mit einer Kontrolleinheit, einer Signalvorrichtung und einem
Simulationssystem;
Fig. 6A Bearbeitungswerkzeug mit einer Bildaufnahmevorrichtung mit einer
Beleuchtungsvorrichtung;
Fig. 6B Vorrichtung mit einer Beleuchtungsvorrichtung;
Fig. 7 Vorrichtung mit optischer Achse und Detektionsachse;
Fig. 8 Vorrichtung mit einer optischen Achse und einer Detektionsachse parallel zu einer Einwirkachse;
Fig. 9 Vorrichtung zur Bestimmung eines Bauteils;
Fig. 10 Vorrichtung mit einer Werkzeugkomponente;
Fig. 1 1 Schnittansicht einer Vorrichtung mit einer Bildaufnahmevorrichtung mit zwei Objektiven;
Fig. 12 perspektivische Ansicht eines Bearbeitungswerkzeugs in einer
Ausführung als Industrieschrauber; Fig. 13 seitliche Ansicht eines Bearbeitungswerkzeugs in einer Ausführung als Industrieschrauber;
Fig. 14 perspektivische Ansicht eines Bearbeitungswerkzeugs in einer
Ausführung als Industrieschrauber zur Bearbeitung eines Fahrzeugs;
Fig. 15A perspektivische Ansicht eines Bearbeitungswerkzeugs in einer
Ausführung als Industrieschrauber mit Werkzeugkomponente;
Fig. 15B perspektivische Ansicht eines Bearbeitungswerkzeugs in einer
Ausführung als Industrieschrauber zur Bearbeitung eines Fahrzeugsitzes;
Fig. 16A Arbeitsbereich mit wesentlichen Merkmalen bei einem Winkel von 0°;
Fig. 16B Arbeitsbereich mit wesentlichen Merkmalen bei einem Winkel von 3°;
Fig. 16C Arbeitsbereich mit wesentlichen Merkmalen bei einem Winkel von 8°;
Fig. 17A fehlendes Bauteil an einem Kraftfahrzeug; und
Fig. 17B nachträglich montiertes Bauteil an einem Kraftfahrzeug.
Fig. 1 zeigt eine Vorrichtung mit einem Bearbeitungswerkzeug 1 zur Bearbeitung eines Arbeitsbereiches A eines Objekts B. Der Arbeitsbereich A ist über eine Oberfläche des Objekts B erstreckt. In der gezeigten Ausführungsvariante ist der Arbeitsbereich A rechtwinklig ausgebildet. Grundsätzlich ist eine beliebige Form des Arbeitsbereiches A denkbar und möglich. Innerhalb des Arbeitsbereiches A ist ein Arbeitspunkt P angeordnet, mit dem das Bearbeitungswerkzeug 1 wechselwirkt. Das Bearbeitungswerkzeug 1 kann beispielsweise ein Montageschrauber, ein Drehmomentschlüssel oder ein anderes Werkzeug sein. Die Bearbeitung des Objekts B kann beispielsweise zur Montage oder Reparatur erfolgen. An dem Bearbeitungswerkzeug 1 ist eine Bildaufnahmevorrichtung 12 zur Erzeugung von mindestens einem Bild 121 des Arbeitsbereiches A des Objekts B angeordnet. Weiterhin ist an dem Bearbeitungswerkzeug 1 ein Sensor 13 zur Erzeugung von Sensordaten 131 angeordnet. Die Vorrichtung umfasst außerdem eine Auswerteeinheit 2 mit einem Rechenmodell 21 .
Das Rechenmodell 21 wird mittels maschinellen Lernens anhand von Bildern 120 von Arbeitsbereichen A und Sensordaten 130 trainiert, wie in Fig. 2A gezeigt. Anhand eines Bildes 121 eines Arbeitsbereiches A ist der Arbeitsbereich A mit dem Rechenmodell 21 während der Bearbeitung des Arbeitsbereiches A identifizierbar. Selbstverständlich kann der Arbeitsbereich A vor der Bearbeitung, beispielsweise bei der Annäherung des Bearbeitungswerkzeugs 1 an den Arbeitsbereich A, mit dem Rechenmodell 21 identifizierbar sein. Anhand von Sensordaten 131 kann der Arbeitsbereich A ebenso identifizierbar sein. Insbesondere kann der Arbeitsbereich A über eine Position, eine Beschleunigung oder eine Lage des Bearbeitungswerkzeugs 1 im Raum identifizierbar sein. Dafür kann der Sensor 13 beispielsweise als ein Positionssensor, ein Beschleunigungssensor oder ein Lagesensor ausgebildet sein. Der Arbeitsbereich A kann auch über ein akustisches Profil, also den Verlauf eines Schallsignals über der Zeit, identifizierbar sein. Insbesondere kann der Arbeitspunkt P anhand des Schalls, der beim Ansetzen des Bearbeitungswerkzeugs 1 an den Arbeitspunkt P entsteht, identifizierbar sein. Dafür kann der Sensor 13 als ein akustischer Sensor ausgebildet sein. Zudem kann der Arbeitsbereich A auch anhand einer Kombination von mindestens einem Bild 121 und Sensordaten 131 identifizierbar sein.
Mit dem Rechenmodell 21 ist weiterhin eine Situation während der Bearbeitung des mindestens einen Arbeitsbereiches A identifizierbar. Eine Situation kann durch Merkmale des Bearbeitungswerkzeugs 1 , wie einen Zustand, insbesondere ein Drehmoment, Sensordaten 131 und Bilder 121 des Arbeitsbereiches A einzeln, in Kombination oder in der Zusammenschau während der Bearbeitung des mindestens einen Arbeitsbereiches A gekennzeichnet sein.
Beim Training bildet das Rechenmodell 21 Klassifikatoren 221 , 222, 231 , 232 basierend auf Sensordaten 130, Bildern 120 und/oder Merkmalen, wie einem Zustand, des Bearbeitungswerkzeugs 1 . Fig. 2B zeigt Bildung eines Klassifikators 221 basierend auf einem Bild 120. Das Bild 120 zeigt einen Arbeitsbereich A, der durch ein Bearbeitungswerkzeug 1 bearbeitet wird, wobei eine Werkzeugkomponente 1 1 mit dem Arbeitsbereich A wechselwirkt. In einem ersten Schritt S1 extrahiert das Rechenmodell 21 Merkmale und bildet eine Merkmalszuordnung. Die Merkmale werden in einem zweiten Schritt S2 gewichtet und komprimiert. Aus dem Ergebnis der Gewichtung und Kompression bildet das Rechenmodell 21 in einem dritten Schritt S3 einen Merkmalsvektor. Der Merkmalsvektor dient zur Erzeugung des Klassifikators 221 .
Bei der Anwendung, gezeigt in Fig. 2A, greift das Rechenmodell 21 auf die beim Training trainierten Bilder 120 und Sensordaten 130, insbesondere auf die Klassifikatoren 221 zurück, um anhand der Bilder 121 und Sensordaten 131 den Arbeitsbereich A und/oder eine Situation zu identifizieren. In einer Variante berücksichtigt das Rechenmodell 21 zusätzlich Kombinationen von Bildern 121 und Sensordaten 131 . Die Identifikation eines Arbeitsbereiches A anhand des mindestens einen Bildes 121 kann dann von den Sensordaten 131 abhängen. Beispielsweise kann eine beim Training bestimmte Position oder Lage des Bearbeitungswerkzeugs 1 erforderlich sein, um den mindestens einen Arbeitsbereich A anhand des mindestens einen Bildes 121 zu identifizieren. Dadurch können insbesondere fehlende oder falsche Positionen und/oder Lagen des Bearbeitungswerkzeugs 1 ermittelbar sein. In einer Variante kann die Auswerteeinheit 2 erlaubte Positionen und/oder Lagen des Bearbeitungswerkzeugs 1 einem Nutzer, beispielsweise über eine Signalvorrichtung 5, vorgeben. Außerdem kann das Rechenmodell 21 die fehlenden Positionen und/oder Lagen, beispielsweise als Reaktion auf eine Eingabe des Nutzers nachlernen.
Das Rechenmodell 21 kann auch auf anderweitig, beispielsweise an einer anderen Auswerteeinheit, gebildete oder importierte Klassifikatoren zurückgreifen, um anhand von Bildern 121 und Sensordaten 131 den Arbeitsbereich A und/oder eine Situation zu identifizieren. Zusätzlich kann das Rechenmodell 21 dazu ausgebildet sein, von unbekannten Bildern 12T und/oder unbekannten Sensordaten 13T einen Arbeitsbereich A oder eine Situation aus einem Kontext nachzulernen. Ein Kontext kann beispielsweise eine Abfolge von bekannten Bildern 121 und/oder bekannten Sensordaten 131 sein, in der unbekannte Bilder 121 und/oder Sensordaten 131 enthalten sind. Nachdem ein unbekanntes Bild 121‘ und/oder unbekannte Sensordaten 131‘ von einem Arbeitsbereich A oder einer Situation durch das Rechenmodell 21 nachgelernt wurden, ist der Arbeitsbereich A oder die Situation durch das Rechenmodell 21 identifizierbar.
Fig. 2C zeigt eine Zuordnung eines Winkels des Bearbeitungswerkzeugs 1 zwischen 0° und 360° relativ zu dem Arbeitsbereich A zu einem Wahrscheinlichkeitsgrad, der angibt, mit welcher Konfidenz der Arbeitsbereich A anhand mindestens eines Bildes 121 , durch das Rechenmodell 21 identifiziert ist. Der Winkel ist hierbei stellvertretend für beliebige Parameter und insbesondere jeden beliebigen Zustand und/oder jede beliebige Situation anzusehen. Selbstverständlich ist es auch denkbar und möglich, eine derartige Zuordnung für Sensordaten 131 durchzuführen. Die nachfolgenden Ausführungen gelten daher ebenso für Sensordaten 131 und für Kombinationen von Sensordaten 131 und Bildern 121 .
Ein innerer Bereich 251 gibt an, welchen Wahrscheinlichkeitsgrad bisher erfasste Bilder erreicht haben. Ein mittlerer Bereich 252 gibt an, welcher Wahrscheinlichkeitsgrad für das mindestens eine Bild 121 potentiell erreichbar wäre. Ein äußerer Bereich 253 gibt an, welcher Wahrscheinlichkeitsgrad theoretisch maximal erreichbar wäre. Das mindestens eine Bild 121 ist bei einem bestimmten Winkel aufgenommen. Wenn bisher erfasste Bilder, die in einem Winkel des Bearbeitungswerkzeugs 1 , der benachbart zu dem bestimmten Winkel ist, einen höheren Wahrscheinlichkeitsgrad erzielen als das mindestens eine Bild 121 , wird das mindestens eine Bild 121 zum Training des Rechenmodells 21 verwendet. Insbesondere kann das mindestens eine Bild 121 in einen Datenpool für den nächsten Klassifikator-Durchlauf (Pool der Referenzbilder) übernommen werden. Beispielsweise kann eine Differenzschwelle vorgesehen sein, die angibt, wieviel höher der Wahrscheinlichkeitsgrad der bisher erfassten Bilder im Vergleich zu dem mindestens einen Bild 121 sein muss, um das mindestens eine Bild 121 zum Training des Rechenmodells 21 zu verwenden. Die Differenzschwelle kann in einer Ausführung 0,25 sein. Ebenso kann der Wahrscheinlichkeitsgrad des mindestens einen Bildes 121 im Vergleich zu mit dem potentiell oder theoretisch maximal erreichbaren Wahrscheinlichkeitsgrad zugrunde gelegt werden, um zu bestimmen, ob das mindestens eine Bild 121 zum Training des Rechenmodells 21 zu verwenden ist. Die Differenzschwelle ist dann relativ zu dem potentiell oder theoretisch maximal erreichbaren Wahrscheinlichkeitsgrad.
Bei der in Fig. 3A dargestellten Bildaufnahmevorrichtung 12 zeigt das erzeugte Bild 121 den Arbeitsbereiches A bei der Bearbeitung durch das Bearbeitungswerkzeug 1 . Darauf ist ein kreisförmiges Bauteil T erkennbar. Ebenso kann das Bild 121 einen beliebigen anderen Ausschnitt des Objekts B zeigen. Insbesondere kann das Bild 121 einen Ausschnitt des Objekts B zeigen, der voraussichtlich durch das Bearbeitungswerkzeug 1 bearbeitet werden wird oder der durch das Bearbeitungswerkzeug 1 bearbeitet wurde.
Weiterhin ist an dem Bearbeitungswerkzeug 1 ein Sensor 13 zur Erzeugung von Sensordaten 131 angeordnet. Die Sensordaten 131 zeigen eine Überlagerung von zwei Wellenformen mit verschiedenen Frequenzen. Selbstverständlich kann der Sensor 13 die Sensordaten 131 zu jedem beliebigen Zeitpunkt erzeugen. Insbesondere kann der Sensor 13 Sensordaten 131 vor der Bearbeitung des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 oder nach der Bearbeitung des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 erzeugen.
Die Vorrichtung umfasst weiterhin eine Auswerteeinheit 2. Die Auswerteeinheit 2 empfängt Bilder 121 und Sensordaten 131 jeweils von der Bildaufnahmevorrichtung 12 und dem Sensor 13 zur Auswertung. Dazu ist die Auswerteeinheit 2 mit der Bildaufnahmevorrichtung 12 und dem Sensor 13 verbunden. Selbstverständlich kann die Auswerteeinheit 2 die Bilder und Sensordaten 131 per Funk oder über einen anderen Übertragungsweg empfangen. In einer Variante ist die Auswerteeinheit 2 an dem Bearbeitungswerkzeug 1 angeordnet.
Die Auswerteeinheit 2 weist ein Rechenmodell 21 auf, das dazu ausgebildet ist, aus den Bildern 121 und/oder den Sensordaten 131 jeweils einen Klassifikator 221 , 231 zu erzeugen. Die Klassifikatoren 221 , 231 repräsentieren jeweils mindestens ein wesentliches Merkmal der Bilder 121 und/oder der Sensordaten 131 . Zur Veranschaulichung erzeugt die Auswerteeinheit 2 als Klassifikator 221 für das Bild 121 eine Scheibe. Für die Sensordaten 131 , die Überlagerung von zwei Wellenformen, wählt die Auswerteeinheit 2 in Fig. 3A die Wellenform mit der geringeren Frequenz als Klassifikator 231 aus. Grundsätzlich hängt die Erzeugung des Klassifikators von dem Rechenmodell 21 ab. Die dargestellten Beispiele dienen lediglich der Veranschaulichung.
Die von der Auswerteeinheit 2 erzeugten Klassifikatoren 221 , 231 sind in einem Klassifikatorspeicher 24 speicherbar. Zur Identifizierung des mindestens einen Arbeitsbereiches A und/oder einer Situation während der Bearbeitung des mindestens einen Arbeitsbereiches A (Anwendung) sind die Klassifikatoren 221 , 231 durch die Auswerteeinheit 2 und/oder das Bearbeitungswerkzeug 1 von dem Klassifikatorspeicher 24 abrufbar. Dazu kann der Klassifikatorspeicher 24 beispielsweise kabellos mit dem Bearbeitungswerkzeug 1 verbunden sein.
In Fig. 3B ist ein Simulationssystem 6 mit der Auswerteeinheit 2 verbunden. Das Simulationssystem 6 simuliert den Arbeitsbereich A. Es kann dazu genutzt werden, Klassifikatoren 222, 232 zu erzeugen. Ebenso kann das Simulationssystem 6 dazu genutzt werden, simulierte Bilder 120‘ oder Sensordaten 130‘ der Auswerteeinheit 2 zur Verfügung zu stellen. Die simulierten Bilder 120‘ oder Sensordaten 120‘ können zur Erzeugung von Klassifikatoren 222, 232 durch das Rechenmodell 21 genutzt werden. Das Simulationssystem 6 kann insbesondere lösbar mit der Auswerteeinheit 2 verbunden sein. In einer Variante ist das Simulationssystem 6 zum Training mit der Auswerteeinheit 2 verbindbar und während der Anwendung verzichtbar.
Das Simulationssystem 6 in Fig. 3B erzeugt außerdem einen Klassifikator 222, der zur Identifikation eines Arbeitsbereiches A mit einem rechteckigen Bauteil T nutzbar ist. Ein weiterer durch das Simulationssystem 6 erzeugter Klassifikator 232 ist zur Identifikation von Sensordaten mit einer eckigen Wellenform nutzbar. Die von dem Simulationssystem 6 erzeugten Klassifikatoren 222, 232 sind in dem
Klassifikatorspeicher 24 speicherbar. Selbstverständlich kann das Simulationssystem 6 Klassifikatoren 222, 232 für beliebige Arbeitsbereiche A und/oder Situationen erzeugen. Insbesondere können die Klassifikatoren 222, 232 in Echtzeit, also beispielsweise während der Bearbeitung des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 mit dem Simulationssystem 6 erzeugbar sein. Durch das Simulationssystem 6 kann beispielsweise sichergestellt sein, dass Varianten von Arbeitsbereichen A oder Objekten B durch die Auswerteeinheit 2 identifizierbar sind, die nicht anhand von Bildern 120 von Arbeitsbereichen A und Sensordaten 130 trainiert wurden.
In dem in Fig. 4 gezeigten Ausführungsbeispiel umfasst die Vorrichtung eine Steuereinheit 4 zur Steuerung des Bearbeitungswerkzeugs 1 . Die Steuereinheit 4 ist hierzu mit dem Bearbeitungswerkzeug 1 mittels eines Kabels 123 verbunden. Selbstverständlich kann die Steuereinheit 4 mit dem Bearbeitungswerkzeug 1 kabellos, integral oder anderweitig verbunden sein. Insbesondere kann die Steuereinheit 4 auch über die Auswerteeinheit 2 mit dem Bearbeitungswerkzeug 1 verbunden sein. Ebenso kann die Steuereinheit 4 mit dem Bearbeitungswerkzeug 1 und der Auswerteeinheit 2 verbunden sein.
Die Vorrichtung in Fig. 5 umfasst neben einem Simulationssystem 6 eine Kontrolleinheit 3, die dazu ausgebildet ist, zu dokumentieren und/oder zu protokollieren, welche Arbeitsbereiche A durch das Bearbeitungswerkzeug 1 bearbeitet wurden. Die Kontrolleinheit 3 kann hierfür eine Abfolge von Arbeitsbereichen A, die durch das Bearbeitungswerkzeug 1 bearbeitet wurden, speichern. Die Kontrolleinheit 3 ist mit der Auswerteeinheit 2 verbunden. Die Auswerteeinheit 2 leitet also Informationen über die bearbeiteten Arbeitsbereiche A an die Kontrolleinheit 3 weiter. Ebenso kann die Steuereinheit 4 mit der Kontrolleinheit 3 verbunden sein. Die Steuereinheit 4 kann also Informationen über die bearbeiteten Arbeitsbereiche A an die Kontrolleinheit 3 weiterleiten.
Weiterhin ist eine Signalvorrichtung 5 mit der Auswerteeinheit 2 verbunden. Die Signalvorrichtung 5 kann beispielsweise an dem Bearbeitungswerkzeug 1 angeordnet sein. Die Signalvorrichtung 5 kann auch an einer anderen Komponente der Vorrichtung angeordnet sein oder als eine eigenständige Einheit separat ausgebildet sein. Ebenso kann die Signalvorrichtung 5 in eine Komponente der Vorrichtung, beispielsweise die Auswerteeinheit 2, integriert sein. Mittels der Signalvorrichtung 5 ist ein Signal an einen Nutzer des Bearbeitungswerkzeugs 1 ausgebbar. Das Signal dient beispielsweise dazu, dem Nutzer zu signalisieren, dass die Auswerteeinheit 2 einen Fehler festgestellt hat. Ein Fehler kann beispielsweise die Bearbeitung eines falschen Arbeitsbereiches A, die fehlerhafte Bearbeitung eines Arbeitsbereiches A und/oder die Bearbeitung von Arbeitsbereichen A in einer falschen Abfolge sein. Ein Testarbeitsbereich 7 dient zum Kalibrieren der Vorrichtung. Eine Kalibrierung der Vorrichtung kann beispielsweise erforderlich sein, um die Wahrscheinlichkeit der Identifikation eines Arbeitsbereiches A zu erhöhen. An dem Testarbeitsbereich 7 kann beispielsweise überprüfbar sein, ob die Bildaufnahmevorrichtung 12 ordnungsgemäß funktioniert. Insbesondere die Bildaufnahmevorrichtung 12 ist mittels des Testarbeitsbereiches 7 kalibrierbar.
Die Bildaufnahmevorrichtung 12 kann Bilder mittels mindestens einer Kamera erzeugen. Dazu kann die Bildaufnahmevorrichtung 12 an einer bei der Bearbeitung des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 dem Arbeitsbereich A zugewandten Seite des Bearbeitungswerkzeugs 1 angeordnet sein, wie in Fig. 6A gezeigt. Selbstverständlich kann die Bildaufnahmevorrichtung 12 an einer beliebigen Stelle des Bearbeitungswerkzeugs 1 angeordnet sein. Insbesondere kann die Bildaufnahmevorrichtung 12 eine Vielzahl von Kameras umfassen, die an verschiedenen Stellen des Bearbeitungswerkzeugs 1 angeordnet sind. Mittels der Vielzahl von Kameras können Bilder einer Umgebung des Bearbeitungswerkzeugs 1 , eines oder mehrerer Arbeitsbereiche A und/oder verschiedener Perspektiven auf einen Arbeitsbereich A und/oder einer Umgebung des Arbeitsbereiches A durch die Bildaufnahmevorrichtung 12 erzeugbar sein.
Die Bildaufnahmevorrichtung 12 umfasst ein Objektiv 122, dessen optische Achse O einen Arbeitspunkt P schneidet, an dem das Bearbeitungswerkzeug 1 den Arbeitsbereich A bearbeitet. Der Arbeitspunkt P kann dadurch im Zentrum des durch die Bildaufnahmevorrichtung 12 erzeugten Bildes angeordnet sein. Selbstverständlich ist es auch denkbar, dass der Arbeitspunkt P an einer beliebigen Stelle des Bildes angeordnet ist. Zur Verstellung des auf dem Bild gezeigten Ausschnitts des Objekts B kann die Bildaufnahmevorrichtung 12 relativ zu dem Bearbeitungswerkzeug 1 verstellbar sein. Auch ist es denkbar und möglich, dass die Bildaufnahmevorrichtung 12 dazu ausgebildet ist, in einen Arbeitsbereich A hinein und heraus zu zoomen. Hierfür kann die Bildaufnahmevorrichtung 12 mindestens eine Kamera mit einem Zoomobjektiv umfassen. Grundsätzlich kann die optische Achse O eine Einwirkungsachse E, entlang der das Bearbeitungswerkzeug 1 auf den Arbeitsbereich A einwirkt, schneiden, wie in Fig. 7 gezeigt. In dem in Fig. 8 gezeigten Ausführungsbeispiel ist die optische Achse O parallel zu der Einwirkungsachse E erstreckt.
An der Bildaufnahmevorrichtung 12 ist eine Beleuchtungsvorrichtung 14 angeordnet, die den Arbeitsbereich A und einen Teil des Bearbeitungswerkzeugs 1 beleuchtet. Die Beleuchtungsvorrichtung 14 gibt hierfür Licht im Wesentlichen entlang der optischen Achse der Bildaufnahmevorrichtung 12 in Richtung des Arbeitsbereiches A ab. Das Licht der Beleuchtungsvorrichtung 14 beleuchtet insbesondere den Arbeitspunkt P. Selbstverständlich kann die Beleuchtungsvorrichtung 14 Licht jeder beliebigen Wellenlänge in jede beliebige Richtung abgeben. Ebenso ist es denkbar und möglich, dass die Beleuchtungsvorrichtung 14 an einer anderen Stelle des Bearbeitungswerkzeugs 1 wie in Fig. 6B gezeigt und insbesondere an dem mindestens einen Sensor 13 angeordnet ist. Die Beleuchtungsvorrichtung 14 kann eine Vielzahl von Lichtquellen umfassen, die an verschiedenen Stellen des Bearbeitungswerkzeugs 1 angeordnet sind und Licht in jede beliebige Richtung abgeben. Die Beleuchtungsvorrichtung 14 kann ständig Licht abgeben, Licht beim Bearbeiten des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 abgeben oder Licht synchron mit der Aufnahme mindestens eines Bildes durch die Bildaufnahmevorrichtung 12 und/oder der Erzeugung von Sensordaten durch den mindestens einen Sensor 13 abgeben.
Der Sensor 13 ist an einer dem Nutzer abgewandten Spitze des Bearbeitungswerkzeugs 1 , insbesondere der Spitze des Bearbeitungswerkzeugs 1 angeordnet. Grundsätzlich kann der Sensor 13 an jeder beliebigen Stelle des Bearbeitungswerkzeugs 1 und insbesondere innerhalb des Bearbeitungswerkzeugs 1 angeordnet, also integriert, sein. Eine Detektionsachse D des Sensors 13 kann den Arbeitspunkt P auf dem Arbeitsbereich A schneiden, wie in Fig. 7 gezeigt. Die Detektionsachse D kann grundsätzlich entlang einer Richtung erstreckt sein, in der der Sensor 13 die Sensordaten 131 mit der größten Genauigkeit erzeugt. Beispielsweise kann bei einem Sensor 13, der als ein Mikrofon ausgebildet ist, die Detektionsachse D senkrecht zu einer Öffnung des Mikrofons erstreckt sein. Die Detektionsachse D kann insbesondere auch parallel zu der Einwirkungsachse E erstreckt sein, wie in Fig. 8 gezeigt. Grundsätzlich kann die Detektionsachse D in jede beliebige Richtung erstreckt sein. Selbstverständlich ist es auch denkbar und möglich, dass der mindestens eine Sensor 13 Sensordaten 131 in mehrere Richtungen mit größter Genauigkeit erzeugt.
Fig. 9 zeigt einen Arbeitsbereich A mit einer Mutter T. Ein derartiges Bauteil T ist durch die Auswerteeinheit 2 bestimmbar. Insbesondere ist die Position des Bauteils T durch die Auswerteeinheit 2 bestimmbar. Grundsätzlich kann jedes beliebige Bauteil T durch die Auswerteeinheit 2 bestimmbar sein. Zusätzlich kann das Fehlen, also das Nichtvorhandensein eines Bauteils T oder ein fehlerhaftes Bauteil T durch die Auswerteeinheit 2 erkennbar sein.
Fig. 10 zeigt ein Bearbeitungswerkzeug 1 mit einer Verlängerung. Eine derartige Werkzeugkomponente 1 1 kann auf dem mindestens einen Bild 121 abgebildet sein. Die Auswerteeinheit 2 kann dann anhand des Bildes das Vorhandensein der Werkzeugkomponente 1 1 bestimmen. Ebenso kann die Auswerteeinheit 2 eine falsche Werkzeugkomponente 1 1 , die nicht zur Bearbeitung des Arbeitsbereiches A geeignet ist, erkennen. Zur Erkennung durch die Auswerteeinheit 2 über die Bildaufnahmevorrichtung 12 kann die Werkzeugkomponente 1 1 beispielsweise eine Markierung umfassen. Selbstverständlich kann die Werkzeugkomponente 1 1 auch durch den mindestens einen Sensor 13 erkennbar sein.
Fig. 1 1 zeigt eine Bildaufnahmevorrichtung 12, deren Objektive 122a, 122b ringförmig um die Einwirkungsachse E angeordnet sind. Eine Verbindungsgerade zwischen zwei Objektiven 122a, 122b schneidet die Einwirkungsachse E. Eine Vielzahl von Objektiven kann beispielsweise sternförmig um die Einwirkungsachse E angeordnet sein. Eine Vielzahl von Bilder, die durch die Vielzahl von Objektiven aufnehmbar sind, kann eine Vielzahl von Perspektiven des Arbeitsbereiches A zur Verfügung stellen. Andere Anordnungen von Objektiven, beispielsweise verteilt über eine Oberfläche des Bearbeitungswerkzeugs 1 oder in Clustern, sind natürlich denkbar und möglich.
Fig. 12 zeigt ein Ausführungsbeispiel mit einem Industrieschrauber als Bearbeitungswerkzeug 1 . Das Bearbeitungswerkzeug 1 umfasst eine Verlängerung als Werkzeugkomponente 1 1 . Die Bildaufnahmevorrichtung 12 umfasst eine Kamera mit einem Objektiv 122 und ist mittels eines Adapters 15 seitens der Werkzeugkomponente 1 1 mit dem Bearbeitungswerkzeug 1 verschraubt. Ein Kabel
123 ist dazu vorgesehen, die Bildaufnahmevorrichtung 12 mit der Auswerteeinheit 2 zu verbinden. Selbstverständlich ist eine kabellose Verbindung zwischen Bildaufnahmevorrichtung 12 und Auswerteeinheit 2 ebenso denkbar und möglich, wie in Fig. 13 gezeigt.
Die Bildaufnahmevorrichtung 12 erzeugt das mindestens eine Bild 121 von dem mindestens einen Arbeitsbereich A in einem Bereich innerhalb eines Bildaufnahmekegels 124. Der Bildaufnahmekegel 124 schneidet die Werkzeugkomponente 1 1 . Die Werkzeugkomponente 1 1 ist also auch auf dem mindestens einen Bild 121 abgebildet. Selbstverständlich kann der Bildaufnahmekegel
124 andere oder auch keinen Abschnitt des Bearbeitungswerkzeug schneiden. Insbesondere kann der Bildaufnahmekegel 124 mittels einer verstellbaren Bildaufnahmevorrichtung 12 anpassbar sein.
Ein Bild 121 , auf dem die Werkzeugkomponente 1 1 abgebildet ist, ist in Fig. 14 gezeigt. Der Arbeitspunkt P ist im Zentrum des Bildes 121 angeordnet. Die Werkzeugkomponente 1 1 , gebildet durch eine Verlängerung und ein Bit, ist vom Rand des Bildes 121 ins Zentrum zu dem Arbeitspunkt P erstreckt. Merkmale des Arbeitsbereiches A, anhand derer die Auswerteeinheit 2 den Arbeitsbereich A, optional in Kombination mit Sensordaten, identifiziert, sind durch geschlossene Formen und Linien dargestellt. Das Objekt B ist durch ein Fahrzeug gebildet.
Ein weiteres Ausführungsbeispiel ist in Fig. 15A gezeigt. Die Werkzeugkomponente 1 1 ist durch ein Bit gebildet. Mittels der Werkzeugkomponente 1 1 wird in Fig. 15B an einem Arbeitspunkt P ein Bauteil T, gebildet durch eine Schraube, an einem durch einen Fahrzeugsitz gebildeten Objekt B verschraubt. Der Arbeitsbereich A ist durch ein Ende einer Sitzschiene gebildet. Die Bildaufnahmevorrichtung 12 erzeugt in dieser Ausführung mindestens ein Bild 121 der Sitzschiene, des Bits und der Schraube zur Identifizierung des Arbeitsbereiches. Die Fig. 16A-16C zeigen jeweils ein Bild 121 eines Arbeitsbereiches A an einer Kraftfahrzeugtür. Der Winkel des Bearbeitungswerkzeuges 1 in Fig. 16A ist als 0° in einer Bildebene, die im Wesentlichen parallel zum dem Arbeitsbereich A angeordnet ist, definiert. Es sind mehrere wesentliche Merkmale 121 a, 121 b, 121 c, 121 d, 121f, 121g auf dem Arbeitsbereich A sichtbar. Die wesentlichen Merkmale 121 a, 121 b,
121 c, 121 d, 121f, 121g sind durch Löcher, Schrauben und eine Abdeckung gebildet. Das Bearbeitungswerkzeug 1 ist in Fig. 16B um 3° relativ zu dem Bearbeitungswerkzeug 1 in Fig. 16A in der Bildebene gedreht. Durch die Drehung ist ein größerer Abschnitt des wesentlichen Merkmals 121g, das mit einem Rechteck gekennzeichnet ist, sichtbar. Das Bearbeitungswerkzeug 1 in Fig. 16C ist um weitere 5° auf 8° relativ zu Fig. 16C in der Bildebene gedreht. Durch die Drehung haben sich die wesentlichen Merkmale 121a, 121 b, 121c, 121 d, 121f, 121g weiter innerhalb des Bildes 121 verschoben. Ein weiteres wesentliches Merkmal 121 e, das zuvor durch die Werkzeugkomponente 11 verdeckt war, ist sichtbar. Die in Fig. 16A-C gezeigten Bilder bilden eine aufeinanderfolgenden Serie von Bildern. Grundsätzlich haben die Bilder einer Serie von Bildern keinen Bezug zueinander. Mittels der Auswerteeinheit 2 lassen sich die Bilder 121 über die enthaltenen wesentlichen Merkmale 121 a, 121 b, 121 c, 121 d, 121e, 121 f, 121g verknüpfen, um einen Bezug zwischen den Bildern einer Serie von Bilder herzustellen (Feature-Erkennung). Durch die Verknüpfung von Bildern kann ein Wahrscheinlichkeitsgrad den bearbeiteten Arbeitsbereich zu identifizieren erhöhbar sein.
Fig. 17A zeigt einen Arbeitsbereich A eines Kraftfahrzeugs, an dem ein Bauteil T fehlt. Mittels der Vorrichtung ist das Fehlen des Bauteils detektierbar. Dazu bestimmt die Auswerteeinheit 2 das fehlende Bauteil T. Die Auswerteeinheit 2 erkennt also das Fehlen, also das Nichtvorhandensein des Bauteils T, an dem Kraftfahrzeug. Fig. 17B zeigt den Arbeitsbereich A des Kraftfahrzeugs, an dem die Schraube T montiert ist. Bezugszeichenliste
1 Bearbeitungswerkzeug
1 1 Werkzeug komponente
12 Bildaufnahmevorrichtung
120 Bild (Training)
120 Bild (Simulation)
121 Bild
121a, 121 b, 121c, 121d, 121 e, 121f, 121g Wesentliches Merkmal 121 unbekanntes Bild
122, 122a, 122b Objektiv
123 Kabel
124 Bildaufnahmekegel
13 Sensor
130 Sensordaten (Training) 130‘ Sensordaten (Simulation)
131 Sensordaten
131‘ unbekannte Sensordaten
14 Beleuchtungsvorrichtung
15 Adapter
2 Auswerteeinheit
21 Rechenmodell
221 , 222, 231 , 232 Klassifikator
24 Klassifikatorspeicher
3 Kontrolleinheit
4 Steuereinheit
5 Signalvorrichtung
6 Simulationssystem
7 Testarbeitsbereich
8 Hinweisvorrichtung 9 Schnittstelle
A Arbeitsbereich
B Objekt
D Detektionsachse E Einwirkungsachse
O optische Achse
P Arbeitspunkt
51 erster Schritt
52 zweiter Schritt
53 dritter Schritt T Bauteil

Claims

Ansprüche
1 . Vorrichtung mit einem Bearbeitungswerkzeug (1 ) zur Bearbeitung mindestens eines Arbeitsbereiches (A) eines Objekts (B), wobei an dem
Bearbeitungswerkzeug (1 ) eine Bildaufnahmevorrichtung (12) zur Erzeugung von mindestens einem Bild (120, 121 ) des mindestens einen Arbeitsbereiches (A) und mindestens ein Sensor (13) zur Erzeugung von Sensordaten (130, 131 ) während der Bearbeitung des mindestens einen Arbeitsbereiches (A) angeordnet sind, und mit einer Auswerteeinheit (2), dadurch gekennzeichnet, dass die Auswerteeinheit (2) ein Rechenmodell (21 ) aufweist, das mittels maschinellen Lernens anhand von Bildern (120, 120‘, 121 ) von Arbeitsbereichen (A) und Sensordaten (130, 130‘, 131 ) trainiert wurde, mit dem der mindestens eine Arbeitsbereich (A) und/oder eine Situation während der Bearbeitung des mindestens einen Arbeitsbereiches (A) identifizierbar ist.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass das Rechenmodell (21 ) dazu ausgebildet ist, aus mindestens einem Bild (120, 120‘, 121 ) und/oder den Sensordaten (130, 130‘, 131 ) mindestens einen Klassifikator (221 , 231 ) zu erzeugen, der mindestens ein wesentliches Merkmal des mindestens einen Bildes (120, 120‘, 121 ) und/oder der Sensordaten (130, 130‘, 131 ) repräsentiert.
3. Vorrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Auswerteeinheit (2) dazu ausgebildet ist, basierend auf einer Nutzereingabe einen Schlüsselbereich des mindestens einen Bildes (120, 120‘, 121 ) zum Training des Rechenmodells (21 ) und/oder zur Identifizierung des mindestens einen Arbeitsbereiches (A) auszuwählen.
4. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Rechenmodell (21 ) dazu ausgebildet ist, anhand einer Abfolge von Bildern (121 ) und/oder Sensordaten (131 ) einen Montageschritt in einem Montageprozess zu identifizieren.
5. Vorrichtung nach Anspruch 2, gekennzeichnet durch ein Simulationssystem (6), mit dem der mindestens eine Arbeitsbereich (A) zur Erzeugung des mindestens einen Bildes (120‘), der Sensordaten (130‘) und/oder des mindestens einen Klassifikators (222, 232) simulierbar ist.
6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass der mindestens eine Arbeitsbereich (A) während der Einwirkung des Bearbeitungswerkzeugs (1 ) auf den mindestens einen Arbeitsbereich (A) mit dem Simulationssystem (6) simulierbar ist.
7. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (2) dazu ausgebildet ist, in einer Abfolge einer Vielzahl von bekannten Bildern (121 ) und/oder bekannten Sensordaten (131 ), in der mindestens ein unbekanntes Bild (121‘) und/oder mindestens ein Abschnitt von unbekannten Sensordaten (131‘) enthalten ist, das mindestens eine unbekannte Bild (121‘) und/oder den mindestens einen unbekannten Abschnitt von Sensordaten (131‘) zu erkennen.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass das Rechenmodell (21 ) dazu ausgebildet ist, mittels maschinellen Lernens trainiert zu werden, anhand des mindestens einen unbekannten Bildes (121‘) und/oder des mindestens einen Abschnitts von unbekannten Sensordaten (131‘) den mindestens einen bekannten Arbeitsbereich (A) zu identifizieren.
9. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (2) dazu ausgebildet ist, einen Bereich des Objekts (B), der nicht zu bearbeiten ist, zu identifizieren und/oder von dem mindestens einen Arbeitsbereich (A) zu unterscheiden.
10. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das maschinelle Lernen neuronale Netze, faltende neuronale Netze, Bag-of-Words und/oder unkorrelierte Entscheidungsbäume umfasst.
11.Vorrichtung nach einem der vorangegangenen Ansprüche, gekennzeichnet durch eine Kontrolleinheit (3), die dazu ausgebildet ist, eine Abfolge von Arbeitsbereichen (A), die durch das Bearbeitungswerkzeug (1 ) bearbeitet wurden, zu dokumentieren.
12. Vorrichtung nach Anspruch 11 , dadurch gekennzeichnet, dass die Kontrolleinheit (3) dazu ausgebildet ist, eine Abfolge von Arbeitsbereichen (A) zur Bearbeitung durch das Bearbeitungswerkzeug (1 ) vorzugeben.
13. Vorrichtung nach einem der Ansprüche 11 oder 12, dadurch gekennzeichnet, dass die Kontrolleinheit (3) dazu ausgebildet ist, mindestens zwei Arbeitsbereiche (A) in einer Abfolge von Arbeitsbereichen (A) zur Bearbeitung durch das Bearbeitungswerkzeug (1 ) zu gruppieren.
14. Vorrichtung nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass die Kontrolleinheit (3) mit dem Bearbeitungswerkzeug (1 ), der Bildaufnahmevorrichtung (12), dem mindestens einen Sensor (13) und/oder der Auswerteeinheit (2) zum Austausch von Daten verbunden ist.
15. Vorrichtung nach einem der vorangegangenen Ansprüche, gekennzeichnet durch eine Steuereinheit (4), die mit dem Bearbeitungswerkzeug (1 ) und/oder der Auswerteeinheit (2) verbunden ist und mit der das Bearbeitungswerkzeug (1 ) steuerbar ist.
16. Vorrichtung nach einem der Ansprüche 11 bis 14 und Anspruch 15, dadurch gekennzeichnet, dass die Steuereinheit (4) mit der Kontrolleinheit (3) verbunden ist.
17. Vorrichtung nach einem der vorangegangenen Ansprüche, gekennzeichnet durch eine Signalvorrichtung (5) zur Ausgabe eines Signals an einen Nutzer des Bearbeitungswerkzeugs (1 ), mit dem dem Nutzer signalisierbar ist, dass mindestens ein Arbeitsbereich (A) nicht erkannt wurde, mindestens ein Arbeitsbereich (A) fehlerhaft bearbeitet wurde und/oder mindestens ein Arbeitsbereich (A) in einer Abfolge von Arbeitsbereichen (A) nicht bearbeitet wurde.
18. Vorrichtung nach einem der vorangegangenen Ansprüche, gekennzeichnet durch einen Testarbeitsbereich (7) zum Kalibrieren der Vorrichtung, insbesondere der Bildaufnahmevorrichtung (12) und/oder des mindestens einen Sensors (13).
19. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) mindestens eine Beleuchtungsvorrichtung (14) umfasst, die den mindestens einen Arbeitsbereich (A) oder zumindest einen Teil davon und/oder das Bearbeitungswerkzeug (1 ) oder zumindest einen Teil davon beleuchtet und/oder mindestens ein Muster auf den mindestens einen Arbeitsbereich (A) projiziert.
20. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, dass die mindestens eine Beleuchtungsvorrichtung (14) dazu ausgebildet ist, Licht, insbesondere im Infrarotbereich, synchron mit der Aufnahme mindestens eines Bildes (120, 121 ) durch die Bildaufnahmevorrichtung (12) abzugeben.
21 . Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) mindestens eine Kamera, insbesondere mit einem Zoomobjektiv, umfasst.
22. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) mindestens eine Kamera umfasst, die relativ zu dem Bearbeitungswerkzeug (1 ) verstellbar ist.
23. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) mindestens zwei Kameras zur gleichzeitigen Erzeugung von mindestens zwei Bildern des mindestens einen Arbeitsbereiches (A) umfasst.
24. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) dazu ausgebildet ist, eine Vielzahl von Bildern (120, 121 ) vor, während und/oder nach der Einwirkung des Bearbeitungswerkzeuges (1 ) auf den mindestens einen Arbeitsbereich (A) zu erzeugen.
25. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Anzahl der erzeugten Bilder (120, 121 ) pro Zeiteinheit durch die Bildaufnahmevorrichtung (12) variierbar ist.
26. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) dazu ausgebildet ist, basierend auf Sensordaten (130, 131 ) die Erzeugung von Bildern (120, 121 ) automatisch zu starten und/oder zu beenden.
27. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) ein mobiles Endgerät umfasst, wobei der mindestens eine Sensor (13) oder ein Teil der Sensoren (13) optional in das mobile Endgerät integriert sind.
28. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mindestens eine optische Achse (O) mindestens eines Objektivs (122, 122a, 122b) der Bildaufnahmevorrichtung (12) und/oder mindestens eine Detektionsachse (D) des mindestens einen Sensors (13) einen Arbeitspunkt (P) schneidet, in dem das Bearbeitungswerkzeug (1 ) auf den mindestens einen Arbeitsbereich (A) einwirkt.
29. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mindestens eine optische Achse (O) mindestens eines Objektivs (122, 122a, 122b) der Bildaufnahmevorrichtung (12) und/oder mindestens eine Detektionsachse (D) des mindestens einen Sensors (13) parallel zu einer Einwirkungsachse (E), entlang der das Bearbeitungswerkzeug (1 ) auf den mindestens einen Arbeitsbereich (A) einwirkt, erstreckt ist.
30. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Verbindungsgerade zwischen zwei Objektiven (122a, 122b) der Bildaufnahmevorrichtung (12) und/oder zwischen zwei Sensoren (13) eine Einwirkungsachse (E) schneidet, entlang der das Bearbeitungswerkzeug (1 ) auf den mindestens einen Arbeitsbereich (A) einwirkt.
31 .Vorrichtung einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Vielzahl von Objektiven (122a, 122b) der Bildaufnahmevorrichtung (12) und/oder eine Vielzahl von Sensoren (13) ringförmig um eine Einwirkungsachse (E) angeordnet ist, entlang der das Bearbeitungswerkzeug (1 ) auf den mindestens einen Arbeitsbereich (A) einwirkt.
32. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (2) dazu ausgebildet ist, mindestens eine Werkzeugkomponente (1 1 ) des Bearbeitungswerkzeugs (1 ) anhand des mindestens einen Bildes (121 ) zu identifizieren.
33. Vorrichtung nach Anspruch 32, gekennzeichnet durch eine Hinweisvorrichtung (8), die dazu ausgebildet ist, einen notwendigen Austausch der mindestens einen Werkzeugkomponente (1 1 ) des Bearbeitungswerkzeugs (1 ) einem Nutzer des Bearbeitungswerkzeugs (1 ) anzuzeigen und/oder den Austausch der mindestens einen Werkzeugkomponente (1 1 ) mittels Auswertung mindestens eines Bildes (121 ) und/oder Sensordaten (131 ) zu überwachen.
34. Vorrichtung nach einem der Ansprüche 32 oder 33, dadurch gekennzeichnet, dass die Auswerteeinheit (2) dazu ausgebildet ist, einen Grad von Verschleiß der mindestens einen Werkzeugkomponente (1 1 ) zu bestimmen.
35. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (2) dazu ausgebildet ist, mindestens ein Bauteil (T) des Objekts (B), das in dem mindestens einen Arbeitsbereich (A) angeordnet ist, zu identifizieren.
36. Vorrichtung nach Anspruch 35, dadurch gekennzeichnet, dass die Auswerteeinheit (2) dazu ausgebildet ist, anhand des mindestens einen Bildes (121 ) und/oder der Sensordaten (131 ) zu bestimmen, ob ein Bauteil (T) fehlerhaft ist.
37. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) mittels eines Adapters (15) an dem Bearbeitungswerkzeug (1 ) angeordnet ist.
38. Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (12) mit der
Auswerteeinheit (2) zum Austausch von Daten verbunden ist.
39. Vorrichtung nach einem der vorangegangenen Ansprüche, gekennzeichnet durch mindestens eine Schnittstelle (9), die zur Anbindung an ein anderes System vorgesehen ist.
40. Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches (A) eines Objekts (B) mit einem Bearbeitungswerkzeug (1 ), wobei an dem Bearbeitungswerkzeug (1 ) eine Bildaufnahmevorrichtung (12) zur Erzeugung von mindestens einem Bild (120, 121 ) des mindestens einen Arbeitsbereiches (A) und mindestens ein Sensor (13) zur Erzeugung von Sensordaten (130, 131 ) während der Bearbeitung des mindestens einen Arbeitsbereiches (A) angeordnet sind, und mit einer Auswerteeinheit (2), dadurch gekennzeichnet, dass nachdem ein Rechenmodell (21 ) der Auswerteeinheit (2) mittels maschinellen Lernens anhand von Bildern (120, 120‘, 121 ) von Arbeitsbereichen (A) und Sensordaten (130, 130‘, 131 ) trainiert wurde, der mindestens eine Arbeitsbereich (A) und/oder eine Situation während der Bearbeitung des mindestens einen Arbeitsbereiches (A) durch die Auswerteeinheit (2) mit dem Rechenmodell (21 ) identifiziert wird.
41 . Verfahren nach Anspruch 40, dadurch gekennzeichnet, dass das Rechenmodell (21 ) aus mindestens einem Bild (120, 120‘, 121 ) und/oder den Sensordaten (130, 130‘, 131 ) mindestens einen Klassifikator (221 , 231 ) erzeugt, der mindestens ein wesentliches Merkmal des mindestens einen Bildes (120) und/oder der Sensordaten (130) repräsentiert.
42. Verfahren nach einem der Ansprüche 40 oder 41 , dadurch gekennzeichnet, dass das Rechenmodell (21 ) anhand einer Abfolge von Bildern (121 ) und/oder Sensordaten (131 ) einen Montageschritt in einem Montageprozess identifiziert.
43. Verfahren nach einem der Ansprüche 40 bis 42, dadurch gekennzeichnet, dass die Auswerteeinheit (2) in einer Abfolge einer Vielzahl von bekannten Bildern (121 ) und/oder bekannten Sensordaten (131 ), in der mindestens ein unbekanntes Bild (121‘) und/oder mindestens ein Abschnitt von unbekannten Sensordaten (131‘) enthalten ist, das mindestens eine unbekannte Bild (121‘) und/oder den mindestens einen Abschnitt von unbekannten Sensordaten (131‘) erkennt.
44. Verfahren nach Anspruch 43, dadurch gekennzeichnet, dass das Rechenmodell (21 ) mittels maschinellen Lernens trainiert wird, anhand des mindestens einen unbekannten Bildes (121‘) und/oder des mindestens einen Abschnitts von unbekannten Sensordaten (131‘) den mindestens einen bekannten Arbeitsbereich (A) zu identifizieren.
PCT/EP2019/080080 2018-11-05 2019-11-04 Vorrichtung und verfahren zur bearbeitung mindestens eines arbeitsbereiches mit einem bearbeitungswerkzeug WO2020094558A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/291,052 US20210358110A1 (en) 2018-11-05 2019-11-04 Device and Method for Processing at Least One Work Area With a Processing Tool
CN201980087800.2A CN113272817A (zh) 2018-11-05 2019-11-04 用于借助处理工具处理至少一个工作区域的设备和方法
EP19809714.9A EP3877896A2 (de) 2018-11-05 2019-11-04 Vorrichtung und verfahren zur bearbeitung mindestens eines arbeitsbereiches mit einem bearbeitungswerkzeug

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018127518.8A DE102018127518A1 (de) 2018-11-05 2018-11-05 Vorrichtung und Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches mit einem Bearbeitungswerkzeug
DE102018127518.8 2018-11-05

Publications (2)

Publication Number Publication Date
WO2020094558A2 true WO2020094558A2 (de) 2020-05-14
WO2020094558A3 WO2020094558A3 (de) 2020-08-27

Family

ID=68699381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/080080 WO2020094558A2 (de) 2018-11-05 2019-11-04 Vorrichtung und verfahren zur bearbeitung mindestens eines arbeitsbereiches mit einem bearbeitungswerkzeug

Country Status (5)

Country Link
US (1) US20210358110A1 (de)
EP (1) EP3877896A2 (de)
CN (1) CN113272817A (de)
DE (1) DE102018127518A1 (de)
WO (1) WO2020094558A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023104767A1 (de) 2021-12-06 2023-06-15 Workmation GmbH Verfahren und vorrichtung zur erkennung von objekten an einem industriellen arbeitsplatz
DE102022208827A1 (de) 2022-08-25 2024-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Sicherheitseinrichtung und Verfahren zu deren Betrieb

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2584439B (en) * 2019-06-03 2023-02-22 Inspecvision Ltd Projector assembly system and method
US11354796B2 (en) 2020-01-28 2022-06-07 GM Global Technology Operations LLC Image identification and retrieval for component fault analysis
DE102021104661A1 (de) 2021-02-26 2022-09-01 Robert Bosch Gesellschaft mit beschränkter Haftung Bildklassifikator mit Indikatorschicht für Nachvollziehbarkeit der Entscheidungen
CN114662621B (zh) * 2022-05-24 2022-09-06 灵枭科技(武汉)有限公司 基于机器学习的农机作业面积计算方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012219871A1 (de) 2012-10-30 2014-04-30 Marco Systemanalyse Und Entwicklung Gmbh Verfahren und Vorrichtung zur Protokollierung von Verschraubungen

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006014345B3 (de) * 2006-03-28 2007-08-23 Siemens Ag Sichtprüfgerät und Verfahren zu dessen Konfiguration
DE102007041097A1 (de) * 2006-09-04 2008-03-06 Robert Bosch Gmbh Werkzeugmaschinenüberwachungsvorrichtung
EP2275990B1 (de) * 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
WO2012000650A1 (en) * 2010-06-28 2012-01-05 Precitec Kg A method for classifying a multitude of images recorded by a camera observing a processing area and laser material processing head using the same
EP2916189B1 (de) * 2014-03-06 2019-05-08 Hexagon Technology Center GmbH Qualitätsgesicherte Herstellung
DE102014204969A1 (de) * 2014-03-18 2015-09-24 Daimler Ag Verfahren zur Überwachung von Fertigungsvorgängen, sowie zugehörige Überwachungsvorrichtung
CN104933436B (zh) * 2014-03-19 2018-09-14 通用汽车环球科技运作有限责任公司 具有动态完整性评分的基于视觉的多摄像头工厂监测
DE102016118617B4 (de) * 2016-09-30 2019-02-28 Carl Zeiss Industrielle Messtechnik Gmbh Messsystem
WO2018158601A1 (en) * 2017-03-01 2018-09-07 Omron Corporation Monitoring devices, monitored control systems and methods for programming such devices and systems
DE102017121098A1 (de) * 2017-09-12 2019-03-14 Trumpf Werkzeugmaschinen Gmbh & Co. Kg Objektverfolgung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie
JP6697501B2 (ja) * 2018-03-26 2020-05-20 ファナック株式会社 工作システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012219871A1 (de) 2012-10-30 2014-04-30 Marco Systemanalyse Und Entwicklung Gmbh Verfahren und Vorrichtung zur Protokollierung von Verschraubungen

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023104767A1 (de) 2021-12-06 2023-06-15 Workmation GmbH Verfahren und vorrichtung zur erkennung von objekten an einem industriellen arbeitsplatz
DE102022208827A1 (de) 2022-08-25 2024-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Sicherheitseinrichtung und Verfahren zu deren Betrieb

Also Published As

Publication number Publication date
EP3877896A2 (de) 2021-09-15
DE102018127518A1 (de) 2020-05-07
US20210358110A1 (en) 2021-11-18
WO2020094558A3 (de) 2020-08-27
CN113272817A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
WO2020094558A2 (de) Vorrichtung und verfahren zur bearbeitung mindestens eines arbeitsbereiches mit einem bearbeitungswerkzeug
DE102009029478B4 (de) System und Verfahren für einen schnellen ungefähren Fokus
DE102019114117B3 (de) Automatische Workflows basierend auf einer Erkennung von Kalibrierproben
DE102012219187A1 (de) Binäre Klassifikation von interessierenden Elementen in einem reproduzierbaren Prozess
DE102018129425A1 (de) System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
DE102018133533A1 (de) Überprüfungssystem und Verfahren zum Überprüfen von Arbeitsabläufen
DE102012206079A1 (de) Inspizieren von potenziell störenden Eigenschaften in einem maschinellen, visuellen System
EP0999433B1 (de) Vorrichtung und Verfahren zum Erfassen von Schwingungssignalen und/oder Körperschallsignalen
EP3271116B1 (de) Vorrichtung und verfahren zum verschrauben von gegenständen
WO2015074763A1 (de) Anordnung mit einem ventil und verfahren zum betreiben einer anordnung
DE102016109030A1 (de) Verfahren zum Bewerten eines Scheinwerfers
EP3993959A1 (de) Durchführen einer applikation mithilfe wenigstens eines roboters
WO2020074722A1 (de) Verfahren und robotersystem zur eingabe eines arbeitsbereichs
EP3098033A1 (de) Ermittlung der roboterachswinkel und auswahl eines roboters mit hilfe einer kamera
EP3608701A1 (de) Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
EP3635680A1 (de) Computerimplementiertes verfahren und vorrichtung zum automatischen generieren von gekennzeichneten bilddaten und analysevorrichtung zum überprüfen eines bauteils
DE102017128032A1 (de) Codelesevorrichtung und Verfahren zur Online-Verifikation eines Codes
EP3876149A1 (de) Verfahren zum physikalischen, insbesondere zum optischen, erfassen zumindest eines nutzungsobjektes
EP1487616B1 (de) Automatische prozesskontrolle
DE102018113989B4 (de) Fertigungsvorrichtung und verfahren
DE102014212141A1 (de) Vorrichtung und Verfahren zum Identifizieren und Integrieren von elektrischen Bauteilen in Anlagen
DE102020006160A1 (de) Verfahren zur Lageerkennung eines Objekts mittels eines Lageerfassungssystems, Verfahren zum Bearbeiten eines Objekts sowie Lageerfassungssystem
DE102008005034A1 (de) Überwachungsvorrichtung
DE102014221753A1 (de) Verfahren zum Führen eines Werkers während einer Montage
WO2016173582A1 (de) Verfahren zur gewinnung von informationen aus einem kodierkoerper, system mit einem kodierkoerper, computerprogrammprodukt und datenspreichermittel

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19809714

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019809714

Country of ref document: EP

Effective date: 20210607