WO2022246579A1 - Verfahren zur durchführung eines chemischen arbeitsablaufs - Google Patents

Verfahren zur durchführung eines chemischen arbeitsablaufs Download PDF

Info

Publication number
WO2022246579A1
WO2022246579A1 PCT/CH2022/050011 CH2022050011W WO2022246579A1 WO 2022246579 A1 WO2022246579 A1 WO 2022246579A1 CH 2022050011 W CH2022050011 W CH 2022050011W WO 2022246579 A1 WO2022246579 A1 WO 2022246579A1
Authority
WO
WIPO (PCT)
Prior art keywords
laboratory
workflow
work
recorded
employee
Prior art date
Application number
PCT/CH2022/050011
Other languages
English (en)
French (fr)
Inventor
Rolf Gueller
Markus Schindler
Mathias CHERBUIN
Original Assignee
Chemspeed Technologies Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chemspeed Technologies Ag filed Critical Chemspeed Technologies Ag
Priority to GB2317583.9A priority Critical patent/GB2621745A/en
Priority to CN202280038157.6A priority patent/CN117396760A/zh
Priority to DE112022002843.2T priority patent/DE112022002843A5/de
Publication of WO2022246579A1 publication Critical patent/WO2022246579A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N35/00871—Communications between instruments or with remote terminals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N2035/00891—Displaying information to the operator
    • G01N2035/0091—GUI [graphical user interfaces]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G01N35/04—Details of the conveyor system
    • G01N2035/0474—Details of actuating means for conveyors or pipettes
    • G01N2035/0491—Position sensing, encoding; closed-loop control

Definitions

  • the invention relates to a method for carrying out a chemical workflow according to the preamble of independent claim 1.
  • Processes and technologies are also widely used in which, for example, the work instructions for a chemical experiment or the manufacture of a chemical product are no longer written on paper, but using electronic devices such as a desktop or laptop PC, tablet, smartphone or data glasses for made available to the lab worker, who then uses this electronic information to perform his or her work steps manually, with automated manufacturing equipment, or with a combination of manual and automated steps.
  • Interactive systems are also being used more and more, in which, for example, a recording device records the devices in a laboratory and even recognizes their position, and makes the information relevant to the laboratory worker directly visible, for example via data glasses, as soon as he or she picks up the device optically detected. In this way, the laboratory worker can be guided step by step through the work steps without having to read and work through printed instructions.
  • US 2019/0018694 A1 discloses a virtual laboratory assistance platform that can provide a laboratory employee with information that is necessary or helpful for carrying out a chemical experiment and can, for example, guide a user step by step through a scientific protocol and can also electronically record and log a workflow. It is not shown how reworkable work instructions can be created.
  • Document CN 111659483 B discloses the planning, instructional translation and automated execution of a chemical workflow. Instructions are generated here by planning a workflow.
  • the aim of the invention is to create a method of the generic type which allows detailed work instructions to be created automatically, using which the same work process or a modified work process based thereon can be repeated or carried out manually and/or automatically.
  • the essence of the method according to the invention is as follows: In a method for carrying out a chemical workflow, the workflow is processed step by step manually and/or automatically.
  • the workflow is recorded while it is being processed using a recording device, and the recording created in this way is evaluated by a computer and translated into instructions which include detailed work instructions for a laboratory employee and/or at least one automated laboratory device, using which work instructions the recorded workflow can be manually and/or can be repeated automatically or a modified workflow can be created based on it.
  • the method according to the invention makes it possible, on the basis of a work process that has been carried out, to automatically and easily create detailed work instructions for the manual and/or automated repetition of the work process or an adapted work process based thereon.
  • the recording device for recording the workflow is portable and has augmented reality or mixed reality or virtual reality capabilities.
  • the recording device advantageously has the ability to record the position and movement of the recording device within a laboratory space in which the recorded workflow is performed.
  • Recording s device used which is equipped with a capability for object detection and object tracking within the laboratory space, with positions and / or changes in position of the objects are recorded in the laboratory space. This allows the recording to be supplemented with information about the objects used and their movements.
  • sensor information such as UV radiation and/or IR radiation and/or radioactive radiation and/or thermal radiation and/or radiation of other wavelengths and/or vibrations and/or touches is also recorded while the workflow is being processed. This allows the recording to be further supplemented.
  • the sensor information is displayed superimposed on a visual image in a display device and/or displayed or displayed via an information device in a laboratory room. This allows, for example, a laboratory employee to react to the sensor information.
  • Information recorded during the workflow is advantageously translated into adaptable work instructions for a laboratory employee and/or at least one automated laboratory device, using which work instructions the recorded workflow or a modified workflow based thereon can be processed.
  • the information that the laboratory employee needs to carry out or record the translated workflow is transmitted to the laboratory employee using a portable display device, with the information being displayed virtually in such a way that the laboratory employee can directly link it to the associated work step and/or the For the work step used laboratory device can be associated, the virtual information a real or virtually represented laboratory space and / or located therein Laboratory devices are shown superimposed. This makes it easier for the laboratory worker to get an overview.
  • the workflow prior to execution, is programmed in digital form and translated into instructions comprising detailed work instructions for a laboratory worker and/or at least one automated laboratory device used to perform the workflow manually and/or automatically.
  • this device with augmented reality or mixed reality or virtual reality capabilities is presented to a laboratory worker performing the workflow as step-by-step instructions using a portable display and recording device, with the display and Recording device is connected to a computer which controls the workflow.
  • video recordings are created, abstracted and displayed in abstract form as work instructions superimposed on a visible work area of the laboratory worker in order to show the laboratory worker the work steps to be carried out.
  • the representation preferably takes place by means of an augmented reality device.
  • the display and recording device is equipped with sensors for detecting environmental conditions and environmental conditions detected by the sensors are assigned to the visible objects by the portable display and recording device as physical parameters and are displayed and digitally logged in a way that is understandable for the laboratory worker.
  • a laboratory worker retrieves existing work instructions, whereupon they are translated and sequenced into discrete work steps by an automatic system, after which these discrete work steps are translated into new work instructions or integrated into existing work instructions.
  • Inputs are advantageously made during the execution of the work sequence in order to enter parameters that deviate from the work instructions or are to be supplemented, with a value specified by the work instructions and the value of the parameter entered being also recorded.
  • the chemical workflow is advantageously carried out remotely, with a remote partner having access via a network connection to all information available to a local laboratory employee and/or at least one automated laboratory device and to an image visually captured by the local laboratory employee and/or the at least one automated laboratory device and can interact with the local laboratory employee and/or the at least one automated laboratory system in order to instruct the local laboratory employee and/or the at least one automated laboratory device and/or to make entries himself and/or to operate or control laboratory devices himself.
  • the remote partner creates the work instructions for the workflow and the local laboratory employee and/or the at least one automated laboratory device carries out the workflow using these work instructions and records it during implementation.
  • Existing work instructions in text form or an existing document with work instructions in text form are advantageously recognized and processed by means of an automatic text recognition system.
  • Sensors for detecting UV radiation and/or IR radiation and/or radioactive radiation and/or heat radiation and/or radiation of other wavelengths and/or vibrations and/or touches are expediently used.
  • warnings and/or work instructions are automatically output to the portable display and recording device and/or visual or acoustic warning systems.
  • individual work steps of the work instructions are presented as graphic animations that show a laboratory worker specifically what action he has to carry out in a work step and how.
  • FIG. 1 shows a schematic basic arrangement of a device for carrying out the method according to the invention
  • Fig. 2 - a schematic representation of the digitization of a laboratory
  • FIG. 4 - a schematic representation of an example of laboratory space (actually seen image);
  • Fig. 5 an artificially generated graphic information
  • 6 shows a representation of the artificially generated information superimposed on the real image by means of an augmented reality device
  • Figure 7 shows an example of graphical information displayed during the execution of a workflow
  • FIG. 8 another example of such graphic information.
  • the device shown schematically in Fig. 1 comprises a laboratory room 100, a recording device 2, a computer 3, a display device 4, a screen 5 and an input device 6.
  • laboratory devices which are symbolized here by circles 101 .
  • Various sensors are also located in the laboratory room 100, which are indicated here by a square 102 as representative.
  • an information device 103 for the optical or acoustic display of information.
  • the recording device 2 includes a video camera 21 and various sensors, which are represented by a square 22 symbolized here.
  • the video camera 21 is aimed at the laboratory room 100 and captures the objects located therein and their movements.
  • the sensors 22 detect physical parameters of the environment, in particular in the laboratory room 100 or the objects located therein.
  • the recording device 2 only records (and, if necessary, digitizes) the data from the video camera 21 and the sensors 22 and 102; this data is stored in the computer 3.
  • the display device 4 shows various information, in particular work instructions, on a graphic display.
  • the recording s device 2 and the display device 4 are in practice advantageously combined into a portable recording and display device 200 and can advantageously by a portable device with augmented reality or mixed reality or virtual reality capabilities, such as the device HoloLens ® from Microsoft ®, implemented.
  • 1 also shows a database 7 which contains the data from so-called digital twins of the laboratory devices located in the laboratory room 100 .
  • the database 7 is connected to the computer 3, but can of course also be stored in the computer 3 itself.
  • a special feature of devices with augmented reality or mixed reality or virtual reality capabilities is that they can display artificially generated information directly superimposed on the real world (augmented reality or mixed reality) or in a virtual space (virtual reality).
  • information can be presented to the wearer of such devices in such a way that it overlays real objects, points to them, or even visually emphasizes them in order to make them more visible .
  • a previously digitized container is focused, it can show what is in it and in what quantities, or it can be highlighted to show that something can or should be done with it.
  • the virtual representation can also show things or situations that are not visible to the naked eye.
  • an object recognized as dangerously hot by an IR camera contained in the device can be highlighted with a luminous color in order to warn the wearer of the device of the risk of burns.
  • moving parts in a container, such as stirrers, etc. can be shown superimposed in animated form, even if they are not visible from the outside.
  • the computer 3 works with the recording device 2, the display device 4 and the information device 103 in the laboratory room 100 and also controls the laboratory devices located in the laboratory room, insofar as they are designed for control by a computer. Furthermore, the computer 3 carries out all the operations required in connection with the method according to the invention. This includes storing the data recorded by the recording device 2, evaluating and processing the same and outputting data and information to the display device 4 and the information device 103. The screen 5 and the input device 6 serve as a user interface. On the computer 3 runs a trained for the evaluation and processing of the data Software 31. The operating system and memory of the computer 3 are not shown in FIG.
  • a chemical laboratory or a corresponding production facility is first digitized.
  • the infrastructure (rooms, devices, but also substances, tools) are modeled and the individual elements are assigned properties and functions, and a so-called digital twin (“digital twin") is created for each individual element or object, which contains this object in the virtual world and data structure represented.
  • digital twin digital twin
  • Fig. 2 illustrates the digitization of a laboratory.
  • the laboratory space is simulated as a three-dimensional virtual object.
  • This can be done, for example, by modeling the room in a 3D program (CAD program).
  • the creation of the model can also be semi-automated or automated by using common 3D scanning methods (e.g. laser scan) or photogrammetric methods.
  • the 3D model of the room is automatically calculated using a specialized program based on a large number of photos taken from different positions in the room.
  • Such methods are familiar to the person skilled in the art and are often used, for example, in architecture, archeology and art history in order to convert existing rooms, for example historical buildings and their interiors, into a 3D model simply but with great attention to detail.
  • the movable elements of a laboratory e.g. tools and aids, but also consumables or substance containers stored in the laboratory, etc.
  • 3D model e.g. tools and aids, but also consumables or substance containers stored in the laboratory, etc.
  • a next step 72 consists of the assignment of functions and properties to the respective individual models or model parts.
  • a model of a pipette is assigned its properties (pipetting volume, consumables, accuracy, ...) and stored in a database.
  • a three-dimensional model of the laboratory space and the laboratory devices contained therein is created.
  • the data for a laboratory object also directly contain the current position of the object within the model of the laboratory space, ie the pipette mentioned in the example would have a known, clearly defined current position in the 3D model of the laboratory.
  • a model of a laboratory device such as a scale or an analysis device, is associated with its position and properties and stored accordingly.
  • Fig. 3 shows the sequence of the method according to the invention in a simplified manner as a sequence of different phases and work steps.
  • work instructions are generated from a work sequence that is actually carried out, by means of which the same work sequence can be repeated in a guided manner or on the basis of which modified work sequences can be created (and later processed in a guided manner ) can become.
  • a laboratory employee carries out a desired chemical workflow (e.g. an experiment or a test reaction) more or less freely (or according to e.g. written instructions) and records his work steps using the recording device 2.
  • the laboratory employee can make entries (e.g. which step he takes with which device and which parameters).
  • information supplied by connected devices is also automatically recorded.
  • a step 302 the recorded workflow is evaluated by the software 31 in the computer 3 and, using the digital twins of the objects in the laboratory room 100 stored in the database 7, is converted into a sequence of executable ones Work instructions 304 translated.
  • the result is step-by-step instructions that can be displayed step by step as a sequence of individual work steps using the display device 4 . All individual work steps are precisely defined (e.g. with which devices and tools what should be done when and how) and parameterized.
  • step 303 the recorded workflow or the work instructions generated from it are adjusted if necessary.
  • the work instructions 304 generated in this way can now be used in an implementation phase for manual (box 401) or automated (box 402) repeated processing of the workflow.
  • the completed workflow is also recorded again.
  • a step 403 the executed workflow and its results etc. are stored and the recorded workflow is evaluated and analyzed. Based on this, the further optional step 303 can then be carried out if required for further executions of the workflow.
  • the user or laboratory employee can also base his workflow on already existing workflows and adapt them.
  • Existing documents e.g. earlier logs and work instructions
  • existing documents e.g. earlier logs and work instructions
  • these translated work instructions can be sequenced into individual work steps, which in turn can then be can be used as individual work steps in the new workflow.
  • text recognition systems can also be used here, which translate work instructions that have been scanned, photographed or otherwise visually recorded into a format suitable for machines.
  • a workflow is recorded and implemented for later use.
  • a laboratory employee leads a workflow in the real laboratory, with the real laboratory devices and substances through.
  • the recording device 2 which records his activities (eg by filming the actions).
  • this recording device is part of the augmented reality or mixed reality device 200, which is also capable of displaying or displaying additional information on the recorded image or video. to overlay this.
  • the recording device 2 independently recognizes and/or tracks the recorded elements and their assignment to the corresponding digital twins and displays the information relevant to the laboratory worker on the display of the display device 4 .
  • the objects can advantageously be recognized using object recognition software in the software 31 or barcodes or QR codes (which are then scanned and recognized, for example, by the camera 21 of the recording device 2).
  • the identification and recognition of the position and alignment in space can also be carried out using a type of multi-point identification system:
  • four or more reference points for example made of a reflective, clearly visible material, are attached to the object as a three-dimensional pattern in such a way that their pattern and Alignment recognized by a camera (advantageously the mentioned video camera 21 installed in the recording device 2) and the identity, position and spatial alignment can be clearly recognized.
  • This is a method that is known and established in many virtual reality applications (for example so-called “full body virtual games”). It is also possible to recognize and track the identity and position of the objects in the laboratory space using suitable sensors and markers (e.g. RFI chips) attached to the objects.
  • the recording device 2 together with the display device 4 consists of an augmented reality or mixed reality device that can be worn on the head like glasses, such as the commercially available Microsoft® HoloLens®, which displays information directly in the eye of the wearer can project that this information is superimposed on the real perceived image like a hologram.
  • an augmented reality or mixed reality device that can be worn on the head like glasses, such as the commercially available Microsoft® HoloLens®, which displays information directly in the eye of the wearer can project that this information is superimposed on the real perceived image like a hologram.
  • a display device is used to display the work instructions, in which on the one hand the real work environment (laboratory or work area with all devices, tools, aids, materials, ...) is visible or displayed. At the same time, however, additional information is displayed graphically, which overlays the real objects.
  • This can be implemented, for example, with so-called augmented reality devices such as the Microsoft® HoloLens®.
  • augmented reality devices such as the Microsoft® HoloLens®.
  • FIGS. 4-6 An example is shown here in which a laboratory worker guided by a method according to the invention is to transfer liquid from one container to another container using a pipette.
  • Fig. 4 is a very simplified representation of a laboratory room as seen by a laboratory worker: on a work surface 51 there are devices or objects such as a pipette 52, a container 53 with fresh pipette tips 54 for the pipette 52, a container 55 with a Liquid and a target vessel 56.
  • devices or objects such as a pipette 52, a container 53 with fresh pipette tips 54 for the pipette 52, a container 55 with a Liquid and a target vessel 56.
  • the positions of the individual objects described are known to the data processing system and the system knows, so to speak, which objects have which properties and functions.
  • FIG. 6 now shows how this graphic information is displayed superimposed on the real objects in the field of view of the laboratory worker using an augmented reality device such as the Microsoft® HoloLens®.
  • the information relevant to the current work step is highlighted graphically.
  • the first step 61 of the workflow the lab worker picking up the pipette 52 and attaching a suitable pipette tip 54, is highlighted in the list of work steps (e.g. with different colors, stronger/less transparent representation, etc., in Fig 6 symbolized by thicker edges), while the other, subsequent and not yet current work steps 62, 63 are shown with less emphasis.
  • the object-specific information for the currently relevant objects here the pipette 52, the tip container 53 and a pipette tip 54
  • the laboratory worker immediately recognizes which objects he should be using at the moment.
  • the laboratory employee carries out the required work step using the information superimposed on the real objects (here: take the pipette 52 and put a tip 54 from the container 53 onto the pipette 52) and confirms or acknowledges the completion of this work step .
  • This can advantageously take place via an input on an input device (keyboard, mouse, touchscreen by clicking on a control symbol 65 or pressing a button on the input device 6) or in a further advantageous embodiment via voice control.
  • the computer 3 or the software 31 running on it could also recognize itself that the work step has been completed because it recognizes that a tip 54 is now mounted on the pipette 52, for example by comparing the spatial Positions of the objects involved, and then independently switch to the next task step (here step 62 "Sucking up 0.5 ml of liquid from container A"), and again highlighting the now relevant information.
  • Sensors are advantageously used for the method according to the invention, either in the laboratory room 100 itself and/or directly on the portable recording device 2, for example to take pictures/recordings in visible and non-visible wavelength ranges (UV, IR), but also other radiation (radioactivity ), vibrations, acoustic signals, temperature, humidity, gas and particle concentrations, etc.
  • the method according to the invention can also be expanded to the extent that the implementation phase, in which a work sequence is processed using previously created work instructions, takes place at a different location than the creation of the work instructions.
  • the workflow is performed by a local laboratory employee, again using the described recording and display device 200 based on augmented reality technology and based on work instructions 304 that a remote partner has previously created.
  • the remote partner can monitor the work process of the local laboratory employee and correct or adapt individual steps if necessary.
  • Today's augmented reality devices usually have one Camera that records what the wearer of the device is seeing.
  • the laboratory Via a network connection between the laboratory (or local laboratory employee) and the remote partner, the latter always receives all recorded data and the video feed of the local laboratory employee in real time and can interact with the local laboratory employee via a voice connection, for example, and instruct them.
  • the remote partner can also change the workflow currently being processed by adapting (reprogramming) work steps that have not yet been completed if the need is identified.
  • the local laboratory employee is then presented with the new, modified version directly as work instructions using his recording and display device.
  • such a remote control can also be used by a non-laboratory partner for automated systems and devices, such as are now widespread in the automated laboratory environment.
  • a remote partner could create work instructions for an automated laboratory system, have it carry out a work process remotely, but, in the same way as in the case with the local laboratory employee, intervene in a controlling manner and thus monitor and remotely control the automated laboratory system. This allows a previously unattainable level of flexibility in the planning and execution of chemical work processes.
  • step 301 The implementation of the (own) workflow and its recording in step 301 is advantageously carried out by means of a recording and display device 200 described above, which shows the laboratory employee for each work step suitable options and allows them to select them. This includes, in particular, work steps, objects and activities and associated parameters.
  • FIGS. 7 and 8 real objects are not shown in graphic form and only the information graphics that are displayed for the laboratory employee by the recording and display device 200 are shown.
  • FIG. 7 shows a first recording step, in which suitable selection options are presented to the laboratory worker.
  • a Select object selection button 81 for a first work step 61 with which object he would like to work, e.g Parameter entry button 83 he can enter which parameters are to apply.
  • a control keyboard, mouse, but advantageously also by visually sighting a displayed selection field (here 811, 812, 813, 814) or advantageously via voice control, he first selects the desired object (here pipette 811).
  • the laboratory employee then proceeds in the same way for the next work steps 62 and 63, again with the selection of the desired objects, actions and input of the required parameters, and in this way records the entire workflow he has carried out.
  • This recorded workflow is then subsequently translated by the software 31 into (electronic or digital) work instructions, which can be reused either unchanged or in an adapted manner.
  • additional sensor inputs can advantageously be used, as described above, in order to record the environmental conditions during the work process and to supplement the data that can be evaluated later.
  • sensor data e.g. measured temperatures, but also thermal images that provide indications of hot/cold devices
  • other physical parameters can be automatically recorded and used later.
  • Recorded video recordings can be abstracted and displayed in abstracted form as work instructions when carrying out subsequent work processes in order to show the user the work steps to be carried out.
  • the representation preferably takes place by means of an augmented reality device superimposed on the work area visible to the user.
  • the method according to the invention also allows an iterative procedure.
  • a first laboratory employee could freely perform and record a workflow in the laboratory and create work instructions from it, after which another laboratory employee creates another workflow based on it, which is available to the first laboratory employee, who then in turn performs and records this new workflow and from it new work instructions are created.
  • work processes in the chemical industry can be further developed iteratively and chemical manufacturing and testing methods and processes can be improved.

Abstract

Bei einem Verfahren zur Durchführung eines chemischen Arbeitsablaufs wird der Arbeitsablauf schrittweise manuell und/oder automatisiert abgearbeitet. Der Arbeitsablauf wird während seiner Abarbeitung mittels einer Aufzeichnungsvorrichtung (2, 200) aufgezeichnet und die so erzeugte Aufzeichnung mittels eines Rechners (3) ausgewertet und in Instruktionen übersetzt, welche detaillierte Arbeitsanweisungen (304) für einen Labormitarbeiter oder eine automatisierte Laborvorrichtung (101) umfassen, anhand welcher Arbeitsanweisungen (304) der aufgezeichnete Arbeitsablauf manuell und/oder automatisiert wiederholt werden kann oder darauf basierend ein veränderter Arbeitsablauf erstellt werden kann.

Description

Verfahren zur Durchführung eines chemischen Arbeitsablaufs
Die Erfindung betrifft ein Verfahren zur Durchführung eines chemischen Arbeitsablaufs gemäss dem Oberbegriff des unabhängigen Patentanspruchs 1.
Mit der rasanten Entwicklung der Digitalisierung halten mehr und mehr auch elektronische Aufnahme- / Darstellungstechnologien und Datenverarbeitungsverfahren ihren Einzug in chemische Labors und chemienahe Industrien. Bereits jetzt ist es Standard, dass etwa Substanzen und ihre Eigenschaften, aber auch ihre Verfügbarkeit in einem Labor oder Lager, in elektronischen Datenbanken gespeichert und verwendet werden. Zudem liegen heute auch die eigentlichen Arbeitsanweisungen für chemische Versuche und Herstellung chemischer Produkte sowie die entsprechenden Analysen und Resultate meist in elektronischer, d.h. digitaler, Form vor. Verbreitet kommen auch Verfahren und Technologien zum Einsatz, bei denen etwa die Arbeitsanweisungen für einen chemischen Versuch oder die Herstellung eines chemischen Produkts nicht mehr auf Papier, sondern mittels elektronischer Geräte wie beispielsweise einem Desktop- oder Laptop-PC, Tablet, Smartphone oder über Datenbrillen für den Laborarbeiter zur Verfügung gestellt werden, der dann anhand dieser elektronischen Informationen seine Arbeitsschritte manuell, mit einer automatisierten Herstellungsvorrichtung oder einer Kombination aus manuellen und automatisierten Schritten durchführt. Vermehrt verwendet man dabei auch interaktive Systeme, bei denen etwa eine Aufzeichnung s- vorrichtung die Geräte in einem Labor aufzeichnet und sogar deren Position erkennt, und die für den Laborarbeiter relevanten Informationen dazu, beispielsweise über eine Datenbrille, direkt sichtbar macht, sobald er das Gerät optisch erfasst. So kann der Laborarbeiter schrittweise durch die Arbeits schritte geführt werden, ohne dazu gedruckte Anleitungen durchlesen und durcharbeiten zu müssen.
Die US 2019/0018694 Al offenbart eine virtuelle Laborassistenzplattform, die einen Labormitarbeiter mit zur Durchführung eines chemischen Experiments notwendigen oder hilfreichen Informationen versorgen kann und beispielsweise einen Nutzer schrittweise durch ein wissenschaftliches Protokoll führen kann und auch eine elektronische Aufzeichnung und Protokollierung eines Arbeitsablaufs vornehmen kann. Nicht gezeigt ist, wie nacharbeitbare Arbeitsanweisungen erstellt werden können. Das Dokument CN 111659483 B offenbart die Planung, Übersetzung in Instruktionen und automatische Durchführung eines chemischen Arbeitsablaufs. Instruktionen werden hier durch Planung eines Arbeitsablaufs erzeugt.
Durch die Erfindung soll ein Verfahren der gattungsgemässen Art geschaffen werden, welches es gestattet, automatisch detaillierte Arbeitsanweisungen zu erstellen, anhand welcher derselbe Arbeitsablauf oder darauf basierend ein abgewandelter Arbeitsablauf manuell und/oder automatisiert wiederholt bzw. durchgeführt werden kann.
Diese der Erfindung zugrundeliegende Aufgabe wird durch das im unabhängigen Patentanspruch 1 beschriebene erfindungsgemässe Verfahren gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen des erfindungsgemässen Verfahrens sind Gegenstand der abhängigen Patentansprüche.
Das Wesen des erfindungsgemässen Verfahrens besteht im Folgenden: Bei einem Verfahren zur Durchführung eines chemischen Arbeitsablaufs wird der Arbeitsablauf schrittweise manuell und/oder automatisiert abgearbeitet. Der Arbeitsablauf wird während seiner Abarbeitung mittels einer Aufzeichnungsvorrichtung aufgezeichnet und die so erzeugte Aufzeichnung wird mittels eines Rechners ausgewertet und in Instruktionen übersetzt, welche detaillierte Arbeitsanweisungen für einen Labormitarbeiter und/oder mindestens eine automatisierte Laborvorrichtung umfassen, anhand welcher Arbeitsanweisungen der aufgezeichnete Arbeitsablauf manuell und/oder automatisiert wiederholt werden kann oder darauf basierend ein veränderter Arbeitsablauf erstellt werden kann.
Das erfindungsgemässe Verfahren ermöglicht es, anhand eines eines durchgeführten Arbeitsablauf auf einfache Weise automatisch detaillierte Arbeitsanweisungen zur manuellen und/oder automatisierten Wiederholung des Arbeitsablaufs oder eines darauf basierenden angepassten Arbeitsablaufs zu erstellen.
Vorteilhafterweise ist die Aufzeichnungs Vorrichtung zur Aufzeichnung des Arbeitsablaufs tragbar und weist Augmented Reality- oder Mixed Reality- oder Virtual Reality-Fähigkeiten auf. Dabei verfügt die Aufzeichnungs Vorrichtung vorteilhafterweise über die Fähigkeit zur Aufzeichnung der Position und der Bewegung der Aufzeichnung s Vorrichtung innerhalb eines Laborraums, in welchem der aufgezeichnete Arbeitsablauf durchgeführt wird. Vorteilhafterweise wird eine
Aufzeichnung s Vorrichtung eingesetzt, welche mit einer Fähigkeit zur Objekterkennung und Objektverfolgung innerhalb des Laborraums ausgestattet ist, wobei auch Positionen und/oder Positionsveränderungen der Objekte im Laborraum aufgezeichnet werden. Dadurch kann die Aufzeichnung durch Informationen über verwendete Objekte und deren Bewegungen ergänzt werden.
Vorteilhafterweise werden während der Abarbeitung des Arbeitsablaufs auch Sensor- Informationen wie UV-Strahlung und/oder IR-Strahlung und/oder radioaktive Strahlung und/oder Wärmestrahlung und/oder Strahlungen anderer Wellenlängen und/oder Vibrationen und/oder Berührungen aufgezeichnet. Damit kann die Aufzeichnung weiter ergänzt werden.
Vorteilhafterweise werden die Sensor-Informationen in einer Darstellungsvorrichtung einem visuellen Bild überlagert dargestellt und/oder über eine Informationsvorrichtung in einem Laborraum angezeigt bzw. dargestellt. Dadurch kann z.B. ein Labormitarbeiter auf die Sensor- Informationen reagieren.
Vorteilhafterweise werden während des Arbeitsablaufs aufgezeichnete Informationen in anpassbare Arbeitsanweisungen für einen Labormitarbeiter und/oder mindestens eine automatisierte Laborvorrichtung übersetzt, anhand welcher Arbeitsanweisungen der aufgezeichnete Arbeitsablauf oder ein darauf basierender, abgeänderter Arbeitsablauf abgearbeitet werden kann.
Vorteilhafterweise werden die Informationen, die der Labormitarbeiter benötigt, um den übersetzten Arbeitsablauf durchzuführen respektive aufzuzeichnen, mittels einer tragbaren Darstellungsvorrichtung an den Labormitarbeiter übermittelt, wobei die Informationen virtuell so dargestellt werden, dass sie durch den Labormitarbeiter direkt mit dem dazugehörigen Arbeits schritt und/oder der für den Arbeits schritt verwendeten Laborvorrichtung assoziiert werden können, wobei die virtuellen Informationen einem reellen oder virtuell dargestellten Laborraum und/oder den darin befindlichen Laborvorrichtungen überlagert dargestellt werden. Dies erleichtert dem Labormitarbeiter den Überblick.
Vorteilhafterweise wird der Arbeitsablauf vor seiner Ausführung in digitaler Form programmiert und in Instruktionen übersetzt, welche detaillierte Arbeitsanweisungen für einen Labormitarbeiter und/oder mindestens eine automatisierte Laborvorrichtung umfassen, die für die manuelle und/oder automatisierte Durchführung des Arbeitsablaufs verwendet werden.
Vorteilhafterweise wird während der Durchführung des vorgängig programmierten Arbeitsablaufs dieser mittels einer tragbaren Darstellungs- und Aufzeichnung s Vorrichtung mit Augmented Reality- oder Mixed Reality- oder Virtual Reality-Fähigkeiten einem den Arbeitsablauf durchführenden Labormitarbeiter als Schritt für Schritt- Anleitung dargestellt, wobei die Darstellungs- und Aufzeichnungs vorrichtung mit einem Rechner, welcher den Arbeitsablauf steuert, verbunden ist.
Vorteilhafterweise werden Video-Aufzeichnungen erstellt, abstrahiert und in abstrahierter Form als Arbeitsanweisungen einem sichtbaren Arbeitsbereich des Labormitarbeiters überlagert dargestellt, um dem Labormitarbeiter die durchzuführenden Arbeits schritte aufzuzeigen. Die Darstellung erfolgt dabei vorzugsweise mittels einer Augmented Reality-Vorrichtung.
Zweckmässigerweise werden einzelne Schritte der Arbeitsanweisung sowie Informationen zu zu verwendenden Laborhilfsmitteln, Substanzen und Materialien und physikalischen Bedingungen und Gefahren mittels der Darstellungs- und Aufzeichnung s Vorrichtung dem Labormitarbeiter sichtbaren Objekten direkt überlagert dargestellt.
Vorteilhafterweise ist die Darstellungs- und Aufzeichnungsvorrichtung mit Sensoren zur Erfassung von Umgebungsbedingungen ausgestattet und von den Sensoren erfasste Umgebungsbedingungen werden von der tragbaren Darstellungs- und Aufzeichnung s Vorrichtung als physikalische Parameter den sichtbaren Objekten zugewiesen und für den Labormitarbeiter verständlich übersetzt dargestellt und digital protokolliert. Vorteilhafterweise ruft ein Labormitarbeiter bestehende Arbeitsanweisungen ab, worauf diese durch ein automatisches System übersetzt und in diskrete Arbeitsschritte sequenziert werden, wonach diese diskreten Arbeitsschritte in neue Arbeitsanweisungen übersetzt oder in bestehende Arbeitsanweisungen integriert werden.
Vorteilhafterweise werden auch durch während des Arbeitsablaufs verwendete technische Apparaturen und Vorrichtungen erfasste physikalische und/oder chemische Parameter digital aufgezeichnet.
Vorteilhafterweise werden während der Durchführung des Arbeitsablaufs Eingaben getätigt, um von den Arbeitsanweisungen abweichende oder zu ergänzende Parameter einzugeben, wobei ein von den Arbeitsanweisungen vorgegebener Wert sowie der eingegebene Wert des Parameters mitaufgezeichnet werden.
Vorteilhafterweise wird der chemische Arbeitsablauf ferngesteuert durchgeführt, wobei ein entfernter Partner über eine Netzwerkverbindung zu allen einem lokalen Labormitarbeiter und/oder mindestens einer automatisierten Laborvorrichtung zur Verfügung stehenden Informationen sowie zu einem von dem lokalen Labormitarbeiter und/oder der mindestens einen automatisierten Laborvorrichtung visuell erfassten Bild Zugriff hat und mit dem lokalen Labormitarbeiter und/oder dem mindestens einen automatisierten Laborsystem interagieren kann, um den lokalen Labormitarbeiter und/oder die mindestens eine automatisierte Laborvorrichtung anzuleiten und/oder selber Eingaben zu tätigen und/oder selber Laborvorrichtungen zu bedienen bzw. zu steuern.
Vorteilhafterweise tätigt dabei der entfernte Partner die Erstellung der Arbeitsanweisungen für den Arbeitsablauf und der lokale Labormitarbeiter und/oder die mindestens eine automatisierte Laborvorrichtung führt den Arbeitsablauf unter Verwendung dieser Arbeitsanweisungen durch und zeichnet ihn während der Durchführung auf. Vorteilhafterweise werden bestehende, in Textform vorliegende Arbeitsanweisungen bzw. ein bestehendes Dokument mit Arbeitsanweisungen in Textform mittels eines automatischen Texterkennungssystems erkannt und verarbeitet.
Zweckmässigerweise werden Sensoren zur Erfassung von UV-Strahlung und/oder IR- Strahlung und/oder radioaktiver Strahlung und/oder Wärmestrahlung und/oder Strahlungen anderer Wellenlängen und/oder Vibrationen und/oder Berührungen eingesetzt.
Vorteilhafterweise werden bei Über-/Unter schreiten definierter Grenzwerte der von den Sensoren erfassten Werte automatisch Warnhinweise und/oder Arbeitsanweisungen an die tragbare Darstellungs- und Aufzeichnungsvorrichtung und/oder visuelle oder akustische Warnsysteme ausgegeben.
Vorteilhafterweise werden einzelne Arbeitsschritte der Arbeitsanweisungen als graphische Animationen dargesteht, die einem Labormitarbeiter konkret zeigen, welche Aktion er in einem Arbeitsschritt wie durchzuführen hat.
Im Folgenden wird die Erfindung anhand von in den Zeichnungen dargestellten Ausführungsbeispielen detaillierter beschrieben. Es zeigen:
Fig. 1 - eine schematische Prinzipanordnung einer Vorrichtung zur Durchführung des erfindungsgemässen Verfahrens;
Fig. 2 - eine schematische Darstellung der Digitalisierung eines Labors;
Fig. 3 - eine Abfolge der wesentlichsten Schritte des erfindungsgemässen Verfahrens;
Fig. 4 - eine schematische Darstellung eines beispielsweisen Laborplatzes (real gesehenes Bild);
Fig. 5 - eine künstlich erzeugte grafische Information; Fig. 6 - eine mittels eines Augmented Reality- Geräts überlagernde Darstellung der künstlich erzeugten Information über dem realen Bild;
Fig. 7 - ein Beispiel einer während der Ausführung eines Arbeitsablaufs angezeigten grafischen Information; und
Fig. 8 - ein weiteres Beispiel einer solchen grafischen Information.
Die in Fig. 1 schematisch dargestellte Vorrichtung umfasst einen Laborraum 100, eine Aufzeichnung s Vorrichtung 2, einen Rechner 3, eine Darstellungsvorrichtung 4, einen Bildschirm 5 und eine Eingabevorrichtung 6.
Im Laborraum 100 befinden sich Laborvorrichtungen, die hier durch Kreise 101 symbolisiert sind. Im Laborraum 100 befinden sich ausserdem diverse Sensoren, die hier stellvertretend durch ein Quadrat 102 angedeutet sind. Ferner befindet sich im Laborraum 100 eine Informationsvorrichtung 103 zur optischen oder akustischen Anzeige von Informationen.
Die Aufzeichnung s Vorrichtung 2 umfasst eine Videokamera 21 und diverse Sensoren, die hier stellvertretend durch ein Quadrat 22 symbolisiert sind. Die Videokamera 21 ist auf den Laborraum 100 gerichtet und erfasst die darin befindlichen Objekte und deren Bewegungen. Die Sensoren 22 erfassen physikalische Parameter der Umgebung, insbesondere im Laborraum 100 bzw. der darin befindlichen Objekte. Die Aufzeichnung s Vorrichtung 2 nimmt lediglich die Erfassung (und gegebenenfalls Digitalisierung) der Daten von der Videokamera 21 und den Sensoren 22 und 102 vor, die Speicherung dieser Daten erfolgt im Rechner 3.
Die Darstellungsvorrichtung 4 zeigt auf einem grafischen Display diverse Informationen, insbesondere Arbeitsanweisungen, an. Die Aufzeichnung s Vorrichtung 2 und die Darstellungsvorrichtung 4 sind in der Praxis vorteilhafterweise zu einer tragbaren Aufzeichnungs- und Darstellungsvorrichtung 200 zusammengefasst und können vorteilhafterweise durch ein tragbares Gerät mit Augmented Reality- oder Mixed Reality- oder Virtual Reality-Fähigkeiten, z.B. das Gerät HoloLens ® von Microsoft ®, implementiert sein. In Fig. 1 ist ferner eine Datenbank 7 dargestellt, welche die Daten von sogenannten digitalen Zwillingen der im Laborraum 100 befindlichen Laborvorrichtungen enthält. Die Datenbank 7 ist mit dem Rechner 3 verbunden, kann aber selbstverständlich auch im Rechner 3 selbst gespeichert sein.
Spezielles Merkmal von Vorrichtungen mit Augmented Reality- oder Mixed Reality oder Virtual Reality-Fähigkeiten ist es, dass sie künstlich generierte Informationen direkt die reale Welt überlagernd (Augmented Reality oder Mixed Reality) bzw. in einem virtuellen Raum (Virtual Reality) darstellen können. Mit Zuhilfenahme von digitalen Zwillingen und dem Wissen oder Erkennen von deren Position im realen und virtuellen Raum können dem Träger solcher Vorrichtungen Informationen so präsentiert werden, dass sie reale Objekte überlagern, auf diese hinweisen, oder diese sogar optisch hervorheben, um sie besser sichtbar zu machen. Wenn zum Beispiel ein vorgängig digitalisierter Behälter fokussiert wird, so kann etwa angezeigt werden, was darin in welchen Mengen erhalten ist, oder er kann hervorgehoben dargestellt werden, um aufzuzeigen, dass damit etwas gemacht werden kann oder soll. Zudem kann die virtuelle Darstellung auch Dinge oder Situationen anzeigen, die durch das Auge nicht sichtbar sind. So kann etwa ein durch eine in der Vorrichtung enthaltene IR-Kamera als gefährlich heiss erkanntes Objekt mit einer leuchtenden Farbe hervorgehoben werden, um den Träger der Vorrichtung vor Verbrennungsgefahr zu warnen. Oder es können beispielsweise auch in einem Behälter bewegliche Teile wie Rührer etc. animiert in Bewegung überlagert dargestellt werden, selbst wenn sie nicht von aussen sichtbar sind.
Der Rechner 3 arbeitet mit der Aufzeichnungsvorrichtung 2, der Darstellungs vorrichtung 4 und der Informationsvorrichtung 103 im Laborraum 100 zusammen und steuert auch die im Laborraum befindlichen Laborvorrichtungen, soweit diese für eine Steuerung durch einen Rechner ausgebildet sind. Ferner führt der Rechner 3 sämtliche im Zusammenhang mit dem erfindungsgemässen Verfahren erforderlichen Operationen durch. Dazu gehören die Speicherung der von der Aufzeichnungsvorrichtung 2 erfassten Daten, die Auswertung und Verarbeitung derselben und die Ausgabe von Daten und Informationen an die Darstellungs Vorrichtung 4 und die Informationsvorrichtung 103. Der Bildschirm 5 und die Eingabevorrichtung 6 dienen als Benutzerschnittstelle. Auf dem Rechner 3 läuft eine für die Auswertung und Verarbeitung der Daten ausgebildete Software 31. Betriebssystem und Speicher des Rechners 3 sind in Fig. 1 nicht dargestellt.
Als Vorbereitung für das erfindungsgemässe Verfahren wird ein chemisches Labor oder eine entsprechende Fertigungseinrichtung erst einmal digitalisiert. Die Infrastruktur (Räume, Vorrichtungen, aber auch Substanzen, Hilfsmittel) werden modelliert und den einzelnen Elementen Eigenschaften und Funktionen zugewiesen, und so für jedes einzelne Element bzw. Objekt ein sogenannter digitaler Zwilling ("Digital Twin") erstellt, der dieses Objekt in der virtuellen Welt und Datenstruktur repräsentiert.
Fig. 2 verdeutlicht die Digitalisierung eines Labors.
In einem ersten Schritt 71 wird der Laborraum als dreidimensionales virtuelles Objekt nachgebildet. Dies kann beispielsweise durch die Modellierung des Raums in einem 3D-Programm (CAD Programm) erfolgen. In einer vorteilhaften Variante kann die Erstellung des Modells auch halbautomatisiert oder automatisiert erfolgen, indem gängige 3D-Scanverfahren (z.B. Laserscan) oder photogrammetrische Verfahren angewandt werden. Bei letzteren wird das 3D-Modell des Raums mittels eines spezialisierten Programms anhand einer grossen Menge aus verschiedenen Positionen im Raum aufgenommenen Fotos automatisch errechnet. Solche Verfahren sind dem Fachmann geläufig und werden oft beispielsweise in der Architektur, Archäologie und Kunstgeschichte verwendet, um bestehende Räume, beispielsweise historische Gebäude und deren Innenräume, einfach, aber mit grosser Detailtreue in ein 3D-Modell zu überführen. Zudem werden die beweglichen Elemente eines Labors (z.B. Werkzeuge und Hilfsmittel, aber auch Verbrauchsmaterialien oder im Labor gelagerte Substanzbehältnisse, etc.) als 3D-Modell erstellt.
Ein nächster Schritt 72 besteht aus der Zuordnung von Funktionen und Eigenschaften zu den jeweiligen einzelnen Modellen oder Modellteilen. So werden beispielsweise einem Modell einer Pipette deren Eigenschaften (Pipettiervolumen, Verbrauchsmaterialien, Genauigkeit, ...) zugewiesen und in einer Datenbank gespeichert. In einem dritten Schritt 73 wird ein dreidimensionales Modell des Laborraums und der darin enthaltenen Laborvorrichtungen (mit den zugehörigen Funktionen und Eigenschaften) erstellt. Die Daten für ein Laborobjekt enthalten in einer vorteilhaften Ausführung auch direkt die aktuelle Position des Objekts innerhalb des Modells des Laborraums, sprich die im Beispiel erwähnte Pipette hätte eine im 3D-Modell des Labors bekannte, klar definierte aktuelle Position. Auch werden etwa einem Modell einer Laborvorrichtung, wie beispielsweise einer Waage oder eines Analysegeräts, deren Position und Eigenschaften entsprechend zugeordnet und gespeichert. Auch wird gespeichert, für welche Aufgabeschritte eines Arbeitsablaufs die Vorrichtung / das Objekt geeignet ist. Im Falle der erwähnten Pipette etwa würde dem Objekt auch die Eigenschaft "geeignet für manuellen Flüssigkeitstransfer im Bereich bis 1 ml mit einer Genauigkeit von +/-0.01 ml" zugewiesen. Dies bedeutet, dass für jedes reale Objekt im Laborraum auch ein entsprechendes Abbild in der virtuellen Welt existiert, ein sogenannter digitaler oder virtueller Zwilling ("Digital Twin"). Die Gesamtheit der so erstellten Daten wird in der Datenbank 7 abgespeichert und steht dann für das erfindungsgemässe Verfahren zur Verfügung.
Fig. 3 stellt den Ablauf des erfindungsgemässen Verfahrens vereinfacht als Abfolge verschiedener Phasen und Arbeitsschritte dar. Hierbei werden aus einem real durchgeführten Arbeitsablauf Arbeitsanweisungen erzeugt, anhand welcher derselbe Arbeitsablauf geführt wiederholt werden kann oder auf der Basis von welchen abgewandelte Arbeitsabläufe erstellt (und später geführt abgearbeitet) werden können.
In einem Schritt 301 einer Anweisungserstellungsphase führt ein Labormitarbeiter einen gewünschten chemischen Arbeitsablauf (z.B. ein Experiment oder eine Versuchs reaktion) mehr oder weniger frei (oder nach z.B. schriftlicher Anleitung) durch und zeichnet seine Arbeits schritte dabei mittels der Aufzeichnungsvorrichtung 2 auf. Der Labormitarbeiter kann dabei Eingaben (etwa welchen Schritt er mit welcher Vorrichtung und welchen Parametern tätigt) machen. Andererseits werden aber auch von angeschlossenen Geräten gelieferte Informationen automatisch aufgezeichnet.
In einem Schritt 302 wird der aufgezeichnete Arbeitsablauf von der Software 31 im Rechner 3 ausgewertet und unter Beiziehung der in der Datenbank 7 gespeicherten digitalen Zwillinge der Objekte im Laborraum 100 in eine Abfolge von ausführbaren Arbeitsanweisungen 304 übersetzt. Das Resultat ist eine Schritt-für- Schritt- Anleitung, die mittels der Darstellungsvorrichtung 4 schrittweise als Abfolge von einzelnen Arbeitsschritten darstellbar ist. Dabei werden alle einzelnen Arbeitsschritte genau definiert (etwa mit welchen Vorrichtungen und Werkzeugen was wann wie gemacht werden soll) und parametrisiert.
In einem weiteren optionalen Schritt 303 werden bei Bedarf der aufgezeichnete Arbeitsablauf bzw. die daraus erzeugten Arbeitsanweisungen angepasst.
Die so erzeugten Arbeitsanweisungen 304 können nun in einer Durchführungsphase zur manuellen (Kasten 401) oder automatisierten (Kasten 402) wiederholten Abarbeitung des Arbeitsablaufs herangezogen werden. Dabei wird der abgearbeitete Arbeitsablauf ebenfalls wieder aufgezeichnet.
In einem Schritt 403 wird die Speicherung des ausgeführten Arbeitsablaufs und dessen Resultate etc. sowie die Auswertung und Analyse des aufgezeichneten Arbeitsablaufs durchgeführt. Basierend darauf kann dann bei Bedarf für weitere Durchführungen des Arbeitsablaufs der weitere optionale Schritt 303 durchgeführt werden.
Vorteilhafterweise kann der Anwender bzw. Labormitarbeiter seinen Arbeitsablauf auch auf bereits bestehenden Arbeitsabläufe basieren und diese anpassen. Dabei können auch bereits bestehende Dokumente (z.B. frühere Protokolle und Arbeitsanweisungen), welche elektronisch erfasst wurden, mittels einer künstlichen Intelligenz bzw. einem automatisierten System in ein für das erfindungsgemässe System verwendbares Format übersetzt und diese übersetzten Arbeitsanweisungen in einzelne Arbeitsschritte sequenziert werden, die dann wiederum als einzelne Arbeitsschritte im neuen Arbeitsablauf verwendet werden können. Hier können vorteilhafterweise auch Texterkennungssysteme zum Einsatz kommen, die etwa gescannte, photographierte oder anderweitig visuell erfasste Arbeitsanleitungen in ein maschinentaugliches Format übersetzen.
In der Anweisungserstellungsphase wird ein Arbeitsablauf aufgezeichnet und für die spätere Weiterverwendung umgesetzt. Hierbei führt ein Labormitarbeiter einen Arbeitsablauf im realen Labor, mit den realen Laborvorrichtungen und Substanzen durch. Dabei verwendet er die Aufzeichnungsvorrichtung 2, welche seine Aktivitäten aufzeichnet (z.B. indem die Aktionen gefilmt werden). In einer vorteilhaften Ausführung ist diese Aufzeichnungsvorrichtung Teil das Augmented Reality- oder Mixed Reality- Geräts 200, das zudem in der Lage ist, zusätzliche Informationen auf dem aufgezeichneten Bild oder Video darzustellen resp. dieses zu überlagern. In einer weiteren vorteilhaften Ausführung erkennt und/oder verfolgt die Aufzeichnungvorrichtung 2 dabei die aufgezeichneten Elemente und deren Zuordnung zu den entsprechenden digitalen Zwillingen selbständig und zeigt die für den Labormitarbeiter relevanten Informationen auf dem Display der Darstellungs vorrichtung 4 an. Die Erkennung der Objekte kann dabei vorteilhafterweise über Objekterkennungssoftware in der Software 31 oder Strich- oder QR-Codes (welche dann beispielsweise von der Kamera 21 der Aufzeichnungsvorrichtung 2 gescannt und erkannt werden) erfolgen. Auch kann die Identifikation und Erkennung der Position und Ausrichtung im Raum über eine Art Mehrpunkt- Identifikationssystem erfolgen: Hier sind jeweils vier oder mehr Referenzpunkte, beispielsweise aus einem reflektierenden, gut sichtbaren Material, so als dreidimensionales Muster auf dem Objekt angebracht, dass deren Muster und Ausrichtung von einer Kamera (hier vorteilhaft die erwähnte, in der Aufzeichnungsvorrichtung 2 verbaute Videokamera 21) erkannt und die Identität, Position und räumliche Ausrichtung eindeutig erkannt werden kann. Dies ist eine etwa bei vielen Virtual Reality- Anwendungen (beispielsweise sogenannten "Full Body Virtual Games") bekannte und etablierte Methode. Auch ist es möglich, die Identität und Position der Objekte im Laborraum über geeignete Sensoren und an den Objekten befestigte Marker (beispielsweise RFI-Chips) zu erkennen und zu verfolgen.
In einer besonders vorteilhaften Ausführung besteht die Aufzeichnung s Vorrichtung 2 zusammen mit der Darstellungsvorrichtung 4 aus einem am Kopf wie eine Brille tragbaren Augmented Reality- oder Mixed Reality-Gerät, wie etwa der handelsüblichen Microsoft ® Hololens ®, welche Informationen so direkt ins Auge des Trägers projizieren kann, dass diese Informationen wie ein Hologramm dem real wahrgenommenen Bild überlagert dargestellt werden.
Bei der manuellen Abarbeitung des Arbeitsablaufs (Kasten 401) werden die vorgängig erstellten Arbeitsanweisungen 304 einem Labormitarbeiter zur Verfügung gestellt, so dass dieser anhand dieser Arbeitsanweisungen den Arbeitsablauf geführt abarbeiten kann. Vorteilhafterweise wird dabei zur Anzeige der Arbeitsanweisungen eine Darstellungsvorrichtung verwendet, bei der einerseits das reale Arbeitsumfeld (Laborraum bzw. Arbeitsbereich mit allen Vorrichtungen, Werkzeugen, Hilfsmitteln, Materialien, ...) sichtbar ist oder dargestellt wird. Gleichzeitig werden darüber aber zusätzliche Informationen graphisch eingeblendet, die die realen Objekte überlagern. Dies kann beispielsweise mit sogenannten Augmented Reality- Vorrichtungen wie etwa der Microsoft ® HoloLens ® umgesetzt werden. Es ist aber auch möglich, ein entsprechend geeignetes Smartphone, einen Tablet Computer oder Ähnliches zu verwenden. In Fig. 1 ist symbolisiert, wie die Arbeitsanweisungen 304 vom Rechner 3 an die Darstellungsvorrichtung 4 ausgegeben werden.
Als Alternative zur manuellen Durchführung des Arbeitsablaufs (Kasten 401) kann dieser auch durch mindestens eine automatisierte Laborvorrichtung erfolgen (Kasten 402). In beiden Fällen wird der ausgeführte Arbeitsablauf aufgezeichnet. Voraussetzung ist dabei natürlich, dass die Arbeitsanweisungen 304 in einer Form vorliegen, die die mindestens eine automatisierte Laborvorrichtung verarbeiten kann.
Die Art der Darstellung, bei der reale und virtuelle Komponenten gemeinsam resp. überlagernd dargestellt werden, ist in den Figuren 4-6 stark vereinfacht dargestellt: Hier ist ein Beispiel gezeigt, in dem ein durch ein erfindungsgemässes Verfahren geführter Labormitarbeiter mittels einer Pipette Flüssigkeit aus einem Behälter in einen anderen Behälter transferieren soll.
Fig. 4 stellt sehr vereinfacht einen Laborraum dar, wie er von einem Labormitarbeiter gesehen wird: Auf einer Arbeitsfläche 51 befinden sich als Vorrichtungen bzw. Objekte eine Pipette 52, ein Behälter 53 mit frischen Pipettenspitzen 54 für die Pipette 52, ein Behälter 55 mit einer Flüssigkeit sowie ein Zielgefäss 56. Die Positionen der einzelnen beschriebenen Objekte sind dabei dem Datenverarbeitungs System bekannt und das System weiss sozusagen, welche Objekte welche Eigenschaften und Funktionen haben.
Für die Durchführung des Arbeitsablaufs werden diesen Objekten nun Teilaufgaben des chemischen Arbeitsablaufs entsprechend den für die Objekte bekannten Eigenschaften zugeordnet. Daraus werden von der Software 31 grafische Informationen generiert, die einerseits die Eigenschaften der Objekte bzw. von deren digitalen Zwillingen (Pipette 52', Pipettenspitzen 54', Behälter 55', Behälter 56'), andererseits auch Arbeits schritte 61, 62, 63 und allfällige Steuersymbole 65 umfassen. Die grafischen Informationen werden von der Darstellungsvorrichtung 4 angezeigt (Fig. 5).
Fig. 6 zeigt nun, wie diese grafischen Informationen mithilfe eines Augmented Reality- Geräts wie der Microsoft ® HoloLens ® die realen Objekte im Blickfeld des Labormitarbeiters überlagernd dargestellt werden. Vorteilhafterweise werden dabei die für den aktuellen Arbeits schritt gerade relevanten Informationen grafisch hervorgehoben. Hier etwa wird der erste Schritt 61 des Arbeitsablaufs, das Aufnehmen der Pipette 52 durch den Labormitarbeiter und Aufstecken einer passenden Pipettenspitze 54, in der Liste der Arbeitsschritte hervorgehoben dargestellt (beispielswiese durch andere Farben, kräftigere/weniger transparente Darstellung, etc., in der Fig. 6 durch dickere Ränder symbolisiert), während die anderen, darauffolgenden und noch nicht aktuellen Arbeits schritte 62, 63 weniger hervorgehoben dargestellt werden. Auch die objektspezifischen Informationen werden für die aktuell relevanten Objekte (hier die Pipette 52, der Spitzenbehälter 53 und eine Pipettenspitze 54) entsprechend hervorgehoben dargestellt, so dass der Labormitarbeiter sofort erkennt, welche Objekte er gerade verwenden soll.
Der Labormitarbeiter führt den geforderten Arbeits schritt anhand der ihm so eingeblendeten, die realen Objekte überlagernden Informationen, durch (hier: die Pipette 52 ergreifen und eine Spitze 54 aus dem Behälter 53 auf die Pipette 52 stecken) und bestätigt bzw. quittiert den Abschluss dieses Arbeitsschritts. Dies kann vorteilhafterweise über eine Eingabe an einem Eingabegerät (Tastatur, Maus, Touchscreen durch Anklicken eines Steuersymbols 65 oder Drücken einer Taste an der Eingabevorrichtung 6) oder in einer weiteren vorteilhaften Ausführung über Sprachsteuerung erfolgen. In einer weiteren vorteilhaften Ausführung könnte der Rechner 3 bzw. die auf ihm laufende Software 31 auch selber erkennen, dass der Arbeitsschritt abgeschlossen ist, weil er erkennt, dass sich nun eine Spitze 54 auf der Pipette 52 montiert befindet, dies beispielsweise durch Vergleich der räumlichen Positionen der beteiligten Objekte, und dann selbständig zum nächsten Aufgabenschritt (hier Schritt 62 "Aufsaugen von 0.5 ml Flüssigkeit aus Behälter A") wechseln, und wiederum die nun relevanten Informationen hervorgehoben darstellen. Für das erfindungsgemässe Verfahren werden vorteilhafterweise Sensoren eingesetzt, entweder im Laborraum 100 selbst und/oder direkt an der tragbaren Aufzeichnung s Vorrichtung 2, um beispielsweise Bilder/ Aufnahmen in sichtbaren und nicht- sichtbaren Wellenlängenbereichen (UV, IR), aber auch andere Strahlungen (Radioaktivität), Vibrationen, akustische Signale, Temperatur, Feuchtigkeit, Gas- und Partikelkonzentrationen, etc. in der Laborumgebung zu detektieren und vorteilhafterweise ebenfalls in der tragbaren Darstellungsvorrichtung 4 wahlweise überlagert darzustellen und aufzuzeichnen. Dies erlaubt auch, dass beispielsweise bei der Erkennung von Sensorwerten, die ausserhalb eines vom Anwender definierten Bereichs liegen, automatisch ein Signal, eine Warnung oder ein ad hoc als Reaktion auf den ausserordentlichen Sensorwert eingefügter Arbeits schritt ausgeführt wird. So kann beispielsweise beim Erkennen einer gefährlichen Gaskonzentration der Labormitarbeiter über die Darstellungsvorrichtung 4 angewiesen werden, das Labor sofort zu verlassen, und/oder es können ihm vorteilhafterweise sogar genaue Anweisungen ausgegeben werden, wie er konkret auf die erkannte Situation reagieren muss.
Das im obigen Abschnitt erläuterte Verfahren zur per Augmented Reality-Gerät unterstützten Durchführung eines Arbeits ablaufs wird aktuell bereits in verschiedenen entsprechenden Produkten verwendet, sowohl in chemiefernen Anwendungen (z.B. Darstellung von Bauanleitungen in der Industrie) oder für die Darstellung von Arbeitsanweisungen für die Durchführung chemischer Arbeitsabläufe.
Das erfindungsgemässe Verfahren ist auch insofern erweiterbar, als die Durchführungsphase, in welcher ein Arbeitsablauf anhand von zuvor erstellten Arbeitsanweisungen abgearbeitet wird, an einem anderen Ort stattfindet als die Erstellung der Arbeitsanweisungen. In der Durchführungsphase wird der Arbeitsablauf von einem lokalen Labormitarbeiter durchgeführt, und zwar wiederum unter Zuhilfenahme der beschriebenen Aufzeichnung s- und Darstellungsvorrichtung 200 basierend auf Augmented Reality-Technologie und auf der Grundlage von Arbeitsanweisungen 304, die ein entfernter Partner zuvor erstellt hat. Der entfernte Partner kann während des Arbeitsvorgangs des lokalen Labormitarbeiters den Arbeitsablauf überwachen und allenfalls einzelne Schritte korrigieren oder anpassen. Die heutigen Augmented Reality- Vorrichtungen verfügen üblicherweise über eine Kamera, die aufnimmt, was der Träger der Vorrichtung gerade sieht. Über eine Netzwerkverbindung zwischen Labor (resp. lokalem Labormitarbeiter) und dem entfernten Partner erhält letzterer jederzeit alle erfassten Daten sowie den Video-Feed des lokalen Labormitarbeiters in Echtzeit und kann mit dem lokalen Labormitarbeiter beispielsweise über eine Sprechverbindung interagieren und diesen anweisen. Vorteilhafterweise kann der entfernte Partner bei Bedarf aber auch gerade den aktuell abgearbeiteten Arbeitsablauf abändern, indem er etwa noch nicht absolvierte Arbeitsschritte bei erkanntem Bedarf noch anpasst (umprogrammiert). Der lokale Labormitarbeiter bekommt dann direkt die neue, geänderte Version als Arbeitsanweisung mittels seiner Aufzeichnung s- und Darstellungsvorrichtung präsentiert.
Vorteilhafterweise kann eine solche Fernsteuerung durch einen laborfemen Partner auch bei automatisierten Anlagen und Vorrichtungen verwendet werden, wie sie in der automatisierten Laborumgebung mittlerweile verbreitet sind. So könnte ein entfernter Partner eine Arbeitsanweisung für ein automatisiertes Laborsystem erstellen, dieses ferngesteuert einen Arbeitsablauf ausführen lassen, dabei aber analog wie im Fall mit dem lokalen Labormitarbeiter entsprechend kontrollierend eingreifen und das automatisierte Laborsystem so überwachen und fernsteuern. Dies erlaubt eine bis dato nicht erreichte Flexibilität in der Planung und Durchführung von chemischen Arbeitsabläufen.
Die Durchführung des (eigenen) Arbeitsablaufs und dessen Aufzeichnung in Schritt 301 erfolgt vorteilhafterweise mittels einer vorstehend beschriebenen Aufzeichnungs- und Darstellungsvorrichtung 200, welche dem Labormitarbeiter für jeden Arbeits schritt passende Auswahlmöglichkeiten anzeigt und diese auswählen lässt. Dazu gehören insbesondere Arbeits schritte, Objekte und Tätigkeiten und zugehörige Parameter.
In den Figuren 7 und 8 ist auf die zeichnerische Darstellung von realen Objekten verzichtet und es sind nur die für den Labormitarbeiter von der Aufzeichnungs- und Darstellungsvorrichtung 200 eingeblendeten Informationsgrafiken dargestellt.
Fig. 7 zeigt einen ersten Aufzeichnungs schritt, wobei dem Labormitarbeiter passende Auswahlmöglichkeiten dargestellt werden. Hier kann er mittels einer Objektauswahlschaltfläche 81 für einen ersten Arbeits schritt 61 auswählen, mit welchem Objekt er arbeiten möchte, z.B. Pipette 811, Pipettenspitze 812, Behälter 813, Behälter 814. Mittels einer Aktionsauswahlschaltfläche 82 kann er auswählen, was er mit dem ausgewählten Objekt tun möchte, und mittels einer Parametereingabe schaltfläche 83 kann er eingeben, welche Parameter dabei gelten sollen. Mittels einer Steuerung (Tastatur, Maus, vorteilhafterweise aber auch durch visuelles Anvisieren eines dargestellten Auswahlfeldes (hier 811, 812, 813, 814) oder vorteilhafterweise über Sprachsteuerung wählt er als erstes das gewünschte Objekt aus (hier Pipette 811).
Dann wählt er aus, was mit der Pipette gemacht werden soll (Fig. 8). Im gezeigten Beispiel sind dies die Möglichkeiten "Aspirieren" 821 oder "Dispensieren" 822). Schliesslich kann er mittels der Parametereingabeschaltfläche 83 einen Wert eingeben, z.B. welche Menge er tatsächlich aspiriert hat. Diese Eingabe bestätigt der Laborarbeiter nun, beispielsweise hier durch Auswahl des Steuerzeichens "Save" 65, welches die getätigten Eingaben im System unter diesem ersten Arbeitsschritt speichert.
Anschliessend verfährt der Labormitarbeiter gleich für die nächsten Arbeits schritte 62 und 63, wiederum mit Auswahl der gewünschten Objekte, Aktionen und Eingabe der erforderlichen Parameter, und zeichnet so den gesamten von ihm durchgeführten Arbeitsablauf auf. Dieser aufgezeichnete Arbeitsablauf wird dann anschliessend von der Software 31 in (elektronische bzw. digitale) Arbeitsanweisungen übersetzt, die entweder unverändert oder noch angepasst weiterverwendet werden können.
Auch hier können vorteilhafterweise wie vorgängig beschrieben zusätzliche Sensor- Inputs verwendet werden, um etwa die Umgebung sbedingungen während des Arbeitsablaufs aufzuzeichnen und die später auswertbaren Daten zu ergänzen. So können beispielsweise gleichzeitig protokollierte Sensordaten (z.B. gemessene Temperaturen, aber auch Wärmebilder, die Hinweise auf heisse/kalte Vorrichtungen liefern) oder andere physikalische Parameter automatisch aufgezeichnet und später weiterverwendet werden.
Aufgezeichnete Video-Aufnahmen können abstrahiert und in abstrahierter Form bei der Durchführung nachfolgender Arbeits abläufe als Arbeitsanweisungen dargestellt werden, um dem Anwender die durchzuführenden Arbeits schritte aufzuzeigen. Die Darstellung erfolgt dabei vorzugsweise mittels einer Augmented Reality- Vorrichtung dem für den Anwender sichtbaren Arbeitsbereich überlagert.
Das erfindungsgemässe Verfahren erlaubt auch ein iteratives Vorgehen. So könnte etwa ein erster Labormitarbeiter einen Arbeitsablauf im Labor frei durchführen und aufzeichnen und daraus Arbeitsanweisungen erstehen, wonach ein anderer Labormitarbeiter einen weiteren, darauf basierenden Arbeitsablauf ersteht, diesen dem ersten Labormitarbeiter zur Verfügung steht, der diesen neuen Arbeitsablauf dann wiederum durchführt und aufzeichnet und daraus neue Arbeitsanweisungen ersteht. So können Arbeitsabläufe in der chemischen Industrie iterativ weiterentwickelt und chemische Herstellungs- und Prüfverfahren und Abläufe verbessert werden.

Claims

Patentansprüche
1. Verfahren zur Durchführung eines chemischen Arbeitsablaufs, wobei der Arbeitsablauf schrittweise manuell und/oder automatisiert abgearbeitet wird, dadurch gekennzeichnet, dass der Arbeitsablauf während seiner Abarbeitung mittels einer Aufzeichnung s Vorrichtung (2, 200) aufgezeichnet wird und die so erzeugte Aufzeichnung mittels eines Rechners (3) ausgewertet und in Instruktionen übersetzt wird, welche detaillierte Arbeitsanweisungen (304) für einen Labormitarbeiter und/oder mindestens eine automatisierte Laborvorrichtung (101) umfassen, anhand welcher Arbeitsanweisungen (304) der aufgezeichnete Arbeitsablauf manuell und/oder automatisiert wiederholt werden kann oder darauf basierend ein veränderter Arbeitsablauf erstellt werden kann.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die
Aufzeichnung s Vorrichtung (2, 200) zur Aufzeichnung des Arbeitsablaufs tragbar ist und Augmented Reality- oder Mixed Reality- oder Virtual Reality-Fähigkeiten aufweist.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Position und die Bewegung der Aufzeichnung s Vorrichtung (2, 200) innerhalb eines Laborraums (100), in welchem der Arbeitsablauf durchgeführt wird, aufgezeichnet werden.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass eine Aufzeichnung s Vorrichtung (2, 200) eingesetzt wird, welche mit einer Fähigkeit zur Objekterkennung und Objektverfolgung innerhalb eines Laborraums (100) ausgestattet ist, wobei auch Positionen und/oder Positionsveränderungen der Objekte im Laborraum (100) aufgezeichnet werden.
5. Verfahren nach einem der Ansprüche 1-4, dadurch gekennzeichnet, dass während der Abarbeitung des Arbeitsablaufs Sensor-Informationen (22, 102) wie UV-Strahlung und/oder IR-Strahlung und/oder radioaktive Strahlung und/oder Wärmestrahlung und/oder Strahlungen anderer Wellenlängen und/oder Vibrationen und/oder Berührungen aufgezeichnet werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Sensor- Informationen (22, 102) in einer Darstellungsvorrichtung (4, 200) einem visuellen Bild überlagert dargestellt werden und/oder über eine Informationsvorrichtung (103) in einem Laborraum (100) angezeigt bzw. dargestellt werden.
7. Verfahren nach einem der Ansprüche 1-6, dadurch gekennzeichnet, dass während des Arbeitsablaufs aufgezeichnete Informationen in anpassbare Arbeitsanweisungen (304) für einen Labormitarbeiter und/oder mindestens eine automatisierte Laborvorrichtung (101) übersetzt werden, anhand welcher Arbeitsanweisungen (304) der aufgezeichnete Arbeitsablauf oder ein darauf basierender, abgeänderter Arbeitsablauf abgearbeitet werden kann.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Informationen, die ein Labormitarbeiter benötigt, um den Arbeitsablauf durchzuführen, mittels einer tragbaren Darstellungsvorrichtung (4, 200) an den Labormitarbeiter übermittelt werden, wobei die Informationen virtuell so dargestellt werden, dass sie durch den Labormitarbeiter direkt mit dem dazugehörigen Arbeitsschritt und/oder der für den Arbeitsschritt verwendeten Laborvorrichtung (101) assoziiert werden können, wobei die virtuellen Informationen einem reellen oder virtuell dargestellten Laborraum (100) und/oder den darin befindlichen Laborvorrichtungen (101) überlagert dargestellt werden.
9. Verfahren nach einem der Ansprüche 1-8, dadurch gekennzeichnet, dass der Arbeitsablauf vor seiner Ausführung in digitaler Form programmiert und in Instruktionen übersetzt wird, welche detaillierte Arbeitsanweisungen (304) für einen Labormitarbeiter und/oder mindestens eine automatisierte Laborvorrichtung (101) umfassen, die für die manuelle und/oder automatisierte Durchführung des Arbeitsablaufs verwendet werden.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass während der Durchführung des vorgängig programmierten Arbeitsablaufs dieser mittels einer tragbaren Darstellungs- und Aufzeichnung s Vorrichtung (200) mit Augmented Reality oder Mixed Reality- oder Virtual Reality-Fähigkeiten einem den Arbeitsablauf durchführenden Labormitarbeiter als Schritt für Schritt- Anleitung dargestellt wird, wobei die Darstellungs- und Aufzeichnung s Vorrichtung (200) mit einem Rechner (3), welcher den Arbeitsablauf steuert, verbunden ist.
11. Verfahren nach einem der Ansprüche 1-10, dadurch gekennzeichnet, dass Video- Aufzeichnungen erstellt, abstrahiert und in abstrahierter Form als Arbeitsanweisungen einem sichtbaren Arbeitsbereich des Labormitarbeiters überlagert dargestellt werden, um dem Labormitarbeiter die durchzuführenden Arbeitsschritte aufzuzeigen.
12. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass einzelne Schritte der Arbeitsanweisungen (304) sowie Informationen zu zu verwendenden Laborhilfsmitteln, Substanzen und Materialien und physikalischen Bedingungen und Gefahren mittels der Darstellungs- und Aufzeichnung s Vorrichtung (200) dem Labormitarbeiter sichtbaren Objekten direkt überlagert dargestellt werden.
13. Verfahren nach einem der Ansprüche 10-12, dadurch gekennzeichnet, dass die Darstellungs- und Aufzeichnungsvorrichtung (200) mit Sensoren (22) zur Erfassung von Umgebungsbedingungen ausgestattet ist und von den Sensoren (22) erfasste Umgebungsbedingungen von der tragbaren Darstellungs- und
Aufzeichnung s Vorrichtung (200) als physikalische Parameter den sichtbaren Objekten zugewiesen und für den Labormitarbeiter verständlich übersetzt dargestellt und digital protokolliert werden.
14. Verfahren nach einem der Ansprüche 1-13, dadurch gekennzeichnet, dass ein Labormitarbeiter bestehende Arbeitsanweisungen abruft und diese dann durch ein automatisches System übersetzt und in diskrete Arbeits schritte sequenziert werden, wonach diese diskreten Arbeitsschritte in neue Arbeitsanweisungen übersetzt oder in bestehende Arbeitsanweisungen integriert werden.
15. Verfahren nach einem der Ansprüche 1-14, dadurch gekennzeichnet, dass durch während des Arbeitsablaufs verwendete technische Apparaturen und Vorrichtungen erfasste physikalische und/oder chemische Parameter digital aufgezeichnet werden.
16. Verfahren nach einem der Ansprüche 1-15, dadurch gekennzeichnet, dass während der Durchführung des Arbeitsablaufs Eingaben getätigt werden, um von den Arbeitsanweisungen (304) abweichende oder zu ergänzende Parameter einzugeben, wobei ein von den Arbeitsanweisungen (304) vorgegebener Wert sowie der eingegebene Wert des Parameters mitaufgezeichnet werden.
17. Verfahren nach einem der Ansprüche 1-16, dadurch gekennzeichnet, dass der chemische Arbeitsablauf ferngesteuert durchgeführt wird, wobei ein entfernter Partner über eine Netzwerkverbindung zu allen einem lokalen Labormitarbeiter und/oder mindestens einer automatisierten Laborvorrichtung (101) zur Verfügung stehenden Informationen sowie zu einem von dem lokalen Labormitarbeiter und/oder der mindestens einen automatisierten Laborvorrichtung (101) visuell erfassten Bild Zugriff hat und mit dem lokalen Labormitarbeiter und/oder dem mindestens einen automatisierten Laborsystem interagieren kann, um den lokalen Labormitarbeiter und/oder die mindestens eine automatisierte Laborvorrichtung (101) anzuleiten und/oder selber Eingaben zu tätigen und/oder selber Laborvorrichtungen (101) zu bedienen bzw. zu steuern.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass der entfernte Partner die Erstellung der Arbeitsanweisungen (304) für den Arbeitsablauf tätigt und der lokale Labormitarbeiter und/oder die mindestens eine automatisierte Laborvorrichtung (101) unter Verwendung dieser Arbeitsanweisungen den Arbeitsablauf durchführt und während der Durchführung aufzeichnet.
PCT/CH2022/050011 2021-05-28 2022-05-24 Verfahren zur durchführung eines chemischen arbeitsablaufs WO2022246579A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
GB2317583.9A GB2621745A (en) 2021-05-28 2022-05-24 Method for carrying out a chemical work sequence
CN202280038157.6A CN117396760A (zh) 2021-05-28 2022-05-24 用于执行化学工作流程的方法
DE112022002843.2T DE112022002843A5 (de) 2021-05-28 2022-05-24 Verfahren zur Durchführung eines chemischen Arbeitsablaufs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH6172021 2021-05-28
CH00617/21 2021-05-28

Publications (1)

Publication Number Publication Date
WO2022246579A1 true WO2022246579A1 (de) 2022-12-01

Family

ID=81854408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CH2022/050011 WO2022246579A1 (de) 2021-05-28 2022-05-24 Verfahren zur durchführung eines chemischen arbeitsablaufs

Country Status (4)

Country Link
CN (1) CN117396760A (de)
DE (1) DE112022002843A5 (de)
GB (1) GB2621745A (de)
WO (1) WO2022246579A1 (de)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018106289A1 (en) * 2016-12-09 2018-06-14 Brent, Roger Augmented reality procedural system
EP3376325A1 (de) * 2017-03-16 2018-09-19 Siemens Aktiengesellschaft Entwicklung von steuerungsanwendungen in einer umgebung der erweiterten realität
WO2018211312A1 (en) * 2017-05-18 2018-11-22 Uab Atomichronica Augmented reality system for providing support to user concerning technical device
US20190018694A1 (en) 2017-07-12 2019-01-17 HelixAI, Inc. Virtual laboratory assistant platform
US20190316912A1 (en) * 2018-04-16 2019-10-17 Apprentice FS, Inc. Method for controlling dissemination of instructional content to operators performing procedures at equipment within a facility
CN111659483A (zh) 2020-06-10 2020-09-15 南京大学 一种基于六轴机械臂的化学实验自动化系统
EP3798775A1 (de) * 2019-09-26 2021-03-31 Rockwell Automation Technologies, Inc. Virtuelle designumgebung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018106289A1 (en) * 2016-12-09 2018-06-14 Brent, Roger Augmented reality procedural system
EP3376325A1 (de) * 2017-03-16 2018-09-19 Siemens Aktiengesellschaft Entwicklung von steuerungsanwendungen in einer umgebung der erweiterten realität
WO2018211312A1 (en) * 2017-05-18 2018-11-22 Uab Atomichronica Augmented reality system for providing support to user concerning technical device
US20190018694A1 (en) 2017-07-12 2019-01-17 HelixAI, Inc. Virtual laboratory assistant platform
US20190316912A1 (en) * 2018-04-16 2019-10-17 Apprentice FS, Inc. Method for controlling dissemination of instructional content to operators performing procedures at equipment within a facility
EP3798775A1 (de) * 2019-09-26 2021-03-31 Rockwell Automation Technologies, Inc. Virtuelle designumgebung
CN111659483A (zh) 2020-06-10 2020-09-15 南京大学 一种基于六轴机械臂的化学实验自动化系统

Also Published As

Publication number Publication date
DE112022002843A5 (de) 2024-03-21
GB2621745A (en) 2024-02-21
CN117396760A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
DE102018215826B4 (de) Robotersystem und Werkstückgreifverfahren
DE102014225482B4 (de) System und Verfahren zum Programmieren von Operationen zum Inspizieren von Werkstückmerkmalen für eine Koordinatenmessmaschine
DE102019109624B4 (de) Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung
EP3098034B1 (de) Auswahl eines gerätes oder eines objektes mit hilfe einer kamera
DE112012001079T5 (de) Probendatenverarbeitungseinrichtung für Analysegeräte, Autosampler, Flüssigkeitschromatographen, Probendatenverarbeitungsverfahren und Analyseverfahren
DE19917660A1 (de) Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
DE102008020772A1 (de) Darstellung von Ergebnissen einer Vermessung von Werkstücken
EP3467623B1 (de) Verfahren für einen montagearbeitsplatz, montagearbeitsplatz, computerprogramm und computerlesbares medium
EP3274654B1 (de) Verfahren, vorrichtung und computerprogrammprodukt zum bestimmen von dimensionellen eigenschaften eines messobjekts
DE102019208700A1 (de) Werkstückmessvorrichtung, Werkstückmessverfahren und Programm
EP2693218B1 (de) Verfahren und Vorrichtung zum Erfassen bzw. Überprüfen einer Anordnung von Laborartikeln auf einem Arbeitsfeld einer Labor-Arbeitsstation
DE102018000733A1 (de) Überwachungs- und Bediensystem für einen Fertigungsarbeitsplatz und Verfahren zur Unterstützung und Überwachung eines Werkers beim Prozess zum Montieren oder Fertigen eines Produkts oder Teilprodukts
WO2017025644A1 (de) System zur überwachung einer technischen vorrichtung
DE102019116834B4 (de) Augmentierte Fotoaufnahme
WO2020126240A1 (de) Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung
DE102015209896B3 (de) Ermittlung der Roboterachswinkel und Auswahl eines Roboters mit Hilfe einer Kamera
WO2022246579A1 (de) Verfahren zur durchführung eines chemischen arbeitsablaufs
EP1487616B1 (de) Automatische prozesskontrolle
EP1556476A2 (de) Verfahren und vorrichtung zur manipulation mit proben
DE10013137B4 (de) Verfahren zur bildgesteuerten Prüfung und Bearbeitung von Produkten
WO2023023872A1 (de) Verfahren zur protokollierung eines wissenschaftlich experimentellen arbeitsablaufs
WO2008098826A1 (de) Verfahren zum ermitteln von messstellen
DE102020106819A1 (de) Verfahren zum zählen mikrobiologischer kolonien
DE102020203290A1 (de) Verfahren und Vorrichtung zur Untersuchung von Mikroskopproben unter Verwendung optischer Marker
DE112019004583T5 (de) Rationalisierung eines automatischen visuellen prüfprozesses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22726580

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 202317583

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20220524

WWE Wipo information: entry into national phase

Ref document number: 10202300001285

Country of ref document: CH

WWE Wipo information: entry into national phase

Ref document number: 112022002843

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112022002843

Country of ref document: DE