WO2021104799A1 - Akustische überwachung von bautätigkeiten und arbeiten in industrieanlagen - Google Patents

Akustische überwachung von bautätigkeiten und arbeiten in industrieanlagen Download PDF

Info

Publication number
WO2021104799A1
WO2021104799A1 PCT/EP2020/080688 EP2020080688W WO2021104799A1 WO 2021104799 A1 WO2021104799 A1 WO 2021104799A1 EP 2020080688 W EP2020080688 W EP 2020080688W WO 2021104799 A1 WO2021104799 A1 WO 2021104799A1
Authority
WO
WIPO (PCT)
Prior art keywords
activity
execution
audio recording
construction site
vibrations
Prior art date
Application number
PCT/EP2020/080688
Other languages
English (en)
French (fr)
Inventor
Jochen Koehler
Original Assignee
Peri Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peri Gmbh filed Critical Peri Gmbh
Publication of WO2021104799A1 publication Critical patent/WO2021104799A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis

Definitions

  • the invention relates to the automated ongoing monitoring and quality control of construction activities and other work that is carried out on construction sites or in industrial plants.
  • the construction of a structure is typically a long-term project that involves a large number of people. Especially when working in shifts and using / operating by different work groups, the groups of people who are entrusted with the execution of certain activities often change. Continuous monitoring of the construction work is necessary so that the structure finally completed physically corresponds to the planning defined and approved prior to construction. Otherwise, errors could possibly only be recognized at a point in time at which a correction is only possible with disproportionate effort, or no longer at all. A large part of this monitoring is currently carried out by people such as foremen and site managers. In particular, the constantly necessary transfer of knowledge from person to person is a bottleneck. For example, it is difficult to pass on the foreman’s experience, which is often not recorded in writing, to other employees. For example, a site manager can only intervene in the construction work to the extent that he is aware of the facts. In many cases, the site manager has to rely on the foreman. In addition, the monitoring takes place exclusively in the form of visual monitoring.
  • the activity can in particular be a construction activity or other work that is carried out on a construction site or in an industrial plant.
  • Construction activities can not only be carried out on construction sites, but also in existing industrial plants. Examples of such construction activity are the construction of a new production line as well as the overhaul and / or renewal of a production line as part of a "Tumaround" project.
  • the term “activities” in the context of this invention refers in particular to activities that are intended to be carried out on the construction site or in an industrial plant by persons commissioned for this purpose.
  • this procedure does not intend to detect and prosecute thieves or burglars who are unauthorized on the construction site or in the industrial plant and who have no intention of participating in work as intended or in the progress of construction.
  • at least one audio recording in which the sound emitted during the execution of the activity is recorded by sensors is procured.
  • procured means in particular that the sensory detection and the processing explained in more detail below can be carried out at different locations and / or also by different entities.
  • a building contractor can record audio recordings on the construction site using sensors and purchase the evaluation from another contractor as a service.
  • the audio recording is processed into a classification of the activity.
  • the audio recording can be processed into a value of at least one parameter which characterizes the execution of the activity and / or a state of at least one piece of equipment used in this execution.
  • a parameter that characterizes the execution of the activity can be, for example, the service life or a speed or number of strokes of a power tool used.
  • parameters do not necessarily have to relate only to individual activities that are carried out on the construction site, but can also relate to all activities carried out on the construction site Respectively.
  • One such parameter is the noise level, which can be relevant for reducing noise emissions, for example.
  • the overall noise can show, for example, the extent to which there is an echo or a reverberation on the construction site. An echo or a reverberation can allow conclusions to be drawn about the nature of the construction site as a whole.
  • the classification of the activity or the value of the parameter is compared with a nominal state provided during the execution of the activity. The result of this comparison is used to determine whether the execution of the activity and / or the operating resource is faulty and / or
  • Audio recordings have a much lower data volume than video recordings, which is particularly important if the recordings are to be forwarded from the construction site to an external service provider and / or to a cloud for analysis.
  • a permanently installed internet connection is usually not yet available on construction sites in particular, so that, for example, cell phone connections have to be used, which are priced according to volume or whose bandwidth is throttled if a contractually agreed volume is exceeded.
  • An error in the execution of the activity can be indicated, for example, if the audio recording shows that an incorrect activity was carried out, that an activity was carried out at the wrong location on the construction site, that a specified work method was not observed or that the wrong tool was used was used to get the job done.
  • misunderstandings of the planning documents or the use of an outdated version of these planning documents can occur. Failure to observe the work methodology and the use of wrong tools can also be the result of errors, but they also arise time and again from the desire of those working on the construction site to save time by taking an apparently “clever” shortcut and thus catching up on delays, for example.
  • the noises characteristic of the next work step can be heard on the audio recording before a drying or curing time that is actually mandatory has expired.
  • the number of blows carried out on a pile with a ram is too low, it can be concluded that this pile could not have been driven into the ground to the depth intended for the foundation of the building, but is much less deep in the ground. That the stake is then at its upper end was simply cut off with a flex to conceal the botch, is also recognized, because according to the plan, no flex should be heard when ramming.
  • the audio recording also contains valuable information about the efficiency with which the activity is being carried out. For example, silence over a longer period of time during which work should actually be carried out can, for example, indicate that a technical problem has arisen during work or that the required material has run out. It can also be recognized, for example, that certain activities take a particularly long time. A kind of temporal "profiling" of the activities can be evaluated with the aim of finding optimization potential in the work processes. If, for example, it always takes a long time to connect distribution hoses to formwork, technical changes can be made to make handling and connecting the hoses easier. If, for example, the alignment of parts that are to be connected by hammering in bolts takes a long time, a hydraulic system or another aid can be provided to accelerate the alignment.
  • the monitoring can advantageously also be extended to the equipment used, such as power tools, so that they can be subjected to better maintenance and care and unplanned downtimes can be avoided.
  • equipment used such as power tools
  • workers on construction sites can sometimes be observed to be indifferent to this point according to the motto “it's not mine”.
  • a drilling machine that makes unusual noises to draw attention to a bearing problem can continue to be used without hesitation because it takes time to return the machine for repairs and one may fear that someone will be blamed for the defect.
  • the motor burns out due to the increased stress not only is the bearing defective, but also the motor burns out due to the increased stress.
  • the audio recording can contain, for example, a rattling of scaffolding parts, which indicates that fastenings on the scaffolding have loosened.
  • the processing of the audio recording can in particular include, for example, identifying and / or quantifying individual noises and / or vibrations in the audio recording.
  • the classification of the activity or the value of the parameter is then determined on the basis of these noises and / or vibrations.
  • the use of more staff may then not be the right instrument to accelerate construction progress, because the additional staff also have to wait for the same bottlenecks.
  • the automation and objectification possible according to the method enables a much more targeted search than the “trying out” of hypotheses on the basis of empirical knowledge.
  • the individual noises and / or vibrations can in particular include, for example, one or more of the following:
  • scaffolding structures are still being used at a specific place of use or whether they can be used for another purpose.
  • a large number of different scaffolding structures are used not only during construction, but also for any subsequent maintenance and repair work. In this way, unused scaffolds can be identified.
  • it can also be monitored, for example, whether the scaffolding has been erected in the right place or whether employees make their work unnecessarily difficult by being erected at the wrong location, from which they can only reach the actual work place at a height with difficulty.
  • the unauthorized use of scaffolding that is blocked for maintenance purposes or for other reasons can also be detected. Since the blocking is usually carried out for security reasons, the use of blocked scaffolding leads to an avoidable security risk.
  • At least one of the components is a component for scaffolding or formwork.
  • it can be checked, for example, whether fastening means for such components are used properly with one another, so that the components are held together with the necessary strength on the one hand and the fastening means are spared on the other hand.
  • fastening means for such components are used properly with one another, so that the components are held together with the necessary strength on the one hand and the fastening means are spared on the other hand.
  • fastening locks of elements of a wall formwork it can be specified that these are to be closed with a certain number of hammer blows. If the locks are subjected to an excessive number of blows, this can be recognized and the staff can be instructed accordingly.
  • noises and / or vibrations that can be detected in the context of the method are noises and / or vibrations that can be detected in the context of the method are noises and / or vibrations that
  • the comparison with the nominal state or plan includes a check as to whether an activity is being carried out which serves to remedy the problem on the construction site or in the industrial plant. In response to the determination that such an activity is being carried out, it is determined that
  • At least one piece of equipment can be controlled with a blocking request, so that it is completely or partially blocked for use by people working on the construction site or in the industrial plant. If, for example, the audible start-up of a power tool indicates that someone is about to "misuse" this tool for a task that is not actually intended for it, then the power supply to the tool can be interrupted to prevent the action.
  • at least one physical measured variable relevant for the ongoing execution of the activity and / or for assessing the quality of the result achieved with this activity is additionally evaluated from the audio recording. In this way, at least a cursory quality control can be integrated into the ongoing monitoring. If a problem is indicated, specific research can be carried out.
  • the viscosity of concrete that is processed in the course of the activity is an important physical measured variable.
  • the viscosity can be determined, for example, from the noise that the concrete emits when flowing through a hose or into a formwork.
  • the processing of the audio recording for the classification of the activity and / or for the value of the parameter takes place at least partially with a trained machine learning module.
  • This machine learning module can in particular comprise or be an artificial neural network, ANN.
  • Such a machine learning module can in particular contain a function whose behavior is characterized by adjustable parameters. It is characterized by a great power to generalize. That is, after a workout With a limited number of situations that have sufficient variability among each other, the module is able to apply the knowledge and / or the learned recognition of known patterns to many situations that were not the subject of the training. For the systematic recognition of patterns from very large amounts of data, “big data” analysis methods, in particular, can be used which, for example, can also precede the machine learning module.
  • a machine learning module is particularly advantageous for recognizing activities or values of parameters from noises or vibrations. If the same activity, such as starting a drill, is repeated several times under otherwise identical circumstances, then no two audio recordings of these actions will be exactly identical. If, on the other hand, a machine learning module has received a large number of audio recordings during training together with the information that the associated activity is starting a drill, then it will also correctly classify a new audio recording of another starting of a drill.
  • machine leaming modules are very well suited to breaking down a mixture of several noises, as is the rule on a construction site or in an industrial plant, into their various noise components. So are common
  • Classification algorithms designed to specify for several of the possible classes (here, for example: activities) with which confidence the audio recording entered belongs to the respective class.
  • activities for example: activities
  • the same confidences for example, for starting a drill as well as for sawing with a circular saw, can then be interpreted in such a way that both activities are carried out in parallel.
  • the invention also relates to a Method for training a machine leaming module for use in the method described above.
  • learning audio recordings in which sound emitted by or in construction sites and / or industrial plants is recorded by sensors when activities are carried out are acquired.
  • the learning audio recordings are each annotated with target classifications or target values to which the machine learning module is to map the learning audio recordings in each case.
  • target classifications or target values to which the machine learning module is to map the learning audio recordings in each case.
  • a Lem audio recording that contains a mixture of different noises can be annotated with all the individual noises contained in this mixture.
  • Parameters that characterize the behavior of the machine learning module are optimized with the aim of the machine learning module making the learning audio recordings as accurately as possible to the target classifications or target values assigned by the annotation in accordance with a predetermined cost function maps. After completion of the training, it can be expected that new audio recordings that were not the subject of the training will be mapped to activities or values in a factually correct manner.
  • the parameters are therefore the result of the training.
  • Teen who has these parameters can use the machine learning module immediately without having to complete the training first.
  • the parameters are therefore an independent, valuable product that can be sold, for example, as a download.
  • the invention therefore also relates to a parameter set of parameters which characterize the behavior of a trainable machine leaming module and were obtained with the method described above.
  • the methods can in particular be carried out in a computer-implemented manner and, for this purpose, can be embodied in software, for example. Therefore
  • the invention also relates to one or more computer programs with machine-readable instructions which, when executed on one or more computers, cause the one or more computers to carry out one of the methods described.
  • the invention also relates to a machine-readable data carrier and / or a download product with the parameter set and / or with the one or more computer programs.
  • a download product is a digital product that can be transmitted via a data network, i.e. that can be downloaded by a user of the data network and that can be offered for immediate download in an online shop, for example.
  • FIG. 1 exemplary embodiment of the method 100
  • FIG. 2 Exemplary composition of an audio recording 4 from individual noises 4a.1 to 4a.14;
  • FIG. 3 Finding an interruption U in the work flow on the basis of an audio recording 4;
  • FIG. 4 exemplary embodiment of method 200.
  • FIG. 1 is a flow chart of an exemplary embodiment of the method 100.
  • an audio recording is obtained in which the sound 3, the execution of at least one activity 2 on a construction site la or in an industrial plant lb is generated, sensed.
  • this audio recording 4 is processed into a classification 5a of the activity 2.
  • the audio recording 4 can also be processed into a value 5b of at least one parameter which characterizes the execution of the activity 2 and / or the state of at least one operating resource 6.
  • the audio recording 4 is also used in step 170 to evaluate a physical measured variable 9 relevant to the quality of the result achieved with the activity 2.
  • step 130 the classification 5a, or the value 5b of the parameter, with a nominal condition 7a of the construction site 1 a, with a nominal condition 7b of the
  • a warning device 8 can be activated in step 150 in order to notify the staff performing activity 2 of the error.
  • an operating means 6 can be activated in step 160 with a blocking request 6a in order to block this operating means 6 completely or partially for use.
  • processing 120 for classification 5a, or for value 5b can take place.
  • individual noises 4a and / or vibrations 4b can be identified and / or quantified in the audio recording 4.
  • the classification 5a, or the value 5b of the parameter can be determined on the basis of these noises 4a and / or vibrations 4b.
  • processing 120 can take place in particular with a trained machine learning module.
  • the comparison 130 with the nominal state 7a, 7b, or with the plan 7c for the execution of activity 2 can be implemented.
  • block 131 it can be checked whether the correct activity 2 is being carried out.
  • block 132 it can be checked whether activity 2 is being carried out in the correct place.
  • block 133 it can be checked whether the correct resources 6 are being used.
  • block 134 it can be checked whether resources 6 are being handled correctly.
  • block 135 it can be checked whether an activity 2 is being carried out which is used to remedy the problem on the construction site la or in the industrial plant lb.
  • an error or an inefficiency in a previous activity 2 can be diagnosed in block 141.
  • an error of at least one operating means 6 used in a previous activity 2 can be diagnosed in block 142.
  • FIG. 2 shows, by way of example, the composition of an audio signal 4 from 14 individual noises 4a.1 to 4a.14.
  • the amplitudes of the noises 4a.1 to 4a.14 are plotted as functions of the time t, regardless of the different frequency ranges.
  • Such a variety of noises does not necessarily have to come from a single job on the construction site la or in the Industrial plant lb come. Rather, it is likely that at a location where the audio recording 4 is recorded, noises from several workplaces in the vicinity mix.
  • FIG. 3 shows, by way of example, how an interruption U in a workflow can be recognized on the basis of an audio recording 4. The amplitude is plotted as a function of time t.
  • FIG. 4 shows an exemplary embodiment of the method 200 for training a machine leaming module.
  • learning audio recordings 4 ' are obtained from a plurality of construction sites 1 a and / or industrial plants 1 b.
  • these learning audio recordings 4 ' are annotated with learning classifications 5a' or with learning values 5b '.
  • the machine leaming module is intended to map the learning audio recordings 4 'onto these learning classifications 5a' or learning values 5b '.
  • parameters 10, which characterize the behavior of the machine learning module are optimized with the aim that precisely this state is reached.
  • the parameters 10 are therefore changed again and again, and it is checked in each case using a predetermined cost function 11 whether the Lem classifications 5a 'or learning values 5b' are reproduced better. If a specified termination criterion is reached, the fully trained parameters 10 * are output. List of reference symbols la construction site lb industrial plant 2 activity

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

Verfahren (100) zur Überwachung mindestens einer Tätigkeit (2), die auf einer Baustelle (1a) oder in einer Industrieanlage (1b) ausgeführt wird, mit den Schritten: - Beschaffen (110) mindestens einer Audioaufnahme (4), in der bei der Ausführung der Tätigkeit (2) abgegebener Schall (3) sensorisch erfasst ist; - Verarbeiten (120) der Audioaufnahme (4) zu einer Klassifikation (5a) der Tätigkeit (2), und/oder zu einem Wert (5b) mindestens einer Kenngröße, die die Ausführung der Tätigkeit (2), und/oder einen Zustand mindestens eines bei dieser Ausführung verwendeten Betriebsmittels (6), charakterisiert; - Abgleichen (130) der Klassifikation (5a) der Tätigkeit (2), bzw. des Werts (5b) der Kenngröße, mit einem während der Ausführung der Tätigkeit vorgesehenen Nominalzustand (7a, 7b), und/oder mit einem Plan (7c) für die Ausführung der Tätigkeit (2); und - Ermitteln (140) anhand des Ergebnisses (130a) dieses Abgleichs (130), o ob die Ausführung der Tätigkeit (2), und/oder das Betriebsmittel (6), fehlerhaft ist (140a), und/oder o inwieweit die Ausführung der Tätigkeit (2) effizient ist (140b), und/oder o wie weit die Ausführung der Tätigkeit (2) fortgeschritten ist (140c). Verfahren (200) zum Baustellen- bzw. anlagenübergreifenden Training eines Machine Learning-Moduls.

Description

Akustische Überwachung von Bautätigkeiten und Arbeiten in Industrieanlagen
Bezugnahme auf verwandte Anmeldungen
Die vorliegende Anmeldung beansprucht die Priorität der deutschen Patentanmeldung Nr. 102019218 383.2, eingereicht am 27. November 2019, die in vollem Umfang durch Bezugnahme in das vorliegende Dokument aufgenommen wird.
Die Erfindung betrifft die automatisierte laufende Überwachung und Qualitätskontrolle von Bautätigkeiten und sonstigen Arbeiten, die auf Baustellen oder in Industrieanlagen ausgeführt werden.
Stand der Technik
Die Errichtung eines Bauwerks ist typischerweise ein länger andauerndes Vorhaben, an dessen Ausführung eine Vielzahl von Personen beteiligt sind. Insbesondere beim Arbeiten im Schichtbetrieb und der Nutzung / Bedienung durch unterschiedliche Arbeitsgruppen wechseln häufig die Personenkreise, die mit der Ausführung bestimmter Tätigkeiten betraut sind. Damit das am Ende realisierte Bauwerk physisch der vor der Bauausführung festgelegten und genehmigten Planung entspricht, ist eine laufende Überwachung der Bauausführung erforderlich. Ansonsten könnten Fehler möglicherweise erst zu einem Zeitpunkt erkannt werden, zu dem eine Korrektur nur noch mit unverhältnismäßigem Aufwand, oder überhaupt nicht mehr, möglich ist. Diese Überwachung wird derzeit zu einem großen Teil von Menschen, wie beispielsweise Polieren und Bauleitern, durchgeführt. Hierbei ist insbesondere der immer wieder notwendige Wissenstransfer von Mensch zu Mensch ein Engpass. So ist es beispielsweise schwierig, Erfahrungswissen des Poliers, das vielfach nicht schriftlich niedergelegt ist, an andere Mitarbeiter weiterzugeben. Auch kann beispielsweise ein Bauleiter nur insoweit in die Bauausführung eingreifen, wie ihm die Fakten bekannt sind. Vielfach muss sich der Bauleiter auf den Polier verlassen. Außerdem findet die Überwachung ausschließlich in Form einer visuellen Überwachung statt.
Aufgabe und Lösung
Es ist daher die Aufgabe der vorliegenden Erfindung, eine automatisierte und zugleich objektivierte Überwachung der Ausführung von Bautätigkeiten und sonstigen Arbeiten, die auf Baustellen und in Industrieanlagen zur Verfügung zu stellen.
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß Hauptanspruch sowie durch ein weiteres Verfahren zum Trainieren eines Machine Learning-Moduls gemäß Nebenanspruch. Weitere vorteilhafte Ausgestaltungen ergeben sich aus den darauf rückbezogenen Unteransprüchen.
Offenbarung der Erfindung Im Rahmen der Erfindung wurde ein Verfahren zur Überwachung mindestens einer Tätigkeit entwickelt. Bei der Tätigkeit kann es sich insbesondere um eine Bautätigkeit oder sonstige Arbeit handeln, die auf einer Baustelle oder in einer Industrieanlage ausgeführt wird. Bautätigkeiten können hierbei nicht nur auf Baustellen ausgeführt werden, sondern auch in bestehenden Industrieanlagen. Beispiele für eine derartige Bautätigkeit sind der Bau einer neuen Produktionslinie sowie die Überholung und/oder Erneuerung einer Produktionslinie im Rahmen eines „Tumaround“ -Projekts. Dabei bezeichnet der Begriff „Tätigkeiten“ im Kontext dieser Erfindung insbesondere solche Aktivitäten, deren Ausführung auf der Baustelle oder in einer Industrieanlage durch hierzu beauftragte Personen vorgesehen ist. Nicht beabsichtigt ist im Rahmen dieses Verfahrens hingegen die Erkennung und Verfolgung von Dieben oder Einbrechern, die sich unbefugt auf der Baustelle oder in der Industrieanlage aufhalten und keine Absicht haben, an bestimmungsgemäßen Arbeiten bzw. am Baufortschritt mitzuwirken. Im Rahmen des Verfahrens wird mindestens eine Audioaufnahme, in der bei der Ausführung der Tätigkeit abgegebener Schall sensorisch erfasst ist, beschafft.
Hierbei bedeutet „beschafft“ insbesondere, dass das sensorische Erfassen und das im Folgenden näher erläuterte Verarbeiten an verschiedenen Orten und/oder auch von verschiedenen Entitäten durchgeführt werden können. Es kann also beispielsweise ein Bauunternehmer Audioaufnahmen auf der Baustelle sensorisch erfassen und die Auswertung von einem anderen Unternehmer als Dienstleistung einkaufen.
Die Audioaufnahme wird zu einer Klassifikation der Tätigkeit verarbeitet. Alternativ oder auch in Kombination hierzu kann die Audioaufnahme zu einem Wert mindestens einer Kenngröße verarbeitet werden, der die Ausführung der Tätigkeit, und/oder einen Zustand mindestens eines bei dieser Ausführung verwendeten Betriebsmittels, charakterisiert.
So kann beispielsweise klassifiziert werden, ob in dem durch die Audioaufnahme erfassten Zeitraum ein Meißel, eine Bohrmaschine oder eine Säge genutzt wurde. Eine Kenngröße, die die Ausführung der Tätigkeit charakterisiert, kann beispielsweise die Nutzungsdauer oder eine Dreh- oder Schlagzahl eines genutzten Elektrowerkzeugs sein. Kenngrößen müssen sich aber nicht unbedingt nur auf individuelle Tätigkeiten beziehen, die auf der Baustelle ausgeführt werden, sondern können sich auch summarisch auf alle auf der Baustelle ausgeführten Tätigkeiten beziehen. Eine solcher Kenngröße ist der Geräuschpegel, der beispielsweise für die Minderung von Lärm-Emissionen relevant sein kann. Weiterhin kann aus dem Gesamtgeräusch beispielsweise hervorgehen, inwieweit es auf der Baustelle ein Echo oder einen Hall gibt. Ein Echo oder ein Hall kann Rückschlüsse auf die Beschaffenheit der Baustelle insgesamt zulassen.
Die Klassifikation der Tätigkeit, bzw. der Wert der Kenngröße, wird mit einem während der Ausführung der Tätigkeit vorgesehenen Nominalzustand abgeglichen. Anhand des Ergebnisses dieses Abgleichs wird ermittelt, · ob die Ausführung der Tätigkeit, und/oder das Betriebsmittel, fehlerhaft ist, und/oder
• inwieweit die Ausführung der Tätigkeit effizient ist, und/oder
• wie weit die Ausführung der Tätigkeit fortgeschritten ist. Es wurde erkannt, dass sich auf diese Weise mit vergleichsweise geringem apparativem Aufwand die Tätigkeiten auch auf einer ausgedehnten Baustelle zumindest zu einem großen Anteil kontrollieren lassen. Die Nutzung von Audioaufnahmen zu diesem Zweck hat mehrere spezifische Vorteile gegenüber beispielsweise Videoaufnahmen: · Schall breitet sich auch ohne direkte Sichtverbindung auf der Baustelle aus.
Es sind daher nur wenige Mikrofone nötig, um die Baustelle zu überwachen. Hingegen wäre es vergleichsweise aufwändig, jeden Winkel der Baustelle, die während der Bautätigkeit auch noch täglich ihr Layout ändert, mit Kameras zu überwachen. · Die Nutzung von Audioaufnahmen ist datenschutzrechtlich weit weniger problematisch als eine Kameraüberwachung, die am Arbeitsplatz als reine Routinemaßnahme ohne konkreten Anlass bis auf wenige Ausnahmefälle verboten ist. • Die Erfassung von Audioaufnahmen ist technisch weniger anspruchsvoll. Es können nicht nur gut ausgeleuchtete Bereiche überwacht werden.
• Audioaufnahmen haben ein weitaus geringeres Datenvolumen als Videoaufnahmen, was insbesondere dann wichtig ist, wenn die Aufnahmen von der Baustelle für die Auswertung zu einem externen Dienstleister und/oder in eine Cloud weiterzuleiten sind. Gerade auf Baustellen ist in der Regel noch keine festinstallierte Internetverbindung verfügbar, so dass etwa auf Mobilfunkverbindungen zurückgegriffen werden muss, die volumenabhängig bepreist sind oder bei Überschreiten eines vertraglich vereinbarten Volumens in der Bandbreite gedrosselt werden.
Auf einen Fehler bei der Ausführung der Tätigkeit kann es beispielsweise hindeuten, wenn aus der Audioaufnahme vorgeht, dass eine falsche Tätigkeit ausgeführt wurde, dass eine Tätigkeit am falschen Ort auf der Baustelle ausgeführt wurde, dass eine vorgegebene Arbeitsmethodik nicht beachtet wurde oder dass ein falsches Werkzeug für die Erledigung der Arbeit genutzt wurde. Zur Ausführung der falschen Tätigkeit, bzw. zur Ausführung von Tätigkeiten am falschen Ort, kann es beispielsweise bei Missverständnissen der Planungsunterlagen oder bei Verwendung einer veralteten Version dieser Planungsunterlagen kommen. Die Nichtbeachtung der Arbeitsmethodik und die Verwendung falscher Werkzeuge können ebenfalls die Folge von Irrtümem sein, entspringen jedoch auch immer wieder dem Wunsch der auf der Baustelle Beschäftigten, durch eine scheinbar „schlaue“ Abkürzung Zeit zu sparen und so beispielsweise Verspätungen aufzuholen. Beispielsweise können auf der Audioaufnahme noch vor Ablauf einer eigentlich zwingend einzuhaltenden Trocknungs- oder Aushärtungszeit die für den nächsten Arb eits schritt charakteristischen Geräusche zu hören sein. Ebenso lässt sich beispielsweise aus einer zu geringen Anzahl von mit einer Ramme auf einen Pfahl ausgeführten Schlägen schließen, dass dieser Pfahl nicht bis auf die für die Gründung des Gebäudes vorgesehene Tiefe in den Boden getrieben worden sein kann, sondern wesentlich weniger tief im Boden steckt. Dass der Pfahl dann an seinem oberen Ende einfach mit einer Flex abgeschnitten wurde, um den Pfusch zu kaschieren, wird ebenfalls erkannt, denn beim Rammen sollte laut Plan keine Flex zu hören sein.
Die Audioaufnahme enthält weiterhin wertvolle Hinweise, inwieweit die Ausführung der Tätigkeit effizient ist. So kann beispielsweise Stille über einen längeren Zeitraum, in dem eigentlich gearbeitet werden sollte, beispielsweise darauf hindeuten, dass bei der Arbeit ein technisches Problem aufgetreten oder das benötigte Material ausgegangen ist. Ebenso kann beispielsweise erkannt werden, dass bestimmte Tätigkeiten besonders lange dauern. Es kann also eine Art zeitliches „Profiling“ der Tätigkeiten ausgewertet mit dem Ziel, Optimierungspotential bei den Arbeitsabläufen ausfindig zu machen. Wenn es beispielsweise immer wieder lange dauert, Verteilschläuche an eine Schalung anzuschließen, können technische Veränderungen vorgenommen werden, die die Handhabung und das Anschließen der Schläuche erleichtern. Wenn beispielsweise das Ausrichten von Teilen, die durch das Einschlagen von Bolzen verbunden werden sollen, immer wieder lange dauert, kann eine Hydraulik oder ein anderes Hilfsmittel vorgesehen werden, die das Ausrichten beschleunigt.
Weiterhin lässt sich die Überwachung vorteilhaft auch auf die verwendeten Betriebsmittel, wie etwa Elektrowerkzeuge, ausdehnen, so dass diese einer besseren Wartung und Pflege unterzogen werden können und ungeplante Ausfallzeiten vermieden werden. Während etwa ein Heimwerker eine hochwertige Bohrmaschine hegt und pflegt, damit er lange etwas von seiner Investition hat, ist bei Arbeitern auf Baustellen zuweilen in diesem Punkt eine Gleichgültigkeit nach dem Motto „ist ja nicht meins“ zu beobachten. Beispielsweise wird eine Bohrmaschine, die mit ungewöhnlichen Geräuschen auf ein Lagerproblem aufmerksam macht, bedenkenlos weitergenutzt, weil das Abgeben der Maschine zur Reparatur Zeit kostet und man möglicherweise fürchtet, dass einem der Defekt vorgeworfen wird. Im Ergebnis ist dann aber nicht nur das Lager defekt, sondern auf Grund der erhöhten Beanspruchung brennt auch noch der Motor durch. Auch ist es beispielsweise für Gerüste in Industrieanlagen, die über einen längeren Zeitraum genutzt werden, vorgeschrieben, dass diese Gerüste regelmäßig technisch überprüft und erneut freigegeben werden. Hier wird bislang häufig nur eine menschliche visuelle Prüfung durchgeführt. Die Audioaufnahme hingegen kann beispielsweise ein Klappern von Gerüstteilen enthalten, was daraufhindeutet, dass sich Befestigungen am Gerüst gelockert haben.
Schließlich lässt sich auch zumindest summarisch überwachen, wie weit die Ausführung der Tätigkeit fortgeschritten ist. Beispielsweise lässt sich mit mehreren Mikrofonen orten, woher bestimmte Arbeitsgeräusche kommen. Wenn der Ort, von dem ein bestimmtes Geräusch kommt, langsamer wandert als er dies laut Plan tun sollte, hinkt der Bau möglicherweise dem Plan hinterher. Auch sollten während bestimmter Bauphasen immer nur bestimmte Arbeiten und Werkzeuge zu hören sein.
Das Verarbeiten der Audioaufnahme kann insbesondere beispielsweise beinhalten, einzelne Geräusche und/oder Vibrationen in der Audioaufnahme zu identifizieren und/oder zu quantifizieren. Anhand dieser Geräusche und/oder Vibrationen wird dann die Klassifikation der Tätigkeit, bzw. der Wert der Kenngröße, ermittelt. So lässt sich insbesondere beispielsweise ermitteln, welche Arbeiten in welchen Zeiträumen jeweils parallel ausgeführt wurden. In Zeiträumen, in denen kaum Arbeiten parallel ausgeführt werden, gibt es möglicherweise technische Engpässe. Der Einsatz von mehr Personal ist dann möglicherweise nicht das richtige Instrument, um den Baufortschritt zu beschleunigen, weil auch das zusätzliche Personal auf die gleichen Engpässe warten muss. Zielführender könnte es hingegen sein, die Engpässe an der Wurzel anzugehen und beispielsweise eine Maschine durch ein höherwertiges Modell mit mehr Durchsatz zu ersetzen. Die gemäß dem Verfahren mögliche Automatisierung und Objektivierung ermöglicht eine in wesentlich höherem Maße zielgerichtete Suche als das „Ausprobieren“ von Hypothesen auf der Basis von Erfahrungswissen. Die einzelnen Geräusche und/oder Vibrationen können insbesondere beispielsweise eine oder mehrere der folgenden umfassen:
• Betriebsgeräusche, Signale und/oder Vibrationen, die mindestens ein Gerät oder eine Maschine bei der Benutzung emittiert;
• Geräusche und/oder Vibrationen, die beim Bewegen bestimmter Geräte, Materialien oder Bauteile emittiert werden;
• Geräusche und/oder Vibrationen, die beim Betätigen von Befestigungsmitteln zur Verbindung von Bauteilen untereinander emittiert werden;
• Trittschall und/oder Vibrationen, die durch die Bewegung von auf der Baustelle oder in der Industrieanlage tätigen Personen emittiert werden; sowie
• mündliche Äußerungen von auf der Baustelle tätigen Personen. So kann beispielsweise lautes Schimpfen daraufhindeuten, dass ein Arbeitsschritt oder ein Betriebsmittel nicht oder nur mit Mühe funktioniert und an diesem Punkt möglicherweise angesetzt werden kann, um die Effizienz zu steigern.
Weiterhin kann beispielsweise erkannt werden, ob bestimmte Gerüstaufbauten an einem konkreten Einsatzort noch benutzt werden oder einer anderen Verwendung zugeführt werden können. Gerade in komplexen Industrieanlagen wird nicht nur beim Bau, sondern auch bei späteren allfälligen Wartungs- und Reparaturarbeiten eine Vielzahl unterschiedlicher Gerüstaufbauten verwendet. Nicht benutzte Gerüste können so identifiziert werden. Weiterhin kann beispielsweise auch überwacht werden, ob das Gerüst an der richtigen Stelle aufgebaut worden ist oder ob sich Beschäftigte durch einen Aufbau am falschen Standort, von dem aus sie die eigentliche Arbeitsstelle in der Höhe nur mit Mühe erreichen können, die Arbeit unnötig schwer machen. Ebenso kann die unbefugte Benutzung von für Wartungszwecke oder aus anderen Gründen gesperrten Gerüsten erkannt werden. Da die Sperrung in der Regel aus Sicherheitsgründen erfolgt, führt die Benutzung gesperrter Gerüste zu einem vermeidbaren Sicherheitsrisiko.
In einer besonders vorteilhaften Ausgestaltung ist mindestens eines der Bauteile ein Bauteil für ein Gerüst oder eine Schalung. Hier kann beispielsweise kontrolliert werden, ob Befestigungsmittel für derartige Bauteile untereinander sachgerecht verwendet werden, so dass die Bauteile einerseits mit der nötigen Festigkeit aneinandergehalten werden und andererseits die Befestigungsmittel geschont werden. Beispielsweise kann für Befestigungsschlösser von Elementen einer Wandschalung spezifiziert sein, dass diese mit einer bestimmten Anzahl von Hammerschlägen zu schließen sind. Wenn die Schlösser mit einer übermäßigen Zahl von Schlägen traktiert werden, kann dies erkannt werden, und die Mitarbeiter können entsprechend instruiert werden.
Beispiele für Geräusche und/oder Vibrationen, die im Rahmen des Verfahrens erkannt werden können, sind Geräusche und/oder Vibrationen, die
• das Handhaben, Anziehen oder Lösen von Verbindungsmitteln einer Ab Schalung,
• das Schließen einer Abschalung,
• Anhängen eines Schalelementes an einen Kran,
• Versetzen eines Schalelementes durch den Kran,
• das Betätigen einer Stockwinde, · einen Schweißprozess,
• das Betätigen eines Schlagschraubers,
• das Betätigen eines Hydraulikzylinders,
• das Betätigen eines Dampfstrahlers,
• das Betätigen eines Betonmeißels, • das Betätigen eines Bohrers,
• das Einwirken von Schlägen auf ein Befestigungsmittel,
• ein von einem Steuergerät emittiertes akustisches Signal,
• die Bewegung einer Maschine auf der Baustelle,
• das Fließen von Beton in eine Schaltung, oder
• das Ab senken einer Verstrebung charakterisieren. Dieser Satz an Geräuschen und/oder Vibrationen deckt insbesondere die wichtigsten Aktivitäten im Hinblick auf die Arbeit mit Gerüsten und Schalungen ab, wobei die letztere Anwendung vom Einschalen über das Betonieren bis hin zum Ausschalen erfasst wird.
In einer weiteren besonders vorteilhaften Ausgestaltung beinhaltet der Abgleich mit dem Nominalzustand oder Plan eine Prüfung, ob eine Tätigkeit ausgeführt wird, die einer Problembehebung auf der Baustelle oder in der Industrieanlage dient. In Antwort auf die Feststellung, dass eine solche Tätigkeit ausgeführt wird, wird festgestellt, dass
• eine vorangegangene Tätigkeit auf der Baustelle oder in der Industrieanlage fehlerhaft oder nicht effizient ausgeführt wurde, und/oder
• bei dieser vorangegangenen Tätigkeit ein Fehler mindestens eines Betriebsmittels Vorgelegen hat.
Wenn sich beispielsweise auf Grund ungenügender Reinigung Beton an einem Einlassstutzen einer Schalung festgesetzt hat und hart geworden ist, macht sich dies bemerkbar, indem ein Betonmeißel, der bei der normalen Arbeit nicht zum Einsatz kommt, genutzt werden muss, um den Stutzen wieder frei zu bekommen. Ist also das Geräusch des Betonmeißels in der Audioaufnahme zu hören, deutet dies daraufhin, dass am Tag zuvor unsauber mit dem Beton gearbeitet wurde. Dies ist ein Stück weit analog zur Beobachtung im Haushalt, dass das Geräusch von Scherben auf einem Handfeger eigentlich nur dann zu hören ist, wenn man zuvor im Umgang mit Zerbrechlichem einen Fehler gemacht hat. In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort auf die Feststellung, dass die Ausführung einer Tätigkeit, und/oder ein Betriebsmittel, fehlerhaft ist, eine für auf der Baustelle oder in der Industrieanlage tätige Personen wahrnehmbare physikalische Wameinrichtung angesteuert. Dies kann insbesondere beispielsweise in nahezu Echtzeit geschehen, denn der Lerneffekt für die Vermeidung künftiger Fehler ist am größten, wenn es ein Feedback in unmittelbarem zeitlichen Zusammenhang mit dem Fehler gibt. Ertönt beispielsweise direkt nach dem Betreten eines gesperrten Gerüsts ein Gong gefolgt von der Mitteilung „Bitte prüfen Sie, ob das Gerüst, auf dem Sie stehen, freigegeben ist“, fühlt sich der betreffende Mitarbeiter zu Recht ertappt und wird bei der nächsten Gelegenheit, bei der er zu einem gesperrten Gerüst kommt, daran zurückdenken.
Alternativ oder auch in Kombination hierzu kann mindestens ein Betriebsmittel mit einem Blockierungswunsch angesteuert werden, so dass es für die Benutzung durch auf der Baustelle oder in der Industrieanlage tätige Personen ganz oder teilweise gesperrt wird. Wenn beispielsweise das hörbare Anlaufen eines Elektrowerkzeugs dahingehend zu deuten ist, dass jemand im Begriff ist, dieses Werkzeug für eine dafür eigentlich nicht vorgesehene Aufgabe „zweckzuentfremden“, dann kann die Stromversorgung des Werkzeugs unterbrochen werden, um die Aktion zu verhindern.
Nach dem zuvor Gesagten kann in Antwort auf die Feststellung, dass • die Audioaufnahme ungeplante Zeiträume enthält, in denen der
Geräuschpegel einen vorgegebenen Schwellwert unterschreitet, und/oder • eine Zeitdauer, für die eine bestimmte Tätigkeit ausweislich der Auswertung der Audioaufnahme ausgeführt wird, einen vorgegebenen Schwellwert überschreitet, festgestellt werden, dass die Ausführung von Tätigkeiten auf der Baustelle oder in der Industrieanlage nicht effizient ist. Zu wenig Geräusch deutet auf ein Stocken der Arbeit hin, während beispielsweise zu langes Arbeiten mit bestimmten Werkzeugen daraufhindeuten kann, dass das Werkzeug für die aktuelle Aufgabe nicht geeignet oder möglicherweise abgenutzt ist. In einer weiteren besonders vorteilhaften Ausgestaltung wird aus der Audioaufnahme zusätzlich mindestens eine für die laufende Ausführung der Tätigkeit, und/oder für die Beurteilung der Qualität des mit dieser Tätigkeit erzielten Ergebnisses, relevante physikalische Messgröße ausgewertet. Auf diese Weise lässt sich in die laufende Überwachung zumindest eine kursorische Qualitätskontrolle integrieren. Wird hierbei ein Problem angezeigt, kann gezielt nachgeforscht werden.
Im Betonbau ist beispielsweise die Viskosität von Beton, der im Rahmen der Tätigkeit verarbeitet wird, eine wichtige physikalische Messgröße. Die Viskosität kann beispielsweise über das Geräusch, das der Beton beim Fließen durch einen Schlauch oder in eine Schalung emittiert, erschlossen werden.
In einer weiteren besonders vorteilhaften Ausgestaltung erfolgt das Verarbeiten der Audioaufnahme zu der Klassifikation der Tätigkeit, und/oder zu dem Wert der Kenngröße, zumindest teilweise mit einem trainierten Machine Learning-Modul. Dieses Machine Learning-Modul kann insbesondere ein künstliches neuronales Netzwerk, KNN, umfassen oder sein.
Ein solches Machine Learning-Modul kann insbesondere eine Funktion beinhalten, deren Verhalten durch einstellbare Parameter charakterisiert ist. Es zeichnet sich durch eine große Kraft zur Verallgemeinerung aus. Das heißt, nach einem Training mit einer begrenzten Anzahl Situationen, die eine hinreichende Variabilität untereinander aufweisen, ist das Modul in der Lage, das erlernte Wissen, und/oder das erlernte Erkennen von bekannten Mustern, auch auf viele Situationen anzuwenden, die nicht Gegenstand des Trainings waren. Für das systematische Erkennen von Mustern aus sehr großen Datenmengen können insbesondere „Big Data“-Analysemethoden verwendet werden, die auch beispielsweise dem Machine Learning-Modul vorgeschaltet sein können.
Die Verwendung eines Machine Learning-Modul s ist für die Erkennung von Tätigkeiten oder Werten von Parametern aus Geräuschen oder Vibrationen besonders vorteilhaft. Wenn unter ansonsten gleichen Umständen ein und dieselbe Tätigkeit, wie etwa das Anwerfen einer Bohrmaschine, mehrfach wiederholt wird, dann werden keine zwei Audioaufnahmen dieser Aktionen genau identisch sein. Hat hingegen ein Machine Learning-Modul beim Training eine Vielzahl von Audioaufnahmen erhalten zusammen mit der Information, dass die zugehörige Tätigkeit jeweils das Anwerfen einer Bohrmaschine ist, dann wird es auch eine neue Audioaufnahme eines weiteren Anwerfens einer Bohrmaschine richtig klassifizieren. Insbesondere sind Machine Leaming-Module sehr gut dazu geeignet, eine Mischung aus mehreren Geräuschen, wie sie auf einer Baustelle oder in einer Industrieanlage die Regel ist, in ihre verschiedenen Geräuschbestandteile aufzuschlüsseln. So sind gängige
Klassifikationsalgorithmen dafür ausgelegt, für mehrere der möglichen Klassen (hier etwa: Tätigkeiten) jeweils anzugeben, mit welcher Konfidenz die eingegebene Audioaufnahme zur jeweiligen Klasse gehört. Gleiche Konfidenzen etwa sowohl für das Anwerfen einer Bohrmaschine als auch für das Sägen mit einer Kreissäge lassen sich dann so deuten, dass beide Tätigkeiten parallel zueinander ausgeführt werden.
Um eine große Variabilität der für das Training verwendeten Audioaufnahmen zu erzielen, können insbesondere beispielsweise Audioaufnahmen von einer Mehrzahl von Baustellen verwendet werden. Daher bezieht sich die Erfindung auch auf ein Verfahren zum Trainieren eines Machine Leaming-Moduls für den Einsatz in dem zuvor beschriebenen Verfahren.
Bei diesem Verfahren werden Lern-Audioaufnahmen, in der bei der Ausführung von Tätigkeiten auf einer Mehrzahl von bzw. in Baustellen und/oder Industrieanlagen abgegebener Schall jeweils sensorisch erfasst ist, beschafft. Die Lern- Audioaufnahmen werden jeweils mit Soll-Klassifikationen oder Soll-Werten annotiert, auf die das Machine Learning-Modul die Lern-Audioaufnahmen jeweils abbilden soll. So kann beispielsweise eine Lem-Audioaufnahme, die eine Mischung verschiedener Geräusche beinhaltet, mit allen in dieser Mischung enthaltenen Einzelgeräuschen annotiert werden.
Parameter, die das Verhalten des Machine Learning-Moduls charakterisieren, werden optimiert mit dem Ziel, dass das Machine Learning-Modul die Lern- Audioaufnahmen nach Maßgabe einer vorgegebenen Kostenfunktion möglichst zutreffend auf die jeweils durch das Annotieren zugeordneten Soll-Klassifikationen bzw. Soll-Werte abbildet. Nach Abschluss des Trainings ist zu erwarten, dass neue Audioaufnahmen, die nicht Gegenstand des Trainings waren, in sachlich zutreffender Weise auf Tätigkeiten bzw. Werte abgebildet.
Die Parameter sind somit das Ergebnis des Trainings. Wer diese Parameter besitzt, kann das Machine Learning-Modul unmittelbar nutzen, ohne zuerst das Training absolvieren zu müssen. Daher sind die Parameter ein eigenständiges werthaltiges Produkt, das insbesondere beispielsweise als Download vertrieben werden kann. Daher bezieht sich die Erfindung auch auf einen Parametersatz von Parametern, die das Verhalten eines trainierbaren Machine Leaming-Moduls charakterisieren und mit dem zuvor beschriebenen Verfahren erhalten wurden.
Die Verfahren können insbesondere computerimplementiert durchgeführt werden und zu diesem Zweck beispielsweise in einer Software verkörpert sein. Daher bezieht sich die Erfindung auch auf ein oder mehrere Computerprogramme mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den einen oder die mehreren Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder ein Downloadprodukt mit dem Parametersatz, und/oder mit dem einen oder den mehreren Computerprogrammen. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Spezieller Beschreibungsteil Nachfolgend wird der Gegenstand der Erfindung anhand von Figuren erläutert, ohne dass der Gegenstand der Erfindung hierdurch beschränkt wird. Es ist gezeigt:
Figur 1: Ausführungsbeispiel des Verfahrens 100; Figur 2: Beispielhafte Zusammensetzung einer Audioaufnahme 4 aus Einzelgeräuschen 4a.1 bis 4a.14;
Figur 3: Auffmden einer Unterbrechung U im Arbeitsablauf anhand einer Audioaufnahme 4;
Figur 4: Ausführungsbeispiel des Verfahrens 200.
Figur 1 ist ein Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. In Schritt 110 wird eine Audioaufnahme beschafft, in der Schall 3, den die Ausführung mindestens einer Tätigkeit 2 auf einer Baustelle la oder in einer Industrieanlage lb erzeugt, sensorisch erfasst ist. In Schritt 120 wird diese Audioaufnahme 4 zu einer Klassifikation 5a der Tätigkeit 2 verarbeitet. Alternativ oder auch in Kombination hierzu kann die Audioaufnahme 4 auch zu einem Wert 5b mindestens einer Kenngröße verarbeitet werden, die die Ausführung der Tätigkeit 2, und/oder den Zustand mindestens eines Betriebsmittels 6, charakterisiert. Die Audioaufnahme 4 wird weiterhin in Schritt 170 dazu verwendet, eine für die Qualität des mit der Tätigkeit 2 erzielten Ergebnisses relevante physikalische Messgröße 9 auszuwerten.
In Schritt 130 wird die Klassifikation 5a, bzw. der Wert 5b der Kenngröße, mit einem Nominalzustand 7a der Baustelle la, mit einem Nominalzustand 7b der
Industrieanlage lb, und/oder mit einem Plan 7c für die Ausführung der Tätigkeit 2, abgeglichen. Anhand des Ergebnisses 130a dieses Abgleichs 130 wird ermittelt,
• ob ein Fehler 140a in der Ausführung der Tätigkeit 2 und/oder in einem Betriebsmittel 6 vorliegt, · inwieweit die Tätigkeit 2 mit Effizienz 140b ausgeführt wird, und/oder
• wie groß der Fortschritt 140c der Tätigkeit 2 ist.
Speziell in Antwort darauf, dass ein Fehler 140a vorliegt, kann in Schritt 150 eine Warneinrichtung 8 angesteuert werden, um das Personal, das die Tätigkeit 2 ausführt, auf den Fehler hinzuweisen. Alternativ oder auch in Kombination hierzu kann in Schritt 160 ein Betriebsmittel 6 mit einem Blockierwunsch 6a angesteuert werden, um dieses Betriebsmittel 6 ganz oder teilweise für die Benutzung zu sperren.
Innerhalb des Kastens 120 ist beispielhaft dargestellt, wie die Verarbeitung 120 zur Klassifikation 5a, bzw. zu dem Wert 5b, erfolgen kann. Gemäß Block 121 können einzelne Geräusche 4a und/oder Vibrationen 4b in der Audioaufnahme 4 identifiziert und/oder quantifiziert werden. Gemäß Block 122 kann die Klassifikation 5a, bzw. der Wert 5b der Kenngröße, anhand dieser Geräusche 4a und/oder Vibrationen 4b ermittelt werden. Die Verarbeitung 120 kann gemäß Block 123 insbesondere mit einem trainierten Machine Learning-Modul erfolgen. Innerhalb des Kastens 130 ist beispielhaft dargestellt, wie der Abgleich 130 mit dem Nominalzustand 7a, 7b, bzw. mit dem Plan 7c für die Ausführung der Tätigkeit 2, realisiert werden kann.
Gemäß Block 131 kann geprüft werden, ob die richtige Tätigkeit 2 ausgeführt wird. Gemäß Block 132 kann geprüft werden, ob die Tätigkeit 2 am richtigen Ort ausgeführt wird. Gemäß Block 133 kann geprüft werden, ob die richtigen Betriebsmittel 6 verwendet werden. Gemäß Block 134 kann geprüft werden, ob Betriebsmittel 6 richtig gehandhabt werden.
Gemäß Block 135 kann geprüft werden, ob eine Tätigkeit 2 ausgeführt wird, die einer Problembehebung auf der Baustelle la oder in der Industrieanlage lb dient. In Antwort auf die Feststellung 136 (Wahrheit s wert 1), dass eine solche Tätigkeit 2 ausgeführt wird, kann in Block 141 ein Fehler oder eine Ineffizienz in einer vorangegangenen Tätigkeit 2 diagnostiziert werden. Alternativ oder in Kombination hierzu kann in Block 142 ein Fehler mindestens eines bei einer vorangegangenen Tätigkeit 2 verwendeten Betriebsmittels 6 diagnostiziert werden. Gemäß Block 137 kann geprüft werden, ob die Audioaufnahme 4 ungeplante
Zeiträume mit besonders niedrigem Geräuschpegel enthält. Gemäß Block 138 kann geprüft werden, ob die Ausführung einer Tätigkeit 2 besonders lange anhält. Ist mindestens eine dieser Bedingungen erfüllt (Wahrheitswert jeweils 1), kann gemäß Block 143 eine Ineffizienz bei der aktuellen Tätigkeit 2 diagnostiziert werden.
Figur 2 zeigt beispielhaft die Zusammensetzung eines Audiosignals 4 aus 14 Einzelgeräuschen 4a.1 bis 4a.14. Aufgetragen sind ohne Rücksicht auf unterschiedliche Frequenzbereiche jeweils die Amplituden der Geräusche 4a.1 bis 4a.14 als Funktionen der Zeit t. Eine derartige Vielfalt von Geräuschen muss nicht unbedingt nur von einer einzigen Arbeitsstelle auf der Baustelle la oder in der Industrieanlage lb kommen. Vielmehr ist es wahrscheinlich, dass sich an einem Ort, wo die Audioaufnahme 4 aufgenommen wird, Geräusche von mehreren Arbeitsstellen in der Nähe mischen. Figur 3 zeigt beispielhaft, wie anhand einer Audioaufnahme 4 eine Unterbrechung U in einem Arbeitsablauf erkannt werden kann. Aufgetragen ist die Amplitude als Funktion der Zeit t.
Zunächst wird eine vergleichsweise laute Tätigkeit 2.1 ausgeübt. Später werden weitere Tätigkeiten 2.2 und 2.3 ausgeübt, die jeweils andere Zeitverläufe der Amplitude haben, aber genau wie die Tätigkeit 2.1 zumindest vorübergehend zu hohen Ausschlägen der Amplitude führen. Die Unterbrechung U zeichnet sich durch einen längeren Zeitraum ohne hohe Ausschläge der Amplitude aus. Figur 4 zeigt ein Ausführungsbeispiel des Verfahrens 200 zum Trainieren eines Machine Leaming-Moduls. In Schritt 210 werden Lern-Audioaufnahmen 4' von einer Mehrzahl Baustellen la und/oder Industrieanlagen lb beschafft. In Schritt 220 werden diese Lern-Audioaufnahmen 4' mit Lern-Klassifikationen 5a', bzw. mit Lern- Werten 5b', annotiert. Auf diese Lern- Klassifikationen 5a', bzw. Lern-Werte 5b', soll das Machine Leaming-Modul im trainierten Zustand die Lern-Audioaufnahmen 4' abbilden. In Schritt 230 werden Parameter 10, die das Verhalten des Machine Learning-Moduls charakterisieren, mit dem Ziel optimiert, dass genau dieser Zustand erreicht wird. Die Parameter 10 werden also immer wieder geändert, und es wird jeweils anhand einer vorgegebenen Kostenfunktion 11 geprüft, ob die Lem- Klassifikationen 5a', bzw. Lern-Werte 5b', besser reproduziert werden. Ist ein vorgegebenes Abbruchkriterium erreicht, werden die fertig trainierten Parameter 10* ausgegeben. Bezugszeichenliste la Baustelle lb Industrieanlage 2 Tätigkeit
2.1-3 Einzeltätigkeiten
3 Schall 4 Audioaufnahme
4' Lem-Audioaufnahme
4a Geräusch in Audioaufnahme 4
4a.l-14 Einzelgeräusche
4b Vibration in Audioaufnahme 4 5a Klassifikation der Tätigkeit 2 5b Wert einer Kenngröße 6 Betriebsmittel, verwendet bei Tätigkeit 2
6a Blockierwunsch für Betriebsmittel 6
7a Nominalzustand der Baustelle la 7b Nominalzustand der Industrieanlage lb 7c Plan für Ausführung der Tätigkeit 1 8 Warneinrichtung
9 Messgröße
10 Parameter eines trainierbaren Moduls 10* trainierter Zustand der Parameter 10
11 Kostenfunktion 100 Verfahren zur Überwachung der Tätigkeit 2 110 Beschaffen der Audioaufnahme 4 120 Verarbeiten der Audioaufnahme 4 121 Identifizieren/Quantifizieren von Geräuschen 4a/Vibrationen 4b 122 Auswerten der Geräusche 4a/Vibrationen 4b
123 Verarbeitung mit Machine Learning-Modul
130 Abgleich mit Nominalzustand 7a, 7b, oder Plan 7c 130; Ergebnis des Abgleichs 130
131 Prüfung, ob richtige Tätigkeit 2 ausgeführt
132 Prüfung, ob Tätigkeit 2 am richtigen Ort ausgeführt
133 Prüfung, ob richtige Betriebsmittel 6 verwendet werden
134 Prüfung, ob Betriebsmittel 6 richtig gehandhabt werden
135 Prüfung, ob Problembehebung durchgeführt wird
136 Feststellung, dass Problembehebung durchgeführt wird
137 Prüfung auf Zeiträume mit niedrigem Geräuschpegel
138 Prüfung auf langanhaltende Tätigkeiten 2 140 Ermitteln der Schlussfolgerungen 140a- 140c Fehler in Tätigkeit 2 oder Betriebsmittel 6 Effizienz der Tätigkeit 2
Figure imgf000022_0001
Fortschritt der Tätigkeit 2
141 Diagnose eines Fehlers oder einer Ineffizienz in einer Tätigkeit 2
142 Diagnose eines Fehlers in einem Betriebsmittel 6
143 Diagnose einer Ineffizienz in der aktuellen Tätigkeit 2 150 Ansteuem der Warneinrichtung 8 160 Blockieren des Betriebsmittels 6 170 Auswerten der Messgröße 9 aus Audioaufnahme 4 200 Verfahren zum Trainieren 210 Beschaffen von Lern-Audioaufnahmen 4' 220 Annotieren mit Lern-Klassifikationen 5a', Lern-Werten 5b' 230 Optimieren der Parameter 10 nach Maßgabe der Kostenfunktion 11 U Unterbrechung im Arbeitsablauf t Zeit

Claims

Ansprüche
1. Verfahren (100) zur Überwachung mindestens einer Tätigkeit (2) mit den Schritten:
• Beschaffen (110) mindestens einer Audioaufnahme (4), in der bei der Ausführung der Tätigkeit (2) abgegebener Schall (3) sensorisch erfasst ist;
• Verarbeiten (120) der Audioaufnahme (4) zu einer Klassifikation (5a) der Tätigkeit (2), und/oder zu einem Wert (5b) mindestens einer Kenngröße, die die Ausführung der Tätigkeit (2), und/oder einen Zustand mindestens eines bei dieser Ausführung verwendeten Betriebsmittels (6), charakterisiert;
• Abgleichen (130) der Klassifikation (5a) der Tätigkeit (2), bzw. des Werts (5b) der Kenngröße, mit einem während der Ausführung der Tätigkeit vorgesehenen Nominalzustand (7a, 7b), und/oder mit einem Plan (7c) für die Ausführung der Tätigkeit (2); und
• Ermitteln (140) anhand des Ergebnisses (130a) dieses Abgleichs (130), o ob die Ausführung der Tätigkeit (2), und/oder das Betriebsmittel (6), fehlerhaft ist (140a), und/oder o inwieweit die Ausführung der Tätigkeit (2) effizient ist (140b), und/oder o wie weit die Ausführung der Tätigkeit (2) fortgeschritten ist (140c).
2. Verfahren (100) nach Anspruch 1, wobei das Verarbeiten (120) der Audioaufnahme (4) beinhaltet, einzelne Geräusche (4a) und/oder Vibrationen (4b) in der Audioaufnahme (4) zu identifizieren und/oder zu quantifizieren (121), und anhand dieser Geräusche (4a) und/oder Vibrationen (4b) die Klassifikation (5a) der Tätigkeit (2), bzw. den Wert (5b) der Kenngröße, zu ermitteln (122).
3. Verfahren (100) nach Anspruch 2, wobei die einzelnen Geräusche (4a) und/oder Vibrationen (4b) eine oder mehrere der folgenden umfassen:
• Betriebsgeräusche, Signale und/oder Vibrationen, die mindestens ein Gerät oder eine Maschine bei der Benutzung emittiert;
• Geräusche und/oder Vibrationen, die beim Bewegen bestimmter Geräte, Materialien oder Bauteile emittiert werden;
• Geräusche und/oder Vibrationen, die beim Betätigen von Befestigungsmitteln zur Verbindung von Bauteilen untereinander emittiert werden;
• Trittschall und/oder Vibrationen, die durch die Bewegung von auf der Baustelle oder in der Industrieanlage tätigen Personen emittiert werden; sowie
• mündliche Äußerungen von auf der Baustelle tätigen Personen.
4. Verfahren (100) nach Anspruch 3, wobei mindestens eines der Bauteile ein Bauteil für ein Gerüst oder für eine Schalung ist.
5. Verfahren (100) nach einem der Ansprüche 2 bis 4, wobei mindestens eines der Geräusche (4a), bzw. mindestens eine der Vibrationen (4b),
• das Handhaben, Anziehen oder Lösen von Verbindungsmitteln einer Ab Schalung,
• das Schließen einer Abschalung,
• Anhängen eines Schalelements an einen Kran,
• Versetzen eines Schalelements durch den Kran,
• das Betätigen einer Stockwinde, · einen Schweißprozess,
• das Betätigen eines Schlagschraubers,
• das Betätigen eines Hydraulikzylinders,
• das Betätigen eines Dampfstrahlers,
• das Betätigen eines Betonmeißels, • das Betätigen eines Bohrers,
• das Einwirken von Schlägen auf ein Befestigungsmittel,
• ein von einem Steuergerät emittiertes akustisches Signal,
• die Bewegung einer Maschine auf der Baustelle,
• das Fließen von Beton in eine Schaltung, oder
• das Ab senken einer Verstrebung charakterisiert.
6. Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei der Abgleich (130) mit dem Nominalzustand oder Plan eine Prüfung beinhaltet,
• ob die richtige Tätigkeit (2) ausgeführt wird (131),
• ob die Tätigkeit (2) am richtigen Ort ausgeführt wird (132),
• ob die richtigen Betriebsmittel (6) verwendet werden (133), und/oder
• ob Betriebsmittel (6) richtig gehandhabt werden (134).
7. Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei der Abgleich (130) mit dem Nominalzustand oder Plan eine Prüfung (135) beinhaltet, ob eine Tätigkeit (2) ausgeführt wird, die einer Problembehebung auf der Baustelle (la) oder in der Industrieanlage (lb) dient, und wobei in Antwort auf die Feststellung (136), dass eine solche Tätigkeit 82) ausgeführt wird, festgestellt wird (140), dass
• eine vorangegangene Tätigkeit (2) auf der Baustelle (la) oder in der Industrieanlage (lb) fehlerhaft oder nicht effizient ausgeführt wurde (141), und/oder
• bei dieser vorangegangenen Tätigkeit (2) ein Fehler mindestens eines Betriebsmittels (6) Vorgelegen hat (142).
8. Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei in Antwort auf die Feststellung (140a), dass die Ausführung einer Tätigkeit (2), und/oder ein Betriebsmittel (6), fehlerhaft ist, • eine für auf der Baustelle (la) oder in der Industrieanlage (lb) tätige Personen wahrnehmbare physikalische Warneinrichtung (8) angesteuert wird (150), und/oder
• mindestens ein Betriebsmittel (6) mit einem Blockierungswunsch (6a) angesteuert wird (160), so dass es für die Benutzung durch auf der Baustelle
(la) oder in der Industrieanlage (lb) tätige Personen ganz oder teilweise gesperrt wird.
9. Verfahren (100) nach einem der Ansprüche 1 bis 8, wobei in Antwort auf die Feststellung, dass
• die Audioaufnahme (4) ungeplante Zeiträume enthält, in denen der Geräuschpegel einen vorgegebenen Schwellwert unterschreitet (137), und/oder
• eine Zeitdauer, für die eine bestimmte Tätigkeit (2) ausweislich der Auswertung (120) der Audioaufnahme (4) ausgeführt wird, einen vorgegebenen Schwellwert überschreitet (138), festgestellt wird (143), dass die Ausführung von Tätigkeiten (2) auf der Baustelle (la) oder in der Industrieanlage (lb) nicht effizient ist.
10. Verfahren (100) nach einem der Ansprüche 1 bis 9, wobei aus der
Audioaufnahme (4) zusätzlich mindestens eine für die laufende Ausführung der Tätigkeit (2), und/oder für die Beurteilung der Qualität des mit dieser Tätigkeit (2) erzielten Ergebnisses, relevante physikalische Messgröße (9) ausgewertet wird (170).
11. Verfahren (100) nach Anspruch 10, wobei die Viskosität von Beton, der im
Rahmen der Tätigkeit verarbeitet wird, als physikalische Messgröße gewählt wird.
12. Verfahren (100) nach einem der Ansprüche 1 bis 11, wobei das Verarbeiten (120) der Audioaufnahme (4) zu der Klassifikation (5a) der Tätigkeit (2), und/oder zu dem Wert (5b) der Kenngröße, zumindest teilweise mit einem trainierten Machine Learning-Modul erfolgt (123).
13. Verfahren (200) zum Trainieren eines Machine Leaming-Moduls für den Einsatz in dem Verfahren (100) nach Anspruch 12 mit den Schritten:
• Beschaffen (210) von Lem-Audioaufnahmen (4'), in der bei der Ausführung von Tätigkeiten auf einer Mehrzahl von bzw. in Baustellen (la) und/oder Industrieanlagen (lb) abgegebener Schall (3) jeweils sensorisch erfasst ist;
• Annotieren (220) der Lern-Audioaufnahmen (4') mit Soll-Klassifikationen (5a) oder Soll-Werten (5b'), auf die das Machine Learning-Modul die Lern- Audioaufnahmen (4') jeweils abbilden soll; und
• Optimieren (230) von Parametern (10), die das Verhalten des Machine Learning-Modul s charakterisieren, mit dem Ziel, dass das Machine Learning- Modul die Lern-Audioaufnahmen (4') nach Maßgabe einer vorgegebenen Kostenfunktion (11) möglichst zutreffend auf die jeweils durch das Annotieren zugeordneten Soll-Klassifikationen (5a) bzw. Soll-Werte (5b) abbildet.
14. Parametersatz von Parametern, die das Verhalten eines trainierbaren Machine Learning-Modul s charakterisieren, erhalten mit dem Verfahren nach Anspruch 13.
15. Ein oder mehrere Computerprogramme, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den einen oder die mehreren Computer dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.
16. Maschinenlesbarer Datenträger und/oder Downloadprodukt mit dem Parametersatz nach Anspruch 14, und/oder mit dem einen Computerprogramm oder den mehreren Computerprogrammen nach Anspruch 15.
PCT/EP2020/080688 2019-11-27 2020-11-02 Akustische überwachung von bautätigkeiten und arbeiten in industrieanlagen WO2021104799A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019218383.2 2019-11-27
DE102019218383.2A DE102019218383A1 (de) 2019-11-27 2019-11-27 Akustische Überwachung von Bautätigkeiten und Arbeiten in Industrieanlagen

Publications (1)

Publication Number Publication Date
WO2021104799A1 true WO2021104799A1 (de) 2021-06-03

Family

ID=73131711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/080688 WO2021104799A1 (de) 2019-11-27 2020-11-02 Akustische überwachung von bautätigkeiten und arbeiten in industrieanlagen

Country Status (2)

Country Link
DE (1) DE102019218383A1 (de)
WO (1) WO2021104799A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019218383A1 (de) 2019-11-27 2021-05-27 Peri Gmbh Akustische Überwachung von Bautätigkeiten und Arbeiten in Industrieanlagen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019218383A1 (de) 2019-11-27 2021-05-27 Peri Gmbh Akustische Überwachung von Bautätigkeiten und Arbeiten in Industrieanlagen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019218383A1 (de) 2019-11-27 2021-05-27 Peri Gmbh Akustische Überwachung von Bautätigkeiten und Arbeiten in Industrieanlagen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHERAFAT ET AL: "A Hybrid Kinematic-Acoustic System for Automated Activity Detection of Construction Equipment", SENSORS, vol. 19, no. 19, 3 October 2019 (2019-10-03), pages 4286, XP055757357, DOI: 10.3390/s19194286 *

Also Published As

Publication number Publication date
DE102019218383A1 (de) 2021-05-27

Similar Documents

Publication Publication Date Title
DE102004042813B4 (de) Alarmmanagementsystem
DE69910800T2 (de) Verfahren und Vorrichtung zur Überwachung des Betriebszustandes einer einzelnen Maschine
DE112017001435B4 (de) Vorrichtung für echtzeitgeräteverfolgung auf einer baustelle
WO2019137814A1 (de) Verfahren zur baustellenüberwachung
EP3077878B1 (de) Computer-implementiertes verfahren und system zur automatischen überwachung und statusermittlung ganzer prozessabschnitte in einer process unit
EP3273414A1 (de) Verfahren zum abschätzen einer erwarteten lebensdauer eines bauteils einer maschine
DE102015003177A1 (de) Verfahren zum Betrieb einer mobilen Arbeitsmaschine mit Bodendruckbegrenzung
WO2021104799A1 (de) Akustische überwachung von bautätigkeiten und arbeiten in industrieanlagen
WO2021083796A1 (de) Computergestütztes verfahren und system zur ermittlung und visualisierung von kraftflüssen in einem baugerüst
EP3166879A1 (de) Wartungssystem für eine aufzugsanlage
DE102017127951B4 (de) Tragbare bedienkonsole mit vibrierfunktion und vibrationserkennungsfunktion
DE102011054938A1 (de) Sensorbasiertes Mittel zum Überwachen des mechanischen Zustands von diskontinuierlich betriebenen rotierenden Maschinen
DE102009027267A1 (de) Verfahren und Vorrichtung zur vereinfachten Fehlerverarbeitung an einer Werkzeugmaschine
DE102018211758A1 (de) Vorrichtung, verfahren und computerprogramm zur akustischen überwachung eines überwachungsbereichs
DE102019120864B3 (de) Verfahren und Vorrichtung zur Planung von Wartungsarbeiten an wenigstens einer Maschine
WO2019210895A1 (de) Belastungserfassung eines bearbeiteten werkstücks auf grundlage einer simulation
EP3828363A2 (de) Unterstützung von arbeiten an schalungen und gerüsten
DE202020107057U1 (de) System zum Testen von mit dem Internet verbundenen Geräten
WO2018234156A1 (de) Verfahren zum bestimmen des betriebsmodus einer materialbearbeitungsmaschine und zugehörige materialbearbeitungsmaschine
DE102021132755A1 (de) Verfahren und system zum überwachen von herstellungsvorgängen unter verwendung von maschinellem sehen für von menschen durchgeführte aufgaben
EP2189908B1 (de) Verfahren und Vorrichtung zum Bestimmen einer Kenngröße eines IT-Systems
EP4264064A1 (de) Verfahren zum betrieb eines überwachungssystems
DE102021129363B3 (de) Verfahren zur Zustandsüberwachung einer Maschine, System, Computerprogramm
EP3611689A1 (de) Verfahren und messeinrichtung zur analyse der masshaltigkeit eines bauelements in bezug auf die einbauumgebung
DE102018221436A1 (de) Verfahren zur Bestimmung des Einflusses von Wind auf einen Kran

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20801197

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20801197

Country of ref document: EP

Kind code of ref document: A1