WO2020221865A1 - Verfahren, computerprogrammprodukt, system und vorrichtung zum modifizieren von akustischen interaktionssignalen, die von mindestens einem interaktionspartner erzeugt werden, hinsichtlich eines interaktionsziels - Google Patents

Verfahren, computerprogrammprodukt, system und vorrichtung zum modifizieren von akustischen interaktionssignalen, die von mindestens einem interaktionspartner erzeugt werden, hinsichtlich eines interaktionsziels Download PDF

Info

Publication number
WO2020221865A1
WO2020221865A1 PCT/EP2020/062045 EP2020062045W WO2020221865A1 WO 2020221865 A1 WO2020221865 A1 WO 2020221865A1 EP 2020062045 W EP2020062045 W EP 2020062045W WO 2020221865 A1 WO2020221865 A1 WO 2020221865A1
Authority
WO
WIPO (PCT)
Prior art keywords
interaction
audio signals
partner
interaction partner
signals
Prior art date
Application number
PCT/EP2020/062045
Other languages
English (en)
French (fr)
Inventor
Johannes RASCHPICHLER
Original Assignee
Raschpichler Johannes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raschpichler Johannes filed Critical Raschpichler Johannes
Publication of WO2020221865A1 publication Critical patent/WO2020221865A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Definitions

  • the present invention relates to a method, a computer program product, a system and a device for modifying acoustic interaction signals, which are generated by at least one interaction partner, with regard to an interaction target.
  • the present invention serves to act on interaction processes with an acoustic component in such a way that the probability of occurrence of the interaction target is increased.
  • the pursuit of goals is an essential driving force behind the actions of actors, be they natural actors such as humans, plants or animals, institutional actors such as companies or political parties, or technical actors such as devices or algorithms.
  • interaction partners In order to achieve the desired goal, the actors take actions within the framework of interaction processes with themselves or with other actors that they assume would ensure or at least promote the achievement of the goal.
  • the actors involved in a specific action are referred to below as interaction partners.
  • acoustic interaction signals are often the focus, be it for example in the context of live concerts, parliamentary debates, scientific conferences, university lectures, looking for a doctor, emergencies, team discussions, negotiations or even phone calls.
  • Audio signals or sounds thus influence the perception and behavior of the interaction partners. People have known for a long time what science can explain better from year to year: the sound makes the music. Even before, but at the latest with the advent of electronics in musical practice, an extensive industry with a multitude of sound-changing tools has developed in order to design sounds in such a way that they ultimately make the desired music. When taking a closer look at the processes taking place and the technical status, some remarkable phenomena emerge, which are briefly outlined below. a) Area of application
  • Sound-changing tools are mainly used in music production (for example in studios and concert halls) as well as for music consumption (for example on radio, television or the Internet). To a limited extent, they are also used for linguistic stimuli such as moderations, debates, conferences or speeches. However, one important area has so far been largely excluded from the diverse advantages of modern sound optimization: electronically-mediated / electroacoustic communication (for example via telephone, smartphone, messenger services).
  • a mixer for example, "knows" because of its circuitry how it can meet the user's acoustic request to change the sound image by raising or lowering certain frequency ranges. However, it does not know which sound settings it can use to help the user achieve its actual goal, namely to animate the party guests to dance, for example.
  • this third party acts as an acoustic mediator, it is literally up to him to make a grandiose musical performance just as grandiose - or to destroy it by making wrong decisions that affect the sound: dl sub-aspect of subjective perception: If such a third party has an uncorrected hearing impairment in the range of 10 kHz, for example due to work-related volume stress, it could be that he unconsciously tries to compensate for this weakness within the scope of his sound design with the result that the one he has made Sound design is too treble-heavy and can therefore become a burden for all listeners with healthy hearing.
  • Sound modification tools usually focus on direct mechanisms of action in which acoustic parameters are modified directly via analog / digital / virtual circuits. If, for example, a singer's voice recorded by a microphone is too low, the corresponding microphone signal can be increased by the desired dB value by means of an amplifier circuit.
  • this has the disadvantage that not only the singing voice is amplified, but also all the sound picked up by the microphone, such as the neighboring instruments of other musicians, for example (Drums, electric guitar with loudspeaker, etc.), room reflections or even your own amplified output signal, which can lead to a significant deterioration in the sound (signal reverberation, comb filter effects, acoustic feedback, etc.).
  • Sound modification tools are often embedded in closed systems and are therefore limited in type and scope. If, for example, a hi-fi system does not have an equalizer or the possibility of corresponding retrofitting, the user has no choice but to accept this or to acquire an alternative or additional device that has the desired equipment features. In the case of permanent installations in particular, the corresponding organizational and financial outlay is so high that this is out of the question.
  • Integrating sound modification measures into the corresponding signal chain increases the risk of failure of the entire signal chain, especially when connected in series. This is a serious problem, especially in time-critical / real-time applications.
  • Consumer devices such as MP3 players
  • office devices such as telephones
  • standards of professional audio technology such as XLR, MADI, symmetrical signal routing, phantom power, VST, ASIO, etc.
  • Signal interference and / or signal loss may occur when using adapter cables to achieve this compatibility.
  • Robots for example Google Duplex
  • Robots are designed in such a way that they do not support natural things, for example a telephone operator, in getting better, but rather replace them completely with digital technology.
  • an attempt is made to completely replace this telephone employee with a virtual equivalent in the form of a digital assistant / agent.
  • Sound changes are often made with the awareness of addressing a broadly defined target group without taking into account the individual preferences and characteristics of different listeners.
  • Sound modification measures often follow a unidirectional sender-receiver paradigm. If, for example, a telephone employee in a call center allows himself to be provoked by an aggressive customer and thus always speaks louder and more aggressively, a unidirectional paradigm would possibly use automatic volume adjustments to ensure that this is the case with the customer Volume increases arrive only to a reduced extent.
  • a bidirectional approach in which changes on the part of the customer (e.g. adjustment of volume and voice frequency or relaxing background music) ensure that the telephone operator no longer perceives him as (so) aggressive, is often not used in Be costume drawn.
  • US 7085719 B1 (“Voice filter for normalizing an agent's response by altering emotional and word content”) describes the change in the communicative appearance of an employee by changing emotional and linguistic aspects of his communication depending on the objectives of the organization. So if the goal is that an employee exudes "enthusiasm" on the phone, for example, this should be achieved by adapting certain words, speaking speed or increasing the voice frequency and volume on the part of the employee.
  • the US 6404872 B1 (“Method and apparatus for altering a speech signal during a telephone call”) in turn describes a process in which a caller selects a desired speech signal change by means of a menu before establishing a connection to the called party, which then during the is activated for his voice on the subsequent phone call.
  • Something similar can be found in US 7925304 B1 (“Audio manipulation S ystems and methods”), in which a user can select and activate certain changes in his audio signal during a telephone call.
  • US 2008/0044048 A1 (“Modification of voice waveforms to change social signaling”) describes a method in which the speech signal of a speaker is analyzed in relation to the "social signaling" contained therein (for example “persuasive power”) and as desired of the interaction partner is changed.
  • the object of the present invention is to provide a method, a computer program product, a system and a device for performing this method, with de NEN acoustic interaction signals that are generated by at least one interaction partner, modified with regard to an interaction target and thereby the initially outlined negative consequences can be avoided.
  • call center telephony for example, for better comprehensibility, because so far only little target-oriented sound optimization has taken place here, although the entire communication is exclusively on the Exchange of acoustic signals is based and thus their quality is decisive for the success and failure of the communication process, which is ultimately reflected in business-relevant indicators such as sales, costs, employee or customer satisfaction.
  • This invention is based on the following perspective: In successive situations, an interaction takes place in which an interaction partner exchanges interaction signals with himself and / or other interaction partners in the context of activities in order to achieve a specific interaction goal.
  • the present invention sees itself as an additional interaction partner who defines the characteristics of the interaction - consisting of the interaction goal, characteristics of the interaction partners involved and / or characteristics of their activities, in particular the interaction signals generated and / or characteristics of their environment - before, during and after the interaction recorded, analyzed, evaluated and directly or indirectly influenced by means of actuarial and / or interaction partner-related instructions in such a way that the probability of occurrence with regard to the interaction goal is increased.
  • the interaction signals are to be transmitted in the form of audio signals who have acoustic interaction parameters or audio signal parameters and are therefore modified in accordance with the defined interaction target, which can be the interaction target or which influences it.
  • the method according to the invention for modifying at least one acoustic interaction signal, which is generated by at least one interaction partner, with regard to an interaction target comprises the following steps, which are preferably carried out in the specified order:
  • goal in general terms describes a desired state in the future, which is to be achieved by means of a correspondingly goal-oriented behavior.
  • the “interaction goal” thus describes a desired state in the future that is to be achieved within the framework of one (or more) interaction (s).
  • the goal of the interaction is the concrete expression of a feature that can be measured by means of technical or socio-technical sensors at a specific measurement time (e.g. after the end of a telephone conversation or 10 seconds after the start of the conversation), for example volume, sales volume, sales volume, duration of a customer conversation, Customer satisfaction, costs, employee health, skin resistance, pulse, respiratory rate, blood pressure. This can also be a boundary condition.
  • the interaction partners involved are in particular entities that generate, perceive, process and / or influence or change interaction signals (for example employees, customers, supervisors, devices).
  • the activities carried out by the interaction partners involved are in particular of an acoustic and / or acoustics-relevant nature (for example speaking, laughing, remaining silent, whispering, screaming, singing).
  • interaction signals which can be described by means of interaction signal parameters and their specific values (characteristic values), are in particular of an acoustic and / or acoustically relevant nature (for example direct sound, silence, reflections, interference). So if the interactive On parameters or their corresponding values are modified, a modification of the interaction signal usually follows.
  • a modified audio signal should also be understood to mean an audio signal which has indeed been analyzed and assessed, but the analysis and assessment has led to the result that no modification is necessary, since the audio signal is already optimal with regard to the interaction goal. In this case, the audio signal generated by the interaction partner and the modified audio signal correspond.
  • a sound transducer can be used, which can be Beforebil det, for example, as a headset microphone of a call center employee or a phone of a caller, which put in a known manner from the acoustic input, i.e. what the employee, interaction partner or caller says or otherwise acoustically and generate any background noise, an analog or digital audio signal.
  • the audio signal generated in this way can be described using audio signal parameters. If the audio signal is already available as an analog or digital audio signal, wel Ches does not require any further conversion, e.g. B. because the interaction partner is a technical device such. B. is a digital synthesizer or a drum computer, the interaction partner is also the sound generator, so that the audio signal is fed to the modification via an audio output.
  • the machine analysis of the recorded interaction signals includes all interaction signal parameters that can be determined now and in the future using standardized, well-known procedures, including their statistical features (such as mean value, variance and range).
  • the machine analysis includes both low-level audio descriptors (audio signal parameters / auditory features with a low level of abstraction) and high-level audio descriptors (audio signal parameters / auditory features with a high level of abstraction) and can preferably a determination of one, several or all of the parameters ADSR characteristics, Fourier transformation, sampling frequency, sampling depth, volume, loudness, sound pressure level, clarity, dynamic range, fluctuation, formants or formant spectrum, voice breaks, fingerprinting, voice quality, distortion factor, fidelity, frequency S pektrum, frequency weighting, THD, Fre quenzgang, phasing, fundamental frequency, cutoff frequencies, correlation, Mikroprosodie, overtones, prosody ticket tel composition, roughness, naltrennung speech rate, crosstalk, Ka, timbre, speech intelligibility,
  • the arithmetic unit processes the data in such a way that a comparison of the recorded data with the stored further data is possible, unless the first data is already forwarded to the arithmetic unit in such a way that no processing is necessary, but the arithmetic unit carries out a comparison directly can.
  • the characteristic values that were determined in the analyzes are compared as data with a set of parameter values as target data, with which the interaction goal is defined.
  • a computing unit accessing databases that contain the ideal set of parameter values so that the computing unit can determine deviations between the actual parameter values and the target parameter values by means of a comparison .
  • a processing unit can access databases that contain the corresponding sets of rules.
  • a machine evaluation is made as to whether a change in one or more determined parameter values for the parameter values obtained according to the set of rules from the actual to the target state is displayed, or not.
  • the audio signals are modified depending on the target and the current situation in such a way that the probability of target occurrence is maximized.
  • measures are then automatically determined that bring the audio signal up to the set of setpoint parameters and implement them. If the audio signal is at least immediately influenced by these measures, the modified audio signal is then passed on to the interaction partner; in the case of an influencing that is only directed towards the future or already optimal parameters, however, the original audio signal.
  • the machine measures for the modification of audio signals in particular can include all now and in the future standardized, well-known procedures, the type, intensity and possible combination of various measures being decided by machine.
  • audio parameters the following can be used for modification: frequency filters, pitch shifting, time stretching, form changes, vocal tract modifiers, dynamics processors (e.g. compressor, expander, gate, limiter), room effects
  • Reverb equalizer
  • modulation effects e.g. flanger, phaser, chorus, tremolo
  • delay and echo effects e.g.
  • modifications to the acoustic interaction signals of a currently active interaction partner have to be made (e.g. a telephone operator who is speaking too softly)
  • these modifications can be made gradually and stretched over time so that the other interaction partner does not make sudden changes Irritating signal changes by making the modifications over a longer period of time in small individual steps instead of all at once.
  • the analysis of the audio signal can provide the result that the call center employee speaks at a certain speed.
  • Setpoint parameter values stored in a database for example empirically collected values from experience or experimentally determined causalities for an optimal speaking rate, show that this speaking rate is perceived by the customer as too fast and would reduce the likelihood of sales success.
  • z. B. by means of time stretching, a slowed audio signal is generated as a modified audio signal and passed on to the interaction partner.
  • a visual notice e.g. on a computer terminal at which the call center employee is sitting, or an acoustic notice that is fed into his headset while he is speaking, is generated. which is intended to cause him to speak more slowly, which is a measure to bring the audio signal closer to the ideal parameters for the future and, if necessary, to monitor in front of advantageous variants of the invention whether this instruction is actually implemented.
  • the results from the analysis of the audio signals can indicate that the interaction partner, here the call center employee's conversation partner, is currently very excited. This could lead to the employee's target audio signal being slower than in the normal case in order to reassure the conversation partner.
  • the invention does not necessarily change audio signals only through direct acoustic intervention, but can alternatively or additionally include indirect and / or not directly acoustic intervention options, for example through visual instructions or instructions to the interaction partner who generates the acoustic interaction signals (e.g. speaker, Colleagues, superiors, audience), for example, to influence the sound.
  • the invention can analyze, generate or change not only acoustic signals, but also, for example, visual signals in order to increase the probability of target occurrence in order to modify the audio signals with regard to the interaction target. For example, the visual indication that the next interaction partner of a telephone employee can take a disproportionately long time Had to remain in the queue for 8 minutes and the employee should please express their regret about this, leading to a higher probability of the subsequent interaction occurring.
  • the method can therefore have the following steps:
  • the state of the micro-environment of the interaction partner in question, in which he acts, is recorded as well as possible.
  • sensors are now available for this purpose, which can objectively, validly and reliably record the state of the microenvironment. Examples of such sensors do not include temperature sensors, humidity sensors and sound sensors.
  • a microenvironment should be understood as the environment that can have a direct influence on the respective interaction partner, with the senses of the interaction Partners can at least partially be experienced and can be influenced directly or indirectly by means of actuarial and / or interaction partner-related instructions. Typically, these are the immediate work environment or the room of a building in which the respective interaction partner (possibly together with other interaction partners such as colleagues or service superiors) stays during the interaction.
  • the condition of the interaction partner itself can be recorded in a variety of ways, for example with so-called “wearables” which have sensors that detect the pulse, skin resistance, skin temperature and / or the location of the interaction partner, although this list is not conclusive.
  • wearables which have sensors that detect the pulse, skin resistance, skin temperature and / or the location of the interaction partner, although this list is not conclusive.
  • databases or interfaces that recorded the current status of an employee (for example, "Currently working in complaint management”, “Is taking a break”, “Has been in a sales talk for 76 minutes”, “Tomorrow is free.””,” Is ready to accept a new call ") the status of the interaction partner can be recorded.
  • access to databases can be used to determine whether and in what form the interaction partners involved have already interacted with one another in the past, because this past interaction can affect their current state.
  • Eye movements and facial expressions can be recorded and then evaluated using visual sensors (e.g. a webcam on the screen of a telephone employee).
  • visual sensors e.g. a webcam on the screen of a telephone employee.
  • much can be learned about the state of the interaction partner via the audio signal generated by the interaction partner and recorded by the headset. This of course also applies for other interaction partners involved in the interaction, for example customers.
  • the more parameters relating to the state of the interaction partner and the state of the microenvironment of the interaction partner are recorded, the more precisely these states can be characterized.
  • the states characterized in this way are preferably fed from the sensors in the form of first signals to a computing unit, for which purpose input interfaces can be provided.
  • the computing unit preferably communicates with a database.
  • states are preferably stored relating to an interaction partner and / or to the microenvironment of the interaction partner and / or the interaction.
  • the states related to the interaction partner can come from the same interaction partner, but also from other interaction partners.
  • the collected characteristics of the interaction partners involved and their microenvironment are analyzed according to well-known professional methods, so that in addition to characteristics such as working hours and room temperature, aspects such as B. tiredness, motivation, satisfaction, vocal health, emotions or personality can be recorded.
  • the further states which are preferably stored in the database, preferably contain information as to whether the further states have led to an increase in the probability of occurrence of the interaction target. If, for example, the probability of occurrence at a certain temperature, a certain humidity and / or at a certain sound level or a certain combination of these variables is increased, but the comparison with the recorded state reveals significant deviations in these variables, the processing unit preferably generates actuator and / or interaction partner-related instructions in order to increase the probability of the interaction goal occurring.
  • the data obtained in this way are then taken into account, together with any data that may also be available on the characteristics of the interaction signals, in the machine analysis, machine evaluation and machine generation of instructions.
  • the instructions are converted into corresponding signals and forwarded to the corresponding actuators / output interfaces.
  • appropriately designed output interfaces can be provided.
  • the temperature and humidity of the microenvironment are changed with the help of a corresponding control of the air conditioning system.
  • noise compensation can be triggered, for example, or a text instruction can be displayed on the computer screen of neighboring colleagues, but please speak a little more quietly.
  • These operating instructions implemented by the actuators or other interaction partners increase the probability of occurrence of the goal defined by the interaction partner based on the other states stored in the database.
  • the change in temperature, the humidity and the sound level have z. B. an effect on the pulse, the skin resistance and / or the skin temperature, so that about the state of the microenvironment of the interaction partner the state of the interaction partner can also be changed.
  • the state of the interaction partner or those involved in the interaction has a major influence on the probability of the defined interaction goal occurring.
  • the call center employee can sit in an overheated, stuffy room with stale air.
  • background noises that can be recorded by the headset microphone of the interaction partner or another actor in the vicinity of the interaction partner or by a separate ambient microphone, and the volume of the actual audio signal is too low or too low Lead signal-to-noise ratio.
  • measures can be taken to reduce background noise, for example automatically closing a window in the event of traffic noise or a storm.
  • Another important factor that can have an impact on the condition of the interaction partner and thus the probability of the target being met is the expectation with which the interaction partners enter into the interaction, especially with regard to the behavior of the other interaction partner. If, for example, a telephone employee assumes that a potential customer will not buy anything from him in the telephone call that is about to start, he could start the conversation so passively and unmotivated that the customer gets the feeling that the employee is not interested in him or her Signing a contract - and then actually not buying anything that would in turn reinforce the employee's expectations.
  • the present method can counteract this by, for example, giving the interaction partner acoustically or visually a probability of occurrence of the interaction goal determined on the basis of mathematical procedures before the start of the interaction - or dispensing with it and instead, for example, informing the interaction partner that he is personally had no measurable contribution to the possibly negative outcome of the past interaction - so the results happened to be that way.
  • the procedure can use actuator-based or interaction partner-related instructions to ensure that an interaction does not take place in the first place, as the estimated probability of target occurrence in view of the expected time and financial costs could not justify this.
  • characteristics of the macroenvironment can also have an influence on the probability of the defined goal occurring. For example, if the interaction partner wants to call a customer about a sales pitch and the database determines that extreme weather conditions prevail at the customer's location and / or at the interaction partner's location and that it is currently shortly after midnight local time, the state of the macro environment can also lead to a Reduction of the probability of occurrence of the interaction goal.
  • the state of the macro-environment e.g. time, weather, etc.
  • the state of the macro-environment can be perceived, recorded, analyzed and assessed, but usually not easily changed or changed with reasonable effort by means of actuation or interaction partner-related instructions so that, in this case, instructions could be given to conduct the sales pitch at a later point in time.
  • a message regarding the postponement of the appointment can be sent automatically to the customer via an email system. It is also possible to access another sensor directly in order to record the macro environment of the interaction partner.
  • the weather conditions or the time at the customer's location can have an impact on the probability of the defined interaction goal occurring.
  • the external sensor can be designed in such a way that, for example, it detects the temperature, the air pressure, the wind speed, the amount of precipitation and / or other
  • the relevant weather data is recorded and forwarded directly to the processing unit without feeding the weather data into an external database.
  • Other measurable parameters that characterize the macro environment of the interaction partner or his interaction partner for example weekday, public holidays, economic or political situation
  • the audio signals are modified immediately or with a time delay.
  • the aim is to implement the modification as quickly as possible, ideally in real time, since, in general, the more time available, the greater the likelihood that the goal of the interaction can be achieved. For example, if the interaction partner working in the call center speaks too softly and the other interaction partner, in this case the customer, has to ask too often, the duration of the conversation increases. This undesirable prolongation can be avoided or at least minimized if the value of the interaction parameter "volume of the employee's microphone signal" is increased as soon as it is determined that the value is too low and leads to frequent inquiries from the customer. The sooner the modification Runs through, the higher the likelihood of achieving the "short conversation duration" interaction goal.
  • the customer can find it particularly pleasant if the volume at which the interaction partner working in the call center speaks is increased at the end of the conversation. If it is determined that at the beginning and in the middle of the conversation the value of the interaction parameter "Volume of the microphone signal nals of the employee "is okay and therefore does not need to be modified, this value can be modified with a time delay in such a way that the volume is increased at the end of the conversation.
  • the average call duration and / or the mention of corresponding signal words can be used.
  • the execution of the machine-determined steps for the time-shifted modification of the audio signals comprises outputting a verbal or non-verbal request to the interaction partner generating the acoustic interaction parameters and / or changing the environmental conditions in the vicinity of the acoustic interaction parameters generating Interaction partner by controlling actuators.
  • a verbal request can be designed as a text block, for example, which appears on the screen of the interaction partner working in the call center.
  • This request can for example be loud, louder and / or slower to speak. It may take a certain amount of time before the relevant interaction partner complies with this request. In this respect, it is a time-delayed modification of the value of the interaction parameter "speaking volume”.
  • the change in the environmental conditions in the vicinity of the interaction partner generating the acoustic interaction parameters will generally only have an effect on the modification of the audio signal with a delay If high background noise is detected and the windows are then closed, the time lag is relatively small, but if the voice of the interaction partner concerned is too hoarse due to insufficient humidity is felt, the increase in air humidity in the room where the respective interaction partner is, for example by injecting drops of water, will only gradually reduce the hoarseness. In this respect, some interaction parameters can only be modified with a certain amount of inertia and consequently with a time delay.
  • the machine evaluation can in particular take place in that a comparison of data with the comparison data contained in at least one database that the computing unit can access is carried out by means of a computing unit.
  • the database particularly preferably contains information about the parameters of the audio signal which are to be aimed for in each case.
  • the set of rules required for the automatic evaluation of the situation and the automatic determination of steps to increase the probability of target occurrence can either be created and / or edited manually by the interaction partner, by third parties (e.g. external service providers) or automatically by the system.
  • the system can have one or more of the following databases and functional units:
  • the entity database contains information about entities. Entities can be characterized by ID, time stamp, author, type (interaction partner, micro-environment, macro-environment %) and the variables describing them. Variable database
  • variable database contains characteristics / measured variables of entities.
  • Variables can be characterized by ID, time stamp, author, name, explanation, data format (numeric, text, ...), value range, type (latent, manifest, %), type (dependent, independent, interference variable / covariate ), Consistency (volatile, persistent), scale level (nominal, ordinal, metric scaled) and measurement methods. Variables can be made up of other variables.
  • the sensor database contains methods to record the value or the expression of a variable. Measurement methods can be characterized by ID, time stamp, author, name, explanation, type (natural science
  • the actuator database contains methods to influence the value or the expression of a variable.
  • Action methods can be characterized by ID, timestamp, author, name, explanation, type (technical, social / communicative), interface (hardware, software, ...), effort / costs (time, financial, personnel, material , %), activity time (selective, permanent), restrictions (time, frequency, %), degree of effectiveness, degree of validity, degree of objectivity, degree of reliability and action plan
  • the evaluation method database contains methods to analyze values or characteristics of variables and their relationships to one another. Evaluation methods can be characterized by ID, time stamp, author, name, explanation, type (descriptive, statistical, multivariate, stochastic, modeling, neural network, machine learning, artificial intelligence, big / smart data analysis techniques, data science approaches, ...), effort (time, financial, personnel, material, %), activity time (selective, permanent), restrictions (time, frequency, %) and rules of action / chain of command.
  • the research method database contains methods to obtain knowledge.
  • Research methods can be characterized by ID, timestamp, author, name, explanation, type (research, correlative, comparative, experimental-full factorial, experimental-partial factorial), systematics (confirmatory, exploratory, chaotic-creative, descriptive , evaluative, script, algorithm, random), measurement methods, impact methods, evaluation methods, effort / costs (time, financial, personnel, material, ...), activity time (selective, permanent), restrictions (time, frequency,. ..), source (internal, external), sampling procedure, variables, actuators and instructions / command chain.
  • Research methods can also be used internally in the device, for example, to draw conclusions for future device decisions (for example, which research method has proven itself when and how? Which actuators work how reliably? It is better to use more recent and experimentally determined ones To weight data higher than older and correlatively collected data?).
  • the management method database contains methods to achieve the central goal of the invention, namely to increase the probability of occurrence of an interaction goal within budget, as efficiently and effectively as possible.
  • the method catalog includes methods to manage, control, monitor and optimize the system components, to receive inputs and generate outputs, to view data, to define goals, to assign usage rights, to configure parameters, and device protocols to create, handle errors, record budgets and use them efficiently.
  • Management methods can be characterized by ID, time stamp, author, name, explanation, type (dependent, independent, interdependent, static, dynamic, statistical, multivariate, stochastic, modeling, neural network, machine learning, artificial intelligence, big / Smart data analysis techniques, data science approaches, ...), effort (time, financial, personnel, material, %), activity time (selective, permanent), restrictions (time, frequency, %) and Action rule / chain of commands.
  • the communication database contains methods for communicating with other interaction partners. Communication methods can be characterized by ID, time stamp, author, name, explanation, format, addresses, access data and restrictions, among other things.
  • Log database contains all logged events / situations. Events can be characterized, among other things, by ID, time stamp, author, name, explanation, entities, interaction, goal, variables, reality focus (internal, external), measurement methods, actuator configuration and results.
  • the knowledge database stores what the system knows about itself and the world, for example what is known about the relationships between and the roles (moderator, mediator, ...) of entities, variables and actuators, which actions and which consequences had what distinguishes success from failure, which methods work how well, etc.
  • Knowledge is characterized, among other things, by ID, time stamp, author, name, explanation, type (model, paradigm, descriptive, internal, external, facts, ... .) Participants, determination (correlative, causal), source (internal, external), average age, cardinality, strength and mathematical context (linear, quadratic, u-distributed).
  • the knowledge database can provide information at any time about the value of certain variables, the relationships between variables and the roles that the variables assume.
  • Goals can be characterized among other things are identified by ID, timestamp, author, name, explanation, interaction, target variable, type (target value, optimization), type (absolute, relative), budgets for recording, research and the probability of target occurrence (e.g. temporal, financial, personnel, material , ethical), start time, finish time and research methods.
  • the computing unit can include the following units:
  • the management unit ensures that the central goal of the system, namely to increase the probability of an interaction goal occurring in accordance with the budget, is achieved efficiently and effectively. It accesses the methods stored in the management method database and manages, controls and monitors the processing units and databases and functions as an interaction partner interface. It receives inputs and enables outputs via an input and output unit. It allows the interaction partner to configure the device, view data, define goals, assign usage rights, create, load, edit, save or delete various management strategies, etc. It checks and logs the work of the individual Fixture components and ensures that they generate the greatest benefit with the existing budget. It also includes routines for error handling and, with the help of the research unit, generates internal device paradigms for self-optimization / device improvement. The main task of the management unit is, in interaction with the other device components, to increase the probability of occurrence of the goal defined by the user in accordance with the budget.
  • Cognitive unit generates knowledge and instructions for action by managing and executing the methods stored in the research method database. It saves its results in the knowledge database and uses them to generate rules for the set of rules.
  • the sensor unit detects the characteristics of the features by managing and executing the methods stored in a sensor database. It saves its work and results in the log database.
  • the actuator unit influences the characteristics of the features by managing and executing the methods stored in an actuator database. It logs its work in the log database.
  • the communication unit enables the exchange of data with other interaction partners using the methods stored in the communication method database.
  • communication processes are outside the system.
  • the temperature can be measured using internal sensors or external sensors, the results of which are then accessed using communication methods.
  • Sensors / input interfaces encompass the measuring devices / input interfaces necessary to record the characteristics. They can be active or passive, technical or socio-technical, digital or virtual, among other things.
  • Actuators include the control devices / output interfaces necessary for influencing feature cutouts. They can be active or passive, technical or socio-technical, digital or virtual, among other things.
  • the computing unit can interact with other computing units (z. B. AI clouds).
  • the interaction partner who uses the proposed method will define the interaction goal himself, but it is also possible that he himself has no influence on the definition of the interaction goal.
  • the interaction target it is possible for the interaction target to be selected automatically in the database and depending on the assessment of the situation. For example, it can be specified that with an average waiting loop duration of a hotline caller of less than 1 minute, the objective is "to satisfy customers", but also initially "bring waiting loop duration of less than 1 minute".
  • the goal must be recorded or defined at least once, which, for example, another interaction partner, for example the management of a company, can do.
  • the processing unit can have algorithms in order to automatically determine the target from the present context of the current interaction and / or to adapt it to the respective interaction.
  • the interaction partner can define the goal himself, he can enter the goal using an input unit (for example keyboard, touchscreen).
  • an input unit for example keyboard, touchscreen.
  • sensors for example a microphone for the purpose of
  • Voice control are used. These sensors can be connected to a computing unit which stores the goals to be achieved for a specific interaction in a database.
  • a further advantageous embodiment of the method provides that at least one mathematical relationship between at least one, in particular, acoustic interaction signal parameter and / or a feature of the interaction partners involved and / or an environmental condition on the one hand and the achievement of the interaction goal on the other hand is determined and stored in a database.
  • the database can be improved and it is possible to carry out automated research methods (for example randomized experiments) on the relevance and causality of the individual interaction parameters determined by analyzing the characteristics of the interaction goal in order to test hypotheses experimentally.
  • the method can thus comprise the following steps:
  • the available data of completed interactions are regularly subjected to machine analyzes by means of a cognition unit (which can be based on a specialized computing unit, for example) in order to find out which interaction parameters, in which combination and with which values, are related to the probability of occurrence of certain interaction goals.
  • a cognition unit which can be based on a specialized computing unit, for example
  • Networked, supervised learning, unsupervised learning, reinforce learning, logit boost, random forest, PCA, MDS, regression, ANOVA, clustering, etc. can be used.
  • the cognitive unit uses mathematical methods to determine the interaction parameters with which the achievement of the interaction goal is related and generates corresponding mathematical models. In the next step, it determines which of these target-relevant situation parameters it can influence by means of actuator-based or interaction partner-related instructions and, taking into account the respective situation, activates appropriate instructions to increase the probability of the target occurring, optionally also in the form of a randomized experiment to assess causality and To empirically check the effectiveness of the instructions.
  • the method can comprise the following steps: - Carrying out randomized experiments in order to check for causality between interaction parameters and interaction goal achievement probabilities that have been determined by machine or defined by interaction partners, and
  • the relationships determined by machine or defined by interaction partners are checked for causality in randomized experiments. Your results flow into the determination of machine steps for modifying interactions.
  • the achievement of the interaction goal for callers with a foreign number is related, among other things, to the level of the audio signal. If this is in the range of -20 and -5 dB, the target probability is higher than if the level is outside this value range. Since the system can influence the level via actuators, every caller with a foreign number can now be randomly assigned to a control group (in which no level change takes place) or to a test group (in which levels that are too low are increased and levels that are too high are reduced so that they can Range of -20 and -5 dB). This randomized experiment can then be continued until - after a possibly previously defined maximum number of interactions - a certain one Result has occurred (significance, effect size, sensitivity, specificity, ...) ⁇ Should therefore after, for example
  • the results of the analyzes and / or evaluations and / or modification steps can be communicated to selected interaction partners via output or communication means so that they can understand the effect of the process and, based on this, decide whether it is worthwhile from their point of view Has.
  • the method can comprise the following steps:
  • the method can comprise the following steps:
  • a budget can, among other things, have time, financial, personnel, material, legal and / or ethical requirements / restrictions. In very few cases, the defined goal can be achieved with unlimited resources. If, for example, as mentioned above, a company wants to increase the sales of a product, the company only has a limited number of employees available to achieve this goal. Furthermore, it may be necessary that the instructions for action already have to increase the probability of occurrence of a target within a certain time, since one only has a certain amount of time available for a sales talk with a customer, for example. The ethical requirements / restrictions can be added to the instructions for action Increase the probability of occurrence generated, set limits. If an employee wants to continue using the phone despite having a sick voice, instructions for action that he should simply take certain substances instead of the necessary rest could be outside the ethical budget.
  • the method can have the following steps:
  • Interaction partner-related instructions are especially important for interaction features that are directly B. can be detected by sensors, but cannot be directly influenced by a machine. For example, as part of a human-to-human can real-Z eitkommunikation "too low speech rate" Although recorded technically, but are technically not increase without the in-buying companies greater sound breaks because in a certain period of time finishing off too little acoustic material is generated by the sound source.
  • the interaction partner-related instruction "Please speak a little faster! To remedy the situation.
  • Interaction partner-related instructions can be carried out completely / correctly or incompletely / incorrectly or even completely ignored by the interaction partner.
  • a checking means is used to check whether or not the interaction partner is correctly following the interaction partner-related instructions.
  • interaction partner-perceptible signals are generated and indicate to him that he is (not) following the interaction partner-related instructions.
  • a corresponding textual or graphic message can be displayed via the correspondingly designed output unit.
  • the output unit can inform the interaction partner in question of the (non) compliance with the interaction partner-related instructions.
  • the output unit can, for example, comprise an LED indicator strip that changes color accordingly or starts to flash.
  • the output unit can also comprise a loudspeaker that outputs an audio signal, or a vibration unit that outputs haptic / tactile signals.
  • this information can also be provided by other human interaction partners, such as service superiors, following corresponding instructions relating to the interaction partner through the method.
  • the computer program product according to the invention contains an instruction sequence, stored on a machine-readable carrier, for carrying out the method according to the invention when the computer program product runs on a computing unit.
  • This embodiment of the invention thus relates to an instruction sequence in the form of a computer program for executing a method according to one of the previous embodiments.
  • the system according to the invention for carrying out a method according to the invention has: - a sound transducer and / or a sound generator for generating one or more audio signals based on acoustic interaction signals that are generated by at least one interaction partner,
  • a first unit for forwarding the generated audio signals to a second unit and for receiving the modified audio signals from the second unit
  • the first unit has an output for forwarding audio signals to be forwarded to an interaction partner, and wherein the first unit furthermore has a circuit which enables the audio signals to be forwarded to be changed between the generated audio signals and the modified audio signals,
  • the second unit is configured as a control and audio signal forwarding center of the first unit.
  • the audio signals must be in electrical form, in particular digital or analog.
  • a human interaction partner converts the acoustic interaction signals generated by him into the electrical audio signals by means of a sound transducer.
  • a microphone can be used, for example.
  • this can also be the case, inter alia, with a classical musical instrument, where the sound transducer is designed as a pickup.
  • electronic instruments e.g. keyboards, drum computers
  • the interaction partner directly generates the audio signals, so that the interaction partner is also the sound generator at the same time.
  • this also includes sensors for detecting ambient conditions in the vicinity of the interaction partner, the processing unit being in signal communication with the sensors for processing the sensor signals, at least one database communicating with the processing unit which further states related to an interaction goal and / or an interaction and / or to the interaction partner or to the environment of the interaction partner are stored, the computing unit being programmed and set up to generate the sensor signals using information from the database the machine evaluation of the audio signal using the results of the analysis of the audio signal, and / or in the machine determination of steps for immediate and / or future modification of the audio signal.
  • the sensors are designed, among other things, to monitor the state of the microenvironment of the interaction partners with regard to position, temperature, brightness, air humidity, air quality, air pressure, pollen load and noise level, for example , the movement and / or the UV radiation.
  • the specified training courses are not final.
  • the sensors can be a GPS module, a thermometer, a brightness sensor, a hygrometer, an air quality sensor, a barometer, a microphone, a motion sensor, a radiation measuring device, an image recognition device, magnetometer, distance measuring device, a contact sensor etc. include.
  • the state of the micro-environment of the interaction partners can be recorded and quantified. The more different parameters are recorded, the more precisely the state of the microenvironment of the interaction partners can be defined.
  • the sensors are designed to monitor the state of the interaction partner with regard to location, status, blood pressure, heart rate, skin resistance, skin temperature, movement, tone of voice, speech speed and / or the sitting posture, although this list is not to be understood as exhaustive.
  • so-called “wearables” can be used, which can record and quantify blood pressure, pulse, skin resistance, skin temperature and the movement of the interaction partner
  • Speech rate can be determined with a microphone, for example.
  • the sitting posture can be determined with modern office chairs. The more different parameters recorded the more precisely the state of the interaction partner can be defined.
  • the system further comprises a number of actuators for bringing about a modification, for example a time-shifted modification, of the audio signal, the actuators being controlled by the computing unit and / or the second unit.
  • the actuators can be designed to monitor the microenvironment of the interaction partner with regard to position, temperature, brightness, humidity, air quality, air pressure, pole load, noise level, movement and / or UV - to act on radiation. It is advisable, in particular, to determine the parameters for characterizing a state, which can also be changed by the appropriately set up actuators in the micro-environment of the interaction partner. For example, the temperature, the humidity, the air quality, the air pressure and the pollen load can be influenced with an air conditioning system.
  • the system can furthermore include a number of actuators for bringing about a modification, for example a future modification of the audio signal, the actuators being controlled by the computing unit and / or the second unit (10b) and being designed to do so, among other things to influence the state of the interaction partner with regard to blood pressure, pulse, skin resistance, skin temperature, movement, tone of voice, speaking speed and / or sitting posture.
  • the blood pressure, the pulse and the skin resistance can for example by means of calming or stimulating background music can be influenced in a targeted manner.
  • the pitch of the voice and the speaking speed can be changed using a sound manipulator. If one of the interlocutors has a hearing impairment in a certain frequency range, this can be taken into account using the sound manipulator, which means that inquiries have to be made less frequently.
  • the computing unit communicates with a number of further databases and / or further sensors with which the state of a macro environment of the interaction partner can be detected.
  • the macro environment can also have an influence on the probability of the defined goal occurring. For example, if the interaction partner wants to call a customer about a sales pitch and the database determines that extreme weather conditions prevail at the customer's location and / or at the interaction partner's location, the state of the macro environment can also reduce the likelihood of occurrence.
  • the state of the macro-environment can usually not be changed by the actuators, so that in this case the instruction could be given to make a planned telephone call at a later point in time.
  • a message regarding the postponement can be sent automatically via an email system.
  • the computing unit can also access the other sensors directly in order to detect the state of the macro environment.
  • the respective environment (micro and macro environment) of the interaction partner can also be referred to as the "interaction context" the, i.e. as concrete features of the current situation that characterize the frame of reference or the accompanying circumstances of the interaction.
  • the system preferably has an output unit for displaying and / or outputting interaction partner-related instructions to the interaction partner.
  • the interaction partner-related instructions are not implemented by technical actuators, but are addressed directly to the interaction partner, who thus functions as a socio-technical actuator.
  • the interaction partner-related handling instructions can be displayed to the interaction partner by means of the output unit, for example by means of a text message.
  • the interaction partner-related instructions can also be output in the form of a voice message or a sound signal.
  • a further developed training is characterized in that the software has a checking means for checking whether the interaction partner has followed the interaction partner-related handling instructions. Basically, he can ignore the interaction partner-related instructions.
  • the checking means is used to check and store whether the interaction partner follows the interaction partner-related instructions or not. In the event that this should (not) be the case, signals are generated which indicate to the interaction partner that the interaction partner-related instructions are (not) followed. For this purpose, a corresponding text message can be displayed via the output unit.
  • the output unit can also a loudspeaker or an LED indicator bar, which changes color accordingly or starts to flash. The output of haptic signals is also possible.
  • a further embodiment of the invention relates to a device for performing a method according to one of the embodiments discussed above, wherein the device comprises one or more components of the system according to one of the mentioned embodiments and has communication means with which the components arranged in the device with the other components of the system are connectable or connected.
  • a selectable number of components of the system can be combined in a device that is spatially separated from the other components of the system. It is possible, for example, to design the device in such a way that it contains only the most necessary components that make it possible to generate the audio signals corresponding to one or more interaction parameters.
  • the device can be made small so that it takes up little space where it is set up.
  • components that could have a negative effect on the interaction goal for example because they generate annoying noises or heat, can be arranged where they have no influence on the interaction partner.
  • Fig. 1 a system for implementing the invention
  • FIG. 2 a first variant of the structure of a first unit of the system from FIG. 1,
  • FIG. 4 a first variant of the structure of a second unit from FIG. 1,
  • Fig. 5 a second variant of the structure of a second unit from Figure 1, and
  • FIG. 1 shows a system 09 for modifying an acoustic interaction parameter which defines an interaction signal generated by an interaction partner 02, a value of at least one interaction parameter for describing the interaction signal being modified with respect to an interaction goal.
  • a first unit 10a is installed at a workstation 01 of an interaction partner 02.
  • the first unit 10a which will be described in more detail below, is located in the audio signal path between a sound transducer or sound generator 14 for generating an audio signal (for example a
  • Headset from sounds produced by the interaction partner 02 and an auditory work device 03 (for example telephony device).
  • the original audio signal of the interaction partner 02 is recorded via the sound transducer 14, but - in contrast to the situation without the present invention - not forwarded directly to the auditory work device 03, but first to the first unit 10a. From there, the audio signal is fed into the arithmetic unit 13 via the second unit 10b, which will be described in detail below, and an audio computer interface 12, which in another embodiment can also be integrated into the second unit 10b.
  • the computing unit 13 which in another embodiment can also be integrated into the second unit 10b, analyzes and evaluates the audio signal by means of software 71 - for example by comparing parameters determined during the analysis with those in a database for a given target as Target parameters stored values - and if the evaluation leads to the result that measures are necessary for the immediate modification of the audio signal, modified in a targeted manner and then applied again by the computing unit 13 via the audio computer interface 12 and the second unit 10b the first unit 10a is fed back, from where it is then finally transmitted to the auditory work device 03.
  • the targeted modification can also be carried out partially or completely in the computer interface 12, which then receives the corresponding commands and parameters from the processing unit 13.
  • the optionally modified audio signal is then passed on from the work device 03, in this example via a central system for auditory work devices 06 (for example telephone system, mixer, streaming system, loudspeaker management system) to the interaction partner 17, i.e. whose Endge advises that generates the acoustic signal that the customer perceives from the possibly modified audio signal.
  • a central system for auditory work devices 06 for example telephone system, mixer, streaming system, loudspeaker management system
  • the evaluation of the audio signal by the arithmetic unit 13 can also include data from sensors 15 with which the arithmetic unit 13 is in direct signal communication or in indirect signal communication, which can in particular take place via the second unit 10b.
  • These can, for example, be data on environmental conditions to which the interaction partner is exposed, for example data from a temperature or humidity sensor or the signal from an ambient microphone, and / or data that represent the physiological states of the interaction partner and that are collected, for example, with a wearable or a smartwatch can.
  • the modification can be made not only for audio signals that are routed from the sound transducer 14 to the interaction partner 17, but also for those that take the opposite path. This can also make it possible to obtain analysis data that represent the state of the other interaction partner (e.g. customer) and lead to the fact that the desired values that are used in the evaluation and modification of the audio signal can be adapted to the latter.
  • the computing unit 13 can communicate via interfaces with the central system 06 for auditory work devices (e.g. telephone system), the central system 07 for visual work devices (e.g. network server, IT administration) and the CRM system 08 (e.g. booking system) and thus determine which situation features are related to which target achievement probabilities.
  • auditory work devices e.g. telephone system
  • visual work devices e.g. network server, IT administration
  • CRM system 08 e.g. booking system
  • the computing unit 13 can communicate via interfaces with the visual work device 04 (for example computer, tablet, television, smartphone) from 02 and thus via visual instructions that are reproduced on the visual work device 04 and are thus made known to the interaction partner 02, Achieve future audio modifications in that it adapts its acoustic signal, which is converted by the sound source 14 into the audio signal, accordingly, for example by speaking more slowly or more lively.
  • the visual work device 04 for example computer, tablet, television, smartphone
  • External networks 18 for example the Internet
  • further information for example about the recipient or the current time or the environmental conditions at the receiving location
  • to exchange data with system components of the present invention at other locations for example an additional database that is only available there.
  • the second unit 10b can also give visual instructions to the interaction partner 02 via the visual work device 04 and communicate with compatible devices via interfaces, in particular with sensors 15 that record the parameters of the interaction partner 02 or from its surroundings at the workplace 01 and with surrounding devices 05 such as lighting, ventilation, heating, air conditioning or the like ..
  • the data or instructions sent as part of this communication can be used or created by the computing unit 13; the second unit 10b can, however, also perform these tasks independently under certain circumstances.
  • the device with the components first unit 10a and second unit 10b can be designed so that the audio signals of several interaction partners can be analyzed and modified without the need for several computing units 13 would be necessary.
  • components of the device for example inputs and outputs or power supply
  • An exemplary embodiment for the system according to FIG. 1 has a first unit 10a, as shown in FIG. 2, and a second unit 10b, as shown in FIG.
  • Both devices have a housing 20 in which at least one electronic circuit board 23 is arranged, but they can also be arranged in a common housing.
  • On this electronic circuit board 23 are located in the distribution shown between the two devices directly or indirectly electrically conductive - e.g. by means of cables - connected connections 24 and 25, which can transmit at least one bidirectional input and output signal as well as control, regulation, interaction or communication signals.
  • the electronics board provides the fixation, connection and power supply of the components and parts of the device 10 securely.
  • Housing 20 and electronic circuit board 23 conform to safety and legal provisions and have identification features 22.
  • the housing has internal and external fastening options 24, 25, so that not only electronic circuit boards 23 are reliably fixed, but also the housing, for example on the underside a desk can be attached.
  • the electronic boards 23 of the overall system have at least:
  • control signals for example in the event of system malfunctions or when certain conditions exist (for example times) to bypass the audio processing by means of circuit 26
  • the electronic circuit board 23 can, for example, have a circuit for passive signal processing 31 and thus modify the original signal “internally”.
  • the alternative embodiment of the system with a first unit 10a, as shown in Figure 3, and a second unit 10b, as shown in Figure 4, differs from the embodiment of the system with first unit 10a according to Figures 2 and 5 in that the electronic circuit board 23 - as an alternative or in addition to the features of the first unit 10a shown in Figure 2 - a circuit 27 for galvanic decoupling of signals, a circuit 28 for balancing and / or desymmetrizing signals, a circuit 29 for making available and / or adapting externally fed in voltages (e.g. phantom power for capacitor microphones) and connections 30, which can preferably transmit signals for at least 1x send (original signal output), at least 1x return (modified signal input) and at least one energy source (eg for phantom power).
  • a sound transducer connected to connections 24 can be supplied with the phantom power that may be required and the received original signal can be galvanically decoupled, balanced, sent to an external audio modification device for further processing, then received by it, galvanically decoupled again and again desymm
  • FIG. 6 shows a schematic flow chart for a method for modifying acoustic interaction signals, which are generated by at least one interaction partner, with regard to an interaction goal.
  • a destination is selected. For example, an employee of a call center takes a call from a customer who is interested in a new product. He then selects the target "Sale" and begins the conversation with the customer.
  • step 120 by means of a sound transducer, i.
  • a sound transducer i.
  • an employee's headset generates a digital or analog audio signal that enables the employee's voice to be transmitted and processed electronically. This is preferably done with the smallest possible time delay.
  • This audio signal is analyzed by machine in step 130, by way of example and not limited to the parameters volume, dynamic range, fluctuation, formants, formants spectrum, zen frequency S pektrum, fundamental frequency, Grenzfrequen, Mikroprosodie, overtones, crest factor, signal
  • the signal-to-noise ratio and transients can be determined from the audio signal by a processing unit according to standardized, specialist procedures.
  • the results of the analysis are then evaluated automatically in step 140. Specifically, this can be done by the arithmetic unit ascertaining values for the parameters that are considered ideal as a function of the selected target from a database and determining the deviations of the analysis results from these parameter values. Analysis results of audio signals generated by the customer of the call center can also be included in the assessment. For example, this analysis data could indicate that the customer is currently angry, so that the sound of the answer should possibly have a soothing effect, even though the sound corresponding to the chosen goal ("sale") might normally actually be perceived as excited.
  • step 150 the computing unit automatically
  • Steps for the immediate and / or future modification of the audio signal are determined, which are then carried out in step 160 - likewise by machine. Immediate modifications are made by modifying the sound signal through processing. If the evaluation of the result of the analysis shows, for example, that the call center employee spoke too softly, the signal amplitude can be increased, for example by amplification. Tone colors, speech melody and many other parameters can also be influenced by adequate modification of the audio signals.
  • Parameter deviation patterns can be stored in a database, which indicate certain conditions of the employee, for example changes typical for hoarseness analyzed parameters of the audio signal. If this pattern then appears, the processing unit can, for example, fade in the request to drink a glass of water on a screen assigned to the employee, which should then bring the future audio signal closer to the ideal.
  • an ambient microphone as a sensor at the employee's workplace, the output of which can be deducted from the audio signal as an immediate modification after a suitable scaling if the level of background noise is too high, but additionally or alternatively by controlling an actuator, the open Closes the window in the call center and thereby sustainably reduces the background noise level, and a future modification of the audio signal can be effected.
  • step 170 the audio signal generated by the sound source is forwarded to an interaction partner, if only steps for future modification of the audio signal are carried out or if no modification of the audio signal is necessary and forwarding of the execution of the steps for immediate modification of the Audio signal received modified audio signal to an interaction partner, if steps for immediate modification of the audio signal were carried out. It goes without saying that this method is carried out quasi-continuously not only during the interaction, but also there before and after, in order to make the desired outcome (the interaction goal) as probable as possible.
  • the system can work with a cycle rate of one second, for example, so that all the steps described are repeated automatically every second.
  • the system and the device can have the following features, not shown in the drawing, either separately or in any combination:

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Modifizieren zumindest eines akustischen Interaktionssignals, welches von mindestens einem Interaktionspartner (02, 17) erzeugt wird, hinsichtlich eines Interaktionsziels, umfassend folgende Schritte: - Definieren mindestens eines Interaktionsziels, hinsichtlich welchem die akustischen Interaktionssignale modifiziert werden sollen, - Erzeugen von einem oder mehreren dem Interaktionssignal entsprechenden Audiosignalen, die von zumindest einem Interaktionspartner (02, 17) erzeugt werden, mittels eines Schallwandlers (14) oder eines Klangerzeugers, - maschinelle Analyse und maschinelle Bewertung der Audiosignale hinsichtlich des Interaktionsziels, - maschinelles Bestimmen von Schritten zum Modifizieren der Audiosignale hinsichtlich des Interaktionsziels; - Ausführen der maschinell bestimmten Schritte zum Modifizieren der Audiosignale, und - Weiterleiten der modifizierten Audiosignale an einen Interaktionspartner (02, 17). Weiterhin betrifft die Erfindung ein entsprechendes Computerprogrammprodukt, ein entsprechendes System und eine entsprechende Vorrichtung.

Description

Verfahren, Computerprogrammprodukt , System und Vorrichtung zum Modifizieren von akustischen Interaktionssignalen, die von mindestens einem Interaktionspartner erzeugt werden, hinsichtlich eines Interaktionsziels
Die vorliegende Erfindung betrifft ein Verfahren, ein Compu terprogrammprodukt, ein System und eine Vorrichtung zum Modi fizieren von akustischen Interaktionssignalen, die von mindes tens einem Interaktionspartner erzeugt werden, hinsichtlich eines Interaktionsziels. Die vorliegende Erfindung dient dazu, auf Interaktionsprozesse mit akustischem Anteil derart einzu wirken, dass die Eintrittswahrscheinlichkeit des Interaktions ziels erhöht wird.
Das Verfolgen von Zielen ist eine wesentliche Triebkraft des Handelns von Akteuren, seien es natürliche Akteure wie bei spielsweise Menschen, Pflanzen oder Tiere, institutioneile Ak teure wie beispielsweise Unternehmen oder Parteien oder tech nische Akteure wie beispielsweise Geräte oder Algorithmen.
Um das gewünschte Ziel zu erreichen, nehmen die Akteure im Rahmen von Interaktionsprozessen mit sich selbst oder mit an deren Akteuren Handlungen vor, von denen sie annehmen, sie würden das Erreichen des Ziels sicherstellen oder zumindest befördern. Die an einer bestimmten Handlung beteiligten Ak teure werden im Folgenden als Interaktionspartner bezeichnet.
Während dieser Interaktionsprozesse spielt der Austausch von Signalen eine wesentliche Rolle - und akustische Signale, im Folgenden als akustische Interaktionssignale oder Audiosignale bezeichnet, stehen dabei oftmals im Mittelpunkt, sei es bei spielsweise im Rahmen von Live-Konzerten, Parlamentsdebatten, wissenschaftlichen Konferenzen, Hochschulvorlesungen, Arztbe suchen, Notfällen, Teamdiskussionen, Verhandlungen oder auch Telefonaten .
Audiosignale bzw. Klänge beeinflussen somit Wahrnehmung und Verhalten der Interaktionspartner. Was die Wissenschaft von Jahr zu Jahr besser erklären kann, weiß der Volksmund schon lange: Der Ton macht die Musik. Bereits vor aber spätestens mit dem Einzug der Elektronik in die musikalische Praxis hat sich deshalb eine umfangreiche Industrie mit einer Vielzahl klangverändernder Werkzeuge entwickelt, um Töne so zu gestal ten, dass sie im Ergebnis die gewünschte Musik machen. Bei ge nauer Betrachtung der dabei stattfindenden Prozesse und des technischen Stands kristallisieren sich einige bemerkenswerte Phänomene heraus, die im Folgenden kurz skizziert werden sol len . a) Einsatzbereich
Klangverändernde Werkzeuge kommen hauptsächlich bei der Musik- Produktion (beispielsweise in Studios und Konzertsälen) sowie beim Musik-Konsum (beispielsweise in Radio, Fernsehen oder In ternet) zum Einsatz. In eingeschränkter Form finden sie auch Anwendung bei sprachlichen Stimuli, wie beispielsweise Modera tionen, Debatten, Konferenzen oder Reden. Ein wichtiger Be reich wird jedoch von den vielfältigen Vorteilen moderner Klangoptimierung bisher weitgehend ausgeschlossen: Die elekt- ronisch-vermittelte/elektroakustische Kommunikation (bei spielsweise via Telefon, Smartphone, Messenger-Diensten) .
Die negative (n) Folge (n) : Elektroakustische Kommunikationsvor gänge bleiben aufgrund klanglicher Defizite hinter ihren Er folgsmöglichkeiten zurück, was sich letztlich auch in unter nehmensrelevanten Kennziffern wie bspw. Umsatz, Kosten, Kun den- und MitarbeiterZufriedenheit niederschlagen kann. b) Akustische Wünsche versus nicht-akustische Ziele
Klangveränderungsmaßnahmen fokussieren zumeist die Befriedi gung (kurzfristiger) akustischer Wünsche anstatt (längerfris tiger) nicht-akustischer Ziele. Das bedeutet, dass beispiels weise eine Konsument beim abendlichen Musikhören im Bett eher selten denkt: „Ich weiß, dass der zu hohe Pegel meiner Hifi- Anlage mein Einschlafverhalten negativ beeinflusst und somit mein eigentliches Ziel, tagsüber konzentrierter arbeiten zu können, konterkariert.", sondern eher denkt: „Ich finde die Musik zu laut." - und dann mittels der Lautstärkeregelung den Pegel um den gewünschten Wert absenkt. Folgerichtig unterstüt zen aktuell erhältliche Marktangebote den Interaktionspartner bei der Befriedigung akustischer Wünsche, nicht jedoch bei der Erreichung eventuell dahinter liegender nicht-akustischer Ziele. Ein Mischpult beispielsweise „weiß" aufgrund seiner Schaltung, wie es dem akustischen Wunsch des Nutzers nach Ver änderung des Klangbildes durch Anhebung oder Absenkung be stimmter Frequenzbereiche nachkommen kann. Es weiß aber nicht, mit welchen Klangeinstellungen es dem Nutzer helfen kann, sein eigentliches Ziel, nämlich beispielsweise, die Partygäste zum Tanzen zu animieren, zu erreichen.
Die negative (n) Folge (n) : Positive und negative nicht-akusti sche Effekte klangverändernder Maßnahmen bleiben unerkannt, unberücksichtigt und ungenutzt. c) Erkenntnis- und Beweisdefizite
Oftmals ist nicht bekannt, welche Interaktionsparamater in welchen Situationen bei welchen beteiligten Interaktionspart nern welche Ziele wie beeinflussen. Und selbst wenn Erkennt nisse vorliegen, sind diese möglicherweise veraltet oder aber kausal nicht belegt, sondern basieren lediglich auf Korrelati onen. Im schlimmsten aber leider häufig anzutreffenden Fall fußen sie gar auf ungeprüften Hypothesen oder Induktions schlüssen auf Grundlage von Einzelbeobachtungen. Eine systema tische Analyse der Zusammenhänge von Eingangs- und Zielvariab len unter Durchführung kausaler Prüfungen in Prozessen mit ho her akustischer Relevanz findet somit bisher noch nicht in ausreichender Form statt.
Die negative (n) Folge (n) : Es werden Signalveränderungen vorge nommen, die in Bezug auf die Zielerreichung nicht optimal oder gar kontraproduktiv sind; Wechselwirkungen und Zielkonflikte bleiben unerkannt, Interaktionspartner sind frustriert, weil die erhofften Erfolge ausbleiben, Investitionsentscheidungen werden bereut, weil man fälschlicherweise teuren und wenig ef fektiven (Klangveränderungs- ) Maßnahmen den Vorzug gegeben hat gegenüber günstigeren und effektiveren. d) Entscheidungsinstanz
Über Art und Umfang klangverändernder Maßnahmen entscheiden in der Regel Einzelpersonen oder kleinere Gruppen auf produzie render Seite (beispielsweise ein Produzententeam im Studio o- der ein Tontechniker am Mischpult eines Konzertsaals) . Als Entscheidungsgrundlagen dienen neben objektiven Messwerten (z. B. Frequenzanalysen) vor allem subjektive Wahrnehmung, Exper tise und Präferenzen sowie die persönliche Biografie. Dies hat zur Folge, dass das klangliche Erleben der Darbietung einer klangerzeugenden Einheit durch eine Zuhörerschaft in erhebli chem Maße von den klangbeeinflussenden Entscheidungen eines Dritten abhängt. Da dieser Dritte als akustischer Vermittler fungiert, liegt es wortwörtlich in seiner Hand, eine grandiose musikalische Darbietung genau so grandios zu Gehör zu bringen - oder sie durch klangbeeinflussende Fehlentscheidungen zu zerstören : d.l. Unteraspekt subjektive Wahrnehmung: Wenn ein solcher Dritter bspw. aufgrund berufsbedingter Lautstärkebelas tung eine nicht auskorrigierte Hörschwäche im Bereich von 10 kHz aufweist, könnte es sein, dass er im Rahmen seiner Klanggestaltung diese Schwäche unbewusst auszugleichen versucht mit dem Ergebnis, dass die von ihm vorgenommene Klanggestaltung zu höhenlastig ausfällt und damit bei al len Zuhörern mit gesundem Gehör zu einer belastenden Tor tur werden kann.
d.2. Unteraspekt subjektive Expertise: Wenn ein solcher Dritter von der nicht gesicherten Hypothese ausgeht, dass Discobesucher immer erst ab einem Schalldruck von 100 dB zu tanzen beginnen, könnte es sein, dass er entsprechende Personen einer unnötig hohen Lautstärkebelastung aus setzt .
d.3. Unteraspekt subjektive Präferenzen: Wenn ein solcher Dritter Audiosignale grundsätzlich gerne stark kompri miert und mit einer deutlichen Anhebung im Frequenzbe reich von 60 Hz versieht, könnte es sein, dass dies den Präferenzen der eigentlichen Zielgruppe diametral entge gensteht .
d.4. Unteraspekt persönliche Biografie: Wenn ein solcher Dritter eine bestimmte klangliche Darbietung bereits viele Male erlebt hat, könnte er der Versuchung erliegen, klangverändernde Maßnahmen zum Entgegenwirken empfundener Langeweile in deutlich höherer Intensität vorzunehmen, als es der eigentlichen Zielgruppe, die eine bestimmte Darbietung möglicherweise zum ersten Mal hört, angemessen wäre .
Die negative (n) Folge (n) : Kunden sind unzufrieden, Musiker werden nicht mehr gebucht, Veranstaltungen nicht mehr besucht, Produkte nicht mehr erworben, Weiterempfehlungen bleiben aus und Chancen ungenutzt. e) Arbeitsweise
Klangveränderungsmaßnahmen arbeiten insbesondere auf Seiten des Konsumenten selten dynamisch-regelnd, sondern zumeist sta tisch/steuernd. Das bedeutet, dass eine konfigurierte Klang veränderung anschließend auf alle Audioinhalte angewandt wird, unabhängig von Veränderungen des Ausgangsmaterials, des Konsu- mentens oder der Zielgruppe, der Umgebung oder der Zielstel lung. Fährt man zum Beispiel bei starkem Regen mit 100 km/h auf der Landstraße und möchte dabei einem interessanten Radio- Interview folgen, muss man folglich die Radio-Lautstärke anhe ben, nur, um sie dann an der übernächsten Ampel bei strahlen dem Sonnenschein wieder abzusenken.
Die negative (n) Folge (n) : Der Konsument muss entweder ständig nachregeln, um die Klangveränderungsmaßnahmen den geänderten Bedingungen anzupassen oder aber er muss sich mit einer letzt lich nur durchschnittlichen Verbesserung, und in manchen Fäl len sogar mit einer Verschlechterung, abfinden. f) Wirkungsmechanismen
Klangveränderungswerkzeuge fokussieren in der Regel direkte Wirkungsmechanismen, bei denen akustische Parameter über ana loge/digitale/virtuelle Schaltungen direkt verändert werden. Wenn beispielsweise die von einem Mikrofon aufgenommene Ge sangsstimme eines Sängers zu leise ist, lässt sich das ent sprechende Mikrofonsignal mittels einer Verstärkerschaltung um den gewünschten dB-Wert erhöhen. Dies hat allerdings den Nach teil, dass nicht nur die Gesangsstimme verstärkt, sondern sämtlicher von dem Mikrofon aufgenommener Schall, wie bei spielsweise die benachbarten Instrumente anderer Musiker (Schlagzeug, E-Gitarre mit Lautsprecher, etc.) , Raumreflektio- nen oder auch das eigene verstärkte Ausgangssignal, was zu ei ner deutlich Klangverschlechterung ( Signalverhallung, Kammfil tereffekte, akustische Rückkopplungen/Feedback etc.) führen kann .
Die negative (n) Folge (n) : Die durch einen direkten elektro- akustischen Eingriff intendierte Klangverbesserung führt fak tisch zu einer Klangverschlechterung. Effektivere, indirekte (beispielsweise mittels visueller Anweisungen) oder nicht akustische (beispielsweise durch Regelung von Luftqualität o- der Raumtemperatur) Wirkungsmöglichkeiten bleiben unberück sichtigt . g) Abschottung
Klangveränderungswerkzeuge sind oftmals in geschlossene Sys teme eingebettet und deshalb in Art und Umfang eingeschränkt. Wenn beispielsweise eine HiFi-Anlage nicht über einen Entzer rer oder eine Möglichkeit der entsprechenden Nachrüstung ver fügt, bleibt dem Benutzer nichts anderes übrig, als dies zu akzeptieren oder aber ein Alternativ- oder Zusatzgerät zu er werben, welches die gewünschten Ausstattungsmerkmale aufweist. Gerade bei Festinstallationen ist der entsprechende organisa torische und finanzielle Aufwand allerdings derart hoch, dass dies nicht infrage kommt.
Die negative (n) Folge (n) : Klangoptimierungspotenziale bleiben ungenutzt . h) Komplexität
Zur Umsetzung verschiedener Klangveränderungsmaßnahmen werden oftmals mehrere auf jeweils eine konkrete Klangveränderungs maßnahme spezialisierte Geräte benötigt, was den finanziellen, materiellen, räumlichen und organisatorischen Aufwand ebenso erhöht wie das im nächsten Punkt thematisierte Ausfallrisiko.
Die negative (n) Folge (n) : Man geht lieber auf Nummer sicher, beschränkt sich auf die vermutlich wirkungsvollsten Klangver änderungsmaßnahmen oder nimmt von seinem Vorhaben gleich ganz Abstand . i) Ausfallrisiko
Entscheidet sich eine Person dafür, zur Realisierung von
Klangveränderungsmaßnahmen zusätzliche Vorrichtungen in die entsprechende Signalkette zu integrieren, erhöht sie damit - insbesondere bei einer seriellen Verschaltung - das Ausfallri siko der gesamten Signalkette. Dies stellt insbesondere bei zeitkritischen/Echtzeit-Anwendungen ein ernstes Problem dar.
Die negative (n) Folge (n) : Signalketten fallen häufiger aus, teure Redundanzsysteme müssen finanziert und integriert wer den, von Klangveränderungsmaßnahmen wird wieder Abstand genom men . j ) Inkompatibilitäten
Consumergeräte (beispielsweise MP3-Player) und Bürogeräte (beispielsweise Telefone) verfügen oftmals nicht über die not wendige Kompatibilität zu Standards professioneller Audiotech- nik (beispielsweise XLR, MADI, symmetrische Signalführung, Phantomspeisung, VST, ASIO, etc.) . Bei der Verwendung von Adapterkabeln, um diese Kompatibilität herzustellen, können Signalstörungen und/oder Signalverluste auftreten.
Die negative (n) Folge (n) : Klangoptimierung mittels professio neller Audiotechnik bleibt im Bereich „Consumer" und „Office" häufig außen vor. k) Ersetzen des Natürlichen anstatt dessen Verbesserung
Insbesondere Technologien wie Digital Assistants oder Digital
Robots (beispielsweise Google Duplex) sind so ausgelegt, Na türliches, beispielsweise einen Telefonmitarbeiter, nicht etwa dabei zu unterstützen besser zu werden, sondern ihn vollstän dig durch Digitaltechnologie zu ersetzen. Anstatt also mög licherweise negativ empfundene Aspekte wie intensiver Dialekt, verwaschene Artikulation oder monotone Sprechweise eines Tele fonmitarbeiters mit technischen Mitteln abzumildern, wird die ser Telefonmitarbeiter gleich vollständig durch ein virtuelles Pendant in Form eines Digital Assistant/Agent zu ersetzen ver sucht .
Die negative (n) Folge (n) : Menschen kommunizieren noch weniger mit Menschen und dafür noch mehr mit Maschinen, was die Gefahr von Filterblasen und Entfremdung der Menschen voneinander ebenso weiter erhöhen kann wie die Angst von Arbeitnehmern vor neuen Technologien und zukünftigem Arbeitsplatzverlust. l) Nicht-individuelle Adressierung
Klangveränderungen werden oftmals im Bewusstsein der Adressie rung einer breit definierten Zielgruppe vorgenommen, ohne dass dabei individuelle Präferenzen und Charakteristiken verschie dener Zuhörer berücksichtigt werden. Beispiel: Die akustische Gestaltung eines Konzertsaals hat zur Folge, dass an gewissen Hörpositionen bestimmte akustische Signale stärker wahrnehmbar sind als andere, so dass das akustische Erlebnis je nach Hör position variiert.
Die negative (n) Folge (n) : Trotz identischer akustischer Quelle ergeben sich große Diskrepanzen in der Beurteilung des akusti schen Ereignisses. m) Kein systematischer Lernprozess
In Bezug auf Klangveränderungsmaßnahmen mit ihren Vor- und Nachteilen bei bestimmten Zielstellungen finden systematische Lernprozesse zu selten statt. Zwar werden je nach Technologie über Sensoren entsprechende Vorgänge dokumentiert, aber mathe matische Verfahren, wie z. B. maschinelles Lernen, zur Aufde ckung von Zusammenhängen und deren kausale Prüfung in randomi- sierten Experimenten ist dem Stand der Technik bisher nicht zu entnehmen .
Die negative (n) Folge (n) : Fehler wiederholen sich, Verbesse rungen bleiben aus, Potentiale bleiben ungenutzt, Ziele werden seltener erreicht. n) Unidirektionales Sender-Empfänger-Paradigma
Klangveränderungsmaßnahmen folgen oftmals einem unidirektiona- len Sender-Empfänger-Paradigma. Wenn sich zum Beispiel ein Te lefon-Mitarbeiter eines Call-Centers von einem aggressiv auf tretenden Kunden provozieren lässt und dadurch selbst auch im mer lauter und aggressiver spricht, würde man nach einem un idirektionalen Paradigma möglicherweise mittels automatischer Lautstärkeanpassungen dafür sorgen, dass beim Kunden diese Lautstärkesteigerungen nur in reduziertem Maße ankommen. Ein bidirektionaler Ansatz, bei dem man auch durch Veränderungen auf Seiten des Kunden (beispielsweise Anpassung von Lautstärke und Stimmenfrequenz oder entspannende Hintergrundmusik) dafür sorgt, dass dieser vom Telefon-Mitarbeiter gar nicht mehr als (so) aggressiv wahrgenommen wird, wird oftmals nicht in Be tracht gezogen.
Die negative (n) Folge (n) : Rückkopplungen seitens des Empfän gers an den Sender und damit die Transformation des Empfängers zum Sender und des Senders zum Empfänger und dadurch entste hende Effekte bleiben oftmals unberücksichtigt. Somit wird deutlich, dass mit einer zielgerichteten Modifika tion von Interaktionssignalen, auch und gerade im Bereich elektronisch-vermittelter/ elektroakustischer Kommunikation die Chancen auf das Erreichen des gewünschten Ziels erheblich verbessert werden können. Die aus dem Stand der Technik in diesem Bereich bekannten Ansätze nutzen dieses Potential aber lediglich in deutlich verbesserbarem Maß aus, weil sie die soeben skizzierten Nachteile aufweisen.
Die US 7085719 Bl ("Voice filter for normalizing an agent's response by altering emotional and word content") beschreibt die Veränderung des kommunikativen Auftritts eines Mitarbei ters durch die Veränderung emotionaler und sprachlicher As pekte seiner Kommunikation je nach Zielsetzung der Organisa tion. Ist also das Ziel, dass ein Mitarbeiter am Telefon bei spielsweise „Begeisterung" versprüht, soll dies durch Anpas sung bestimmter Wörter, Sprechgeschwindigkeit oder auch Erhö hung von Stimmenfrequenz und Stimmenlautstärke auf Seiten des Mitarbeiters erreicht werden.
Ähnliches beschreibt die US 20120016674 Al ( "Modification of Speech Quality in Conversations Over Voice Channels") .
Die US 6404872 Bl ("Method and apparatus for altering a speech signal during a telephone call") wiederum beschreibt ein Ver fahren, bei dem ein Anrufer vor Herstellung einer Verbindung zum Angerufenen mittels eines Menus eine von ihm gewünschte Sprachsignalveränderung auswählt, welche dann während des an schließenden Telefonats für seine Stimme aktiviert wird. Ähnliches findet sich in der US 7925304 Bl ("Audio manipula- tion Systems and methods") , bei der ein Nutzer bestimmte Ver änderungen seines Audiosignals während eines Telefonats aus wählen und aktivieren kann.
Die US 2008/0044048 Al ( "Modification of voice waveforms to change social signaling") beschreibt ein Verfahren, bei dem das Sprachsignal eines Sprechers in Bezug auf die darin ent haltenen "sozialen Signalisierungen" (beispielsweise "Überzeu gungskraft") analysiert und nach Wunsch des Interaktionspart ners verändert wird.
Weitere entsprechende Verfahren sind in der US 2010/0260074 Al, der US 2010/0088093 Al und der US 10 276 185 Bl offenbart. Interaktionsziele werden in den dort offenbarten Verfahren nicht definiert.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Ver fahren, ein Computerprogrammprodukt, ein System und eine Vor richtung zur Durchführung dieses Verfahrens anzugeben, mit de nen akustische Interaktionssignale, die von mindestens einem Interaktionspartner erzeugt werden, hinsichtlich eines Inter aktionsziels modifiziert und dabei die eingangs skizzierten negativen Folgen vermieden werden können.
Diese Aufgabe wird gelöst von einem Verfahren mit den Merkma len des Patentanspruchs 1, einem Computerprogrammprodukt mit den Merkmalen des Patentanspruchs 10, einem System mit den Merkmalen des Patentanspruchs 11 und einer Vorrichtung nach Patentanspruch 21. Vorteilhafte Ausführungsformen der Erfin dung sind Gegenstand der Unteransprüche. Allgemein ist zunächst anzumerken, dass die nachfolgend erläu terte Erfindung grundsätzlich in allen Situationen zum Einsatz kommen kann, bei denen akustische Interaktionssignale zwischen Interaktionspartnern ausgetauscht werden, wie beispielsweise Vorlesungen, Konferenzen, Debatten, Live-Musik, Musik- und Vi deostreaming, Radio- und Fernsehübertragungen, Musikkonsum im Auto oder im Wohnzimmer oder am Handy. Die Darlegungen dieser Patentschrift konzentrieren sich aber zur besseren Nachvoll ziehbarkeit beispielhaft auf den Bereich der professionellen elektro-akustischen Kommunikation (beispielsweise Call-Center- Telefonie) , weil hier bisher nur wenig zielorientierte Klango ptimierung stattfindet, obwohl gerade hier die gesamte Kommu nikation ausschließlich auf dem Austausch akustischer Signale basiert und somit deren Qualität maßgeblich über Erfolg und Misserfolg des Kommunikationsvorgangs entscheidet, was sich letztlich in geschäftsrelevanten Kennziffern wie bspw. Umsatz, Kosten, Mitarbeiter- oder Kundenzufriedenheit niederschlägt.
Dieser Erfindung liegt folgende Perspektive zugrunde: Im Auf einanderfolgen von Situationen findet eine Interaktion statt, in der ein Interaktionspartner mit sich und/oder anderen In teraktionspartnern im Rahmen von Aktivitäten Interaktionssig nale austauscht, um ein bestimmtes Interaktionsziel zu errei chen. Die vorliegende Erfindung begreift sich als zusätzlichen Interaktionspartner, der die Ausprägungen der Merkmale der In teraktion - bestehend aus dem Interaktionsziel, Merkmalen der beteiligten Interaktionspartner und/oder Merkmalen ihrer Akti vitäten insbesondere der dabei erzeugten Interaktionssignale und/oder Merkmalen ihres Umfelds - vor, während und nach der Interaktion erfasst, analysiert, bewertet und mittels aktuato- rischer und/oder interaktionspartnerbezogener Handlungsanwei sungen direkt oder indirekt derart beeinflusst, dass die Ein trittswahrscheinlichkeit hinsichtlich des Interaktionsziels erhöht wird. Die Interaktionssignale sollen im Rahmen der vor liegenden Erfindung in Form von Audiosignalen übertragen wer den, welche akustische Interaktionsparameter bzw. Audiosignal- parameter aufweisen und daher entsprechend dem definierten In teraktionsziel, welches das Interaktionsziel sein kann oder dieses beeinflusst, modifiziert werden.
Das erfindungsgemäße Verfahren zum Modifizieren zumindest ei nes akustischen Interaktionssignals, welches von mindestens ei nem Interaktionspartner erzeugt wird, hinsichtlich eines In teraktionsziels, umfasst folgende Schritte, welche vorzugs weise in der angegebenen Reihenfolge ausgeführt werden:
- Definieren mindestens eines Interaktionsziels, hin
sichtlich welchem die akustischen Interaktionssignale modifiziert werden sollen,
- Erzeugen von einem oder mehreren dem Interaktionssignal entsprechenden Audiosignalen, die von zumindest einem Interaktionspartner erzeugt werden, mittels eines Schallwandlers oder eines Klangerzeugers,
- maschinelle Analyse und maschinelle Bewertung der Audi- osignale hinsichtlich des Interaktionsziels,
- maschinelles Bestimmen von Schritten zum Modifizieren der Audiosignale hinsichtlich des Interaktionsziels;
- Ausführen der maschinell bestimmten Schritte zum Modi fizieren der Audiosignale, und
- Weiterleiten der modifizierten Audiosignale an einen Interaktionspartner .
Vereinfacht gesagt beschreibt der Begriff „Ziel" im allgemei nen Sprachgebrauch einen angestrebten Zustand in der Zukunft, der mittels eines entsprechend zielorientierten Verhaltens er reicht werden soll.
In der vorliegenden Erfindung beschreibt das "Interaktions ziel" somit einen angestrebten Zustand in der Zukunft, der im Rahmen einer (oder mehrerer) Interaktion (en) erreicht werden soll. Das Interaktionsziel ist dabei die konkrete Ausprägung eines mittels technischer oder sozio-technischer Sensoren messbaren Merkmals zu einem bestimmten Messzeitpunkt (z. B. nach Ende eines Telefongesprächs oder 10 Sekunden nach Ge sprächsbeginn) , beispielsweise Lautstärke, Absatzmenge, Um satzhöhe, Zeitdauer eines Kundengesprächs, Kundenzufrieden heit, Kosten, Mitarbeitergesundheit, Hautwiederstand, Puls, Atemfrequenz, Blutdruck. Hierbei kann es sich auch um eine Randbedingung handeln.
Die beteiligten Interaktionspartner sind dabei insbesondere Entitäten, die Interaktionssignale erzeugen, wahrnehmen, ver arbeiten und/oder beeinflussen bzw. verändern (beispielsweise Mitarbeiter, Kunden, Dienstvorgesetzte, Geräte) .
Die von den beteiligten Interaktionspartnern vorgenommenen Ak tivitäten sind dabei insbesondere akustischer und/oder akus tikrelevanter Natur (beispielsweise Sprechen, Lachen, Schwei gen, Flüstern, Schreien, Singen) .
Die Interaktionssignale, welche mittels Interaktionssignalpa rametern und deren konkreten Werten (Merkmalsausprägungen) be schrieben werden können, sind dabei insbesondere akustischer und/oder akustikrelevanter Natur (beispielsweise Direktschall , Stille, Reflektionen, Störgeräusche) . Wenn also die Interakti- onsparameter bzw. deren entsprechenden Werte modifiziert wer den, folgt daraus in der Regel auch eine Modifikation des In teraktionssignals .
Üblicherweise sind mindestens zwei Interaktionspartner an ei ner Interaktion beteiligt, so dass die modifizierten Audiosig- nale an einen empfangenden Interaktionspartner weitergeleitet werden, der selbst das Interaktionssignal nicht erzeugt hat.
Es ist aber auch möglich, das modifizierte Audiosignal an den Interaktionspartner weiterzuleiten, der das Interaktionssignal erzeugt hat, beispielsweise zu Test- oder Kontrollzwecken . Un ter einem modifizierten Audiosignal soll auch ein Audiosignal verstanden werden, welches zwar analysiert und bewertet worden ist, die Analyse und die Bewertung aber zu dem Ergebnis ge führt hat, dass keine Modifizierung notwendig ist, da das Au diosignal hinsichtlich des Interaktionsziels bereits optimal ist. In diesem Fall entsprechen sich das vom Interaktions partner erzeugte Audiosignal und das modifizierte Audiosignal.
Hierzu kann beispielsweise ein Schallwandler eingesetzt wer den, der beispielsweise als ein Headsetmikrofon eines Call- Center-Mitarbeiters oder ein Telefon eines Anrufers ausgebil det sein kann, die in bekannter Weise aus dem akustischen In put, also dem, was der Mitarbeiter, Interaktionspartner oder Anrufer sagt oder anderweitig akustisch erzeugt und etwaigen Hintergrundgeräuschen, ein analoges oder digitales Audiosignal generieren. Das so generierte Audiosignal lässt sich mittels Audiosignalparametern beschreiben. Sollte das Audiosignal be reits als analoges oder digitales Audiosignal vorliegen, wel ches keiner weiteren Wandlung bedarf, z. B. weil es sich beim Interaktionspartner um ein technisches Gerät, wie z. B. einen Digitalsynthesizer oder einen Drumcomputer handelt, stellt der Interaktionspartner gleichzeitig auch den Klangerzeuger dar, so dass das Audiosignal über einen Audioausgang der Modifika tion zugeführt wird.
Die maschinelle Analyse der erfassten Interaktionssignale um fasst alle heutzutage und zukünftig nach standardisierten, fachbekannten Vorgehensweisen ermittelbaren Interaktionssig nalparameter einschließlich deren statistischen Merkmalen (wie z. B. Mittelwert, Varianz und Spannweite) . Im Falle von Audio- signalen umfasst die maschinelle Analyse dabei sowohl Low-Le- vel-Audiodeskriptoren (Audiosignalparameter / auditive Merk male mit niedrigem Abstraktionsniveau) als auch High-Level-Au- diodeskriptoren (Audiosignalparameter / auditive Merkmale mit hohem Abstraktionsniveau) und kann dabei vorzugsweise eine Be stimmung eines, mehrerer oder aller der Parameter ADSR-Charak- teristiken, Fourier-Transformation, Abtastfrequenz , Sampling tiefe, Lautstärke, Lautheit, Schalldruckpegel, Deutlichkeit, Dynamikumfang, Fluktuation, Formanten oder Formantenspektrum, Stimmabbrüche, Fingerprinting, Stimmqualität, Klirrfaktor, Klangtreue, FrequenzSpektrum, Frequenzbewertung, THD, Fre quenzgang, Phasenlage, Fundamentalfrequenz, Grenzfrequenzen, Korrelation, Mikroprosodie, Obertonspektrum, Prosodie, Schei telfaktor, Rauigkeit, Sprechgeschwindigkeit, Übersprechen, Ka naltrennung, Timbre, Sprachverständlichkeit , Jitter, Shimmer, Harmonizität , Perturbation, Cepstrum, Spektrum, Signal-Rausch- Abstand, CPPS, Slope, Tilt, Pausen, Dauer, Number of Pulses, Number of Periods, Intensity, Power, Energy, Gaps, Seitwärts- /Rückwärtsdämpfung, Rauschen, Zeit-/Registerdurchsichtigkeit , Diffusität und Transienten sowie die in anderen Audio-Frame- works (beispielsweise dem MPEG-7-Standard; siehe
https : / /mpeg . chiariglione . org/Standards/mpeg-7 /audio) be schriebenen Audio-Deskriptoren (beispielsweise LogAttackTime, AudioPowerType, Melodie, Timbre) durch eine Recheneinheit um- fassen. Diese Daten lassen sich heutzutage nach standardisier ten, fachbekannten Vorgehensweisen aus einem analogen Audio- signal, nötigenfalls nach Digitalisierung, ebenso wie aus ei nem digitalen Audiosignal gewinnen.
Die Recheneinheit verarbeitet die Daten derart, dass ein Ver gleich der erfassten Daten mit den hinterlegten weiteren Daten möglich ist, sofern nicht schon die ersten Daten so an die Re cheneinheit weitergeleitet werden, dass keine Verarbeitung nö tig ist, sondern die Recheneinheit direkt einen Vergleich durchführen kann.
Bei der maschinellen Bewertung der Analyseergebnisse, insbe sondere der Audiosignalanalysen werden dann die Merkmalsaus prägungen, die bei den Analysen ermittelt wurden, als Daten mit einem Satz von Parameterwerten als Soll-Daten verglichen, mit welchen das Interaktionsziel definiert wird. Dies kann beispielsweise, wie unten noch detaillierter erläutert wird, durch den Zugriff einer Recheneinheit auf Datenbanken erfol gen, die den idealen Satz von Parameterwerten enthält, so dass die Recheneinheit über einen Vergleich Abweichungen zwischen den Ist-Parameterwerten und den Soll-Parameterwerten feststel len kann. Hierzu kann beispielsweise, wie unten noch detail lierter erläutert wird, durch den Zugriff einer Recheneinheit auf Datenbanken erfolgen, die entsprechende Regelwerke enthal ten. Im Rahmen dieser Gegenüberstellung wird maschinell bewer tet, ob für die gewonnenen Parameterwerte laut Regelwerk eine Veränderung einer oder mehrerer ermittelten Parameterwerte vom Ist- zum Soll-Zustand angezeigt ist, oder nicht. Anhand des Regelwerks werden somit in Abhängigkeit der Zielstellung und der aktuellen Situation die Audiosignale so modifiziert, dass die Zieleintrittswahrscheinlichkeit maximiert wird. Basierend auf dieser Bewertung werden dann maschinell Maßnah men ermittelt, die das Audiosignal an den Soll-Parameterwerte- satz heranführen und umgesetzt. Bei einer zumindest auch er folgenden sofortigen Beeinflussung des Audiosignals durch diese Maßnahmen wird dann das modifizierte Audiosignal an den Interaktionspartner weitergeleitet; bei einer lediglich in die Zukunft gerichteten Beeinflussung oder bereits optimalen Para metern hingegen das ursprüngliche Audiosignal.
Die maschinellen Maßnahmen zur Modifikation insbesondere von Audiosignalen können dabei alle heutzutage und zukünftig stan dardisierten, fachbekannten Vorgehensweisen umfassen, wobei über Art, Intensität und die mögliche Kombination verschiede ner Maßnahmen maschinell entschieden wird. Im Falle von Audio- parametern können zur Modifikation unter anderem zum Einsatz kommen: Frequenzfilter, Pitch-Shifting, Time-Stretching, For mantenänderung, Vokaltrakt-Modifikatoren, Dynamikprozessoren (z. B. Kompressor, Expander, Gate, Limiter) , Raumeffekte
(Hall), Entzerrer, Modulationseffekte (z. B. Flanger, Phaser, Chorus, Tremolo), Verzögerungs- und Echoeffekte (z. B.
Delays), Pegelmodifikatoren, Timbre-Modifikatoren, Signalsät- tigungs- und Verzerrungseffekte (z. B. Verstärker-, Lautspre cher, Röhren-, Übertrager-, Tonband, Schallplatten- oder Bit- Crusher-Effekte) , Exciter/Enhacer, Harmonizer, Spectral Pro cessing, Binauraleffekte, Spatial-Effekte) , Noise Reduc- tion/Cancelling, De-Essing, Phasenbearbeitung, Mic-Modeler, Doubler, Impulsantworten, Faltungsverfahren . Ebenso können auch hierbei mathematische Methoden und/oder Lernverfahren, wie z. B. maschinelles Lernen, künstliche Neuronale Netze oder Deep Learning zum Einsatz kommen, um Audiosignale zu modifi zieren . Folglich zählt auch eine vollständige Verfremdung des Signals bis hin zu dessen Auslöschung durch Reduktion der Amplituden auf Null zu Modifikationsmaßnahmen. Ebenso zählt zu Modifika tionsmaßnahmen, wenn selbst erzeugte und/oder wiedergegebene Audiostimuli (z. B. Hintergrundmusik) dem Audiosignal oder evtl, vorhandener Stille hinzugefügt werden.
Für den Fall, dass Modifikationen an akustischen Interaktions signalen eines gerade aktiven Interaktionspartners vorgenommen werden müssen (z. B. ein Telefonmitarbeiter, der gerade zu leise spricht), können diese Modifikationen graduell und zeit lich gestreckt erfolgen, um den anderen Interaktionspartner nicht durch sprunghaft vorgenommene Signalveränderungen zu ir ritieren, in dem die Modifikationen über einen längeren Zeit raum in kleinen Einzelschritten statt mit einem Mal vorgenom men werden.
Als ganz konkretes, stark vereinfachtes Beispiel kann bei spielsweise die Analyse des Audiosignals das Ergebnis liefern, dass der Call-Center-Mitarbeiter mit einer bestimmten Ge schwindigkeit spricht. In einer Datenbank hinterlegte Sollpa rameterwerte, beispielsweise empirisch erhobene Erfahrungs werte oder experimentell ermittelte Kausalitäten für eine op timale Sprechgeschwindigkeit, zeigen, dass diese Sprechge schwindigkeit vom Kunden als zu schnell empfunden wird und die Wahrscheinlichkeit für einen Verkaufserfolg senken würde. Als sofortige Maßnahme wird daher laut Regelwerk z. B. mittels Time-Stretching ein verlangsamtes Audiosignal als modifizier tes Audiosignal erzeugt und an den Interaktionspartner weiter geleitet. Gleichzeitig wird beispielsweise ein visueller Hin weis, z.B. auf einem Computer-Terminal, an dem der Call-Cen- ter-Mitarbeiter sitzt, oder ein akustischer Hinweis, der in sein Headset eingespeist wird, während er spricht, erzeugt, der ihn veranlassen soll, langsamer zu sprechen, was eine Maß nahme darstellt, um das Audiosignal für die Zukunft näher an die idealen Parameter heranzuführen und gegebenenfalls in vor teilhaften Varianten der Erfindung zu überwachen, ob diese An weisung auch umgesetzt wird.
In einem weiteren konkreten, stark vereinfachten Beispiel kön nen beispielsweise die Ergebnisse aus der Analyse der Audio- signale darauf hindeuten, dass der Interaktionspartner, hier der Gesprächspartner des Call-Center-Mitarbeiters , gerade sehr aufgeregt ist. Dies könnte dazu führen, dass das Soll-Audio- signal des Mitarbeiters zur Beruhigung des Gesprächspartners langsamer ausfallen sollte als im Normalfall.
Es wird also in beiden Fällen maschinell eine Beeinflussung des Audiosignals herbeigeführt, entweder durch unmittelbare Modifikation des Audiosignals oder durch Veränderung des Sprechverhaltens eines Interaktionspartners durch technische Mittel. Die Erfindung verändert Audiosignale nicht zwingend nur durch direkten akustischen Eingriff, sondern kann alterna tiv oder zusätzlich indirekte und/oder nicht unmittelbar akus tische Eingriffsmöglichkeiten, beispielsweise durch visuelle Anweisungen oder Hinweise an den Interaktionspartner, der die akustischen Interaktionssignale erzeugt (z. B. Redner, Kolle gen, Vorgesetzte, Publikum) beispielsweise nutzen, um eine Klangbeeinflussung vorzunehmen. Anders formuliert: Die Erfin dung kann zur Erhöhung der Zieleintrittswahrscheinlichkeit nicht nur akustische Signale, sondern auch bspw. visuelle Sig nale analysieren, erzeugen oder verändern, um die Audiosignale hinsichtlich des Interaktionsziels zu modifizieren. So kann beispielsweise der visuelle Hinweis, dass der nächste Interak tionspartner eines Telefonmitarbeiter unverhältnismäßig lange 8 Minuten in der Warteschleife verharren musste und der Mitar beiter bitte sein Bedauern darüber äußern möge, zu einer höhe ren Zieleintrittswahrscheinlichkeit der darauffolgenden Inter aktion führen.
In einer vorteilhaften Weiterbildung des Verfahrens ist vorge sehen, dass mittels Sensoren Merkmalsausprägungen der betei ligten Interaktionspartner sowie der Umgebung des die akusti schen Interaktionssignale erzeugenden Interaktionspartners er mittelt werden und dass die erfassten Daten in die maschinelle Bewertung der Audiosignale einbezogen werden, um die Situation oder den Kontext, in dem die Signale erzeugt werden, bestmög lich zu erfassen.
Bei dieser weitergebildeten Ausführungsform kann das Verfahren daher folgende Schritte aufweisen:
- Erfassung der Merkmalsausprägungen der beteiligten In teraktionspartner und/oder ihres Umfelds,
- Einbeziehen der erfassten Daten in die maschinelle Be wertung der Audiosignale.
Vorzugsweise wird dabei der Zustand des Mikroumfelds des be treffenden Interaktionspartners, in welchem dieser agiert, so gut wie möglich erfasst. Hierzu steht heutzutage eine Vielzahl von Sensoren zur Verfügung, welche den Zustand des Mikroum felds objektiv, valide und reliabel erfassen können. Nicht ab schließend seien als Beispiele für derartige Sensoren Tempera tursensoren, Luftfeuchtigkeitssensoren und Schallsensoren ge nannt. Unter einem Mikroumfeld soll das Umfeld verstanden wer den, welches einen direkten Einfluss auf den betreffenden In teraktionspartner haben kann, mit den Sinnen des Interaktions- Partners zumindest teilweise erfahrbar und mittels aktuatori- scher und/oder Interaktionspartnerbezogener Handlungsanweisun gen direkt oder indirekt beeinflussbar ist. Typischerweise sind dies die unmittelbare Arbeitsumgebung oder auch der Raum eines Gebäudes, in welchem sich der betreffende Interaktions partner (ggf. zusammen mit anderen Interaktionspartnern wie beispielsweise Kollegen oder Dienstvorgesetzten) während der Interaktion aufhält.
Der Zustand des Interaktionspartners selbst kann auf vielfäl tige Weise erfasst werden, beispielsweise mit sogenannten „Wearables", welche Sensoren aufweisen, die den Puls, den Hautwiderstand, die Hauttemperatur und/oder den Standort des Interaktionspartners erfassen, wobei auch diese Aufzählung nicht abschließend ist. Auch über Eingabegeräte, externe Hard ware oder Software, Datenbanken oder Schnittstellen, die den aktuellen Status eines Mitarbeiters erfassten (beispielsweise „Arbeitet zurzeit im Beschwerdemanagement", „Macht gerade Pause", „Befindet sich seit 76 Minuten im Verkaufsgespräch", „Hat morgen frei", „Ist zur Annahme eines neuen Gesprächs be reit") kann der Zustand des Interaktionspartners erfasst wer den. Des Weiteren kann über den Zugriff auf Datenbanken ermit telt werden, ob und in welcher Form die beteiligten Interakti onspartner bereits in der Vergangenheit schon einmal miteinan der interagiert hatten, denn diese vergangene Interaktion kann auf ihren aktuellen Zustand Auswirkungen haben. Über visuelle Sensoren (z. B. eine Webcam am Bildschirm eines Telefonmitar beiters) können Augenbewegungen und Mimik erfasst und an schließend ausgewertet werden. Darüber hinaus kann auch über das vom Interaktionspartner erzeugte und vom Headset aufgenom mene Audiosignal viel bezüglich des Zustands des Interaktions partners erfahren werden. Dies gilt selbstverständlich ebenso für andere an der Interaktion beteiligte Interaktionspartner, beispielsweise Kunden.
Je mehr Parameter bezüglich des Zustands des Interaktionspart ners und des Zustands des Mikroumfelds des Interaktionspart ners erfasst werden, desto genauer können diese Zustände cha rakterisiert werden. Die so charakterisierten Zustände werden vorzugsweise von den Sensoren in Form von ersten Signalen ei ner Recheneinheit zugeführt, wozu Eingangsschnittstellen vor gesehen sein können. Die Recheneinheit kommuniziert vorzugs weise mit einer Datenbank. Auch dort sind vorzugsweise auf ei nen Interaktionspartner und/oder auf das Mikroumfeld des In teraktionspartners und/oder die Interaktion bezogene Zustände hinterlegt .
Die auf den Interaktionspartner bezogenen Zustände können vom selben Interaktionspartner, aber auch von anderen Interakti onspartnern stammen.
Die erhobenen Merkmalsausprägungen der beteiligten Interakti onspartner und ihres Mikroumfelds werden nach bekannten fach gerechten Verfahren analysiert, so dass neben Merkmalen wie Arbeitszeitdauer und Raumtemperatur auch Aspekte, wie z. B. Müdigkeit, Motivation, Zufriedenheit, stimmliche Gesundheit, Emotionen oder Persönlichkeit, erfasst werden können.
Die vorzugsweise in der Datenbank hinterlegten weiteren Zu stände enthalten vorzugsweise Informationen dahingehend, ob die weiteren Zustände zu einer Erhöhung der Eintrittswahr scheinlichkeit des Interaktionsziels geführt haben. Wenn bei spielsweise die Eintrittswahrscheinlichkeit bei einer bestimm ten Temperatur, einer bestimmten Luftfeuchtigkeit und/oder bei einem bestimmten Schallpegel oder einer bestimmten Kombination dieser Größen erhöht ist, der Vergleich mit dem erfassten Zu stand aber deutliche Abweichungen in diesen Größen feststellt, so werden vorzugsweise von der Recheneinheit aktuatoren- und/oder interaktionspartnerbezogene Handlungsanweisungen ge neriert, um die Eintrittswahrscheinlichkeit des Interaktions ziels zu erhöhen.
Die so gewonnen Daten werden dann zusammen mit den eventuell ebenfalls vorhandenen Daten zu Merkmalen der Interaktionssig nale bei der maschinellen Analyse, der maschinellen Bewertung und der maschinellen Generierung von Handlungsanweisungen be rücksichtigt .
Die Handlungsanweisungen werden in entsprechende Signale umge wandelt und an entsprechende Aktuatoren/Ausgangsschnittstellen weitergeleitet. Hierzu können entsprechend ausgebildete Aus gangsschnittstellen vorgesehen sein.
Beispielsweise werden die Temperatur und die Luftfeuchtigkeit des Mikroumfelds mithilfe einer entsprechenden Ansteuerung der Klimaanlage verändert. Um einen zu hohen Schallpegel zu sen ken, kann beispielsweise eine Lärmkompensation ausgelöst wer den oder eine Textanweisung auf dem Computerbildschirm benach barter Kollegen, doch bitte etwas leiser zu sprechen, ange zeigt werden. Diese von den Aktuatoren oder anderen Interakti onspartnern umgesetzten Handlungsanweisungen erhöhen basierend auf den in der Datenbank hinterlegten weiteren Zuständen die Eintrittswahrscheinlichkeit des vom Interaktionspartner defi nierten Ziels. Die Änderung der Temperatur, der Luftfeuchtig keit und des Schallpegels haben z. B. eine Auswirkung auf den Puls, den Hautwiderstand und/oder die Hauttemperatur, so dass über den Zustand des Mikroumfelds des Interaktionspartners auch der Zustand des Interaktionspartners verändert werden kann .
In vielen Fällen hat der Zustand des Interaktionspartners oder der an der Interaktion beteiligten Interaktionspartner einen großen Einfluss auf die Eintrittswahrscheinlichkeit des defi nierten Interaktionsziels.
In einem ganz konkreten, aber stark vereinfachten Beispiel kann der Call-Center-Mitarbeiter also in einem überhitzten, stickigen Raum mit verbrauchter Luft sitzen, was durch Senso ren, die z. B. die Temperatur, Luftfeuchtigkeit und Luftquali tät überwachen, gemessen werden kann. Wenn die Analyse und Be wertung des Audiosignals ergeben, dass dieses in Parametern, die für eine typische Reaktion des Call-Center-Mitarbeiters auf diese Bedingungen, beispielsweise eine Ermüdung, charakte ristisch sind, vom Soll des Regelwerks abweicht, kann dann als Maßnahme auf eine Anpassung der Umgebungsbedingungen hinge wirkt werden. Dies kann dann beispielsweise durch eine Ansteu erung der Klimaanlage und/oder eine Interaktionspartnerbezo gene Handlungsanweisung an die Teamleitung, das Fenster zu öffnen, erfolgen.
Ein anderes Beispiel sind Hintergrundgeräusche, die durch das Headset-Mikrofon des Interaktionspartners oder eines anderen in der Umgebung des Interaktionspartners agierenden Akteurs o- der durch ein separates Umgebungsmikrophon aufgezeichnet wer den können, und zu einer zu geringen Lautstärke des eigentli chen Audiosignals oder einem zu geringen Signal-Rausch-Ver- hältnis führen. In diesem Fall können mit der Verwendung der Aufzeichnung des Umgebungsmikrophons durch Korrektur/Heraus filtern und/oder durch intelligente Verstärkung des Audiosig- nals oder durch Einleiten von aktuatorgestützten und/oder in teraktionspartnerbezogene Handlungsanweisungen Maßnahmen zur Reduktion der Hintergrundgeräusche ergriffen werden, bei spielsweise das automatische Schließen eines Fenster bei Ver kehrslärm oder einem Unwetter.
Ein weiterer wichtiger Faktor, der Auswirkungen auf den Zu stand der Interaktionspartner und damit die Zieleintrittswahr scheinlichkeit haben kann, ist, mit welcher Erwartung die In teraktionspartner in die Interaktion gehen, vor allem was das Verhalten des jeweils anderen Interaktionspartners betrifft. Wenn beispielsweise ein Telefonmitarbeiter davon ausgeht, dass ein potentieller Kunde im gleich beginnenden Telefonat ohnehin nichts bei ihm kaufen wird, könnte er derart passiv und unmo tiviert das Gespräch beginnen, dass der Kunde das Gefühl be kommt, der Mitarbeiter hätte kein Interesse an ihm und einem Vertragsabschluss - und dann tatsächlich auch nichts kauft, was den Mitarbeiter in seiner Erwartungshaltung wiederum be stärken würde. Diesem kann das vorliegende Verfahren entgegen wirken, indem es bspw. dem Interaktionspartner eine auf Basis mathematischer Verfahren ermittelte Eintrittswahrscheinlich keit des Interaktionsziels vor Beginn der Interaktion akus tisch oder visuell ausgibt - oder aber eben darauf verzichtet und stattdessen beispielsweise den Interaktionspartner darauf hinweist, dass er persönlich am möglicherweise negativen Aus gang der vergangenen Interaktion keinerlei messbaren Anteile hatte - die Ergebnisse also zufällig so ausgefallen sind. Je nach Prognose kann das Verfahren mittels aktuatorischer oder interaktionspartnerbezogener Handlungsanweisungen darauf hin wirken, dass eine Interaktion erst gar nicht zustande kommt, da die geschätzte Zieleintrittswahrscheinlichkeit in Anbe tracht der zu erwartenden zeitlichen und finanziellen Kosten dies nicht rechtfertigen könnte. Neben den bereits diskutierten Merkmalen der Interaktionssig nale, der Interaktionspartner und des Mikroumfelds können auch Eigenschaften des Makroumfelds einen Einfluss auf die Ein trittswahrscheinlichkeit des definierten Ziels haben. Will der Interaktionspartner beispielsweise einen Kunden wegen eines Verkaufsgesprächs anrufen, und stellt die Datenbank fest, dass am Ort des Kunden und/oder am Ort des Interaktionspartners extreme Wetterbedingungen herrschen und es außerdem momentan kurz nach Mitternacht Ortszeit ist, kann auch der Zustand des Makroumfelds zu einer Verringerung der Eintrittswahrschein lichkeit des Interaktionsziels führen.
Im Gegensatz zum Mikroumfeld kann der Zustand des Makroumfelds (z. B. Uhrzeit, Wetter, etc.) zwar wahrgenommen, erfasst, ana lysiert und bewertet, in der Regel aber nicht ohne Weiteres o- der vertretbarem Aufwand mittels aktuatorischer oder interak tionspartnerbezogener Handlungsanweisungen verändert werden, so dass in diesem Fall die Handlungsanweisung gegeben werden könnte, das Verkaufsgespräch zu einem späteren Zeitpunkt durchzuführen. Es kann automatisch eine Nachricht bezüglich der Terminverschiebung über ein Email-System an den Kunden verschickt werden. Es ist auch möglich, direkt auf einen wei teren Sensor zuzugreifen, um das Makroumfeld des Interaktions partners zu erfassen.
Beispielsweise können, wie bereits beschrieben, die Wetterbe dingungen oder die Uhrzeit am Ort des Kunden einen Einfluss auf die Eintrittswahrscheinlichkeit des definierten Interakti onsziels haben. Der externe Sensor kann derart ausgestaltet sein, dass er beispielsweise die Temperatur, den Luftdruck, die Windgeschwindigkeit, die Niederschlagsmenge und/oder an- dere relevante Wetterdaten erfasst und direkt an die Rechen einheit weiterleitet, ohne die Wetterdaten in eine externe Da tenbank einzuspeisen. Auch andere messbare Parameter, die das Makroumfeld des Interaktionspartners oder seines Interaktions partners charakterisieren (beispielsweise Wochentag, Feier tage, wirtschaftliche oder politische Situation) können mit tels externer Sensoren erfasst werden.
Gemäß einer weiteren Ausbildung des Verfahrens werden die Au- diosignale sofort oder zeitversetzt modifiziert. In der Regel ist man bestrebt, die Modifikation so schnell wie möglich um zusetzen, idealerweise in Echtzeit, da im Allgemeinen das In teraktionsziel mit einer höheren Wahrscheinlichkeit erreicht werden kann, je mehr Zeit hierzu zur Verfügung steht. Wenn beispielsweise der im Call-Center arbeitende Interaktions partner zu leise spricht und der andere Interaktionspartner, in diesem Fall der Kunde, zu häufig nachfragen muss, verlän gert sich die Zeitdauer des Gesprächs. Diese unerwünschte Ver längerung kann vermieden oder zumindest minimiert werden, wenn der Wert des Interaktionsparameters „Lautstärke des Mikrofon signals des Mitarbeiters" erhöht wird, sobald festgestellt wird, dass der Wert zu niedrig ist und zu häufigen Nachfragen seitens des Kunden führt. Je eher die Modifikation durchge führt wird, desto höher ist die Wahrscheinlichkeit, das Inter aktionsziel „kurze Gesprächsdauer" zu erreichen. Es kann aber durchaus gewünscht sein, eine Modifikation des Audiosignals zeitversetzt durchzuführen. Beispielsweise kann es für den Kunden als besonders angenehm empfunden werden, wenn die Laut stärke, mit welcher der im Call-Center arbeitende Interakti onspartner spricht, am Ende des Gesprächs erhöht wird. Wird festgestellt, dass am Anfang und der Mitte des Gesprächs der Wert des Interaktionsparameters „Lautstärke des Mikrofonsig- nals des Mitarbeiters" in Ordnung ist und daher nicht modifi ziert werden muss, kann dieser Wert zeitversetzt modifiziert werden und zwar so, dass die Lautstärke am Ende des Gesprächs erhöht wird. Um zu erkennen, dass das Gespräch dem Ende entge gen geht, können z. B. die durchschnittliche Gesprächsdauer und/oder die Erwähnung von entsprechenden Signalwörtern ver wendet werden.
Nach einer weiteren Ausführungsform umfasst das Ausführen der maschinell bestimmten Schritte zur zeitversetzten Modifikation der Audiosignale eine Ausgabe einer verbalen oder non-verbalen Aufforderung an den die akustischen Interaktionsparameter er zeugenden Interaktionspartner und/oder die Änderung der Umge bungsbedingungen in der Umgebung des die akustischen Interak tionsparameter erzeugenden Interaktionspartners durch Ansteue rung von Aktuatoren.
Eine verbale Aufforderung kann beispielsweise als ein Text block ausgebildet sein, der auf dem Bildschirm des im Call- Center arbeitenden Interaktionspartners erscheint. Diese Auf forderung kann beispielsweise lauten, lauter und/oder langsa mer zu sprechen. Hierbei kann eine gewisse Zeit vergehen, bis der betreffende Interaktionspartner dieser Aufforderung nach kommt. Insofern handelt es sich um eine zeitversetzte Modifi kation des Werts des Interaktionsparameters „Sprechlaut stärke". Die Änderung der Umgebungsbedingungen in der Umgebung des die akustischen Interaktionsparameter erzeugenden Interak tionspartners wird sich in der Regel auch erst zeitversetzt auf die Modifikation des Audiosignals auswirken. Wenn ein zu hohes Hintergrundgeräusch festgestellt wird und daraufhin die Fenster geschlossen werden, ist der Zeitversatz relativ ge ring. Wenn aber die Stimme des betreffenden Interaktionspart ners infolge einer zu geringen Luftfeuchtigkeit als zu heiser empfunden wird, wird die Erhöhung der Luftfeuchtigkeit im Raum, wo sich der betreffende Interaktionspartner aufhält, beispielsweise durch Einspritzen von Wassertropfen erst all mählich die Heiserkeit reduzieren. Insofern lassen sich einige Interaktionsparameter nur mit einer gewissen Trägheit und folglich zeitversetzt modifizieren.
In einer vorteilhaften Ausgestaltung des Verfahrens kann die maschinelle Bewertung insbesondere dadurch geschehen, dass ein Vergleich von Daten mit den in mindestens einer Datenbank, auf die die Recheneinheit zugreifen kann, enthaltenen Vergleichs daten mittels einer Recheneinheit vorgenommen wird. Die Daten bank enthält dabei besonders bevorzugt Informationen über die Parameter des Audiosignals , die jeweils anzustreben sind.
Diese können beispielsweise empirisch oder durch wissenschaft liche Studien bestimmt sein.
Das für die maschinelle Bewertung der Situation und der ma schinellen Bestimmung von Schritten zur Erhöhung der Zielein trittswahrscheinlichkeit notwendige Regelwerk kann entweder manuell vom Interaktionspartner, von Dritten (beispielsweise externen Dienstleistern) oder automatisch vom System erstellt und/oder bearbeitet werden.
Hierfür kann das System eine oder mehrere der folgenden Daten banken und Funktionseinheiten aufweisen:
Entitätendatenbank
Die Entitätendatenbank beinhaltet Informationen zu Entitäten. Entitäten können unter anderem charakterisiert werden durch ID, Zeitstempel, Autor, Typ (Interaktionspartner, Mikroumfeld, Makroumfeld...) und die sie beschreibenden Variablen. Variablendatenbank
Die Variablendatenbank beinhaltet Merkmale/Messgrößen von En titäten. Variablen können unter anderem charakterisiert werden durch ID, Zeitstempel, Autor, Name, Erläuterung, Datenformat (numerisch, Text, ...), Wertebereich, Art (latent, manifest, ...), Art (abhängig, unabhängig, Störvariable/Kovariate) , Be ständigkeit (flüchtig, persistent), Skalenniveau (nominal-, ordinal-, metrisch-skaliert ) und Messmethoden. Variablen kön nen sich aus anderen Variablen konstituieren.
Sensorendatenbank
Die Sensorendatenbank beinhaltet Methoden, um den Wert bzw. die Ausprägung einer Variablen zu erfassen. Messmethoden kön nen unter anderem charakterisiert werden durch ID, Zeitstem pel, Autor, Name, Erläuterung, Typ (naturwissenschaft
lich/technisch, sozialwissenschaftlich/psychologisch, ...), Schnittstelle (Hardware, Software, ...), Aufwand/Kosten (zeit lich, finanziell, personell, materiell, ...), Aktivitätszeit (punktuell, permanent), Restriktionen (Zeitpunkt, Häufigkeit,
... ) , Validitätsgrad, Objektivitätsgrad, Reliabilitätsgrad und Handlungsvorschrift/Befehlskette .
Aktuatorendatenbank
Die Aktuatorendatenbank beinhaltet Methoden, um auf den Wert bzw. die Ausprägung einer Variablen einzuwirken. Einwirkungs methoden können unter anderem charakterisiert werden durch ID, Zeitstempel, Autor, Name, Erläuterung, Typ (technisch, so zial/kommunikativ) , Schnittstelle (Hardware, Software, ...), Aufwand/Kosten (zeitlich, finanziell, personell, materiell, ...), Aktivitätszeit (punktuell, permanent), Restriktionen (Zeitpunkt, Häufigkeit, ...), Wirkungsgrad, Validitätsgrad, Objektivitätsgrad, Reliabilitätsgrad und Handlungsvor
schrift/Befehlskette . Auswertungsmethodendatenbank
Die Auswertungsmethodendatenbank beinhaltet Methoden, um Werte bzw. Ausprägungen von Variablen und deren Beziehungen zu ei nander zu analysieren. Auswertungsmethoden können unter ande rem charakterisiert werden durch ID, Zeitstempel, Autor, Name, Erläuterung, Typ (Deskriptiv, statistisch, multivariat, stochastisch, Modellierung, Neuronales Netz, maschinelles Ler nen, künstliche Intelligenz, Big/Smart Data Analysetechniken, Data Science Ansätze, ...), Aufwand (zeitlich, finanziell, personell, materiell, ...), Aktivitätszeit (punktuell, perma nent), Restriktionen (Zeitpunkt, Häufigkeit, ...) und Hand lungsvorschrift/Befehlskette .
Forschungsmethodendatenbank
Die Forschungsmethodendatenbank beinhaltet Methoden, um zu Wissen zu gelangen. Forschungsmethoden können unter anderem charakterisiert werden durch ID, Zeitstempel, Autor, Name, Er läuterung, Art (recherchierend, korrelativ, komparativ, expe- rimentell-vollfaktoriell, experimentell-teilfaktoriell), Sys tematik (konfirmatorisch, explorativ, chaotisch-kreativ, de skriptiv, evaluatorisch, Skript, Algorithmus, Zufall), Messme thoden, Einwirkungsmethoden, Auswertungsmethoden, Aufwand/Kos ten (zeitlich, finanziell, personell, materiell, ...), Aktivi tätszeit (punktuell, permanent), Restriktionen (Zeitpunkt, Häufigkeit, ...), Quelle (intern, extern), Samplingprozedur, Variablen, Aktuatoren und Handlungsvorschrift/Befehlskette . Forschungsmethoden können auch vorrichtungsintern Verwendung finden, um bspw. Schlüsse für zukünftige Entscheidungen der Vorrichtung zu ziehen (beispielsweise Welche Forschungsmetho dik hat sich wann wie bewährt? Welche Aktuatoren wirken wie zuverlässig? Ist es besser, jüngere und experimentell erhobene Daten höher zu gewichten als ältere und korrelativ erhobene Daten?) .
Managementmethodendatenbank
Die Managementmethodendatenbank beinhaltet Methoden, um das zentrale Ziel der Erfindung, nämlich die Eintrittswahrschein lichkeit eines Interaktionsziels budgetkonform zu erhöhen, möglichst effizient und effektiv zu erreichen. Der Methodenka talog umfasst unter anderem Methoden, um die Systembestand teile zu verwalten, zu steuern, zu kontrollieren und zu opti mieren, um Eingaben entgegenzunehmen und Ausgaben zu generie ren, um Daten einzusehen, Ziele zu definieren, Nutzungsrechte zuzuordnen, Parameter zu konfigurieren, Vorrichtungsprotokolle zu erstellen, Fehler zu behandeln, Budgets zu erfassen und ef fizient einzusetzen. Managementmethoden können unter anderem charakterisiert werden durch ID, Zeitstempel, Autor, Name, Er läuterung, Typ (Abhängig, unabhängig, interdependent , Sta tisch, dynamisch, statistisch, multivariat, stochastisch, Mo dellierung, Neuronales Netz, maschinelles Lernen, Künstliche Intelligenz, Big/Smart Data Analysetechniken, Data Science An sätze, ...), Aufwand (zeitlich, finanziell, personell, materi ell, ...), Aktivitätszeit (punktuell, permanent), Restriktio nen (Zeitpunkt, Häufigkeit, ...) und Handlungsvorschrift/Be fehlskette .
Kommunikationsmethodendatenbank
Die Kommunikationsdatenbank beinhaltet Methoden, um mit ande ren Interaktionspartnern zu kommunizieren. Kommunikationsme thoden können unter anderem charakterisiert werden durch ID, Zeitstempel, Autor, Name, Erläuterung, Format, Adressen, Zu gangsdaten, Restriktionen.
Protokolldatenbank Die Protokolldatenbank beinhaltet alle protokollierten Ereig nisse/Situationen. Ereignisse können unter anderem charakteri siert werden durch ID, Zeitstempel, Autor, Name, Erläuterung, Entitäten, Interaktion, Ziel, Variablen, Realitätsfokus (in tern, extern) , Messmethoden, Aktuatorenkonfiguration und Er gebnisse .
Wissensdatenbank
In der Wissensdatenbank ist gespeichert, was das System über sich und die Welt weiß, beispielsweise was über die Beziehun gen zwischen und die Rollen (Moderator, Mediator, ... ) von En titäten, Variablen und Aktuatoren bekannt ist, welche Handlun gen welche Konsequenzen hatten, was Erfolge von Misserfolgen unterscheidet, welche Methoden wie gut funktionieren etc.. Wissen wird unter anderem charakterisiert durch ID, Zeitstem pel, Autor, Name, Erläuterung, Art (Modell, Paradigma, de skriptives, internes, externes, Fakten, ...) Beteiligte, Er mittlung (korrelativ, kausal), Quelle (intern, extern), Durch schnittsalter, Kardinalität , Stärke und mathematischer Zusam menhang (linear, quadratisch, u-verteilt) . Die Wissensdaten bank kann jederzeit Auskunft darüber geben, welchen Wert be stimmte Variablen aufweisen, welche Beziehungen zwischen Vari ablen bestehen und welche Rollen die Variablen dabei einneh men .
Zieldatenbank
Die Zieldatenbank dokumentiert, welche Ziele das System mit welchem Budget bis zu welchem Zeitpunkt für eine bestimmte In teraktion erreichen soll (das heißt, welche Variable (n) sich im Rahmen einer Interaktion wie ändern soll (en) ) , was das Ver fahren unternommen hat, um diese Ziele zu erreichen und ob es damit Erfolg hatte. Ziele können unter anderem charakterisiert werden durch ID, Zeitstempel, Autor, Name, Erläuterung, Inter aktion, Zielvariable, Art (Sollwert, Optimierung), Typ (abso lut, relativ), Budgets für Aufzeichnung, Forschung und Zie leintrittswahrscheinlichkeit (beispielsweise zeitlich, finan ziell, personell, materiell, ethisch), Startzeit, Zielzeit und Forschungsmethoden .
Die Recheneinheit kann folgende Einheiten umfassen:
Managementeinheit
Die Managementeinheit sorgt dafür, dass das zentrale Ziel des Systems, nämlich die Eintrittswahrscheinlichkeit eines Inter aktionsziels budgetkonform zu erhöhen, effizient und effektiv erreicht wird. Sie greift auf die in der Managementmethodenda tenbank hinterlegten Methoden zurück und verwaltet, steuert und kontrolliert die Recheneinheiten und Datenbanken und fun giert als Interaktionspartnerschnittstelle. Über eine Ein- und Ausgabeeinheit nimmt sie Eingaben entgegen und ermöglicht Aus gaben. Sie erlaubt dem Interaktionspartner, die Vorrichtung zu konfigurieren, Daten einzusehen, Ziele zu definieren, Nut zungsrechte zuzuordnen, verschiedene ManagementStrategien zu erstellen, zu laden, zu bearbeiten, zu speichern oder zu lö schen, etc. Sie prüft und protokolliert die Arbeit der einzel nen Vorrichtungsbestandteile und sorgt dafür, dass sie mit den vorhandenen Budgets den größten Nutzen generieren. Sie bein haltet außerdem Routinen zur Fehlerbehandlung und generiert mit Hilfe der Forschungseinheit interne Vorrichtungsparadigmen zur Selbstoptimierung/Vorrichtungsverbesserung . Hauptaufgabe der Managementeinheit ist es, im Zusammenspiel mit den anderen Vorrichtungsbestandteilen die Eintrittswahrscheinlichkeit des vom Nutzer definierten Ziels budgetkonform zu erhöhen.
Kognitionseinheit Die Kognitionseinheit generiert Wissen und Handlungsanweisun gen, indem sie die in der Forschungsmethodenmethodendatenbank hinterlegten Methoden verwaltet und ausführt. Ihre Ergebnisse speichert sie in der Wissensdatenbank und generiert daraus wiederum Regeln für das Regelwerk.
Sensoreneinheit
Die Sensoreneinheit erfasst Merkmalsausprägungen, indem sie die in einer Sensorendatenbank hinterlegten Methoden verwaltet und ausführt. Ihre Arbeit und Ergebnisse speichert sie in der Protokolldatenbank .
Aktuatoreneinheit
Die Aktuatoreneinheit beeinflusst Merkmalsausprägungen, indem sie die in einer Aktuatorendatenbank hinterlegten Methoden verwaltet und ausführt. Ihre Arbeit protokolliert sie in der Protokolldatenbank .
Kommunikationseinheit
Die Kommunikationseinheit ermöglicht den Austausch von Daten mit anderen Interaktionspartnern über die in der Kommunikati onsmethodendatenbank hinterlegten Methoden. Im Gegensatz zu sensorischen, aktuatorischen oder kognitiven Maßnahmen, bei denen die entsprechenden Kompetenzen intern vorhanden, also Teil des Systems sind, liegen diese bei Kommunikationsvorgän gen außerhalb des Systems. Beispiel: Temperaturmessung kann über interne Sensoren erfolgen oder aber über externe Senso ren, auf deren Ergebnisse dann mittels Kommunikationsmethoden zugegriffen wird.
Sensoren/Eingangsschnittstellen Sensoren umfassen die zur Erfassung von Merkmalsausprägungen notwendigen Messgeräte/Eingangsschnittstellen. Sie können un ter anderem aktiver oder passiver, technischer oder sozio- technischer, digitaler oder virtueller Art sein.
Aktuatoren/Ausgangsschnittstellen
Aktuatoren umfassen die zur Beeinflussung von Merkmalsauspä- rungen notwendigen Stellgeräte/Ausgangsschnittstellen. Sie können unter anderem aktiver oder passiver, technischer oder soziotechnisch, digitaler oder virtueller Art sein.
Zur Beschleunigung und/oder Verbesserung von Rechenprozessen kann die Recheneinheit mit anderen Recheneinheiten interagie ren (z. B. AI Clouds) .
Es ist durchaus üblich, dass beispielsweise ein Call-Center- Mitarbeiter unterschiedliche Arten von Gesprächen zu führen hat, beispielsweise Verkaufsgespräche, die Annahme von Be schwerden oder technische Beratungsgespräche im Rahmen einer Support-Hotline. Im Fall der Annahme von Beschwerden könnte eine Optimierung des Klangs mit Parametern, die eine Maximie rung des Eindrucks hervorrufen, dass der Gesprächspartner be geistert ist, möglicherweise nachteilig wirken, während diese Parameter in einem Verkaufsgespräch sehr wohl angebracht sein könnten. Andererseits wäre beispielsweise eine besänftigende Versicherung, dass man selbst auch mit solchen Problemen immer wieder zu kämpfen hat, vielleicht bei der Beschwerde-Hotline wohlangebracht, aber nicht unbedingt etwas, was dazu führt, dass man sich bei einer technischen Support-Hotline gut aufge hoben fühlt. Daher kann es vorteilhaft sein, wenn das Ziel der verschiedenen Gesprächsvarianten festgesetzt wird und die ma schinelle Beeinflussung der Klangparameter daran angepasst werden kann, was beispielsweise durch eine entsprechende Strukturierung der Datenbank, die zur Bestimmung der idealen Parameter herangezogen wird, realisierbar ist.
In den meisten Fällen wird der Interaktionspartner, der das vorschlagsgemäße Verfahren anwendet, das Interaktionsziel selbst definieren, allerdings ist es auch möglich, dass er selbst keinen Einfluss auf die Definition des Interaktions ziels hat. So ist es beispielsweise möglich, dass das Interak tionsziel in der Datenbank und je nach Situationsbewertung ma schinell ausgewählt wird. Zum Beispiel kann festgelegt sein, dass bei einer durchschnittlichen Warteschleifendauer eines Hotline-Anrufers von unter 1 Minute die Zielstellung lautet „Kunden zufrieden stellen", darüber hinaus aber zunächst „War teschleifendauer unter 1 Minute bringen". Jedoch muss das Ziel zumindest einmal erfasst bzw. definiert werden, was beispiels weise ein anderer Interaktionspartner, beispielsweise die Ge schäftsleitung eines Betriebs, tun kann. Die Recheneinheit kann Algorithmen aufweisen, um das Ziel aus dem vorliegenden Kontext der aktuellen Interkation automatisch zu ermitteln und/oder an die jeweilige Interaktion anzupassen.
Wenn der Interaktionspartner das Ziel selbst definieren kann, kann er das Ziel mittels einer Eingabeeinheit (beispielsweise Tastatur, Touchscreen) eingeben. Zur Erfassung des Ziels kön nen auch Sensoren (beispielsweise ein Mikrofon zwecks
Sprachsteuerung) zum Einsatz kommen. Diese Sensoren können mit einer Recheneinheit verbunden sein, welche die für eine be stimmte Interaktion zu erreichenden Ziele in einer Datenbank speichert .
Eine weitere vorteilhafte Ausführungsform des Verfahrens sieht vor, dass mindestens ein mathematischer Zusammenhang zwischen mindestens einem insbesondere akustischen Interaktionssignal parameter und/oder einem Merkmal der beteiligten Interaktions partner und/oder einer Umgebungsbedingung einerseits und dem Erreichen des Interaktionsziels anderseits ermittelt und in einer Datenbank hinterlegt wird. Auf diese Weise kann die Da tenbank verbessert werden und es wird möglich, automatisierte Forschungsmethoden (beispielsweise randomisierte Experimente) zu Relevanz und Kausalität der einzelnen durch Analyse der Merkmalsausprägungen ermittelten Interaktionsparameter auf das Interaktionsziel durchzuführen, um Hypothesen experimentell zu testen .
Bei einer weiteren Ausführungsform kann das Verfahren somit folgende Schritte umfassen:
- Maschinelle Analyse der verfügbaren Daten abgeschlossener Interaktionen zur Auffindung mathematischer Zusammenhänge zwischen Interaktionsparametern (Merkmale der Interakti onssignale und/oder Interaktionspartner und/oder ihres Umfelds) und Zielerreichungen bzw. Zieleintrittswahr scheinlichkeiten, und
- Hinterlegung der Analyseergebnisse einschließlich mathe matischer Kennzahlen (Irrtumswahrscheinlichkeit, Zusam menhangsmaß, Modelltyp, Sensibilität, Spezifizität etc.) sowie Informationen zu den Analysen selbst (Startzeit punkt, Endzeitpunt, Methodik, etc.) in einer Datenbank.
In dieser Ausführungsform des Verfahrens werden die verfügba ren Daten abgeschlossener Interaktionen mittels einer Kogniti onseinheit (die z. B. auf einer spezialisierten Recheneinheit basieren kann) regelmäßig maschinellen Analysen unterzogen, um herauszufinden, welche Interaktionsparameter in welcher Kombi nation und mit welchen Werten in Zusammenhang mit den Ein trittswahrscheinlichkeiten bestimmter Interaktionsziele ste hen .
Hierbei können sämtliche entsprechende fachbekannte Verfahren, wie z. B. Skalenniveau-Ermittlung, Datenbereinigung, Sensor bündelung, Variablengenerierung, deterministische Algorithmen, Regelwerke, (multivariate) statistische Verfahren, stochasti sche Verfahren, maschinelles Lernen, künstliche Neuronale Netze, Data Mining, Deep Learning, Long short-term memory, Support Vector Machines, Entscheidungsbäume, Bayes ' sehe
Netzte, Supervised Learning, Unsupervised Learning, Reinforce ment Learning, Logit Boost, Random Forest, PCA, MDS, Regres sion, ANOVA, Clustering etc., zum Einsatz kommen.
Die Kognitionseinheit ermittelt also über mathematische Ver fahren, mit welchen Interaktionsparametern die Erreichung des Interaktionsziels in Zusammenhang steht und generiert entspre chende mathematische Modelle. Im nächsten Schritt ermittelt sie, auf welche dieser zielrelevanten Situationsparameter sie mittels aktuatorischer oder Interaktionspartnerbezogener Hand lungsanweisungen Einfluss nehmen kann und aktiviert unter Be rücksichtigung der jeweiligen Situation entsprechende Hand lungsanweisungen zur Erhöhung der Zieleintrittswahrscheinlich keit, fakultativ auch in Form eines randomisierten Experi ments, um Kausalität und Effektivität der Handlungsanweisungen empirisch zu prüfen.
Bei einer weiteren Ausführungsform kann das Verfahren folgende Schritte umfassen: - Durchführung randomisierter Experimente, um maschinell ermittelte oder von Interaktionspartnern definierte Zu sammenhänge zwischen Interaktionsparametern und Interak tionszielerreichungswahrscheinlichkeiten auf Kausalität zu prüfen, und
- Hinterlegung der Ergebnisse einschließlich mathematischer Kennzahlen sowie Informationen zu den Experimenten selbst (StartZeitpunkt , Endzeitpunt, Methodik, etc.) in einer Datenbank .
In dieser Ausführungsform des Verfahrens werden die maschinell ermittelten oder von Interaktionspartnern definierten Zusam menhänge in randomisierten Experimenten auf Kausalität ge prüft. Ihre Ergebnisse fließen bei der Ermittlung maschineller Schritte zur Modifikation von Interaktionen ein.
Hierzu folgendes Beispiel: Mittels einer oder mehrerer der oben benannten Verfahren wird erkannt, dass das Erreichen des Interaktionsziels bei Anrufern mit ausländischer Rufnummer u. a. in Zusammenhang mit dem Pegel des Audiosignals steht. Be findet sich dieser im Bereich von -20 und -5 dB, ist die Zie leintrittswahrscheinlichkeit höher, als wenn sich der Pegel außerhalb dieses Wertebereichs befindet. Da das System über Aktuatoren den Pegel beeinflussen kann, kann nun jeder Anrufer mit ausländischer Rufnummer randomisiert einer Kontrollgruppe (in der keine Pegelveränderung stattfindet) oder einer Test gruppe (in der zu niedrige Pegel erhöht und zu hohe Pegel ver ringert werden, so dass sie im Bereich von -20 und -5 dB lie gen) zugewiesen werden. Dieses randomisierte Experiment kann dann so lange fortgesetzt werden, bis - nach einer evtl, vorab definierten Maximalanzahl von Interaktionen - ein bestimmtes Ergebnis eingetreten ist (Signifikanz, Effektstärke, Sensibi lität, Spezifizität , ...)· Sollte also nach beispielsweise
3.500 Interaktionen die Testgruppe mit 13% höheren Verkaufsab schlüssen signifikant über dem Ergebnis der Kontrollgruppe liegen, kann das System fortan für alle Gespräche mit auslän discher Rufnummer die entsprechende Pegeloptimierung aktivie ren .
Die Ergebnisse der Analysen und/oder Bewertungen und/oder Mo difikationsschritte können über Ausgabe- oder Kommunikations mittel ausgewählten Interaktionspartnern mitgeteilt werden, so dass diese den Effekt des Verfahrens nachvollziehen und auf grund dessen fundiert entscheiden können, ob sich dessen Ein satz aus ihrer Sicht gelohnt hat.
Bei einer weiteren Ausführungsform kann das Verfahren folgende Schritte umfassen:
- Erfassen nach Abschluss einer Interaktion, ob das Interak tionsziel erreicht wurde oder nicht, und
- Hinterlegen des Interaktionsprozesses, seines Verlaufs und seiner Ergebnisse in der Datenbank.
In dieser Ausführungsform des Verfahrens wird nach Abschluss einer Interaktion, an dem mindestens ein Interaktionspartner, üblicherweise aber mindestens zwei Interaktionspartner teilge nommen haben, erfasst, ob das Interaktionsziel erreicht worden ist oder nicht. Diese Erfassung kann erneut durch technische oder sozio-technische Sensoren erfolgen. Die Ergebnisse werden in der Datenbank hinterlegt, so dass mit jeder abgeschlossenen Interaktion mehr Informationen vorliegen, bei welchen Interak tionen und welchen Audiosignalparametern, Zuständen der Inter aktionspartner sowie des Mikroumfelds und des Makroumfelds der Interaktionspartner das definierte Ziel erreicht worden ist o- der nicht. Dies kann beispielsweise dadurch erfolgen, dass im Falle des Interaktionsziels „Kunde gibt positive Bewertung ab" ein Kunde nach Abschluss eines Telefonats mit einem Telefon mitarbeiter per Telefontastatur angibt, ob er zufrieden ist o- der nicht. Bei elektronischen Verkaufssystemen wird häufig au tomatisch erfasst, ob ein Verkauf zustande gekommen ist, so dass diese Information direkt über Schnittstellen/Sensoren er fasst werden kann und dann als Zielerreichungsinformation dem Verfahren zur Verfügung steht.
Gemäß einer weiteren Ausführungsform kann das Verfahren fol gende Schritte umfassen:
- Definieren eines Budgets oder mehrerer Budgetmerkmals ausprägungen, und
- Generieren von Handlungsanweisungen zum Erhöhen der Eintrittswahrscheinlichkeit des definierten Ziels unter Berücksichtigung des definierten Budgets.
Ein Budget kann unter anderem zeitliche, finanzielle, perso nelle, materielle, rechtliche und/oder ethische Vorgaben/Rest riktionen haben. In den wenigsten Fällen kann das definierte Ziel mit unbegrenzten Ressourcen erreicht werden. Wenn bei spielsweise, wie eingangs erwähnt, ein Unternehmen den Umsatz eines Produkts steigern will, hat das Unternehmen nur eine be grenzte Anzahl von Mitarbeitern zur Verfügung, um dieses Ziel zu erreichen. Weiterhin kann es notwendig sein, dass die Hand lungsanweisungen innerhalb einer bestimmten Zeit bereits die Eintrittswahrscheinlichkeit eines Ziels steigern müssen, da man beispielsweise bei einem Verkaufsgespräch mit einem Kunden nur eine bestimmte Zeit zur Verfügung hat. Die ethischen Vor gaben/Restriktionen können den Handlungsanweisungen, die zum Erhöhen der Eintrittswahrscheinlichkeit generiert werden, Grenzen setzen. Wenn ein Mitarbeiter trotz erkrankter Stimme weitertelefonieren will, könnten Handlungsanweisungen, er solle statt der notwendigen Ruhe einfach bestimmte Substanzen einnehmen, außerhalb des ethischen Budgets liegen.
Bei einer weitergebildeten Ausführungsform kann das Verfahren folgende Schritte aufweisen:
- Überprüfen und speichern, ob der Interaktionspartner oder andere an der Interaktion beteiligte Interaktionspartner von ihm umzusetzende Schritte zur Modifikation des Audio- signals in Form von Handlungsanweisungen befolgt hat, und
- falls der betreffende Interaktionspartner die Interakti onspartnerbezogenen Handlungsanweisungen (nicht) befolgt hat, Ausgeben von Signalen mittels Ausgabeeinheiten, wel che den betreffenden Interaktionspartner auf die (Nicht-) Befolgung der Interaktionspartnerbezogenen Handlungsanwei sungen hinweisen.
Interaktionspartnerbezogene Handlungsanweisungen sind vor al lem für Interaktionsmerkmale von Bedeutung, die zwar direkt maschinell z. B. über Sensoren erfasst werden, aber nicht di rekt maschinell beeinflusst werden können. Zum Beispiel kann im Rahmen einer Mensch-zu-Mensch EchtZeitkommunikation „zu niedrige Sprechgeschwindigkeit" zwar technisch erfasst, aber technisch nicht ohne das In-Kauf-Nehmen größerer Klangpausen erhöht werden, da in einem bestimmten Zeitabschnitt schlicht- weg zu wenig akustisches Material von der Klangquelle erzeugt wird. Hier ließe sich durch die Interaktionspartnerbezogene Handlungsanweisung „Bitte etwas schneller sprechen!" Abhilfe schaffen . Interaktionspartnerbezogene Handlungsanweisungen kann der In teraktionspartner vollständig/korrekt oder unvollständig/nicht korrekt durchführen oder sogar gänzlich ignorieren. Mit einem Überprüfungsmittel wird überprüft, ob der Interaktionspartner die Interaktionspartnerbezogenen Handlungsanweisungen korrekt befolgt oder nicht. Wenn dies (nicht) der Fall sein sollte, werden Interaktionspartner-wahrnehmbare Signale erzeugt, und ihn auf die (Nicht-) Befolgung der Interaktionspartnerbezogenen Handlungsanweisungen hinweisen. Hierzu kann beispielsweise eine entsprechende textliche oder graphische Mitteilung über die entsprechend ausgebildete Ausgabeeinheit angezeigt werden. Zudem kann die Ausgabeeinheit den betreffenden Interaktions partner auf die (Nicht-) Befolgung der Interaktionspartnerbezo genen Handlungsanweisungen hinweisen. Die Ausgabeeinheit kann beispielsweise eine LED-Indikatorleiste umfassen, die Farbe entsprechend ändert oder beginnt zu blinken. Ebenso kann die Ausgabeeinheit einen Lautsprecher umfassen, der ein Audiosig- nal ausgibt, oder eine Vibrationseinheit, die haptische/tak tile Signale ausgibt. Ebenso können diese Hinweise auch von anderen menschlichen Interaktionspartnern wie beispielsweise Dienstvorgesetzten nach entsprechender Interaktionspartnerbe zogenen Handlungsanweisung durch das Verfahren erfolgen.
Das erfindungsgemäße Computerprogrammprodukt enthält eine auf einem maschinenlesbaren Träger gespeicherte Befehlsfolge zum Durchführen des erfindungsgemäßen Verfahrens, wenn das Compu terprogrammprodukt auf einer Recheneinheit abläuft. Diese Aus gestaltung der Erfindung betrifft also eine Befehlsfolge in Form eines Computerprogramms zum Ausführen eines Verfahrens nach einer der vorherigen Ausführungsformen.
Das erfindungsgemäße System zur Durchführung eines erfindungs gemäßen Verfahrens weist auf: - einen Schallwandler und/oder einen Klangerzeuger zum Erzeugen eines oder mehrerer Audiosignale basierend auf akustischen Interaktionssignalen, die von mindestens einem Interaktionspartner erzeugt werden,
- eine Recheneinheit, mit einer darauf gespeicherten
Software zur maschinellen Analyse und maschinellen Be wertung der Audiosignale hinsichtlich des Interaktions ziels, zum maschinellen Bestimmen von Schritten zum Mo difizieren der Audiosignale hinsichtlich des Interakti onsziels und zum Ausführen der maschinell bestimmten Schritte zum Modifizieren der Audiosignale,
- eine erste Einheit zur Weiterleitung der erzeugten Au diosignale an eine zweite Einheit und zum Empfang der modifizierten Audiosignale von der zweiten Einheit,
- wobei die erste Einheit einen Ausgang zum Weiterleiten von weiterzuleitenden Audiosignalen an einen Interakti onspartner aufweist und wobei die erste Einheit ferner eine Schaltung aufweist, die einen Wechsel der weiter zuleitenden Audiosignale zwischen den erzeugten Audio signalen und den modifizierten Audiosignale ermöglicht,
- und wobei die zweite Einheit als Steuer- und Audiosig- nalweiterleitungszentrale der ersten Einheit ausgestal tet ist.
Die technischen Effekte und Vorteile, die sich mit dem vor schlagsgemäßen Computerprogrammprodukt sowie mit dem vor schlagsgemäßen System erreichen lassen, entsprechen denjeni gen, die für das vorliegende Verfahren erörtert worden sind.
Damit das vorschlagsgemäße Verfahren durchgeführt werden kann, müssen die Audiosignale in elektrischer Form vorliegen, insbe sondere digital oder analog. Beispielsweise werden bei einem menschlichen Interaktionspartner die von ihm erzeugten akusti schen Interaktionssignale mittels eines Schallwandlers in die elektrischen Audiosignale umgewandelt. In diesem Fall kann beispielsweise ein Mikrofon verwendet werden. Sinngemäß kann dies auch unter anderem bei einem klassischen Musikinstrument der Fall sein, wo der Schallwandler als ein Tonabnehmer ausge bildet ist. Bei elektronischen Instrumenten (z. B. Keyboards, Drum-Computer) , bei denen die Töne, welche die Interaktions signale darstellen, bereits elektronisch erzeugt werden, ist in der Regel kein zusätzlicher Schallwandler erforderlich ist. In diesem Fall erzeugt der Interaktionspartner direkt die Au diosignale, so dass der Interaktionspartner gleichzeitig auch der Klangerzeuger ist.
In einer vorteilhaften Weiterbildung des Systems umfasst die ses ferner Sensoren zum Erfassen von Umgebungsbedingungen in der Umgebung des die akustischen Interaktionssignale erzeugen den Interaktionspartners, wobei die Recheneinheit mit den Sen soren in Signalkommunikation zum Verarbeiten der Sensorsignale steht, mindestens eine mit der Recheneinheit kommunizierende Datenbank, auf welcher auf ein Interaktionsziel, und/oder eine Interaktion und/oder auf die Interaktionspartner oder auf das Umfeld der Interaktionspartner bezogene weitere Zustände hin terlegt sind, wobei die Recheneinheit programmiert und einge richtet ist, um die Sensorsignale unter Verwendung von Infor mationen aus der Datenbank bei der maschinellen Bewertung des Audiosignals unter Verwendung der Ergebnisse der Analyse des Audiosignals , und/oder beim maschinellen Bestimmen von Schrit ten zur sofortigen und/oder künftigen Modifikation des Audio signals zu berücksichtigen. In einer Variante dieser Weiterbildung des Systems sind die Sensoren unter anderem dazu ausgebildet, den Zustand bei spielsweise des Mikroumfelds der Interaktionspartner hinsicht lich der Position, der Temperatur, der Helligkeit, der Luft feuchtigkeit, der Luftqualität, des Luftdrucks, der Pollenbe lastung, des Lärmpegels, der Bewegung und/oder der UV-Ein- strahlung zu erfassen. Die angegebenen Ausbildungen sind nicht abschließend. In den verschiedenen Ausbildungen können die Sensoren ein GPS-Modul, ein Thermometer, einen Helligkeits sensor, ein Hygrometer, einen Luftqualitätssensor, ein Barome ter, ein Mikrofon, einen Bewegungssensor, ein Strahlungsmess gerät, eine Bilderkennung, Magnetometer, Abstandsmessgerät, ein Berührungssensor etc. umfassen. Mit diesen Sensoren kann der Zustand des Mikroumfelds der Interaktionspartner erfasst und quantifiziert werden. Je mehr unterschiedliche Parameter erfasst werden, desto genauer kann der Zustand des Mikroum felds der Interaktionspartner definiert werden.
In einer anderen, alternativ oder kumulativ realisierbaren Va riante sind die Sensoren dazu ausgebildet, den Zustand des In teraktionspartners unter anderem hinsichtlich des Standorts, des Status, des Blutdrucks, des Pulses, des Hautwiderstands, der Hauttemperatur, der Bewegung, der Stimmlage, der Sprechge schwindigkeit und/oder der Sitzhaltung zu erfassen, wobei diese Aufzählung nicht abschließend zu verstehen ist. In die ser Ausbildung können sogenannte „Wearables" zum Einsatz kom men, welche den Blutdruck, den Puls, den Hautwiderstand, die Hauttemperatur und die Bewegung des Interaktionspartners er fassen und quantifizieren können. Die Stimmlage und die
Sprechgeschwindigkeit können beispielsweise mit einem Mikrofon bestimmt werden. Mit modernen Bürostühlen kann die Sitzhaltung bestimmt werden. Je mehr unterschiedliche Parameter erfasst werden, desto genauer kann der Zustand des Interaktionspart ners definiert werden.
Eine weitere Weiterbildung des Systems sieht vor, dass das System ferner eine Anzahl von Aktuatoren zum Herbeiführen ei ner Modifikation, beispielsweise einer zeitversetzten Modifi kation, des Audiosignals umfasst, wobei die Aktuatoren durch die Recheneinheit und/oder die zweite Einheit angesteuert wer den. Die Aktuatoren können dazu ausgebildet sein, auf den Zu stand des Mikroumfeld des Interaktionspartners unter anderem hinsichtlich der Position, der Temperatur, der Helligkeit, der Luftfeuchtigkeit, der Luftqualität, des Luftdrucks, der Pol lenbelastung, des Lärmpegels, der Bewegung und/oder der UV- Einstrahlung einzuwirken. Es bietet sich an, insbesondere die Parameter zum Charakterisieren eines Zustands zu ermitteln, die auch von den entsprechend eingerichteten Aktuatoren im Mikroumfeld des Interaktionspartners verändert werden können. Beispielsweise können die Temperatur, die Luftfeuchtigkeit, die Luftqualität, der Luftdruck und die Pollenbelastung mit einer Klimaanlage beeinflusst werden.
Alternativ oder zusätzlich kann das System ferner eine Anzahl von Aktuatoren zum Herbeiführen einer Modifikation, beispiels weise einer künftigen Modifikation des Audiosignals umfassen, wobei die Aktuatoren durch die Recheneinheit und/oder die zweite Einheit (10b) angesteuert werden und dazu ausgebildet sind, unter anderem auf den Zustand des Interaktionspartners hinsichtlich des Blutdrucks, des Pulses, des Hautwiderstands, der Hauttemperatur, der Bewegung, der Stimmlage, der Sprechge schwindigkeit und/oder der Sitzhaltung einzuwirken. Der Blut druck, der Puls und der Hautwiderstand können beispielsweise mittels einer beruhigenden oder anregenden Hintergrundmusik zielführend beeinflusst werden. Die Stimmlage und die Sprech geschwindigkeit können mittels Klangmanipulators verändert werden. Hat einer der Gesprächspartner eine Hörschwäche in ei nem bestimmten Frequenzbereich, kann diese mittels des Klang manipulators berücksichtigt werden, wodurch seltener nachge fragt werden muss.
In einer anderen Weiterbildung der Erfindung ist vorgesehen, dass die Recheneinheit mit einer Anzahl weiterer Datenbanken und/oder weiterer Sensoren kommuniziert, mit welchen der Zu stand eines Makroumfelds des Interaktionspartners erfassbar ist. Auch das Makroumfeld kann einen Einfluss auf die Ein trittswahrscheinlichkeit des definierten Ziels haben. Will der Interaktionspartner beispielsweise einen Kunden wegen eines Verkaufsgesprächs anrufen, und stellt die Datenbank fest, dass am Ort des Kunden und/oder am Ort des Interaktionspartners extreme Wetterbedingungen herrschen, kann auch der Zustand des Makroumfelds zu einer Verringerung der Eintrittswahrschein lichkeit führen. Im Gegensatz zum Mikroumfeld kann der Zustand des Makroumfelds in der Regel nicht von den Aktuatoren verän dert werden, so dass in diesem Fall die Handlungsanweisung ge geben werden könnte, ein geplantes Telefonat zu einem späteren Zeitpunkt durchzuführen. Es kann automatisch eine Nachricht bezüglich der Terminverschiebung über ein Email-System ver schickt werden. Alternativ oder zusätzlich zum Zugriff auf die weiteren Datenbanken kann die Recheneinheit auch direkt auf die weiteren Sensoren zugreifen, um den Zustand des Makroum felds zu erfassen.
Das jeweilige Umfeld (Mikro- und Makroumfeld) der Interakti onspartner kann auch als „Interaktionskontext" bezeichnet wer- den, also als konkrete Merkmalsausprägungen der aktuellen Si tuation, die den Bezugsrahmen oder die Begleitumstände der In teraktion charakterisieren.
Vorzugsweise weist das System eine Ausgabeeinheit zum Anzeigen und/oder Ausgeben von Interaktionspartnerbezogenen Handlungs anweisungen an den Interaktionspartner auf.
Wie bereits erörtert, werden die Interaktionspartnerbezogenen Handlungsanweisungen nicht von technischen Aktuatoren umge setzt, sondern richten sich direkt an den Interaktionspartner, der somit als sozio-technischer Aktuator fungiert. Mittels der Ausgabeeinheit können die Interaktionspartnerbezogenen Hand lungsanweisungen dem Interaktionspartner angezeigt werden, beispielsweise mittels einer Textnachricht. Weiterhin können die Interaktionspartnerbezogenen Handlungsanweisungen auch in Form einer Sprachnachricht oder eines Tonsignals ausgegeben werden .
Eine weitergebildete Ausbildung ist dadurch gekennzeichnet, dass die Software ein Überprüfungsmittel zum Überprüfen, ob der Interaktionspartner die Interaktionspartnerbezogenen Hand lungsanweisungen befolgt hat, aufweist. Grundsätzlich kann dieser die Interaktionspartnerbezogenen Handlungsanweisungen ignorieren. Mit dem Überprüfungsmittel wird überprüft und ge speichert, ob der Interaktionspartner die Interaktionspartner bezogenen Handlungsanweisungen befolgt oder nicht. Für den Fall, dass dies (nicht) der Fall sein sollte, werden Signale erzeugt, die den Interaktionspartner auf die (Nicht-) Befolgung der Interaktionspartnerbezogenen Handlungsanweisungen hinwei- sen. Hierzu kann eine entsprechende Textmitteilung über die Ausgabeeinheit angezeigt werden. Die Ausgabeeinheit kann zudem einen Lautsprecher oder auch eine LED-Indikatorleiste umfas sen, welche die Farbe entsprechend ändert oder beginnt zu blinken. Auch die Ausgabe von haptischen Signalen ist möglich.
Eine weitere Ausbildung der Erfindung betrifft eine Vorrich tung zum Durchführen eines Verfahrens nach einem der zuvor diskutierten Ausgestaltungen, wobei die Vorrichtung eine oder mehrere Komponenten des Systems nach einem der erwähnten Aus führungsformen umfasst und Kommunikationsmittel aufweist, mit denen die in der Vorrichtung angeordneten Komponenten mit den übrigen Komponenten des Systems verbindbar oder verbunden sind. Eine wählbare Anzahl von Komponenten des Systems können in einer Vorrichtung zusammengefasst werden, die räumlich ge trennt von den übrigen Komponenten des Systems angeordnet wer den kann. Es ist beispielsweise möglich, die Vorrichtung so zu gestalten, dass sie nur die nötigsten Komponenten beinhaltet, die es ermöglichen, die einem oder mehreren Interaktionspara metern entsprechenden Audiosignale zu erzeugen. Die Vorrich tung kann klein ausgebildet sein, so dass sie dort, wo sie aufgestellt wird, wenig Platz einnimmt. Zudem können Komponen ten, die sich negativ auf das Interaktionsziel auswirken kön nen, beispielsweise, weil sie störende Geräusche oder Wärme erzeugen, dort angeordnet werden, wo sie keinen Einfluss auf den Interaktionspartner haben.
Beispielhafte Ausführungsformen der Erfindung werden im Fol genden unter Bezugnahme auf die beigefügten Figuren näher er läutert. Es zeigt:
Fig. 1: ein System zur Durchführung des erfindungsgemäßen
Verfahrens , Fig. 2: eine erste Variante des Aufbaus einer ersten Einheit des Systems aus Figur 1,
Fig. 3: eine zweite Variante des Aufbaus einer ersten Einheit des Systems aus Figur 1,
Fig. 4: eine erste Variante des Aufbaus einer zweiten Einheit aus Figur 1,
Fig. 5: eine zweite Variante des Aufbaus einer zweiten Ein heit aus Figur 1, und
Fig. 6: ein schematisches Ablaufdiagramm einer Ausführungs form des Verfahrens.
In den Figuren 1 bis 5 dargestellte Verbindungslinien sind ge mäß den folgenden Konventionen gestaltet:
• Mit Pfeilen versehene Linien geben die Flussrichtung des Audiosignals an. Dabei ist das originale Audiosignal ge strichelt dargestellt, während eine durchgezogene Linie ein verarbeitetes Audiosignal darstellt, das gegebenen falls modifiziert ist, aber, falls keine sofortige Modi fikation als notwendig ermittelt wurde, gegebenenfalls auch noch mit dem originalen Audiosignal übereinstimmen kann .
• Durchgezogene Linien ohne Pfeil zeigen an, dass die mit einander durch diese Linien verbundenen Komponenten in Signalkommunikation stehen und Steuer-, Regel-, Kommuni- kations- und/oder Interaktionssignale zwischen ihnen übermittelt oder ausgetauscht werden. • Gepunktet dargestellte Linien werden verwendet, wenn Be zugszeichen einem Objekt zugeordnet werden müssen.
In Figur 1 ist ein System 09 zur Modifikation eines akusti schen Interaktionsparameters, welcher ein Interaktionssignal definiert, das von einem Interaktionspartner 02 erzeugt wurde, dargestellt, wobei ein Wert zumindest eines Interaktionspara meters zum Beschreiben des Interaktionssignals hinsichtlich eines Interaktionsziels hin modifiziert wird. Hierbei ist eine erste Einheit 10a an einem Arbeitsplatz 01 eines Interaktions partners 02 installiert. Die erste Einheit 10a, welche weiter unten detaillierter beschrieben wird, befindet sich dabei im Audiosignalweg zwischen einem Schallwandler oder Klangerzeuger 14 zum Erzeugen eines Audiosignals (beispielsweise ein
Headset) aus vom Interaktionspartner 02 hervorgebrachten Klän gen und einem auditiven Arbeitsgerät 03 (beispielsweise Tele foniegerät) .
Das originale Audiosignal des Interaktionspartners 02 wird über den Schallwandler 14 erfasst, jedoch - im Gegensatz zur Situation ohne die vorliegende Erfindung - nicht direkt an das auditive Arbeitsgerät 03 weitergeleitet, sondern zunächst an die erste Einheit 10a. Von dort wird das Audiosignal über die zweite Einheit 10b, die weiter unten noch detailliert be schrieben wird, und ein Audio-Computerinterface 12, das in ei ner anderen Ausführungsform auch in die zweite Einheit 10b in tegriert sein kann, in die Recheneinheit 13 geführt.
Durch die Recheneinheit 13, die in einer anderen Ausführungs form auch in die zweite Einheit 10b integriert sein kann, wird das Audiosignal mittels Software 71 analysiert, bewertet - beispielsweise durch Vergleich von bei der Analyse ermittelten Parametern mit in einer Datenbank für ein gegebenes Ziel als Soll-Parameter hinterlegten Werten - und gegebenenfalls, falls die Bewertung zu dem Ergebnis führt, dass Maßnahmen für die sofortige Modifikation des Audiosignals notwendig sind, ziel gerichtet modifiziert und anschließend von der Recheneinheit 13 über das Audio-Computerinterface 12 und die zweite Einheit 10b wieder an die erste Einheit 10a zurückgeleitet, von wo es dann schließlich an das auditive Arbeitsgerät 03 übermittelt wird. Anzumerken ist dabei, dass die zielgerichtete Modifika tion auch teilweise oder vollständig erst im Computerinterface 12 vorgenommen werden kann, das dann die entsprechenden Be fehle und Parameter von der Recheneinheit 13 erhält.
Von dem Arbeitsgerät 03 wird das gegebenenfalls modifizierte Audiosignal dann, in diesem Beispiel über ein Zentralsystem für auditive Arbeitsgeräte 06 (beispielsweise Telefonanlage, Mischpult, Streaming-System, Lautsprechermanagementsystem) weiter zum Interaktionspartner 17 geleitet, d.h. dessen Endge rät, das aus dem gegebenenfalls modifizierten Audiosignal wie der das akustische Signal erzeugt, das der Kunde wahrnimmt.
In die Bewertung des Audiosignals durch die Recheneinheit 13 können auch Daten von Sensoren 15 eingehen, mit denen die Re cheneinheit 13 in direkter Signalkommunikation oder in indi rekter Signalkommunikation, die insbesondere über die zweite Einheit 10b erfolgen kann, steht. Diese können beispielsweise Daten zu Umgebungsbedingungen, denen der Interaktionspartner ausgesetzt ist, sein, beispielsweise Daten eines Temperatur oder Luftfeuchtigkeitssensors oder das Signal eines Umgebungs mikrophons, und/oder Daten, die physiologische Zustände des Interaktionspartners repräsentieren und die beispielsweise mit einem Wearable oder einer Smartwatch erhoben werden können. Bei bidirektionalem Audioweg kann die Modifikation nicht nur für Audiosignale vorgenommen werden, die vom Schallwandler 14 zum Interaktionspartner 17 geführt werden, sondern auch für solche, die den umgekehrten Weg nehmen. Dies kann es außerdem ermöglichen, Analysedaten zu gewinnen, die den Zustand des an deren Interaktionspartners (z. B. Kunden) repräsentieren und dazu führen, dass die in die Bewertung und Modifikation des Audiosignals einfließenden angestrebten Werte an diesen ange passt werden können.
Die Recheneinheit 13 kann über Schnittstellen mit dem Zentral system 06 für auditive Arbeitsgeräte (beispielsweise Telefon anlage) , dem Zentralsystem 07 für visuelle Arbeitsgeräte (bei spielsweise Netzwerkserver, IT-Administration) sowie dem CRM- System 08 (beispielsweise Buchungssystem) kommunizieren und somit ermitteln, welche Situationsmerkmale mit welchen Zieler reichungswahrscheinlichkeiten in Zusammenhang stehen.
Darüber hinaus kann die Recheneinheit 13 über Schnittstellen mit dem visuellen Arbeitsgerät 04 (beispielsweise Computer, Tablet, Fernseher, Smartphone) von 02 kommunizieren und somit über visuelle Anweisungen, die auf dem visuellen Arbeitsgerät 04 wiedergegeben werden und dadurch dem Interaktionspartner 02 zur Kenntnis gebracht werden, zukünftige Audiomodifikationen dadurch erreichen, dass dieser sein akustisches Signal, das von der Klangquelle 14 in das Audiosignal umgewandelt wird, entsprechend anpasst, z.B. indem er langsamer oder lebhafter spricht .
Noch eine andere Möglichkeit dazu, mittels der Recheneinheit 13 zukünftige Audiomodifikationen zu erreichen, falls dies durch die Bewertung des Audiosignals veranlasst ist, wird dadurch geschaffen, dass die Recheneinheit 13 über Schnitt stellen oder über die zweite Einheit 10b mit Umgebungsgeräten 05 in der Umgebung des Interaktionspartners, beispielsweise Heizung, Lüftung, Klimaanlage, Beleuchtung, in Signalkommuni kation steht und diese, beispielsweise mittels „smart home"- oder „smart office"-Technik, beeinflusst, um dadurch das akus tische Signal, das der Interaktionspartner 02 generiert, zu beeinflussen .
Noch weiter existiert eine Schnittstelle zu externen Netzwer ken 18 (beispielsweise Internet), um darüber weiterführende Informationen (beispielsweise über den Empfänger oder die ak tuelle Uhrzeit oder die Umweltbedingungen am Empfangsort) be ziehen oder Daten mit Systembestandteilen der vorliegenden Er findung an anderen Standorten auszutauschen - beispielsweise einer nur dort verfügbaren zusätzlichen Datenbank.
Auch die zweite Einheit 10b kann visuelle Anweisungen an den Interaktionspartner 02 über das visuelle Arbeitsgerät 04 aus geben und über Schnittstellen mit kompatiblen Geräten kommuni zieren, insbesondere mit Sensoren 15, die Parameter des Inter aktionspartners 02 oder von dessen Umgebung am Arbeitsplatz 01 erfassen und mit Umgebungsgeräten 05 wie Beleuchtung, Belüf tung, Heizung, Klimaanlage o.ä.. Die im Rahmen dieser Kommuni kation abgerufenen Daten oder abgesandten Anweisungen können dabei von der Recheneinheit 13 verwendet oder erstellt werden; die zweite Einheit 10b kann diese Aufgaben aber unter Umstän den auch unabhängig erledigen.
Insbesondere kann die Vorrichtung mit den Komponenten erste Einheit 10a und zweite Einheit 10b so ausgelegt werden, dass die Audiosignale mehrerer Interaktionspartner analysierbar und modifizierbar sind, ohne dass hierfür mehrere Recheneinheiten 13 notwendig wären. Außerdem können Bestandteile der Vorrich tung (beispielsweise Ein- und Ausgänge oder Stromversorgung) mehrfach ausgeführt sein, um bei Ausfall eines Bestandteils die Funktionsfähigkeit der Vorrichtung weiterhin zu gewähr leisten .
Ein Ausführungsbeispiel für das System gemäß Figur 1 weist eine erste Einheit 10a, wie sie in Figur 2 dargestellt ist, und eine zweite Einheit 10b, wie sie in Figur 5 dargestellt ist, auf. Beide Geräte weisen ein Gehäuse 20 auf, in welchem mindestens eine Elektronikplatine 23 angeordnet ist, sie kön nen aber auch in einem gemeinsamen Gehäuse angeordnet werden. Auf dieser Elektronikplatine 23 befinden sich in der jeweils dargestellten Verteilung zwischen den beiden Geräten direkt o- der indirekt elektrisch leitend - z.B. mittels Kabeln - ver bundene Anschlüsse 24 und 25, die mindestens ein bidirektiona les Eingangs- und ein Ausgangssignal sowie Steuer-, Regel- In teraktions- oder Kommunikationssignale übertragen können. Die Elektronikplatine stellt die Fixierung, Verbindung und Strom versorgung der Komponenten und Bauteile der Vorrichtung 10 si cher. Gehäuse 20 und Elektronikplatine 23 weisen Konformität mit sicherheitstechnischen und rechtlichen Bestimmungen auf und verfügen über Identifikationsmerkmale 22. Das Gehäuse weist interne und externe Befestigungsoptionen 24, 25 auf, so dass nicht nur die Elektronikplatinen 23 zuverlässig fixiert, sondern auch das Gehäuse zum Beispiel an der Unterseite eines Schreibtisches befestigt werden kann.
Die Elektronikplatinen 23 des Gesamtsystems weisen mindestens auf :
• eine Schaltung 26 zum Wechsel zwischen dem Originalsignal und mindestens einer Modifikation des Originalsignals,
• einen Anschluss 56 zur Energieversorgung, • eine Energieversorgung 57,
• eine Schaltung 58 zur Spannungsanpassung,
• integrierte Schaltkreise/Recheneinheiten 59 zur Program mierung,
• eine Bedieneinheit 60 zur manuellen Auslösung von Steuer signalen, und
• eine Kognitionseinheit mit Regelwerk, Expertensystem
und/oder künstlicher Intelligenz 61 zum automatischen Auslösen von Steuersignalen (um beispielsweise im Falle von Systemstörungen oder bei Vorliegen bestimmter Bedin gungen (beispielsweise Uhrzeiten) die Audioverarbeitung mittels Schaltung 26 zu überbrücken),
Zur Generierung mindestens einer Modifikation des Originalsig nals kann die Elektronikplatine 23 beispielsweise eine Schal tung zur passiven Signalverarbeitung 31 aufweisen und somit eine Modifikation des Originalsignals „intern" vornehmen.
Die alternative Ausführungsform des Systems mit einer ersten Einheit 10a, wie in Figur 3 dargestellt, und einer zweiten Einheit 10b, wie sie in Figur 4 dargestellt ist, unterscheidet sich von der Ausführungsform des Systems mit erster Einheit 10a gemäß Figuren 2 und 5 dadurch, dass die Elektronikplatine 23 - alternativ oder zusätzlich zu den Merkmalen der in Figur 2 dargestellten ersten Einheit 10a - eine Schaltung 27 zur galvanischen Entkopplung von Signalen, eine Schaltung 28 zur Symmetrierung und/oder Desymmetrierung von Signalen, eine Schaltung 29 zur Verfügungsstellung und/oder Anpassung extern eingespeister Spannungen (z.B. eine Phantomspeisung für Kon densatormikrophone) und Anschlüsse 30, die vorzugsweise Sig nale übertragen können für mindestens lx Send (Originalsignal Ausgang) , mindestens lx Return (Modifiziertes Signal Eingang) und mindestens eine Energiequelle (z.B. für Phantomspeisung) auf .
Hierdurch kann beispielsweise ein an Anschlüsse 24 angeschlos sener Schallwandler mit der eventuell benötigten Phantomspei sung versorgt und das empfangene Originalsignal galvanisch entkoppelt, symmetriert, zur Weiterverarbeitung an ein exter nes Audiomodifikationsgerät geleitet, von diesem anschließend empfangen, erneut galvanisch entkoppelt und wieder desymmet- riert werden.
Figur 6 zeigt ein schematisches Ablaufdiagramm für ein Verfah ren zum Modifizieren von akustischen Interaktionssignalen, welche von mindestens einem Interaktionspartner erzeugt wer den, hinsichtlich eines Interaktionsziels. Zunächst wird im optionalen Vorbereitungsschritt 110 ein Ziel ausgewählt. Bei spielsweise nimmt ein Mitarbeiter eines Call-Centers einen An ruf eines Kunden entgegen, der sich für ein neues Produkt in teressiert. Er wählt daraufhin das Ziel „Verkauf" und beginnt das Gespräch mit dem Kunden.
Aus dem, was er dabei sagt, wird im Schritt 120 mittels eines Schallwandlers, d.h. in diesem Fall beispielsweise einem Headset des Mitarbeiters, ein digitales oder analoges Audio- signal erzeugt, das die elektronische Übermittlung und Verar beitung der Stimme des Mitarbeiters ermöglicht. Vorzugsweise geschieht dies mit möglichst geringer Zeitverzögerung.
Dieses Audiosignal wird im Schritt 130 maschinell analysiert, indem beispielsweise und nicht abschließend die Parameter Lautstärke, Dynamikumfang, Fluktuation, Formanten, Formanten spektrum, FrequenzSpektrum, Fundamentalfrequenz, Grenzfrequen zen, Mikroprosodie, Obertonspektrum, Scheitelfaktor, Signal- Rausch-Abstand und Transienten durch eine Recheneinheit nach standardisierten, fachbekannten Vorgehensweisen aus dem Audio- signal ermittelt werden.
Die Ergebnisse der Analyse werden anschließend im Schritt 140 maschinell bewertet. Konkret kann dies dadurch geschehen, dass die Recheneinheit aus einer Datenbank in Abhängigkeit vom ge wählten Ziel als ideal angesehene Werte für die Parameter er mittelt und die Abweichungen der Analyseergebnisse von diesen Parameterwerten bestimmt. In die Bewertung können auch Analy seergebnisse von Audiosignalen, die vom Kunden des Call-Cen ters erzeugt wurden, einfließen. Beispielsweise könnten diese Analysedaten darauf hinweisen, dass der Kunde gerade verärgert ist, so dass der Klang der Antwort eventuell möglichst ein fühlsam besänftigend wirken sollte, obwohl der dem gewählten Ziel („Verkauf") entsprechende Klang normalerweise vielleicht eigentlich als freudig erregt wahrgenommen werden würde.
Im Schritt 150 werden durch die Recheneinheit maschinell
Schritte zur sofortigen und/oder künftigen Modifikation des Audiosignals bestimmt, die dann im Schritt 160 - ebenfalls ma schinell - ausgeführt werden. Sofortige Modifikationen werden durch eine Modifikation des Klangsignals durch Bearbeitung ausgeführt. Zeigt die Bewertung des Ergebnisses der Analyse beispielsweise, dass der Mitarbeiter des Call-Centers zu leise gesprochen hat, kann die Signalamplitude erhöht werden, bei spielsweise durch Verstärkung. Auch Klangfarben, Sprachmelodie und viele weitere Parameter können durch adäquate Modifikation der Audiosignale beeinflusst werden.
In einer Datenbank können Parameterabweichungsmuster hinter legt sein, die auf bestimmte Zustände des Mitarbeiters hindeu ten, beispielsweise für Heiserkeit typische Änderungen der analysierten Parameter des Audiosignals . Wenn dieses Muster dann auftaucht, kann die Recheneinheit z.B. auf eine dem Mit arbeiter zugeordneten Bildschirm die Aufforderung, ein Glas Wasser zu trinken einblenden, was dann das zukünftige Audio- signal wieder dem Ideal annähern sollte.
Es kann für die Identifikation von nötigen oder brauchbaren Maßnahmen für eine zukünftige Modifikation des Audiosignals aber auch hilfreich sein, Sensoren auszulesen, die Umgebungs bedingungen oder Zustände des Mitarbeiters erfassen können und darauf basierende Maßnahmen für die sofortige oder zukünftige Modifikation des Audiosignals ableiten. Ein Beispiel dafür ist ein Umgebungsmikrophon als Sensor am Arbeitsplatz des Mitar beiters, dessen Output bei einem zu hohen Niveau an Hinter grundgeräuschen als sofortige Modifikation vom Audiosignal nach geeigneter Skalierung abgezogen werden kann, wobei aber zusätzlich oder alternativ dazu durch Ansteuerung eines Aktua tors, der offene Fenster im Call-Center schließt und dadurch das Hintergrundgeräuschniveau nachhaltig reduziert, eine zu künftige Modifikation des Audiosignals bewirkt werden kann.
Schließlich erfolgt im Schritt 170 das Weiterleiten des von der Klangquelle erzeugten Audiosignals an einen Interaktions partner, falls nur Schritte zur künftigen Modifikation des Au diosignals ausgeführt werden oder falls keine Modifikation des Audiosignals notwendig ist und Weiterleiten des durch die Aus führung der Schritte zur sofortigen Modifikation des Audiosig nals erhaltenen modifizierten Audiosignals an ein Interakti onspartner, falls Schritte zur sofortigen Modifikation des Au diosignals ausgeführt wurden. Es versteht sich von selbst, dass dieses Verfahren quasikonti nuierlich nicht nur während der Interaktion, sondern auch da vor und danach durchgeführt wird, um den gewünschten Ausgang (das Interaktionsziel) möglichst wahrscheinlich werden zu las- sen. Beispielsweise könnte es die Zieleintrittswahrscheinlich keit der nächsten Interaktion erhöhen, wenn einem Call-Center- Mitarbeiter nach Abschluss der vorherigen Interaktion entspan nende Hintergrundmusik auf sein Headset gelegt und somit die eigentlich zu diesem Zeitpunkt vorhandene Stille, weil noch kein neuer Interaktionspartner zur Verfügung steht, modifi ziert wird. Zudem kann das System mit einer Taktrate bei spielsweise von einer Sekunde arbeiten, so dass sämtliche be schriebenen Schritte maschinell jede Sekunde wiederholt wer den .
Das System und die Vorrichtung können folgende, nicht zeichne risch dargestellte Merkmale, entweder separat oder in beliebi ger Kombination aufweisen:
System :
Figure imgf000067_0001
Vorrichtung (die in der rechten Spalte aufgeführten Einheiten können allein oder in Kombination in die in den Figuren 2 bis 5 gezeigten Varianten der ersten Einheit 10a und/oder der zweiten Einheit 10b integriert werden. Zur graphischen Dar stellung ist in den Figuren 2 bis 5 das Feld Fl - Fn vorge- sehen) : Merkmal/Funktion Umsetzungen
Figure imgf000068_0001
Figure imgf000069_0001
Figure imgf000070_0001
Figure imgf000071_0001
Figure imgf000072_0001
Figure imgf000073_0001
Figure imgf000074_0001
Bezugszeichenliste
Figure imgf000075_0001
Figure imgf000076_0001
Figure imgf000077_0001

Claims

Patentansprüche
1. Verfahren zum Modifizieren zumindest eines akustischen In teraktionssignals, welches von mindestens einem Interakti onspartner (02, 17) erzeugt wird, hinsichtlich eines Inter aktionsziels, umfassend folgende Schritte:
- Definieren mindestens eines Interaktionsziels, hin
sichtlich welchem die akustischen Interaktionssignale modifiziert werden sollen,
- Erzeugen von einem oder mehreren dem Interaktionssignal entsprechenden Audiosignalen, die von zumindest einem Interaktionspartner (02, 17) erzeugt werden, mittels eines Schallwandlers (14) oder eines Klangerzeugers,
- maschinelle Analyse und maschinelle Bewertung der Audi- osignale hinsichtlich des Interaktionsziels,
- maschinelles Bestimmen von Schritten zum Modifizieren der Audiosignale hinsichtlich des Interaktionsziels;
- Ausführen der maschinell bestimmten Schritte zum Modi fizieren der Audiosignale, und
- Weiterleiten der modifizierten Audiosignale an einen
Interaktionspartner (02, 17) .
2. Verfahren nach Anspruch 1,
d a d u r c h g e k e n n z e i c h n e t, dass die ma schinelle Analyse der Audiosignale eine Bestimmung eines, mehrerer oder aller der Audiosignal-Parameter ADSR-Charak- teristiken, Fourier-Transformation, Abtastfrequenz , Samp lingtiefe, Lautstärke, Lautheit, Schalldruckpegel, Deut lichkeit, Dynamikumfang, Fluktuation, Formanten oder For mantenspektrum, Stimmabbrüche, Fingerprinting, Stimmquali tät, Klirrfaktor, Klangtreue, Frequenz Spektrum, Frequenz bewertung, THD, Frequenzgang, Phasenlage, Fundamentalfre- quenz, Grenzfrequenzen, Korrelation, Mikroprosodie, Ober tonspektrum, Prosodie, Scheitelfaktor, Rauigkeit, Sprech geschwindigkeit, Übersprechen, Kanaltrennung, Timbre, Sprachverständlichkeit , Jitter, Shimmer, Harmonizität , Perturbation, Cepstrum, Spektrum, Signal-Rausch-Abstand, CPPS, Slope, Tilt, Pausen, Dauer, Number of Pulses, Number of Periods, Intensity, Power, Energy, Gaps, Seitwärts- /Rückwärtsdämpfung, Rauschen, Zeit-/Registerdurchsichtig- keit, Diffusität und Transienten sowie die in anderen Au- dio-Frameworks beschriebenen Audio-Deskriptoren wie LogAt- tackTime, AudioPowerType, Melodie und Timbre einschließ lich ihrer statistischen Merkmale durch eine Recheneinheit (13) umfasst.
3. Verfahren nach einem der Ansprüche 1 oder 2,
d a d u r c h g e k e n n z e i c h n e t, dass die ma schinelle Bewertung der Audiosignale mindestens einen Ver gleich von Daten mit den in mindestens einer Datenbank, auf die die Recheneinheit (13) zugreifen kann, enthaltenen Vergleichsdaten mittels einer Recheneinheit (13) umfasst.
4. Verfahren nach einem der vorherigen Ansprüche,
d a d u r c h g e k e n n z e i c h n e t, dass die Au diosignale mit einem oder mehreren der folgenden Mitteln modifiziert werden: Frequenzfilter, Pitch-Shifting, Time- Stretching, Formantenänderung, Vokaltrakt-Modifikatoren, Dynamikprozessoren, Raumeffekte, Entzerrer, Modulationsef fekte, Verzögerungs- und Echoeffekte, Pegelmodifikatoren, Timbre-Modifikatoren, Signalsättigungs- und Verzerrungsef fekte, Exciter/Enhacer, Harmonizer, Spectral Processing, Binauraleffekte, Spatial-Effekte, Noise Reduc- tion/Cancelling, De-Essing, Phasenbearbeitung, Mic-Mode- ler, Doubler, Impulsantworten, Faltungsverfahren sowie ma thematische Methoden und/oder Lernverfahren, insbesondere maschinelles Lernen, künstliche Neuronale Netze oder Deep Learning .
5. Verfahren nach einem der vorherigen Ansprüche,
d a d u r c h g e k e n n z e i c h n e t, dass die Au- diosignale sofort oder zeitversetzt modifiziert werden, wobei das Ausführen der maschinell bestimmten Schritte zur zeitversetzten Modifikation der Audiosignale eine Ausgabe einer verbalen oder non-verbalen Aufforderung an den die akustischen Interaktionssignale erzeugenden Interaktions partner (02, 17) und/oder die Änderung der Umgebungsbedin gungen in der Umgebung des die akustischen Interaktions signale erzeugenden Interaktionspartners (02, 17) durch
Ansteuerung von Aktuatoren umfasst.
6. Verfahren nach einem der vorherigen Ansprüche, umfassend folgende Schritte:
- Erfassung der Merkmalsausprägungen der beteiligten In teraktionspartner (02, 17) und/oder ihres Umfelds,
- Einbeziehen der erfassten Daten in die maschinelle Be wertung der Audiosignale.
7. Verfahren nach einem der vorherigen Ansprüche, umfassend folgende Schritte:
- Maschinelle Analyse der verfügbaren Daten abgeschlosse ner Interaktionen zur Auffindung mathematischer Zusam menhänge zwischen Interaktionsparametern und Zielerrei chungen bzw. Zieleintrittswahrscheinlichkeiten, und
- Hinterlegung der Analyseergebnisse einschließlich ma thematischer Kennzahlen sowie Informationen zu den Ana lysen selbst in einer Datenbank.
8. Verfahren nach Anspruch 7, umfassend folgende Schritte:
- Durchführung randomisierter Experimente, um maschinell ermittelte oder von Interaktionspartnern definierte Zu sammenhänge zwischen Interaktionsparametern und Inter aktionszielerreichungswahrscheinlichkeiten auf Kausali tät zu prüfen, und
- Hinterlegung der Ergebnisse einschließlich mathemati scher Kennzahlen sowie Informationen zu den Experimen ten selbst in einer Datenbank.
9. Verfahren nach einem der vorherigen Ansprüche, umfassend folgende Schritte:
- Erfassen nach Abschluss einer Interaktion, ob das In teraktionsziel erreicht wurde oder nicht, und
- Hinterlegen des Interaktionsprozesses, seines Verlaufs und seiner Ergebnisse in der Datenbank.
10. Computerprogrammprodukt, enthaltend eine auf einem maschi nenlesbaren Datenträger gespeicherte Befehlsfolge zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 9, wenn das Computerprogrammprodukt auf einer Rechenein heit (13) abläuft.
11. System (9) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 9, wobei das System (9) aufweist:
- einen Schallwandler und/oder einen Klangerzeuger (14) zum Erzeugen eines oder mehrerer Audiosignale basierend auf akustischen Interaktionssignalen, die von mindes tens einem Interaktionspartner (02, 17) erzeugt werden,
- eine Recheneinheit (13), mit einer darauf gespeicherten Software (71) zur maschinellen Analyse und maschinellen Bewertung der Audiosignale hinsichtlich des Interakti onsziels, zum maschinellen Bestimmen von Schritten zum Modifizieren der Audiosignale hinsichtlich des Interak tionsziels und zum Ausführen der maschinell bestimmten Schritte zum Modifizieren der Audiosignale,
- eine erste Einheit (10a) zur Weiterleitung der erzeug ten Audiosignale an eine zweite Einheit (10b) und zum Empfang der modifizierten Audiosignale von der zweiten Einheit (10b) ,
- wobei die erste Einheit (10a) einen Ausgang zum Weiter leiten von weiterzuleitenden Audiosignalen an einen In teraktionspartner (02, 17) aufweist und wobei die erste
Einheit (10a) ferner eine Schaltung (26) aufweist, die einen Wechsel der weiterzuleitenden Audiosignale zwi schen den erzeugten Audiosignalen und den modifizierten Audiosignale ermöglicht,
- und wobei die zweite Einheit (10b) als Steuer- und Au- diosignalweiterleitungszentrale der ersten Einheit (10a) ausgestaltet ist.
12. System nach Anspruch 11,
d a d u r c h g e k e n n z e i c h n e t, dass das Sys tem ferner umfasst:
- Sensoren zum Erfassen von Umgebungsbedingungen in der
Umgebung des die akustischen Interaktionssignale erzeu genden Interaktionspartners (02, 17), wobei die Rechen einheit (13) mit den Sensoren in Signalkommunikation zum Verarbeiten der Sensorsignale steht, und
- mindestens eine mit der Recheneinheit (13) kommunizie rende Datenbank, auf welcher auf ein Ziel und/oder eine Interaktion und/oder auf die Interaktionspartner (02,
17) oder auf das Umfeld der Interaktionspartner (02,
17) bezogene weitere Zustände hinterlegt sind, - wobei die Recheneinheit (13) programmiert und einge richtet ist, um die Sensorsignale unter Verwendung von Informationen aus der Datenbank bei der maschinellen Bewertung der Audiosignale unter Verwendung der Ergeb nisse der Analyse der Audiosignale, und/oder beim ma schinellen Bestimmen von Schritten zur sofortigen und/oder künftigen Modifikation der Audiosignale zu be rücksichtigen .
13. System nach Anspruch 12,
d a d u r c h g e k e n n z e i c h n e t, dass die Sen soren dazu ausgebildet sind, den Zustand des Mikroumfelds der Interaktionspartner (02, 17) hinsichtlich der Posi tion, der Temperatur, der Helligkeit, der Luftfeuchtig keit, der Luftqualität, des Luftdrucks, der Pollenbelas tung, der Staubbelastung, des Lärmpegels, der Bewegung und/oder der UV-Einstrahlung zu erfassen.
14. System nach einem der Ansprüche 12 oder 13,
d a d u r c h g e k e n n z e i c h n e t, dass
die Sensoren (22) dazu ausgebildet sind, den Zustand des Interaktionspartners (15) hinsichtlich des Standorts, des Status, des Blutdrucks, des Pulses, des Hautwiderstands, der Hauttemperatur, der Bewegung, der Stimmlage, der Sprechgeschwindigkeit und/oder der Sitzhaltung zu erfas sen .
15. System nach einem der Ansprüche 11 bis 14,
d a d u r c h g e k e n n z e i c h n e t, dass
das System ferner umfasst: - eine Anzahl von Aktuatoren zum Herbeiführen einer zeit versetzten Modifikation der Audiosignale, wobei die Ak tuatoren durch die Recheneinheit (13) und/oder die zweite Einheit (10b) angesteuert werden.
16. System nach Anspruch 15,
d a d u r c h g e k e n n z e i c h n e t, dass
die Aktuatoren (29) dazu ausgebildet sind, auf den Zustand des Mikroumfelds (24) des Interaktionspartners (15) hin sichtlich der Position, der Temperatur, der Helligkeit, der Luftfeuchtigkeit, der Luftqualität, des Luftdrucks, der Pollenbelastung, der Staubbelastung, des Lärmpegels, der Bewegung und/oder der UV-Einstrahlung einzuwirken.
17. System nach einem der Ansprüche 15 oder 16,
d a d u r c h g e k e n n z e i c h n e t, dass
die Aktuatoren (29) dazu ausgebildet sind, auf den Zustand des Interaktionspartners (15) hinsichtlich des Standorts, des Status, des Blutdrucks, des Pulses, des Hautwider stands, der Hauttemperatur, der Bewegung, der Stimmlage, der Sprechgeschwindigkeit und/oder der Sitzhaltung einzu wirken .
18. System nach einem der Ansprüche 11 bis 17,
d a d u r c h g e k e n n z e i c h n e t, dass die Re cheneinheit (13) mit einer Anzahl weiteren Datenbanken und/oder weiterer Sensoren kommuniziert, mit welchen der Zustand eines Makroumfelds des Interaktionspartners er fassbar ist .
19. System nach einem der Ansprüche 11 bis 18,
d a d u r c h g e k e n n z e i c h n e t, dass das Sys tem eine Ausgabeeinheit zum Anzeigen und/oder Ausgeben von interaktionspartnerbezogenen Handlungsanweisungen an den Interaktionspartner aufweist.
20. System nach Anspruch 19,
d a d u r c h g e k e n n z e i c h n e t, dass das Sys tem ein Überprüfungsmittel zum Überprüfen, ob der Interak tionspartner die interaktionspartnerbezogenen Handlungsan weisungen befolgt hat, aufweist.
21. Vorrichtung zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 9, wobei die Vorrichtung eine oder mehrere Komponenten des Systems nach einem der Ansprüche 11 bis 20 umfasst und Kommunikationsmittel aufweist, mit denen die in der Vorrichtung angeordneten Komponenten mit den übrigen Komponenten des Systems verbindbar oder ver bunden sind.
PCT/EP2020/062045 2019-05-02 2020-04-30 Verfahren, computerprogrammprodukt, system und vorrichtung zum modifizieren von akustischen interaktionssignalen, die von mindestens einem interaktionspartner erzeugt werden, hinsichtlich eines interaktionsziels WO2020221865A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019111365.2 2019-05-02
DE102019111365.2A DE102019111365A1 (de) 2019-05-02 2019-05-02 Verfahren, Computerprogrammprodukt, System und Vorrichtung zum Modifizieren von akustischen Interaktionssignalen, die von mindestens einem Interaktionspartner erzeugt werden, hinsichtlich eines Interaktionsziels

Publications (1)

Publication Number Publication Date
WO2020221865A1 true WO2020221865A1 (de) 2020-11-05

Family

ID=70482661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/062045 WO2020221865A1 (de) 2019-05-02 2020-04-30 Verfahren, computerprogrammprodukt, system und vorrichtung zum modifizieren von akustischen interaktionssignalen, die von mindestens einem interaktionspartner erzeugt werden, hinsichtlich eines interaktionsziels

Country Status (2)

Country Link
DE (1) DE102019111365A1 (de)
WO (1) WO2020221865A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113207058A (zh) * 2021-05-06 2021-08-03 李建新 一种音频信号的传输处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115683393B (zh) * 2022-11-08 2023-06-06 安徽得润电气技术有限公司 基于智能型可视化断点隔离箱用搭接点测温系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404872B1 (en) 1997-09-25 2002-06-11 At&T Corp. Method and apparatus for altering a speech signal during a telephone call
US20050119893A1 (en) * 2000-07-13 2005-06-02 Shambaugh Craig R. Voice filter for normalizing and agent's emotional response
US20080044048A1 (en) 2007-09-06 2008-02-21 Massachusetts Institute Of Technology Modification of voice waveforms to change social signaling
US20100088093A1 (en) 2008-10-03 2010-04-08 Volkswagen Aktiengesellschaft Voice Command Acquisition System and Method
US20100260074A1 (en) 2009-04-09 2010-10-14 Nortel Networks Limited Enhanced communication bridge
US7925304B1 (en) 2007-01-10 2011-04-12 Sprint Communications Company L.P. Audio manipulation systems and methods
US20120016674A1 (en) 2010-07-16 2012-01-19 International Business Machines Corporation Modification of Speech Quality in Conversations Over Voice Channels
US20160217807A1 (en) * 2005-06-24 2016-07-28 Securus Technologies, Inc. Multi-Party Conversation Analyzer and Logger
US10276185B1 (en) 2017-08-15 2019-04-30 Amazon Technologies, Inc. Adjusting speed of human speech playback

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404872B1 (en) 1997-09-25 2002-06-11 At&T Corp. Method and apparatus for altering a speech signal during a telephone call
US20050119893A1 (en) * 2000-07-13 2005-06-02 Shambaugh Craig R. Voice filter for normalizing and agent's emotional response
US7085719B1 (en) 2000-07-13 2006-08-01 Rockwell Electronics Commerce Technologies Llc Voice filter for normalizing an agents response by altering emotional and word content
US20160217807A1 (en) * 2005-06-24 2016-07-28 Securus Technologies, Inc. Multi-Party Conversation Analyzer and Logger
US7925304B1 (en) 2007-01-10 2011-04-12 Sprint Communications Company L.P. Audio manipulation systems and methods
US20080044048A1 (en) 2007-09-06 2008-02-21 Massachusetts Institute Of Technology Modification of voice waveforms to change social signaling
US20100088093A1 (en) 2008-10-03 2010-04-08 Volkswagen Aktiengesellschaft Voice Command Acquisition System and Method
US20100260074A1 (en) 2009-04-09 2010-10-14 Nortel Networks Limited Enhanced communication bridge
US20120016674A1 (en) 2010-07-16 2012-01-19 International Business Machines Corporation Modification of Speech Quality in Conversations Over Voice Channels
US10276185B1 (en) 2017-08-15 2019-04-30 Amazon Technologies, Inc. Adjusting speed of human speech playback

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113207058A (zh) * 2021-05-06 2021-08-03 李建新 一种音频信号的传输处理方法
CN113207058B (zh) * 2021-05-06 2023-04-28 恩平市奥达电子科技有限公司 一种音频信号的传输处理方法

Also Published As

Publication number Publication date
DE102019111365A1 (de) 2020-11-05

Similar Documents

Publication Publication Date Title
Purcell et al. Compensation following real-time manipulation of formants in isolated vowels
Michalsky et al. Pitch convergence as an effect of perceived attractiveness and likability.
DE102009045187A1 (de) System und Verfahren zum Kommunizieren mit Telefonagenten in einem automatischen Call Center
CN106024015A (zh) 一种呼叫中心坐席人员监控方法及系统
EP3253073A1 (de) Verfahren zur automatisierten ermittlung von parameterwerten für ein hörhilfegerät
DE19947583A1 (de) Verfahren und Vorrichtung zur Prüfung des Hörvermögens einer Person und Geräuschsperre
WO2020221865A1 (de) Verfahren, computerprogrammprodukt, system und vorrichtung zum modifizieren von akustischen interaktionssignalen, die von mindestens einem interaktionspartner erzeugt werden, hinsichtlich eines interaktionsziels
Kiefte et al. The role of formant amplitude in the perception of/i/and/u
EP2047668B1 (de) Verfahren, sprachdialogsystem und telekommunikationsendgerät zur multilingualen sprachausgabe
CN114664328A (zh) 语音指导系统及其操作方法
Skowronek et al. Assessment of cognitive load, speech communication quality and quality of experience for spatial and non-spatial audio conferencing calls
WO2022023417A2 (de) System und verfahren zur kopfhörerentzerrung und raumanpassung zur binauralen wiedergabe bei augmented reality
Niebuhr et al. Virtual reality as a digital learning tool in entrepreneurship: How virtual environments help entrepreneurs give more charismatic investor pitches
WO2016005415A1 (de) Hörsystem mit anwenderspezifischer programmierung
EP1808853B1 (de) Beschallungsanlage, Beschallungsverfahren und Computerprogramm zur Verbesserung der Sprachqualität und/oder Verständlichkeit von Sprachdurchsagen
Callanan et al. Ergonomic impact of multi-rotor unmanned aerial vehicle noise in warehouse environments
DE102019201456B3 (de) Verfahren für eine individualisierte Signalverarbeitung eines Audiosignals eines Hörgerätes
Sierra-Polanco et al. Changes of voice production in artificial acoustic environments
Perham et al. Do realistic reverberation levels reduce auditory distraction?
DE102017117569A1 (de) Verfahren, System, Anwendergerät sowie ein Computerprogramm zum Erzeugen eines in einem stationären Wohnraum auszugebenden Audiosignals
EP2239963A1 (de) Verfahren und Hörvorrichtung zum Einstellen eines Hörgeräts mit in einer externen Einheit aufgezeichneten Daten
Rostolland Intelligibility of shouted voice
DE102019213809B3 (de) Verfahren zum Betrieb eines Hörgeräts sowie Hörgerät
DE102020112476A1 (de) Verfahren, System, Anwendergerät sowie Computerprogramm zum Betreiben einer virtuellen Persönlichkeit
Wynn et al. Going with the flow: An examination of entrainment in typically developing children

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20723369

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20723369

Country of ref document: EP

Kind code of ref document: A1