WO2019207254A1 - Détecteur d'état complexe d'un objet, oreille électronique et procédé de détection - Google Patents

Détecteur d'état complexe d'un objet, oreille électronique et procédé de détection Download PDF

Info

Publication number
WO2019207254A1
WO2019207254A1 PCT/FR2019/050975 FR2019050975W WO2019207254A1 WO 2019207254 A1 WO2019207254 A1 WO 2019207254A1 FR 2019050975 W FR2019050975 W FR 2019050975W WO 2019207254 A1 WO2019207254 A1 WO 2019207254A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
complex state
electronic ear
complex
state
Prior art date
Application number
PCT/FR2019/050975
Other languages
English (en)
Inventor
Julien Riera
Nicolas PELLEN
Rozenn Nicol
Katell PERON
Original Assignee
Orange
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange filed Critical Orange
Priority to US17/049,904 priority Critical patent/US20210239576A1/en
Priority to EP19733841.1A priority patent/EP3785404A1/fr
Publication of WO2019207254A1 publication Critical patent/WO2019207254A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M7/00—Vibration-testing of structures; Shock-testing of structures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes

Definitions

  • the invention relates to the surveillance or the supervision of objects, in particular non-communicating objects.
  • the home automation proposes to centralize the control of various electronic systems (heating, alarm, etc.) of the house, hotels, school, etc. to meet human needs for comfort, safety, etc. Nevertheless, if the smart home was able to meet certain needs by controlling the heating, the opening (doors, windows, shutters), the alarm, it did not generalize because it is unattractive because of the costs of setting square.
  • the connected detectors are able to provide an answer to a simple question by detecting a simple, often binary state: active / inactive, open / closed, etc., of an object.
  • a simple state can be defined as a normal operating state of an object and / or an element of an object: active / inactive, open / closed, operating mode.
  • the detector is capable of indicating the simple states of the laundry: door open / closed, washing in progress or stopped, type of washing.
  • Current connected detectors can not answer complex questions such as where are my keys? Why does my device no longer work? How can I get it back in working order?
  • One of the aims of the present invention is to provide improvements over the state of the art.
  • An object of the invention is a complex state detector relating to an object comprising an analyzer capable of determining a complex state relating to the object as a function of recognition of at least one sound emitted by the object.
  • the recognized sound allows the detector to determine the complex state of an object, that is to say in particular an abnormal state of operation of the object or a state of the object that is not relative to its operation: for example its position on a surface, in a volume, the identity of the person having manipulated the object ...
  • the complex state of the object is a complex state among the following: a state of abnormality of operation of the object, a relative position of the object, an identity of the manipulator of the object.
  • the detector makes it possible to warn of a malfunction of the object even if the object is not intelligent, and / or to inform of a passive parameter relating to an object even if it is not intelligent, or even for passive objects: position in a closed or open volume (room, apartment, house, garden, etc.), identity of the manipulator, etc.
  • the analyzer is able to determine a complex state of the object according to the recognition context of the sound emitted by the object.
  • the analyzer is able to distinguish two complex states corresponding to the same recognized sound.
  • a dishwasher noise may correspond to two states of the dishwasher: normal, abnormality.
  • the context will allow the analyzer to determine which of the two states: normal, anomaly is the current state of the object.
  • the recognized sound will correspond to a normal operating state whereas, in a context of stopping the dishwasher, the same recognized sound will correspond to a state of anomaly of operation
  • the complex state of anomaly is a type of abnormality of operation of the object.
  • the detector not only warns of a malfunction but in addition to the type of malfunction allowing the user or a supervisory device to correct, possibly, the malfunction of the object.
  • the detector is a connected detector.
  • the detector can communicate the detected complex state to a third party device, in particular a non-intelligent object supervisor for triggering an intervention of the user of the object, a technician, or a processing of a device supervisor in particular for transmitting a complex state function message to a communication device of a user, a technician and / or correct the malfunction when the complex state is a malfunction.
  • a third party device in particular a non-intelligent object supervisor for triggering an intervention of the user of the object, a technician, or a processing of a device supervisor in particular for transmitting a complex state function message to a communication device of a user, a technician and / or correct the malfunction when the complex state is a malfunction.
  • Another subject of the invention is an electronic ear comprising a first analyzer capable of recognizing at least one sound emitted by an object and a second analyzer able to diagnose the complex state of the object as a function of at least one recognized sound. .
  • the electronic ear comprises a sound sensor capable of capturing at least one sound emitted by the object.
  • a sound sensor capable of capturing at least one sound emitted by the object.
  • the electronic ear comprises an object supervisor capable of determining at least one treatment to be performed as a function of the diagnosed complex state.
  • the electronic ear makes it possible, thanks to the so-called supervisor of objects device, not only to diagnose a complex state, including an anomaly, but also to trigger an action according to this complex state: transmission of a message depending on the complex state diagnosed, correction of the anomaly diagnosed either by a human being or by the supervisor of the electronic ear (which controls in particular the object if it is intelligent, or a third device), or by a remote supervisor.
  • the electronic ear comprises a communication interface capable of establishing a command-to-command communication of the supervisor, when the processing to be executed comprises a connection with a remote device.
  • the electronic ear not only makes it possible to diagnose an anomaly but also to trigger its remote support: by a remote supervisory device, a user, a technician ...
  • the electronic ear comprises fixators and is intended to be fixed on the object emitting the recognized sound
  • the sensor is positioned in the part of the electronic ear close to the fixators and / or oriented in the electronic ear towards the plan formed by the fixers.
  • the sound captured has less noise, that is to say, its sound from the environment of the object, plus its sound from the object itself allowing an improvement of the recognition by the first analyzer .
  • An object of the invention is also a method for detecting complex states relating to an object comprising a diagnosis determining a complex state relating to the object as a function of recognition of at least one sound emitted by the object.
  • An object of the invention is also a method for monitoring objects comprising a recognition of at least one sound emitted by an object and a diagnosis of the complex state of the object as a function of at least one recognized sound.
  • An object of the invention is also an object supervision method comprising a determination of a processing to be performed as a function of the complex state diagnosed according to a recognition of at least one sound emitted by the object.
  • the supervision method includes triggering the execution of the determined processing.
  • the various steps of the method according to the invention are implemented by software or computer program, this software comprising software instructions intended to be executed by a data processor of a computer.
  • device forming part of a complex state detector of an object and / or an electronic ear and being adapted to control the execution of the various steps of this method.
  • the invention is therefore also directed to a program comprising program code instructions for performing the steps of the abnormality detection method and / or the object monitoring method when said program is executed by a processor.
  • This program can use any programming language and be in the form of source code, object code or intermediate code between source code and object code such as in a partially compiled form or in any other desirable form.
  • FIG. 1 a simplified diagram of a complex state detector according to the invention
  • FIG. 2 a simplified diagram of an electronic ear according to the invention
  • FIG. 3 a simplified diagram of the method for detecting complex states according to the invention
  • FIG. 4 a simplified diagram of the method for monitoring objects according to the invention
  • FIG. 5 a simplified diagram of the method of supervising objects according to the invention
  • FIGS. 6a to 6c use case diagrams of the invention, respectively a detector or an electronic ear that can be fixed on an object, said detector or ear positioned on a refrigerator constituting the object, a detector or a multi-electronic ear -objects.
  • complex states are meant the non-functional states of an object as opposed to the generally binary simple states which describe an operating state of the object: active / inactive, open / closed, operating mode.
  • the complex states also called non-functional states, includes the operating anomaly states of the object, a relative position of the object, an identity of the manipulator of the object.
  • object is meant a concrete thing that can be touched and assigned to a specific use.
  • an object may be a household object such as a piece of furniture, but also a household appliance, an element of the house: door, window, shutter, etc.
  • FIG. 1 illustrates a simplified diagram of a complex state detector according to the invention.
  • the complex ST_DT detection method relating to an object 4 comprises an analyzer 202 able to determine a complex state ec relative to the object as a function of a recognition of at least one sound s emitted by the object 4.
  • the its recognized sr allows the detector 20 to determine the complex state ec of an object 4, that is to say in particular an abnormal operating state of the object 4 or a state of the object 4 which is not not relative to its operation: for example its position on a surface, in a volume, the identity of the person having manipulated the object ...
  • the complex state ec of the object 4 is a complex state among the following: an operating anomaly state of the object, a relative position of the object, an identity of the manipulator of the object.
  • the detector 20 makes it possible to alert a malfunction of the object 4 even if the object 4 is not intelligent, and / or to inform of a passive parameter relating to an object 4 even if is not intelligent, or even for passive objects 4: position in a closed or open volume (room, apartment, house, garden, etc.), identity of the manipulator, etc.
  • a passive parameter is a parameter different from an active parameter or activity parameter, that is to say from a parameter relating to the operation of the object 4.
  • the analyzer 202 is able to determine a complex state ec of the object 4 as a function of the context of recognition of the sound s emitted by the object 4.
  • the recognition of the sound is in particular carried out by a first analyzer January 1, 201 1 (the analyzer 202 then being named second analyzer).
  • the analyzer 202 or second analyzer is able to distinguish two complex states corresponding to the same recognized sound sr following the context ex.
  • a dishwasher noise may correspond to two dishwasher conditions: normal or abnormal.
  • the context ex will allow the analyzer 202 to determine which of the two states: normal or anomaly is the current state of the object 4.
  • the recognized sound sr will correspond to a normal operating state (simple state) whereas, in an ex context of stopping the dishwasher 4, the same recognized sound sr will correspond to a state of malfunction (complex state ec) .
  • Natural or manufactured objects in our environment make noise during their operation (example: engine of a boat), during their use (example: the click of a ballpoint pen or the sound of a door closing) ), or during events (example: keys that are placed on a table).
  • Some manufactured objects produce sounds during their operation so that the human being recognizes them and thus can deduce information on the state of the object (example of the end of cycle sound of a washing machine)
  • the complex state ec of anomaly is a type of abnormality of operation of the object.
  • the detector 20 not only makes it possible to warn of a malfunction but in addition to the type of malfunction allowing a user (in particular a user of the object 4) or a supervisory device 7 to correct, possibly, the malfunction of the object 4.
  • the detector 20 is a connected detector.
  • the detector 20 can communicate the detected complex state ec to a third party device 7, in particular a non-intelligent object supervisor for triggering an intervention of the user of the object, a technician, or a processing agent.
  • a supervisory device in particular for transmitting a complex state function message to a communication device of a user, a technician and / or correcting the malfunction when the complex state is a malfunction.
  • the sound s emitted by the object 4 is captured either by a sensor 10 external to the detector 20, or a sensor 2010 implemented in the detector 20. By a sound is heard not only the sounds audible by the human but also any other vibrations perceived by a living being or a machine so also infrasound, ultrasound but also mechanical vibrations ...
  • the sound captured sc is supplied to a first analyzer January 1, 201 1 able to recognize sounds, that is to say, to identify the movement, friction, etc.. of the object 4 at the origin of the sound (closing of door, laying of key on a table, noise of electric motor, etc.).
  • This first sound recognition analyzer 1 1, 201 1 is either a first external analyzer 1 1 to the detector 20, or a first analyzer 201 1 implemented in the detector 20.
  • the sensor 10, 2010 and the first analyzer January 1, 201 1 are implemented in the same sound processing device 1, 201 which is either an external processing device 1 to the detector 20, or a processing device 201 implemented in the detector 20.
  • a third analyzer 6, 206 called context analyzer provides the second analyzer 202 said complex state analyzer the context ex in which the sound sr has been recognized.
  • the context analyzer 6, 206 is either an external analyzer 6 to the detector 20 or an analyzer 206 implemented in the detector 20.
  • the context analyzer notably receives information relating t (s) at the time of capture of the sound.
  • the detector 20 comprises a transmitter 203 capable of transmitting to a third device 7.
  • the transmitter 203 can transmit either the detected complex state ec, or a message comprising or function of the complex state detected mssg (ec ), etc.
  • the third-party device 7 can implement processing according to the complex state ec received or simply display / reproduce this information for the user of the third-party device 7.
  • the third-party device 7 can be a simple screen of display, a smartphone, a computer of the user of the object or of a third party user (parent, technician, etc.), a server or device for providing service in an Internet network, etc.
  • Figure 2 illustrates a simplified diagram of an electronic ear according to the invention.
  • the electronic ear 2 comprises a first analyzer 21 capable of recognizing at least one sound emitted by an object 4 and a second analyzer 22 able to diagnose the complex state ee of the object 4 as a function of at least one recognized sound sr.
  • the recognized sound sr allows the electronic ear 2 to determine the complex state ec of an object 4, that is to say in particular an abnormal operating state of the object 4 or a state of the object 4 which is not related to its operation: for example its position on a surface, in a volume, the identity of the person having manipulated the object ...
  • the complex state ec of the object 4 is a complex state among the following: a state of anomaly relative to the object, a relative position of the object, an identity of the manipulator of the object, etc. .
  • the electronic ear 2 can alert a malfunction of the object 4 even if the object 4 is not intelligent, and / or inform a passive parameter relating to an object 4 even s it is not intelligent, or even for passive objects: position in a closed or open volume (room, apartment, house, garden, etc.), identity of the manipulator, etc.
  • a passive parameter is a parameter different from an active parameter or activity parameter, that is to say from a parameter relating to the operation of the object 4.
  • the complex state ec of anomaly is a type of anomaly relating to the object.
  • the electronic ear 2 not only makes it possible to warn of a malfunction but in addition to the type of malfunction allowing a user (in particular a user of the object 4) or a supervisory device 7 to correct, if necessary, the malfunction of the object 4.
  • the second analyzer 22 is able to diagnose a complex state ec of the object according to the context ex of recognition of the sound s emitted by the object 4.
  • the complex state diagnosed ec will not be the same depending on the context ex.
  • a sound of the apparatus 4 will correspond to a normal operating state (simple state)
  • a context ex of the closed door apparatus 4 even its s will be diagnosed as corresponding to a state of anomaly (complex state ec).
  • the electronic ear 2 comprises a sound sensor 210 capable of capturing at least one sound emitted by the object 4.
  • the errors related to the degradation of the sound during the transmission between the sensor 210 and the first analyzer 21 performing the recognition of sound are deleted.
  • the electronic ear 2 comprises an object supervisor 25 capable of determining at least one trt treatment to be executed as a function of the complex state diagnosed ec.
  • the electronic ear 2 makes it possible, by virtue of the so-called object supervisor device 25, not only to diagnose a complex state ec, notably an anomaly, but also to trigger an action trt as a function of this complex state: transmission of a message mssg function of the complex state diagnosed, correction of the anomaly diagnosed either by a human being or by the supervisor of the electronic ear (which commands in particular either the object if it is intelligent, or a third-party device), either by a remote supervisor.
  • the electronic ear 2 comprises a communication interface 23 adapted to establish a communication on command cmd of the supervisor 25, when the processing to be performed comprises a connection with a remote device 7.
  • the communication interface or transmitter 23 can in particular transmit either the detected complex state ec, or a message comprising or function of the detected complex state mssg (ec), etc.
  • the third-party device 7 can implement processing according to the complex state ec received or simply display / reproduce this information for the user of the third-party device 7.
  • the third-party device 7 can be a simple screen of display, a smartphone, a computer of the user of the object or of a third party user (parent, technician, etc.), a server or device for providing service in an Internet network, etc.
  • the electronic ear 2 not only makes it possible to diagnose an anomaly but also to trigger its remote support: by a remote supervisory device, a user, a technician ...
  • the electronic ear 2 comprises fasteners 28 adapted to allow attachment of the electronic ear 2 at least temporarily on an object: the object 4 or another object of the environment E of the object 4.
  • the electronic ear 2 makes it possible to detect the complex states of several objects 4 present in the same environment E. And, the recognition of the first analyzer 21 and / or the diagnosis of the second analyzer 22 are not disturbed by a displacement of the electronic ear 2.
  • the electronic ear 2 includes fixers 28 (shown in Figure 6a) and is intended to be fixed on the object 4 emitting the s recognized s.
  • the sensor 210 is positioned in the part of the electronic ear 2 close to the fixators 28 and / or oriented in the electronic ear 2 towards the plane formed by the fasteners 28.
  • the sound captured has less noise, that is to say from its source:
  • the electronic ear comprises a complex ST_DT detection method relating to an object 4 implementing the second analyzer 202 capable of determining a complex state ec relative to the object as a function of a recognition of at least one sound emitted by the object 4.
  • the electronic ear 2 is a connected electronic ear.
  • the complex states diagnosed are transmitted to the Internet to be stored and store a history of the object 4.
  • the electronic ear 2 can thus communicate the detected complex state ec to a third device 7, including a non-intelligent object supervisor to trigger an intervention of the user of the object, a technician, or a processing of a supervisory device, in particular for transmitting a message depending on the complex state to a communication device of a user, a technician and / or correcting the malfunction when the complex state is a malfunction.
  • the sound s emitted by the object 4 is captured either by a sensor 10 external to the electronic ear 2, or a sensor 210 implemented in the electronic ear 2.
  • a sound is heard not only the sounds audible by the being human but also all other vibrations perceived by a living being or a machine so also infrasound, ultrasound but also mechanical vibration ...
  • the sound captured sc is provided to the first analyzer 21 able to recognize sounds, that is to say to identify movement, friction, etc. of the object 4 at the origin of the sound (closing of door, laying of key on a table, noise of electric motor, etc.).
  • the sensor 10, 210 and the first analyzer 21 are implemented in the same sound processing device (not shown) which is a processing device implemented in the electronic ear 2.
  • the first analyzer 21 performs sound recognition according to the context in which the sound is emitted and / or captured.
  • the sound recognition takes into account the environment in which the sound is emitted and / or captured: such as the position of the electronic ear 2 relative to the object 4 (orientation, distance, displacement %), the type of environment (room volume, latent sound level Certainly, etc.
  • the first analyzer 21 includes a filter (not shown) capable of suppressing environmental noise depending on the context in which the sound is emitted and / or captured.
  • the filter of the first analyzer 21 is able to remove all or part of the noise related to a displacement of the object 4 and / or the electronic ear 2.
  • a third analyzer 6, 26 said context analyzer provides the second analyzer 22 said complex state analyzer context ex in which the sound sr has been recognized.
  • the context analyzer 6, 26 is either an external analyzer 6 at the electronic ear 2, or an analyzer 26 implemented in the electronic ear 2.
  • the context analyzer notably receives information relating to t (s) at the time of the capture of the sound, for example of a clock or a time stamp of the sensor 10, 2010, information relating to the position of the object 4 during the transmission of the sound captured, and other information relating to the object 4 environment, in particular information relating to the sound environment of the object 4 when capturing the emitted sound (provided by the sensor 10, 2010 or one of the other sensors present in the environment E of object 4) or information relating to the previous states ep of object 4 (simple states and / or complex ec).
  • FIG. 3 illustrates a simplified diagram of the method for detecting complex states according to the invention.
  • the method for detecting complex states relating to an object ST_DT comprises a diagnosis DG determining a complex state ec relative to the object as a function of an S_RCG recognition of at least one sound s emitted by the object O.
  • the recognized sound sr allows the detection method ST_DT to determine the complex state ec of an object O, that is to say in particular an abnormal operating state of the object O or a state of the object O which is not relative to its operation: for example its position on a surface, in a volume, the identity of the person having manipulated the object ...
  • the complex state ec of the object O is a complex state among the following: a state of anomaly of operation of the object, a relative position of the object, an identity of the manipulator of the object.
  • the detection method ST_DT makes it possible to alert a malfunction of the object O even if the object O is not intelligent, and / or to inform of a passive parameter relating to an object O even it is not intelligent, or even for passive O objects: position in a closed or open volume (room, apartment, house, garden, etc.), identity of the manipulator, etc.
  • a passive parameter is a parameter different from an active parameter or activity parameter, that is to say from a parameter relating to the operation of the object O.
  • the diagnosis DG is able to determine a complex state ec of the object O as a function of the recognition context S_RCG of the sound s emitted by the object O.
  • the diagnosis DG is able to distinguish two corresponding complex states. to the same recognized sound according to the context ex.
  • a dishwasher noise may correspond to two dishwasher conditions: normal or abnormal.
  • the context ex will allow the diagnosis DG to determine which of the two states: normal or anomaly is the current state of the object O.
  • the sound Recognized sr will correspond to a normal state of operation (simple state) while, in an ex context of stopping the dishwasher 4, the same sound recognized sr will correspond to a state of malfunction (complex state ec).
  • the complex state ec of anomaly is a type of abnormality of operation of the object.
  • the detection method ST_DT not only makes it possible to warn of a malfunction but in addition to the type of malfunction allowing a user (particularly a user of the object O) or a supervisory device DD to correct, if necessary, the malfunction of object O.
  • the diagnosis DG receives one or more recognized sounds sp. - .sr n , of the object O and uses at least one of the recognized sounds to determine the complex state of the object O.
  • the DG diagnosis using several recognized sounds eh. .eG h of an object O to determine a complex state eç comprises a step of merging the recognized sounds SR_FU followed by a modeling step SR_MD of the merged sound signal making it possible to determine from a database of states ST_BDD , the complex state ec corresponding to the fused sound signal sf.
  • the sound s emitted by the object O is captured during a capture of its S_CPT implemented either by a method external to the detection method ST_DT, in particular a sound recognition method S_RCG, or by the detection method ST_DT of complex states.
  • a sound is heard not only the sounds audible by the human being but also all other vibrations perceived by a living being or a machine so also infrasound, ultrasound but also mechanical vibration ...
  • the sound captured sc is provided to a sound recognition S_RCG able to recognize sounds, that is to say to identify the movement, the friction, etc. of the object O at the origin of the sound (closing of door, laying of key on a table, noise of electric motor, etc.).
  • This recognition of its S_RCG is carried out either by a method external to the detection method ST_DT, in particular a method of sound recognition S_RCG, or by the method of detection ST_DT of complex states.
  • the capture of its S_CPT and the sound recognition S_RCG are implemented by the same sound processing method which is either a process external to the ST_DT detection method, or a processing method implemented by the method of ST_DT detection.
  • an analysis of the context CX_NZ (not illustrated in FIG. 4) provides the diagnostic DG determining a complex state ec the context ex in which the sound sr has been recognized.
  • the context analysis CX_NZ is either an external analysis to the ST_DT detection method, or an analysis implemented by the ST_DT detection method.
  • the context analysis CX_NZ notably receives information relating to t (s) at the time of capturing the sound s for example of a timestamp H (not shown) of the capture of the sound S_CPT, information relating to the position of the object O during the transmission of the captured sound, and other information relating to the environment of the object O, in particular information relating to the sound environment of the object O during the capture of the Issued s (provided by the sound capture S_CPT or another capture SE_CPT relating to the environment E of the object O (not shown)) or information relating to the previous states ep of the object O (simple and / or complex states ec).
  • the detection method ST_DT comprises a transmission EC_TR (not shown) capable of transmitting, in particular the diagnosed complex state, to a third device 7.
  • the transmission EC_TR can transmit either the detected complex state ec, or a message comprising or function of the complex state detected mssg (ec), etc. So the third party device DD can implement processing according to the complex state ec received or simply display / reproduce this information to the user of the third-party device 7.
  • FIG. 4 illustrates a simplified diagram of the object monitoring method according to the invention.
  • An object of the invention is also a method for monitoring OMNT objects comprising an S_RCG recognition of at least one sound s ⁇ .s ,, emitted by an object O and a diagnosis DG of the complex state ec of the object O according to at least one recognized sound sr- ! ... sr n .
  • the OMNT object monitoring method comprises a sound recognition S_RCG capable of recognizing at least one sound emitted by an object O and a diagnosis DG capable of determining the complex state ec of the object O as a function of at least one his recognized sr.
  • the recognized sound sr enables the OMNT object monitoring method to determine the complex state ec of an object O, that is to say in particular an abnormal operating state of the object O or a state of the object O which is not relative to its operation: for example its position on a surface, in a volume, the identity of the person having manipulated the object ...
  • the complex state ec of the object O is a complex state among the following: a state of anomaly relative to the object, a relative position of the object, an identity of the manipulator of the object, etc. .
  • the method for monitoring OMNT objects makes it possible to warn of a malfunction of the object O even if the object O is not intelligent, and / or to inform of a passive parameter relating to an object O even if it is not intelligent, or even for O passive objects: position in a closed or open volume (room, apartment, house, garden, etc.), identity of the manipulator, etc.
  • a passive parameter is a parameter different from an active parameter or activity parameter, that is to say from a parameter relating to the operation of the object O.
  • the complex state ec of anomaly is a type of anomaly relating to the object.
  • the OMNT object monitoring method not only makes it possible to warn of a malfunction but in addition to the type of malfunction allowing a user (particularly a user of the object O) or a supervisory device DD to correct, possibly the malfunction of the object O.
  • the diagnosis DG is able to determine a complex state ec of the object O as a function of the context ex of recognition of the sound s emitted by the object O.
  • the complex state diagnosed ec will not be the same depending on the context ex.
  • a sound of the apparatus O will correspond to a normal operating state (simple state), whereas in a context ex of the apparatus O door closed, even its s will be diagnosed as corresponding to a state of anomaly (complex state ec).
  • the OMNT object monitoring method comprises a sound capture step S_CPT capable of capturing at least one sound emitted by the object O.
  • the diagnosis DG receives one or more recognized sounds SR. - .sr n , of the object O and uses at least one of the recognized sounds to determine the complex state of the object O.
  • the sound recognition S_RCG comprises a step of sorting the captured sounds S_CL followed by a modeling step S_MD of the captured sound classified s cc1 ... s ccn to determine from a sound database SR_BDD, the recognized sound sp. - .sr n corresponding to the captured sound classified s cc1 ... s ccn .
  • the sound recognition S_RCG is made according to the context in which the sound is emitted and / or captured.
  • the sound recognition takes into account the environment in which the sound is emitted and / or captured: such as the position of the electronic ear 2 relative to the object 4 (orientation, distance, displacement %), the type of environment (room volume, latent sound level Certainly, etc.
  • the sound recognition S_RCG filters (not illustrated) an environmental noise depending on the context in which the sound is emitted and / or captured. For example, this filtering is able to remove all or part of the noise related to a displacement of the object 4 and / or the electronic ear 2.
  • the diagnosis DG comprises a modeling step SR_MD of the recognized sound signal making it possible to determine from a database of states ST_BDD, the complex state ec corresponding to the recognized sound signal.
  • the diagnosis DG comprises a step of merging the recognized sounds SR_FU followed by the modeling step SR_MD of the fused sound signal making it possible to determine from a base of state data ST_BDD, the complex state ec corresponding to the fused sound signal sf.
  • the OMNT object monitoring method comprises a supervision of OMGT objects (not illustrated in FIG. 4) comprising at least one step of determining TRT_DT of at least one trt processing to be executed as a function of the complex state diagnosed ec.
  • the OMNT object monitoring method makes it possible, by means of OMGT object supervision, not only to diagnose a complex state ec, notably an anomaly, but also to trigger an action trt as a function of this complex state: EM transmission of a message mssg function of the complex state diagnosed, correction of the anomaly diagnosed either by a human being or by the OMGT supervision of OMNT object monitoring method (which commands in particular the object O if it is intelligent, either a third-party device DD), or by a remote supervisor DD.
  • the OMNT object monitoring method comprises a transmission EM capable of establishing a command-only communication cmd of the OMGT supervision method, when the processing to be executed comprises a connection with a remote device 7.
  • the step of emission EM may emit either the detected complex state ec, or a message comprising or function of the complex state detected mssg (ec), etc.
  • the third party device DD may implement a processing according to the complex state ec received or simply display / reproduce this information for the user of the third party device DD.
  • the third party device DD may be a simple display screen, a smartphone, a computer of the user of the object or a third party user (parent, technician, etc.), a server or service provision device in an Internet network, etc.
  • the OMNT object monitoring method not only makes it possible to diagnose an anomaly but also to trigger its remote support: by a remote supervisory device, a user, a technician ...
  • the OMNT monitoring method comprises a complex ST_DT detection method relating to an object O implementing a diagnosis DG capable of determining a complex state ec relative to the object according to an S_RCG recognition of at least one sound s issued by the object O.
  • the OMNT object monitoring method comprises an ALT, EM communication of the complex state detected ec to a third party device DD, in particular a non-intelligent object supervisor for triggering an intervention by the user of the object, a technician, or a processing of a supervisory device including transmitting a complex state function message to a communication device of a user, a technician and / or correct the malfunction when the state complex is a malfunction.
  • the ALT communication of the complex ec state diagnosed can be performed by modifying a predetermined indicator (led ...), by displaying a message on a screen, by vocalizing a message by means of a -parlivities, a device implementing the OMNT monitoring method, including an electronic ear 2.
  • the sound s emitted by the object O is captured during an S_CPT sound capture implemented either by a method external to the OMNT monitoring method, or by the OMNT monitoring method.
  • an S_CPT sound capture implemented either by a method external to the OMNT monitoring method, or by the OMNT monitoring method.
  • a sound is heard not only the sounds audible by the human being but also all other vibrations perceived by a living being or a machine so also infrasound, ultrasound but also mechanical vibration ...
  • the sound captured sc is provided to a recognition S_RCG sound capable of recognizing sounds, that is to say, to identify movement, friction, etc. of the object O at the origin of the sound (closing of door, laying of key on a table, noise of electric motor, etc.).
  • S_CPT capture and S_RCG sound recognition are implemented by the same sound processing method (not shown) which is a processing method implemented by the OMNT monitoring method.
  • a context analysis CX_NZ provides the diagnostic DG the ex context in which the sound sr has been recognized.
  • the context analysis CX_NZ is implemented either by an analysis method external to the OMNT monitoring method, or by the OMNT monitoring method.
  • the context analysis CX_NZ notably receives information relating t (s) at the time of capturing the sound s for example from a clock or a time stamp of the sensor 10, 2010, information relating to the position of the object O during the transmission of the captured sound, and other information relating to the environment of the object O, in particular information relating to the sound environment of the object O during the capture of the transmitted sound (provided by the sensor 10, 2010 or one of other sensors present in the environment E of the object O) or information relating to the previous states ep of the object O (simple states and / or complexes ec).
  • the context analysis CX_NZ receives at least one signal, in particular sound, said environmental signals se, emitted by the environment E of the object O and performs a recognition of these environmental signals SE_RCG.
  • the context ex provides to the DG diagnosis by context analysis CX_NZ will include the recognized signal ser.
  • the context analysis CX_NZ notably comprises a fusion step E_FU providing the context ex.
  • FIG. 5 illustrates a simplified diagram of the method of supervising objects according to the invention.
  • An object of the invention is also a method for supervising OMGT objects comprising a determination of a processing to be executed TRT_DT as a function of the complex state diagnosed ec as a function of an SRCG recognition of at least one transmitted sound by the object O.
  • the determination of the processing to be performed provides either an identifier of a treatment to execute trtjd, or the treatment to be executed trt, especially in the form of a sequence of steps of a treatment method to be put implement or instructions of an executable program including a processor.
  • the supervision method comprises a GN generation of a treatment according to the complex state diagnosed ec of the object O.
  • the OMGT supervision method includes triggering the execution of the determined processing TRT_X.
  • the generation of the GN processing is either implemented by the determination of the TRT_DT processing (not illustrated), either following the TRT_DT processing determination, or by the triggering of a TRT_X processing operation (illustrated in FIG. 5).
  • the processing determination controls the GN generation of a specific processing, in particular by providing the identifier of the processing to be generated trtjd.
  • the OMGT supervision method verifies I? if the treatment is to be performed by the supervision method. If this is the case [Y], the supervision method comprises a step of executing the determined processing trt (in particular generated GN or recovered (not shown) in a processing database (not shown) by the OMGT supervision method or the TRT_DT processing determination ). The verification I?
  • the supervision method comprises a step of transmitting the triggering of the execution of the determined processing trt (in particular generated GN or recovered (not shown) in a processing database (not shown) by the OMGT supervision method or TRT_DT processing determination ).
  • the verification I? triggers em_trg the emission EM, by the OMGT supervision method, of a command, a message comprising either the identifier of the determined processing, or the trt treatment determined, or a recovery address of the determined processing, destination or a remote device DD.
  • the OMGT supervision method is implemented by the electronic ear 2 implementing the complex state DG diagnosis ec of the object O.
  • the OMGT monitoring method can also be used. comprise the diagnosis DG, and possibly the sound recognition S_RCG and / or the context analysis CX_NZ, as described with reference to FIGS. 3 or 4.
  • the OMGT supervision method is implemented by a third device distinct from the electronic ear 2, in particular a smartphone, a tablet, a computer or a supervisor of complex state detectors 20 and / or
  • the complex state detector 20 implements the detection method ST_DT described in FIG. 3 where the electronic ear 2 implements the OMNT monitoring method described in FIG. dialogue with the supervisory method to which it (the ST_DT detection method or the OMNT monitoring method) provides the diagnosed complex state ec.
  • a particular embodiment of at least one method according to the invention: ST_DT detection method, and / or OMNT monitoring method, and / or OMGT supervision method, is a program comprising program code instructions for the performing the steps of the abnormality detection method and / or the object monitoring method and / or the supervision method when said program is executed by a processor.
  • solutions develop to exploit the vision (image, video) and to recognize objects in these visual contents.
  • vision image, video
  • Few solutions based on sound can identify objects, their state or events associated with these objects, technically we must go through solutions based vision (cameras).
  • the only solutions that appear are hyper specialized, are limited to long sound events and rather related to security (habitat), not the detection of an object and its state.
  • the invention proposes, in particular for responding to this lack, a detector of complex states of objects comprising an analyzer capable of determining a complex state relating to the object as a function of a recognition of at least one sound emitted by the 'object.
  • FIGS. 6a and 6b illustrate diagrams of a use case of the invention: respectively a detector or an electronic ear that can be fixed on an object, said detector or ear positioned on a refrigerator constituting the object.
  • the detector 20 or the electronic ear 2 comprises at least one sensor 210 including a microphone, including directional to limit the capture of sound not coming from the object and therefore constituting a noise.
  • the detector 20 or the electronic ear 2 comprises fixators, such as magnets 28a for fixing the electronic ear 2 to an object 4 having at least one metal outer surface; suction cups 28b for attachment to an object having a non-metallic flat outer surface ...
  • the detector 20 or the electronic ear 2 comprises at least one light indicator 27, such as an LED, for displaying a predetermined complex state ec including a given light indicator corresponding to a predetermined complex state (the ignition of the LED meaning that the object is then in the corresponding complex state) or a light can take several colors: a color of the LED is associated with a predetermined complex state, etc.
  • a light indicator 27 such as an LED
  • the detector 20 or the electronic ear 2 comprises at least one socket 29, in particular a power socket and / or socket for connecting a cable for a data link to a smartphone, a tablet ...
  • the detector 20 or the electronic ear 2 comprises an activation button (or on / off button) for managing the power consumption of the detector 20 or the electronic ear 2 and also to limit the periods of time during which the diagnosis of complex states is performed (no night diagnosis or for certain objects when the user is not in the room or the dwelling where the object is ). Thanks to the magnets 28a and / or the suction cup 28b, the detector 20 or the electronic ear 20 is positioned on the object 4, in our example the fridge. This makes it possible to devote the diagnosis implemented by the electronic ear 2 to the complex states of this object 4: the fridge.
  • the electronic ear 2 illustrated in Figures 6a and 6b positionable on the object 4 is also called “ear patch” or “gold ear patch” with reference to submarines detecting submerged entities according to the sound produced by their moving in the water.
  • ear patch or “gold ear patch” with reference to submarines detecting submerged entities according to the sound produced by their moving in the water.
  • the electronic ear 2 consists, for example, of a physical object (the patch) that will make measurements (captured sounds, possibly recognize them) and an algorithm that will analyze these measurements to calculate a probability of deviance to a "normal" state model (or approximation to another state): that is, an algorithm for diagnosing complex states.
  • the patch comprises in particular a sensor, such as a microphone 210, which captures and / or records the sounds and vibrations of the apparatus 4 (the vibration analysis can make it possible to identify these vibrations as a context [eg the sound when the door of the object closes] or as the element to be analyzed [which is an input like audible sound]).
  • the information from the sounds and vibrations picked up is compared to models and thus makes it possible to identify the correct operation or the risk of malfunction of the object during a diagnosis.
  • These models may take into account the context, especially the time and the day of the sound / vibration events.
  • a user can position the electronic ear 2 on a first object O which he wishes to check the complex state, in this case the fridge.
  • the electronic ear 2 detecting a complex state of anomaly may possibly indicate an anomaly through the indicator, or send a message to a communication terminal of the user with an identifier of the anomaly, or trigger a search of the page of the manual of the object relating to the detected anomaly to send it to and / or display it on a communication terminal of the user (tablet, smartphone, television ...), or trigger a setting relationship with a support platform (human assistance and / or artificial intelligence) specific to the anomaly (so the user does not waste time explaining the problem), or trigger a command of the parts to change depending on the anomaly detected and / or making an appointment with a technician.
  • a support platform human assistance and / or artificial intelligence
  • the electronic ear 2 is not dedicated to a specific object (in this case the fridge) because its analyzers (first and / or second) allow it to detect complex states of several different objects.
  • the user having completed the management of the refrigerator may position at another time (ie immediately or later) the electronic ear 2 on another device (not shown) to be supported.
  • Figure 6c illustrates a multi-object detector or electronic ear.
  • the electronic ear 2 is in this case placed in a room (for example on a table) to diagnose the complex states of several objects: the table 04, the hob 02, the oven 03, the vacuum cleaner 01 .. which emit sounds: respectively the sounds s4, s2, s3, s1 1 and s12.
  • the electronic ear 2 illustrated in FIG. 6c will not audit the objects on which it is placed, but detect the objects 01, 02, 03 ... in its environment and / or an object 05 that interact with each other. the object 04 on which the patch is present.
  • the electronic ear 2 detects the interaction of an object 05 with the object 04 on which it is present, it is also called table patch - gold ear or electronic ear table. It then responds to different issues, depending on the reference models that are used:
  • the object audit 05 placed or in interaction with the object / surface 04 on which the patch 2 is deposited.
  • a patch example of a non-solid material : fluids, example of small objects or too complex design: toys, mechanical parts, etc. example of objects moving on a surface.
  • the electronic ear 2 of FIG. 6c notably comprises a physical device and implements a complex state detection algorithm.
  • the physical device comprises in particular a sensor of audio signals and / or vibrations, and / or timestamp, that is to say y associated with the signal captured a timestamp information ("timestamp" in English such as (time / min and day)).
  • the electronic ear can identify objects 05 placed or moved on the furniture or surface 04 (example of a table, a vacuum pocket, a bedside table, a parquet floor).
  • the electronic ear 2 can recognize the arrival of a new object (deposit of key ring on a table, deposit of mail on a table, deposit of a plate on a table etc.) or an event of an object (bunch of keys that we pick up, stack of letters that we move, etc.).
  • the electronic ear 2 detects the objects 01, 02, 03 at its listening range, it is also called remote patch - Golden ear or remote electronic ear.
  • This electronic ear 2 is a patch "Golden ear" as shown in Figures 6a and 6b but not positioned on a listened object 01, 02, 03.
  • the electronic ear 2 captures the audio signals and / or vibrations, and / or determines the timestamp of the captured signals (hour / min and day). It makes it possible to identify the objects 01, 02, 03 at its listening range (noise of a refrigerator, sound of the alarm of a washing machine, beep of a 02 hob, etc.). It can detect the events of these objects (hob lit 02, washing machine that has completed its cycle, etc.) or the state of an object (Fridge that begins to purr, AC adapter that begins to do noise, etc.).
  • This remote electronic ear 2 is either a stand-alone object or a feature of an existing object (for example a smart speaker like Orange Djingo, Google Home (registered trademarks), etc.) or software on a computer or smartphone type device . It can thus be embedded in a connected enclosure or on a ceiling lamp (for example: luminaires or smoke detector, etc.).
  • the same electronic ear 2 may also have the two functions of remote electronic ear and / or electronic table ear.
  • the electronic ear can be mobile, that is to say listen and diagnose complex states of at least one object while the electronic ear moves.
  • This mobile electronic ear also called “mobile gold ear” and can move a "remote patch gold ear” as shown in Figure 6c on a "listening" area (observation). He can listen when he is moving or when he is motionless. There are two modes of listening which are different, the listening in displacement will not be able to detect the same types of information that when it is static, because of the noise related to the displacement.
  • the mobile electronic ear has a first specific analyzer to listen to certain models of sound / noise adapted to the listening mode especially on the move.
  • the first analyzer of a mobile electronic ear will include a filter (all or part) of the noise related to the displacement of the electronic ear.
  • the displacement of the electronic ear can be done on Earth (wheels, tracks), in the air (drone), on cable, on the water (float, dinghy, boat, etc.).
  • the invention also relates to a support.
  • the information carrier may be any entity or device capable of storing the program.
  • the medium may include storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM or a magnetic recording means, for example a diskette or a hard disk.
  • the information medium can be a transmissible medium such as an electrical or optical signal that can be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention may in particular be downloaded to a network, particularly of the Internet type.
  • the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • the invention is implemented by means of software and / or hardware components.
  • module can correspond to a software component or a hardware component as well.
  • a software component corresponds to one or more computer programs, one or more subroutines of a program, or more generally to any element of a program or software capable of implementing a function or a program. function set as described above.
  • a hardware component corresponds to any element of a hardware set (or hardware) capable of implementing a function or a set of functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

L'invention concerne la surveillance, voire la supervision d'objet, en particulier d'objets non communicants. Un objet de l'invention est un détecteur d'états complexes d'objets comportant un analyseur apte à déterminer un état complexe relatif à l'objet en fonction d'une reconnaissance d'au moins un son émis par l'objet. Ainsi, le son reconnu permet au détecteur de déterminer l'état complexe d'un objet, c'est-à-dire notamment un état de fonctionnement anormal de l'objet ou un état de l'objet qui n'est pas relatif à son fonctionnement : par exemple sa position sur une surface, dans un volume, l'identité de la personne ayant manipulé l'objet.

Description

DETECTEUR D’ETAT COMPLEXE D’UN OBJET, OREILLE ELECTRONIQUE ET PROCEDE DE DETECTION
L'invention concerne la surveillance, voire la supervision d’objet, en particulier d’objets non communicants.
Afin de superviser différents objets de notre quotidien, la promesse avait été faite de rendre intelligente la maison, et de manière plus générale les différents lieux de vie et de travail. Notamment, la domotique se propose de centraliser le contrôle de différents systèmes électroniques (chauffage, alarme, etc.) de la maison, hôtels, école, etc. pour répondre à des besoins humains de confort, de sécurité, etc. Néanmoins, si la maison intelligente a pu répondre à certains besoins en contrôlant le chauffage, les ouvrants (portes, fenêtres, volets), l’alarme, elle ne s’est pas généralisée car elle est peu attrayante en raison des coûts de mise en place.
Avec le développement de l’Internet des objets, la surveillance d’objets à distance est aujourd’hui possible à condition que les objets soient connectés, voire intelligents. La supervision d’un objet nécessite que la maison soit équipée avec des objets connectés et/ou intelligents : lave- vaisselle, frigo, prise électrique... détecteurs connectés (ouverture de porte, caméra, etc.). Ce qui peut s’avérer coûteux en raison du grands nombre d’objets intelligents nécessaires pour équiper la maison et du surcoût individuel d’un équipement intelligent par rapport à un équipement non connecté.
Les détecteurs connectés sont aptes à fournir une réponse à une question simple en détectant un état simple, souvent binaire : actif/inactif, ouvert/fermé, etc., d’un objet. Un état simple peut être défini comme un état de fonctionnement normal d’un objet et/ou d’un élément d’un objet: actif/inactif, ouvert/fermé, mode de fonctionnement. Par exemple, pour un lave-linge, le détecteur est capable d’indiquer les états simples du lavage-linge : porte ouverte/fermée, lavage en cours ou arrêté, type de lavage. Les détecteurs connectés actuels ne permettent pas de répondre à des questions complexes telles que : où sont mes clés ? Pourquoi mon appareil ne fonctionne plus ? Comment puis-je le remettre en état de fonctionnement ?
Un des buts de la présente invention est d'apporter des améliorations par rapport à l'état de la technique.
Un objet de l’invention est un détecteur d’états complexes relatifs à un objet comportant un analyseur apte à déterminer un état complexe relatif à l’objet en fonction d’une reconnaissance d’au moins un son émis par l’objet. Ainsi, le son reconnu permet au détecteur de déterminer l’état complexe d’un objet, c’est-à-dire notamment un état de fonctionnement anormal de l’objet ou un état de l’objet qui n’est pas relatif à son fonctionnement : par exemple sa position sur une surface, dans un volume, l’identité de la personne ayant manipulé l’objet... Avantageusement, l’état complexe de l’objet est un état complexe parmi les suivants : un état d’anomalie de fonctionnement de l’objet, une position relative de l’objet, une identité du manipulateur de l’objet. Ainsi, le détecteur permet d’alerter d’un dysfonctionnement de l’objet même si l’objet n’est pas intelligent, et/ou d’informer d’un paramètre passif relatif à un objet même s’il n’est pas intelligent, voire même pour des objets passifs: position dans un volume fermé ou ouvert (pièce, appartement, maison, jardin, etc.), identité du manipulateur, etc.
Avantageusement, l’analyseur est apte à déterminer un état complexe de l’objet en fonction du contexte de reconnaissance du son émis par l’objet. Ainsi, l’analyseur est apte à distinguer deux états complexes correspondant à un même son reconnu. Par exemple, un bruit du lave-vaisselle peut correspondre à deux états du lave-vaisselle: normal, anomalie. Dans ce cas, le contexte permettra à l’analyseur de déterminer lequel des deux états : normal, anomalie est l’état actuel de l’objet. Par exemple, dans un contexte d’activité du lave-vaisselle, le son reconnu correspondra à un état normal de fonctionnement alors que, dans un contexte d’arrêt du lave- vaisselle, le même son reconnu correspondra à un état d’anomalie de fonctionnement
Avantageusement, l’état complexe d’anomalie est un type d’anomalie de fonctionnement de l’objet. Ainsi, le détecteur permet non seulement d’alerter d’un dysfonctionnement mais en plus du type de dysfonctionnement permettant à l’utilisateur ou à un dispositif superviseur de corriger, éventuellement, le dysfonctionnement de l’objet.
Avantageusement, le détecteur est un détecteur connecté. Ainsi, le détecteur peut communiquer l’état complexe détecté à un dispositif tiers, notamment un superviseur d’objet non intelligent permettant de déclencher une intervention de l’utilisateur de l’objet, d’un technicien, ou un traitement d’un dispositif superviseur notamment pour transmettre un message fonction de l’état complexe à un dispositif de communication d’un utilisateur, d’un technicien et/ou corriger le dysfonctionnement lorsque l’état complexe est une anomalie de fonctionnement.
Un autre objet de d’invention est une oreille électronique comportant un premier analyseur apte à reconnaître au moins un son émis par un objet et un deuxième analyseur apte à diagnostiquer l’état complexe de l’objet en fonction d’au moins un son reconnu.
Avantageusement, l’oreille électronique comporte un capteur sonore apte à capturer au moins un son émis par l’objet. Ainsi, les erreurs liées à la dégradation du son lors de la transmission entre le capteur et le premier analyseur effectuant la reconnaissance de son sont supprimées.
Avantageusement, l’oreille électronique comporte un superviseur d’objets apte à déterminer au moins un traitement à exécuter en fonction de l’état complexe diagnostiqué. Ainsi, l’oreille électronique permet, grâce au dispositif dit superviseur d’objets, non seulement de diagnostiquer un état complexe, notamment une anomalie, mais aussi de déclencher une action en fonction de cet état complexe : transmission d’un message fonction de l’état complexe diagnostiqué, correction de l’anomalie diagnostiqué soit par un être humain soit par le superviseur de l’oreille électronique (qui commande notamment soit l’objet s’il est intelligent, soit un dispositif tiers), soit par un superviseur distant.
Avantageusement, l’oreille électronique comporte une interface de communication apte à établir une communication sur commande du superviseur, lorsque le traitement à exécuter comporte une mise en relation avec un dispositif distant. Ainsi, l’oreille électronique permet non seulement de diagnostiquer une anomalie mais aussi de déclencher sa pris en charge à distance : par un dispositif superviseur distant, un utilisateur, un technicien...
Avantageusement, l’oreille électronique comporte des fixateurs et est destiné à être fixé sur l’objet émettant le son reconnu, le capteur est positionné dans la partie de l’oreille électronique proche des fixateurs et/ou orienté dans l’oreille électronique vers le plan formé par les fixateurs. Ainsi, le son capté comporte moins de bruit, c’est-à-dire de son provenant de l’environnement de l’objet, plus de son provenant de l’objet lui-même permettant une amélioration de la reconnaissance par le premier analyseur.
Un objet de l’invention est aussi un procédé de détection d’états complexes relatifs à un objet comportant un diagnostic déterminant un état complexe relatif à l’objet en fonction d’une reconnaissance d’au moins un son émis par l’objet.
Un objet de l’invention est encore un procédé de surveillance d’objets comportant une reconnaissance d’au moins un son émis par un objet et un diagnostic de l’état complexe de l’objet en fonction d’au moins un son reconnu.
Un objet de l’invention est également un procédé de supervision d’objets comportant une détermination d’un traitement à exécuter en fonction de l’état complexe diagnostiqué en fonction d’une reconnaissance d’au moins un son émis par l’objet.
Avantageusement, le procédé de supervision comporte un déclenchement de l’exécution du traitement déterminé.
Avantageusement, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en oeuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un dispositif faisant partie d’un détecteur d’état complexe d’un objet et/ou d’une oreille électronique et étant conçus pour commander l'exécution des différentes étapes de ce procédé. L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de détection d’anomalies et/ou du procédé de surveillance d’objets lorsque ledit programme est exécuté par un processeur. Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable.
Les caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description, faite à titre d'exemple, et des figures s’y rapportant qui représentent :
- Figure 1 , un schéma simplifié d’un détecteur d’états complexes selon l’invention,
- Figure 2, un schéma simplifié d’une une oreille électronique selon l’invention,
- Figure 3, un diagramme simplifié du procédé de détection d’états complexes selon l’invention,
- Figure 4, un diagramme simplifié du procédé de surveillance d’objets selon l’invention,
- Figure 5, un diagramme simplifié du procédé de supervision d’objets selon l’invention,
- Figures 6a à 6c, des schémas de cas d’usage de l’invention, respectivement un détecteur ou une oreille électronique fixable sur un objet, ledit détecteur ou oreille positionné sur un frigo constituant l’objet, un détecteur ou une oreille électronique multi-objets.
Par états complexes sont entendus les états non-fonctionnels d’un objet par opposition aux états simples généralement binaires qui décrivent un état de fonctionnement de l’objet : actif/inactif, ouvert/ermé, mode de fonctionnement. En particulier, les états complexes, aussi nommés états non-fonctionnels, comporte les états d’anomalie de fonctionnement de l’objet, une position relative de l’objet, une identité du manipulateur de l’objet.
Par objet est entendue une chose concrète que l’on peut toucher et qui est affectée à un usage précis. Par exemple, un objet peut être un objet domestique tel qu’un meuble, mais aussi un appareil électroménager, un élément de la maison : porte, fenêtre, volet, etc.
Par contexte de reconnaissance d’un son est entendu l’ensemble des circonstances entourant la reconnaissance du son, telles qu’un ou plusieurs états simples et/ou complexes d’un ou plusieurs objets, l’instant de reconnaissance du son
La figure 1 illustre un schéma simplifié d’un détecteur d’états complexes selon l’invention. Le procédé de détection ST_DT complexes relatifs à un objet 4 comporte un analyseur 202 apte à déterminer un état complexe ec relatif à l’objet en fonction d’une reconnaissance d’au moins un son s émis par l’objet 4. Ainsi, le son reconnu sr permet au détecteur 20 de déterminer l’état complexe ec d’un objet 4, c’est-à-dire notamment un état de fonctionnement anormal de l’objet 4 ou un état de l’objet 4 qui n’est pas relatif à son fonctionnement : par exemple sa position sur une surface, dans un volume, l’identité de la personne ayant manipulé l’objet... En particulier, l’état complexe ec de l’objet 4 est un état complexe parmi les suivants : un état d’anomalie de fonctionnement de l’objet, une position relative de l’objet, une identité du manipulateur de l’objet. Ainsi, le détecteur 20 permet d’alerter d’un dysfonctionnement de l’objet 4 même si l’objet 4 n’est pas intelligent, et/ou d’informer d’un paramètre passif relatif à un objet 4 même s’il n’est pas intelligent, voire même pour des objets 4 passifs: position dans un volume fermé ou ouvert (pièce, appartement, maison, jardin, etc.), identité du manipulateur, etc. Un paramètre passif est un paramètre différent d’un paramètre actif ou paramètre d’activité, c’est-à- dire d’un paramètre relatif au fonctionnement de l’objet 4.
En particulier, l’analyseur 202 est apte à déterminer un état complexe ec de l’objet 4 en fonction du contexte ex de reconnaissance du son s émis par l’objet 4. La reconnaissance du son s est notamment mise en oeuvre par un premier analyseur 1 1 , 201 1 (l’analyseur 202 étant alors nommé deuxième analyseur). Ainsi, l’analyseur 202 ou deuxième analyseur est apte à distinguer deux états complexes correspondant à un même son reconnu sr suivant le contexte ex. Par exemple, un bruit du lave-vaisselle peut correspondre à deux états du lave-vaisselle: normal ou anomalie. Dans ce cas, le contexte ex permettra à l’analyseur 202 de déterminer lequel des deux états : normal ou anomalie est l’état actuel de l’objet 4. Par exemple, dans un contexte ex d’activité du lave-vaisselle 4, le son reconnu sr correspondra à un état normal de fonctionnement (état simple) alors que, dans un contexte ex d’arrêt du lave-vaisselle 4, le même son reconnu sr correspondra à un état d’anomalie de fonctionnement (état complexe ec).
Les objets naturels ou manufacturés dans notre environnement font du bruit, lors de leur fonctionnement (exemple : moteur d’un bateau), lors de leur usages (exemple : le clic d’un stylo-bille ou le bruit d’une fermeture de porte), ou lors d’événements (exemple : clés que l’on dépose sur une table). Certains objets manufacturés produisent des sons lors de leur fonctionnement pour que l’être humain les reconnaisse et ainsi sache déduire une information sur l’état de l’objet (exemple du son de fin de cycle d’une machine à laver le linge)
En particulier, l’état complexe ec d’anomalie est un type d’anomalie de fonctionnement de l’objet. Ainsi, le détecteur 20 permet non seulement d’alerter d’un dysfonctionnement mais en plus du type de dysfonctionnement permettant à un utilisateur (notamment un utilisateur de l’objet 4) ou à un dispositif superviseur 7 de corriger, éventuellement, le dysfonctionnement de l’objet 4.
En particulier, le détecteur 20 est un détecteur connecté. Ainsi, le détecteur 20 peut communiquer l’état complexe détecté ec à un dispositif tiers 7, notamment un superviseur d’objet non intelligent permettant de déclencher une intervention de l’utilisateur de l’objet, d’un technicien, ou un traitement d’un dispositif superviseur notamment pour transmettre un message fonction de l’état complexe à un dispositif de communication d’un utilisateur, d’un technicien et/ou corriger le dysfonctionnement lorsque l’état complexe est une anomalie de fonctionnement. Le son s émis par l’objet 4 est capté soit par un capteur 10 externe au détecteur 20, soit un capteur 2010 implémenté dans le détecteur 20. Par un son est entendu non seulement les sons audibles par l’être humain mais aussi toutes autres vibrations perçues par un être vivant ou une machine donc aussi bien infrasons, ultrasons mais aussi vibrations mécaniques...
Le son capté sc est fourni à un premier analyseur 1 1 , 201 1 apte à reconnaître des sons, c’est-à-dire à identifier le mouvement, le frottement, etc. de l’objet 4 à l’origine du son (fermeture de porte, pose de clé sur une table, bruit de moteur électrique, etc.). Ce premier analyseur de reconnaissance de son 1 1 , 201 1 est soit un premier analyseur externe 1 1 au détecteur 20, soit un premier analyseur 201 1 implémenté dans le détecteur 20. Eventuellement, le capteur 10, 2010 et le premier analyseur 1 1 , 201 1 sont implémenté dans un même dispositif de traitement de son 1 , 201 qui est soit un dispositif de traitement externe 1 au détecteur 20, soit un dispositif de traitement 201 implémenté dans le détecteur 20.
En particulier, un troisième analyseur 6, 206 dit analyseur de contexte fournit au deuxième analyseur 202 dit analyseur d’état complexe le contexte ex dans lequel le son sr a été reconnu. L’analyseur de contexte 6, 206 est soit un analyseur externe 6 au détecteur 20, soit un analyseur 206 implémenté dans le détecteur 20. L’analyseur de contexte reçoit notamment des informations relatives t(s) au moment de la capture du son s par exemple d’une horloge ou un horodateur du capteur 10, 2010, des informations relatives g à la position de l’objet 4 lors de l’émission du son s capté, et d’autres informations relatives à l’environnement de l’objet 4, en particulier des informations relatives à l’environnement sonore se de l’objet 4 lors de la capture du son s émis (fournit par le capteur 10, 2010 ou un d’autres capteurs présents dans l’environnement E de l’objet 4) ou des informations relatives aux états précédents ep de l’objet 4 (états simples et/ou complexes ec).
En particulier, le détecteur 20 comporte un transmetteur 203 apte à émettre à destination d’un dispositif tiers 7. Le transmetteur 203 peut émettre soit l’état complexe détecté ec, soit un message comportant ou fonction de l’état complexe détecté mssg(ec), etc. Ainsi, le dispositif tiers 7 peut mettre en oeuvre un traitement en fonction de l’état complexe ec reçu ou simplement afficher/reproduire cette information à destination de l’utilisateur du dispositif tiers 7. Le dispositif tiers 7 peut être un simple écran d’affichage, un smartphone, un ordinateur de l’utilisateur de l’objet ou d’un utilisateur tiers (parent, technicien, etc.), un serveur ou dispositif de fourniture de service dans un réseau Internet, etc.
La figure 2 illustre un schéma simplifié d’une une oreille électronique selon l’invention. L’oreille électronique 2 comporte un premier analyseur 21 apte à reconnaître au moins un son s émis par un objet 4 et un deuxième analyseur 22 apte à diagnostiquer l’état complexe ee de l’objet 4 en fonction d’au moins un son reconnu sr. Ainsi, le son reconnu sr permet à l’oreille électronique 2 de déterminer l’état complexe ec d’un objet 4, c’est-à-dire notamment un état de fonctionnement anormal de l’objet 4 ou un état de l’objet 4 qui n’est pas relatif à son fonctionnement : par exemple sa position sur une surface, dans un volume, l’identité de la personne ayant manipulé l’objet...
En particulier, l’état complexe ec de l’objet 4 est un état complexe parmi les suivantes : un état d’anomalie relative à l’objet, une position relative de l’objet, une identité du manipulateur de l’objet, etc. Ainsi, l’oreille électronique 2 permet d’alerter d’un dysfonctionnement de l’objet 4 même si l’objet 4 n’est pas intelligent, et/ou d’informer d’un paramètre passif relatif à un objet 4 même s’il n’est pas intelligent, voire même pour des objets 4 passifs: position dans un volume fermé ou ouvert (pièce, appartement, maison, jardin, etc.), identité du manipulateur, etc. Un paramètre passif est un paramètre différent d’un paramètre actif ou paramètre d’activité, c’est-à- dire d’un paramètre relatif au fonctionnement de l’objet 4.
En particulier, l’état complexe ec d’anomalie est un type d’anomalie relative à l’objet. Ainsi, l’oreille électronique 2 permet non seulement d’alerter d’un dysfonctionnement mais en plus du type de dysfonctionnement permettant à un utilisateur (notamment un utilisateur de l’objet 4) ou à un dispositif superviseur 7 de corriger, éventuellement, le dysfonctionnement de l’objet 4.
En particulier, le deuxième analyseur 22 est apte à diagnostiquer un état complexe ec de l’objet en fonction du contexte ex de reconnaissance du son s émis par l’objet 4. Ainsi, pour le même son reconnu, l’état complexe diagnostiqué ec ne sera pas le même en fonction du contexte ex. Par exemple, dans le contexte ex d’un appareil 4 porte ouverte, un son s de l’appareil 4 correspondra à un état de fonctionnement normal (état simple), alors que dans un contexte ex de l’appareil 4 porte fermée, ce même son s sera diagnostiqué comme correspondant à un état d’anomalie(état complexe ec).
En particulier, l’oreille électronique 2 comporte un capteur sonore 210 apte à capturer au moins un son émis s par l’objet 4. Ainsi, les erreurs liées à la dégradation du son lors de la transmission entre le capteur 210 et le premier analyseur 21 effectuant la reconnaissance de son sont supprimées.
En particulier, l’oreille électronique 2 comporte un superviseur d’objets 25 apte à déterminer au moins un traitement trt à exécuter en fonction de l’état complexe diagnostiqué ec. Ainsi, l’oreille électronique 2 permet, grâce au dispositif dit superviseur d’objets 25, non seulement de diagnostiquer un état complexe ec, notamment une anomalie, mais aussi de déclencher une action trt en fonction de cet état complexe : transmission d’un message mssg fonction de l’état complexe diagnostiqué, correction de l’anomalie diagnostiqué soit par un être humain soit par le superviseur de l’oreille électronique (qui commande notamment soit l’objet s’il est intelligent, soit un dispositif tiers), soit par un superviseur distant. En particulier, l’oreille électronique 2 comporte une interface de communication 23 apte à établir une communication sur commande cmd du superviseur 25, lorsque le traitement à exécuter comporte une mise en relation avec un dispositif distant 7. L’interface de communication ou transmetteur 23 peut notamment émettre soit l’état complexe détecté ec, soit un message comportant ou fonction de l’état complexe détecté mssg(ec), etc. Ainsi, le dispositif tiers 7 peut mettre en oeuvre un traitement en fonction de l’état complexe ec reçu ou simplement afficher/reproduire cette information à destination de l’utilisateur du dispositif tiers 7. Le dispositif tiers 7 peut être un simple écran d’affichage, un smartphone, un ordinateur de l’utilisateur de l’objet ou d’un utilisateur tiers (parent, technicien, etc.), un serveur ou dispositif de fourniture de service dans un réseau Internet, etc. Ainsi, l’oreille électronique 2 permet non seulement de diagnostiquer une anomalie mais aussi de déclencher sa pris en charge à distance : par un dispositif superviseur distant, un utilisateur, un technicien...
En particulier, l’oreille électronique 2 comporte des fixateurs 28 aptes à permettre une fixation de l’oreille électronique 2 au moins temporaire sur un objet : l’objet 4 ou un autre objet de l’environnement E de l’objet 4. Ainsi, l’oreille électronique 2 permet de détecter les états complexes de plusieurs objets 4 présent dans le même environnement E. Et, la reconnaissance du premier analyseur 21 et/ou le diagnostic du deuxième analyseur 22 ne sont pas perturbées par un déplacement de l’oreille électronique 2.
En particulier, l’oreille électronique 2 comporte des fixateurs 28 (illustrés sur la figure 6a) et est destiné à être fixé sur l’objet 4 émettant le son s reconnu. Le capteur 210 est positionné dans la partie de l’oreille électronique 2 proche des fixateurs 28 et/ou orienté dans l’oreille électronique 2 vers le plan formé par les fixateurs 28. Ainsi, le son s capté comporte moins de bruit, c’est-à-dire de son provenant :
d’un déplacement de l’oreille électronique 2 et/ou
de l’environnement E de l’objet 4, et
plus de son provenant de l’objet 4 lui-même permettant une amélioration de la reconnaissance par le premier analyseur 21 .
Notamment, l’oreille électronique comporte un procédé de détection ST_DT complexes relatifs à un objet 4 implémentant le deuxième analyseur 202 apte à déterminer un état complexe ec relatif à l’objet en fonction d’une reconnaissance d’au moins un son s émis par l’objet 4.
En particulier, l’oreille électronique 2 est une oreille électronique connectée. Ainsi, les états complexes diagnostiqués sont transmis au réseau Internet pour notamment être stocké et conserver un historique de l’objet 4. En outre, l’oreille électronique 2 peut ainsi communiquer l’état complexe détecté ec à un dispositif tiers 7, notamment un superviseur d’objet non intelligent permettant de déclencher une intervention de l’utilisateur de l’objet, d’un technicien, ou un traitement d’un dispositif superviseur notamment pour transmettre un message fonction de l’état complexe à un dispositif de communication d’un utilisateur, d’un technicien et/ou corriger le dysfonctionnement lorsque l’état complexe est une anomalie de fonctionnement.
Le son s émis par l’objet 4 est capté soit par un capteur 10 externe à l’oreille électronique 2, soit un capteur 210 implémenté dans l’oreille électronique 2. Par un son est entendu non seulement les sons audibles par l’être humain mais aussi toutes autres vibrations perçues par un être vivant ou une machine donc aussi bien infrason, ultrason mais aussi vibration mécanique... Le son capté sc est fourni au premier analyseur 21 apte à reconnaître des sons, c’est-à-dire à identifier le mouvement, le frottement, etc. de l’objet 4 à l’origine du son (fermeture de porte, pose de clé sur une table, bruit de moteur électrique, etc.). Eventuellement, le capteur 10, 210 et le premier analyseur 21 sont implémenté dans un même dispositif de traitement de son (non illustré) qui est un dispositif de traitement implémenté dans l’oreille électronique 2.
En particulier, le premier analyseur 21 effectue une reconnaissance sonore en fonction du contexte ex dans lequel le son s est émis et/ou capté. Ainsi, la reconnaissance sonore tient compte de l’environnement dans lequel le son est émis et/ou capté : tel que la position de l’oreille électronique 2 par rapport à l’objet 4 (orientation, éloignement, déplacement...), le type d’environnement (volume de la pièce, niveau sonore latent...), etc. Notamment, le premier analyseur 21 comporte un filtre (non illustré) apte à supprimer un bruit environnemental en fonction du contexte dans lequel le son s est émis et/ou capté. Par exemple, le filtre du premier analyseur 21 est apte à supprimer en totalité ou en partie le bruit lié à un déplacement de l’objet 4 et/ou de l’oreille électronique 2.
En particulier, un troisième analyseur 6, 26 dit analyseur de contexte fournit au deuxième analyseur 22 dit analyseur d’état complexe le contexte ex dans lequel le son sr a été reconnu. L’analyseur de contexte 6, 26 est soit un analyseur externe 6 à l’oreille électronique 2, soit un analyseur 26 implémenté dans l’oreille électronique 2. L’analyseur de contexte reçoit notamment des informations relatives t(s) au moment de la capture du son s par exemple d’une horloge ou un horodateur du capteur 10, 2010, des informations relatives g à la position de l’objet 4 lors de l’émission du son s capté, et d’autres informations relatives à l’environnement de l’objet 4, en particulier des informations relatives à l’environnement sonore se de l’objet 4 lors de la capture du son s émis (fournit par le capteur 10, 2010 ou un d’autres capteurs présents dans l’environnement E de l’objet 4) ou des informations relatives aux états précédents ep de l’objet 4 (états simples et/ou complexes ec). La figure 3 illustre un diagramme simplifié du procédé de détection d’états complexes selon l’invention. Le procédé de détection d’états complexes relatifs à un objet ST_DT comporte un diagnostic DG déterminant un état complexe ec relatif à l’objet en fonction d’une reconnaissance S_RCG d’au moins un son s émis par l’objet O. Ainsi, le son reconnu sr permet au procédé de détection ST_DT de déterminer l’état complexe ec d’un objet O, c’est-à-dire notamment un état de fonctionnement anormal de l’objet O ou un état de l’objet O qui n’est pas relatif à son fonctionnement : par exemple sa position sur une surface, dans un volume, l’identité de la personne ayant manipulé l’objet...
En particulier, l’état complexe ec de l’objet O est un état complexe parmi les suivants : un état d’anomalie de fonctionnement de l’objet, une position relative de l’objet, une identité du manipulateur de l’objet. Ainsi, le procédé de détection ST_DT permet d’alerter d’un dysfonctionnement de l’objet O même si l’objet O n’est pas intelligent, et/ou d’informer d’un paramètre passif relatif à un objet O même s’il n’est pas intelligent, voire même pour des objets O passifs: position dans un volume fermé ou ouvert (pièce, appartement, maison, jardin, etc.), identité du manipulateur, etc. Un paramètre passif est un paramètre différent d’un paramètre actif ou paramètre d’activité, c’est-à-dire d’un paramètre relatif au fonctionnement de l’objet O.
En particulier, le diagnostic DG est apte à déterminer un état complexe ec de l’objet O en fonction du contexte ex de reconnaissance S_RCG du son s émis par l’objet O. Ainsi, le diagnostic DG est apte à distinguer deux états complexes correspondant à un même son reconnu sr suivant le contexte ex. Par exemple, un bruit du lave-vaisselle peut correspondre à deux états du lave-vaisselle: normal ou anomalie. Dans ce cas, le contexte ex permettra au diagnostic DG de déterminer lequel des deux états : normal ou anomalie est l’état actuel de l’objet O. Par exemple, dans un contexte ex d’activité du lave-vaisselle 4, le son reconnu sr correspondra à un état normal de fonctionnement (état simple) alors que, dans un contexte ex d’arrêt du lave-vaisselle 4, le même son reconnu sr correspondra à un état d’anomalie de fonctionnement (état complexe ec).
En particulier, l’état complexe ec d’anomalie est un type d’anomalie de fonctionnement de l’objet.
Ainsi, le procédé de détection ST_DT permet non seulement d’alerter d’un dysfonctionnement mais en plus du type de dysfonctionnement permettant à un utilisateur (notamment un utilisateur de l’objet O) ou à un dispositif superviseur DD de corriger, éventuellement, le dysfonctionnement de l’objet O.
En particulier, le diagnostic DG reçoit un ou plusieurs sons reconnus sp . - .srn, de l’objet O et utilise au moins un des sons reconnus pour déterminer l’état complexe de l’objet O. En particulier, le diagnostic DG utilisant plusieurs sons reconnus eh . .eGh d’un objet O pour déterminer un état complexe eç comporte une étape de fusion des sons reconnus SR_FU suivi d’une étape de modélisation SR_MD du signal sonore fusionné permettant de déterminer à partir d’une base de données d’états ST_BDD, l’état complexe ec correspondant au signal sonore fusionné sf.
Le son s émis par l’objet O est capté lors d’une capture de son S_CPT mise en oeuvre soit par un procédé externe au procédé de détection ST_DT, notamment un procédé de reconnaissance sonore S_RCG, soit par le procédé de détection ST_DT d’états complexes. Par un son est entendu non seulement les sons audibles par l’être humain mais aussi toutes autres vibrations perçues par un être vivant ou une machine donc aussi bien infrason, ultrason mais aussi vibration mécanique...
Le son capté sc est fourni à une reconnaissance sonore S_RCG apte à reconnaître des sons, c’est-à-dire à identifier le mouvement, le frottement, etc. de l’objet O à l’origine du son (fermeture de porte, pose de clé sur une table, bruit de moteur électrique, etc.). Cette reconnaissance de son S_RCG est mise en oeuvre soit par un procédé externe au procédé de détection ST_DT, notamment un procédé de reconnaissance sonore S_RCG, soit par le procédé de détection ST_DT d’états complexes. Eventuellement, la capture de son S_CPT et la reconnaissance sonore S_RCG sont mis en oeuvre par un même procédé de traitement de son qui est soit un procédé de traitement externe au procédé de détection ST_DT, soit un procédé de traitement mis en oeuvre par le procédé de détection ST_DT.
En particulier, une analyse du contexte CX_NZ (non illustré sur la figue 4) fournit au diagnostic DG déterminant un état complexe ec le contexte ex dans lequel le son sr a été reconnu. L’analyse du contexte CX_NZ est soit une analyse externe au procédé de détection ST_DT, soit une analyse mise en oeuvre par le procédé de détection ST_DT. L’analyse de contexte CX_NZ reçoit notamment des informations relatives t(s) au moment de la capture du son s par exemple d’un horodatage H (non illustré) de la capture du son S_CPT, des informations relatives g à la position de l’objet O lors de l’émission du son s capté, et d’autres informations relatives à l’environnement de l’objet O, en particulier des informations relatives à l’environnement sonore se de l’objet O lors de la capture du son s émis (fournit par la capture sonore S_CPT ou une autre capture SE_CPT relatives l’environnement E de l’objet O (non illustrée)) ou des informations relatives aux états précédents ep de l’objet O (états simples et/ou complexes ec).
En particulier, le procédé de détection ST_DT comporte une transmission EC_TR (non illustrée) apte à émettre, notamment l’état complexe diagnostiqué, à destination d’un dispositif tiers 7. La transmission EC_TR peut émettre soit l’état complexe détecté ec, soit un message comportant ou fonction de l’état complexe détecté mssg(ec), etc. Ainsi, le dispositif tiers DD peut mettre en œuvre un traitement en fonction de l’état complexe ec reçu ou simplement afficher/reproduire cette information à destination de l’utilisateur du dispositif tiers 7.
La figure 4 illustre un diagramme simplifié du procédé de surveillance d’objets selon l’invention. Un objet de l’invention est encore un procédé de surveillance d’objets OMNT comportant une reconnaissance S_RCG d’au moins un son s^ .s,, émis par un objet O et un diagnostic DG de l’état complexe ec de l’objet O en fonction d’au moins un son reconnu sr-! ...srn.
Le procédé de surveillance d’objets OMNT comporte une reconnaissance sonore S_RCG apte à reconnaître au moins un son s émis par un objet O et un diagnostic DG apte à déterminer l’état complexe ec de l’objet O en fonction d’au moins un son reconnu sr. Ainsi, le son reconnu sr permet au procédé de surveillance d’objets OMNT de déterminer l’état complexe ec d’un objet O, c’est-à-dire notamment un état de fonctionnement anormal de l’objet O ou un état de l’objet O qui n’est pas relatif à son fonctionnement : par exemple sa position sur une surface, dans un volume, l’identité de la personne ayant manipulé l’objet...
En particulier, l’état complexe ec de l’objet O est un état complexe parmi les suivantes : un état d’anomalie relative à l’objet, une position relative de l’objet, une identité du manipulateur de l’objet, etc. Ainsi, le procédé de surveillance d’objets OMNT permet d’alerter d’un dysfonctionnement de l’objet O même si l’objet O n’est pas intelligent, et/ou d’informer d’un paramètre passif relatif à un objet O même s’il n’est pas intelligent, voire même pour des objets O passifs: position dans un volume fermé ou ouvert (pièce, appartement, maison, jardin, etc.), identité du manipulateur, etc. Un paramètre passif est un paramètre différent d’un paramètre actif ou paramètre d’activité, c’est-à-dire d’un paramètre relatif au fonctionnement de l’objet O.
En particulier, l’état complexe ec d’anomalie est un type d’anomalie relative à l’objet. Ainsi, le procédé de surveillance d’objets OMNT permet non seulement d’alerter d’un dysfonctionnement mais en plus du type de dysfonctionnement permettant à un utilisateur (notamment un utilisateur de l’objet O) ou à un dispositif superviseur DD de corriger, éventuellement, le dysfonctionnement de l’objet O.
En particulier, le diagnostic DG est apte à déterminer un état complexe ec de l’objet O en fonction du contexte ex de reconnaissance du son s émis par l’objet O. Ainsi, pour le même son reconnu, l’état complexe diagnostiqué ec ne sera pas le même en fonction du contexte ex. Par exemple, dans le contexte ex d’un appareil O porte ouverte, un son s de l’appareil O correspondra à un état de fonctionnement normal (état simple), alors que dans un contexte ex de l’appareil O porte fermée, ce même son s sera diagnostiqué comme correspondant à un état d’anomalie(état complexe ec). En particulier, le procédé de surveillance d’objets OMNT comporte une étape de capture sonore S_CPT apte à capturer au moins un son émis s par l’objet O. Ainsi, les erreurs liées à la dégradation du son lors de la transmission entre la capture S_CPT et la reconnaissance sonore S_RCG sont supprimées.
En particulier, le diagnostic DG reçoit un ou plusieurs sons reconnus SR . - .srn, de l’objet O et utilise au moins un des sons reconnus pour déterminer l’état complexe de l’objet O.
En particulier, la reconnaissance sonore S_RCG comporte une étape de classement des sons captés S_CL suivi d’une étape de modélisation S_MD du son capté classé scc1...sccn permettant de déterminer à partir d’une base de données de sons SR_BDD, le son reconnu sp . - .srn correspondant au son capté classé scc1...sccn. En particulier, la reconnaissance sonore S_RCG s’effectue en fonction du contexte ex dans lequel le son s est émis et/ou capté. Ainsi, la reconnaissance sonore tient compte de l’environnement dans lequel le son est émis et/ou capté : tel que la position de l’oreille électronique 2 par rapport à l’objet 4 (orientation, éloignement, déplacement...), le type d’environnement (volume de la pièce, niveau sonore latent...), etc. Notamment, la reconnaissance sonore S_RCG filtre (non illustré) un bruit environnemental en fonction du contexte dans lequel le son s est émis et/ou capté. Par exemple, ce filtrage est apte à supprimer en totalité ou en partie le bruit lié à un déplacement de l’objet 4 et/ou de l’oreille électronique 2.
En particulier, le diagnostic DG comporte une étape de modélisation SR_MD du signal sonore reconnu permettant de déterminer à partir d’une base de données d’états ST_BDD, l’état complexe ec correspondant au signal sonore reconnu. Lorsque le diagnostic DG utilise plusieurs sons reconnus sp . - .srn d’un objet O pour déterminer un état complexe ec, le diagnostic DG comporte une étape de fusion des sons reconnus SR_FU suivi de l’étape de modélisation SR_MD du signal sonore fusionné permettant de déterminer à partir d’une base de données d’états ST_BDD, l’état complexe ec correspondant au signal sonore fusionné sf.
En particulier, le procédé de surveillance d’objets OMNT comporte une supervision d’objets OMGT (non illustré sur la figure 4) comportant au moins une étape de détermination TRT_DT d’au moins un traitement trt à exécuter en fonction de l’état complexe diagnostiqué ec. Ainsi, le procédé de surveillance d’objets OMNT permet, grâce à la supervision d’objets OMGT, non seulement de diagnostiquer un état complexe ec, notamment une anomalie, mais aussi de déclencher une action trt en fonction de cet état complexe : transmission EM d’un message mssg fonction de l’état complexe diagnostiqué, correction de l’anomalie diagnostiqué soit par un être humain soit par la supervision OMGT du procédé de surveillance d’objets OMNT (qui commande notamment soit l’objet O s’il est intelligent, soit un dispositif tiers DD), soit par un superviseur distant DD. En particulier, le procédé de surveillance d’objets OMNT comporte une émission EM apte à établir une communication sur commande cmd du procédé de supervision OMGT, lorsque le traitement à exécuter comporte une mise en relation avec un dispositif distant 7. L’étape d’émission EM peut notamment émettre soit l’état complexe détecté ec, soit un message comportant ou fonction de l’état complexe détecté mssg(ec), etc. Ainsi, le dispositif tiers DD peut mettre en oeuvre un traitement en fonction de l’état complexe ec reçu ou simplement afficher/reproduire cette information à destination de l’utilisateur du dispositif tiers DD. Le dispositif tiers DD peut être un simple écran d’affichage, un smartphone, un ordinateur de l’utilisateur de l’objet ou d’un utilisateur tiers (parent, technicien, etc.), un serveur ou dispositif de fourniture de service dans un réseau Internet, etc. Ainsi, le procédé de surveillance d’objets OMNT permet non seulement de diagnostiquer une anomalie mais aussi de déclencher sa pris en charge à distance : par un dispositif superviseur distant, un utilisateur, un technicien...
Notamment, le procédé de surveillance OMNT comporte un procédé de détection ST_DT complexes relatifs à un objet O mettant en oeuvre un diagnostic DG apte à déterminer un état complexe ec relatif à l’objet en fonction d’une reconnaissance S_RCG d’au moins un son s émis par l’objet O.
En outre, le procédé de surveillance d’objets OMNT comporte une communication ALT, EM de l’état complexe détecté ec à un dispositif tiers DD, notamment un superviseur d’objet non intelligent permettant de déclencher une intervention de l’utilisateur de l’objet, d’un technicien, ou un traitement d’un dispositif superviseur notamment pour transmettre un message fonction de l’état complexe à un dispositif de communication d’un utilisateur, d’un technicien et/ou corriger le dysfonctionnement lorsque l’état complexe est une anomalie de fonctionnement. En particulier, la communication ALT de l’état complexe ec diagnostiqué peut être effectuée par modification d’un indicateur prédéterminé (led...), par affichage d’un message sur un écran, par vocalisation d’un message au moyen de haut-parleurs, d’un dispositif mettant en oeuvre le procédé de surveillance OMNT, notamment d’une oreille électronique 2.
Le son s émis par l’objet O est capté lors d’une capture sonore S_CPT mise en oeuvre soit par un procédé externe au procédé de surveillance OMNT, soit par le procédé de surveillance OMNT. Par un son est entendu non seulement les sons audibles par l’être humain mais aussi toutes autres vibrations perçues par un être vivant ou une machine donc aussi bien infrason, ultrason mais aussi vibration mécanique... Le son capté sc est fourni à une reconnaissance sonore S_RCG apte à reconnaître des sons, c’est-à-dire à identifier le mouvement, le frottement, etc. de l’objet O à l’origine du son (fermeture de porte, pose de clé sur une table, bruit de moteur électrique, etc.). Eventuellement, la capture S_CPT et la reconnaissance sonore S_RCG sont mise en oeuvre par un même procédé de traitement de son (non illustré) qui est un procédé de traitement mis en œuvre par le procédé de surveillance OMNT. En particulier, une analyse de contexte CX_NZ fournit au diagnostic DG le contexte ex dans lequel le son sr a été reconnu. L’analyse de contexte CX_NZ est mise en oeuvre soit par un procédé d’analyse externe au procédé de surveillance OMNT, soit par le procédé de surveillance OMNT. L’analyse de contexte CX_NZ reçoit notamment des informations relatives t(s) au moment de la capture du son s par exemple d’une horloge ou un horodateur du capteur 10, 2010, des informations relatives g à la position de l’objet O lors de l’émission du son s capté, et d’autres informations relatives à l’environnement de l’objet O, en particulier des informations relatives à l’environnement sonore se de l’objet O lors de la capture du son s émis (fournit par le capteur 10, 2010 ou un d’autres capteurs présents dans l’environnement E de l’objet O) ou des informations relatives aux états précédents ep de l’objet O (états simples et/ou complexes ec). En particulier, l’analyse de contexte CX_NZ reçoit au moins un signal, notamment sonore, dit signaux environnementaux se, émis par l’environnement E de l’objet O et effectue une reconnaissance de ces signaux environnementaux SE_RCG. Ainsi, le contexte ex fournit au diagnostic DG par l’analyse de contexte CX_NZ comportera le signal reconnu ser. En particulier, lorsque l’analyse de contexte CX_NZ dispose de plusieurs signaux environnementaux reconnus ser ou non, tels que la position g de l’objet O, l’horodatage tj) du ième son capté émis par l’objet O, etc., l’analyse de contexte CX_NZ comporte notamment une étape de fusion E_FU fournissant le contexte ex.
La figure 5 illustre un diagramme simplifié du procédé de supervision d’objets selon l’invention. Un objet de l’invention est également un procédé de supervision d’objets OMGT comportant une détermination d’un traitement à exécuter TRT_DT en fonction de l’état complexe diagnostiqué ec en fonction d’une reconnaissance SRCG d’au moins un son s émis par l’objet O. La détermination du traitement à exécuter fournit soit un identifiant d’un traitement à exécuter trtjd, soit le traitement à exécuter trt, notamment sous la forme d’une suite d’étapes d’un procédé de traitement à mettre en œuvre ou d’instructions d’un programme exécutable notamment par un processeur.
En particulier, le procédé de supervision comporte une génération GN d’un traitement en fonction de l’état complexe diagnostiqué ec de l’objet O.
En particulier, le procédé de supervision OMGT comporte un déclenchement de l’exécution du traitement déterminé TRT_X.
La génération du traitement GN est soit mise en oeuvre par la détermination du traitement TRT_DT (non illustré), soit suite à la détermination de traitement TRT_DT, soit par le déclenchement d’exécution d’un traitement TRT_X (illustré par la figure 5). Notamment, la détermination de traitement commande la génération GN d’un traitement spécifique notamment en fournissant l’identifiant du traitement à générer trtjd. En particulier, le procédé de supervision OMGT vérifie I ? si le traitement est à exécuter par le procédé de supervision. Si tel est le cas [Y], le procédé de supervision comporte une étape d’exécution du traitement déterminé trt (notamment généré GN ou récupéré (non illustré) dans une base de données de traitements (non illustrée) par le procédé de supervision OMGT ou la détermination de traitement TRT_DT...). La vérification I ? déclenche x_trg l’exécution XI du traitement trt par le procédé de supervision OMGT, notamment par l’oreille électronique 2 mettant en oeuvre le procédé de supervision OMGT. Eventuellement, sinon [N], le procédé de supervision comporte une étape d’émission du déclenchement de l’exécution du traitement déterminé trt (notamment généré GN ou récupéré (non illustré) dans une base de données de traitements (non illustrée) par le procédé de supervision OMGT ou la détermination de traitement TRT_DT...). La vérification I ? déclenche em_trg l’émission EM, par le procédé de supervision OMGT, d’une commande, d’un message comportant soit l’identifiant du traitement déterminé, soit le traitement trt déterminé, soit une adresse de récupération du traitement déterminé, à destination soit d’un dispositif distant DD.
Dans un mode de réalisation particulier, le procédé de supervision OMGT est mis en oeuvre par l’oreille électronique 2 mettant en oeuvre le diagnostic DG d’état complexe ec de l’objet O. Dans ce cas, le procédé de surveillance OMGT peut aussi comporter le diagnostic DG, et éventuellement la reconnaissance sonore S_RCG et/ou l’analyse de contexte CX_NZ, tels que décrit en relation avec les figures 3 ou 4.
Dans un mode de réalisation particulier, le procédé de supervision OMGT est mis en oeuvre par un dispositif tiers distinct de l’oreille électronique 2, notamment un smartphone, une tablette, un ordinateur ou un superviseur de détecteurs d’états complexes 20 et/ou d’oreilles électroniques 2 d’objets O. Le détecteur d’états complexes 20 met en oeuvre le procédé de détection ST_DT décrit par la figure 3 ou l’oreille électronique 2 met en oeuvre le procédé de surveillance OMNT décrit par la figure 4 qui dialogue avec le procédé de supervision à qui il (le procédé de détection ST_DT ou le procédé de surveillance OMNT) fournit l’état complexe diagnostiqué ec.
Un mode de réalisation particulier d’au moins un procédé selon l'invention : procédé de détection ST_DT, et/ou procédé de surveillance OMNT, et/ou procédé de supervision OMGT, est un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de détection d’anomalies et/ou du procédé de surveillance d’objets et/ou du procédé de supervision lorsque ledit programme est exécuté par un processeur.
D’un côté des solutions se développent pour exploiter la vision (l’image, la vidéo) et reconnaître des objets dans ces contenus visuels. D’un autre côté, beaucoup de solutions existent pour reconnaître des sons, mais plutôt dans le cadre des médias (reconnaissance d’une musique, reconnaissance d’un Jingle) d’incidents (bris de glace, alarmes incendie) ou des paroles (technologies de « speech to text », de « wake-up words » en anglais). Peu de solutions basées sur le son permettent d’identifier des objets, leur état ou les évènements associés à ces objets, techniquement on doit passer par des solutions basées vision (caméras). Les seuls solutions qui apparaissent sont hyper spécialisés, se limitent à des évènements sonores longs et plutôt liés à la sécurité (de l’habitat), non pas la détection d’un objet et de son état. Donc actuellement, si je ne veux pas utiliser de système de captation visuelle, je ne peux pas détecter un objet (encore moins s’il n’est pas connecté), ni son état. De plus, si un utilisateur veut connaître l’état spécifique d’un objet manufacturé ayant un moteur, il doit soit l’emmener chez un spécialiste, soit faire venir un spécialiste. Même s’il s’aperçoit que le son émis est différents du son habituel, il n’a pas d’aide à la compréhension de cette évolution. L’invention propose, notamment pour répondre à ce manque, un détecteur d’états complexes d’objets comportant un analyseur apte à déterminer un état complexe relatif à l’objet en fonction d’une reconnaissance d’au moins un son émis par l’objet.
Les figures 6a et 6b illustrent des schémas d’un cas d’usage de l’invention : respectivement un détecteur ou une oreille électronique fixable sur un objet, ledit détecteur ou oreille positionné sur un frigo constituant l’objet. Le détecteur 20 ou l’oreille électronique 2 comporte au moins un capteur 210 notamment constitué d’un microphone, notamment directionnel afin de limiter la capture de son ne provenant pas de l’objet et constituant donc un bruit.
En particulier, le détecteur 20 ou l’oreille électronique 2 comporte des fixateurs, tels que des aimants 28a permettant une fixation de l’oreille électronique 2 sur un objet 4 comportant au moins une surface externe métallique ; des ventouses 28b permettant une fixation sur un objet ayant une surface externe plane non métallique...
En particulier, le détecteur 20 ou l’oreille électronique 2 comporte au moins un voyant Iumineux27, tel qu’une LED, permettant d’afficher un état complexe ec prédéterminé notamment un voyant lumineux donné correspondant à un état complexe prédéterminé (l’allumage du voyant signifiant que l’objet est alors dans l’état complexe correspondant) ou un voyant lumineux pouvant prendre plusieurs couleurs : une couleur du voyant est associée à un état complexe prédéterminé, etc.
En particulier, le détecteur 20 ou l’oreille électronique 2 comporte au moins une prise 29, notamment une prise d’alimentation et/ou une prise permettant de connecter un câble pour une liaison de données vers un smartphone, une tablette...
Eventuellement, le détecteur 20 ou l’oreille électronique 2 comporte un bouton d’activation (ou bouton marche/arrêt) permettant de gérer la consommation d’énergie du détecteur 20 ou de l’oreille électronique 2 et aussi de limiter les périodes de temps durant lesquels le diagnostic d’états complexes est effectué (pas de diagnostic de nuit ou pour certains objets lorsque l’utilisateur n’est pas dans la pièce ou l’habitation ou se trouve l’objet...). Grâce aux aimants 28a et/ou à la ventouse 28b, le détecteur 20 ou l’oreille électronique 20 est positionné sur l’objet 4, dans notre exemple le frigo. Cela permet notamment de consacrer le diagnostic mis en œuvre par l’oreille électronique 2 aux états complexes de cet objet 4 : le frigo.
L’oreille électronique 2 illustrée par les figures 6a et 6b positionnable sur l’objet 4 est aussi nommé « patch oreille » ou « patch oreille d’or » en référence aux sous-mariniers détectant des entités immergés en fonction du son que produit leur déplacement dans l’eau. C’est une solution qui vise à aider l’utilisateur à identifier et avoir un niveau de clarification d’un fonctionnement « anormal » ou différent d’un état « normal » d’un objet 4.
L’oreille électronique 2 se compose, par exemple, d’un objet physique (le patch) qui va faire des mesures (captés les sons, éventuellement les reconnaître) et d’un algorithme qui va analyser ces mesures pour en calculer une probabilité de déviance à un modèle d’état « normal » (ou de rapprochement à un autre état) : c’est-à-dire un algorithme de diagnostic des états complexes. Le patch comporte notamment un capteur, tel qu’un microphone 210, qui capte et/ou enregistre les sons et les vibrations de l’appareil 4 (l’analyse des vibrations peuvent permettre de soit identifier ces vibrations comme contexte [ex. le son lorsque la porte de l’objet se ferme] ou comme l’élément à analyser [qui est un input comme le son audible]). Les informations issu des sons, vibrations captés sont comparées à des modèles et permettent ainsi d’identifier le bon fonctionnement ou le risque de mauvais fonctionnement de l’objet lors d’un diagnostic. Ces modèles peuvent éventuellement prendre en compte le contexte, notamment l’heure et le jour des événements sonores/vibrations. Eventuellement, un utilisateur peut positionner l’oreille électronique 2 sur un premier objet O dont il souhaite vérifier l’état complexe, en l’occurrence le frigo. L’oreille électronique 2 détectant un état complexe d’anomalie pourra éventuellement indiquer une anomalie grâce au voyant, ou envoyer un message vers un terminal de communication de l’utilisateur avec un identifiant de l’anomalie, ou déclencher une recherche de la page du manuel d’utilisation de l’objet relative à l’anomalie détectée pour l’envoyer à et/ou l’afficher sur un terminal de communication de l’utilisateur (tablette, smartphone, télévision...), ou déclencher une mise en relation avec une plateforme d’assistance (assistance humaine et/ou intelligence artificielle) spécifique à l’anomalie (ainsi l’utilisateur ne perd pas de temps à expliquer le problème), ou déclencher une commande des pièces à changer en fonction de l’anomalie détectée et/ou une prise de rendez-vous avec un technicien. Une fois, que l’utilisateur à terminer la prise en charge du frigo, il peut soit éteindre l’oreille électronique jusqu’à une prochaine utilisation.
En particulier, l’oreille électronique 2 n’est pas dédiée à un objet spécifique (en l’occurrence le frigo) car ses analyseurs (premier et/ou deuxième) lui permettent de détecter des états complexes de plusieurs objets distincts. Ainsi, l’utilisateur ayant terminé la prise en charge du frigo peut positionner à un autre moment (c’est-à-dire immédiatement ou ultérieurement) l’oreille électronique 2 sur un autre appareil (non illustré) à prendre en charge.
La figure 6c illustre un détecteur ou une oreille électronique multi-objets. L’oreille électronique 2 est en l’occurrence placé dans une pièce (par exemple sur un table) pour diagnostiquer les états complexes de plusieurs objets : la table 04, la table de cuisson 02, le four 03, l’aspirateur 01 ... qui émettent des sons : respectivement les sons s4, s2, s3, s1 1 et s12. Ainsi, l’oreille électronique 2 illustré par la figure 6c ne va pas auditer les objets sur lequel il est posé, mais détecter les objets 01 , 02, 03... dans son environnement et/ou un objet 05 qui viennent en interaction de l’objet 04 sur lequel le patch est présent.
Dans le cas où l’oreille électronique 2 détecte l’interaction d’un objet 05 avec l’objet 04 sur lequel elle est présente, elle est aussi nommée patch table - Oreille d’or ou oreille électronique de table. Elle répond alors à des problématiques différentes, selon les modèles de référence que l’on exploite :
l’audit d’objet 05 posé ou en interaction avec l’objet/surface 04 sur lequel est déposé le patch 2. Typiquement lorsque l’objet à auditer ne peut pas venir se faire déposer un patch (exemple d’une matière non solide : les fluides ; exemple d’objets petits ou de design trop complexes : jouets, pièces mécaniques, etc. ; exemple d’objets mobiles sur une surface).
Détecter des objets 05 ou des évènements concernant des objets sans utiliser de technologies de vision (caméra)
Tout comme l’oreille électronique 2 des figures 6a et 6b, l’oreille électronique 2 de la figure 6c comporte notamment un dispositif physique et met en oeuvre d’un algorithme de détection d’états complexes. Le dispositif physique comporte notamment un capteur de signaux audio et/ou des vibrations, et/ou à horodater, c’est-à-dire y associé au signal capté une information d’horodatage (« timestamp » en anglais tel que (heure/min et jour)). L’oreille électronique permet d’identifier les objets 05 posés ou déplacés sur le meuble ou la surface 04 (exemple d’une table, d’un vide poche, d’une table de chevet, d’un sol en parquet). Ainsi, l’oreille électronique 2 peut reconnaître l’arrivée d’un nouvel objet (dépose de trousseau de clés sur une table, dépose de courriers sur une table, dépose d’une assiette sur une table etc.) ou un événement d’un objet (trousseau de clés que l’on reprend, pile de courriers que l’on déplace, etc.).
Dans le cas où l’oreille électronique 2 détecte les objets 01 , 02, 03 à sa portée d’écoute, elle est aussi nommé patch distant - Oreille d’or ou oreille électronique distante. Cette oreille électronique 2 est un patch « Oreille d’or » tel qu’illustré sur les figures 6a et 6b mais non positionné sur un objet écouté 01 , 02, 03. L’oreille électronique 2 capte les signaux audio et/ou vibrations, et/ou détermine l’horodatage des signaux captés(heure/min et jour). Elle permet d’identifier les objets 01 , 02, 03 à sa portée d’écoute (bruit d’un frigo, bruit de l’alarme d’une machine à laver, bip d’une plaque de cuisson 02, etc.). Elle permet de détecter les événements de ces objets (plaque de cuisson allumée 02, machine à laver qui a terminé son cycle, etc.) ou l’état d’un objet (Frigo qui se met à ronronner, adaptateur secteur qui commence à faire du bruit, etc.).
Cette oreille électronique 2 distante est soit un objet autonome, soit une fonctionnalité d’un objet existant (par exemple une enceinte intelligente comme Orange Djingo, Google Home (marques déposées), etc.) soit un logiciel sur un appareil de type ordinateur ou smartphone. Elle peut ainsi être embarqué dans une enceinte connectée ou sur un plafonnier (par exemple : luminaires ou détecteur de fumées, etc.).
La même oreille électronique 2 peut aussi avoir les deux fonctions d’oreille électronique distante et/ou d’oreille électronique de table.
Dans le cas de l’oreille électronique distante, son embarquement dans un autre appareil notamment un appareil nomade tel qu’un smartphone, une enceinte connectée... avait été envisagée. Ainsi l’oreille électronique peut être mobile, c’est-à-dire écouter et diagnostiquer les états complexes d’au moins un objet alors que l’oreille électronique se déplace. Cette oreille électronique mobile aussi nommée « mobile oreille d’or » permet ainsi de déplacer un « patch distant oreille d’or » tel qu’illustré sur la figure 6c sur une zone « d’écoute » (d’observation). Il peut écouter lors de son déplacement ou lorsqu’il est en immobile. Ce sont deux modes d’écoutes qui sont différents, l’écoute en déplacement ne pourra pas détecter les mêmes types d’information que lorsqu’il est statique, à cause du bruit lié au déplacement. Notamment, l’oreille électronique mobile comporte un premier analyseur spécifique à l’écoute de certains modèles de son/bruit adaptés au mode d’écoute notamment en déplacement. Par exemple, le premier analyseur d’une oreille électronique mobile comportera un filtre (de la totalité ou d’une partie) du bruit lié au déplacement de l’oreille électronique. Le déplacement de l’oreille électronique peut se faire sur Terre (roues, chenilles), dans l’air (drone), sur câble, sur l’eau (flotteur, dériveur, bateau, etc.). Il sera soit autonome (selon un plan préétabli, selon un algorithme de déplacement autonome), soit guidé à distance (que le mobile Oreille d’Or soit en ligne de mire du pilote, ou à distance via un système de télé communication), soit guidé par un système mécanique (exemple du câble), soit non guidé (dérive sur un plan d’eau)
L'invention vise aussi un support. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.
D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau notamment de type Internet.
Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Dans une autre implémentation, l'invention est mise en oeuvre au moyen de composants logiciels et/ou matériels. Dans cette optique le terme module peut correspondre aussi bien à un composant logiciel ou à un composant matériel. Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en oeuvre une fonction ou un ensemble de fonction selon la description ci-dessus. Un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en oeuvre une fonction ou un ensemble de fonctions.

Claims

REVENDICATIONS
1. Détecteur d’états complexes d’objets comportant un analyseur apte à déterminer un état complexe relatif à l’objet en fonction d’une reconnaissance d’au moins un son émis par l’objet.
2. Détecteur d’états complexes selon la revendication précédente, caractérisé en ce que l’état complexe de l’objet est un état complexe parmi les suivants : un état d’anomalie de fonctionnement de l’objet, une position relative de l’objet, une identité du manipulateur de l’objet.
3. Détecteur d’états complexes selon l’une quelconque des revendications précédentes, caractérisé en ce que l’analyseur est apte à déterminer un état complexe de l’objet en fonction du contexte de reconnaissance du son émis par l’objet.
4. Détecteur d’états complexes selon l’une quelconque des revendications précédentes, caractérisée en ce que l’état complexe d’anomalie est un type d’anomalie de fonctionnement de l’objet.
5. Détecteur d’états complexes selon l’une quelconque des revendications précédentes, caractérisée en ce que le détecteur est un détecteur connecté.
6. Oreille électronique comportant un premier analyseur apte à reconnaître au moins un son émis par un objet et un deuxième analyseur apte à diagnostiquer un état complexe de l’objet en fonction du au moins un son reconnu.
7. Oreille électronique selon la revendication 6, caractérisée en ce que l’oreille électronique comporte un capteur sonore apte à capturer au moins un son émis par l’objet.
8. Oreille électronique selon l’une quelconque des revendications 6 ou 7, caractérisée en ce que l’oreille électronique comporte un superviseur d’objets apte à déterminer au moins un traitement à exécuter en fonction de l’état complexe diagnostiqué.
9. Oreille électronique selon l’une quelconque des revendications 6 à 8, caractérisée en ce que l’oreille électronique comporte une interface de communication apte à établir une communication sur commande du superviseur, lorsque le traitement à exécuter comporte une mise en relation avec un dispositif distant.
10. Oreille électronique selon la revendication précédente caractérisé en ce que, lorsque l’oreille électronique comporte des fixateurs et est destiné à être fixé sur l’objet émettant le son reconnu, le capteur est positionné dans la partie de l’oreille électronique proche des fixateurs et/ou orienté dans l’oreille électronique vers le plan formé par les fixateurs.
11 . Procédé de détection d’états complexes relatifs à un objet comportant un diagnostic déterminant un état complexe relatif à l’objet en fonction d’une reconnaissance d’au moins un son émis par l’objet.
12. Procédé de surveillance d’objets comportant une reconnaissance d’au moins un son émis par un objet et un diagnostic de l’état complexe de l’objet en fonction d’au moins un son reconnu.
13. Procédé de supervision d’objets comportant une détermination d’un traitement à exécuter en fonction de l’état complexe diagnostiqué en fonction d’une reconnaissance d’au moins un son émis par l’objet.
14. Procédé de supervision d’objets selon la revendication précédente, caractérisé en ce que le procédé de supervision comporte un déclenchement de l’exécution du traitement déterminé.
15. Programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de détection d’anomalies selon la revendication 1 1 et/ou du procédé de surveillance d’objets selon la revendication 12 et/ou du procédé de supervision selon l’une quelconque des revendications 13 ou 14 lorsque ledit programme est exécuté par un processeur.
PCT/FR2019/050975 2018-04-26 2019-04-25 Détecteur d'état complexe d'un objet, oreille électronique et procédé de détection WO2019207254A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/049,904 US20210239576A1 (en) 2018-04-26 2019-04-25 Detector for detecting a complex state of an object, electronic ear and detecting method
EP19733841.1A EP3785404A1 (fr) 2018-04-26 2019-04-25 Détecteur d'état complexe d'un objet, oreille électronique et procédé de détection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1853673A FR3080726A1 (fr) 2018-04-26 2018-04-26 Detecteur d'etat complexe d'un objet, oreille electronique et procede de detection
FR1853673 2018-04-26

Publications (1)

Publication Number Publication Date
WO2019207254A1 true WO2019207254A1 (fr) 2019-10-31

Family

ID=63637958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/050975 WO2019207254A1 (fr) 2018-04-26 2019-04-25 Détecteur d'état complexe d'un objet, oreille électronique et procédé de détection

Country Status (4)

Country Link
US (1) US20210239576A1 (fr)
EP (1) EP3785404A1 (fr)
FR (1) FR3080726A1 (fr)
WO (1) WO2019207254A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3141244A1 (fr) * 2022-10-19 2024-04-26 Orange Détecteur et procédé de détection de dysfonctionnement, et superviseur et procédé de supervision d’équipements

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584433A (zh) * 2004-06-04 2005-02-23 广东科龙电器股份有限公司 基于神经网络的空调器噪声源识别方法
EP2648393A1 (fr) * 2012-04-04 2013-10-09 Samsung Electronics Co., Ltd Système, procédé et appareil permettant de réaliser un diagnostic de défaillance pour appareil électronique
US20160157034A1 (en) * 2014-12-02 2016-06-02 Air China Limited Testing equipment of onboard air conditioning system and a method of testing the same
EP3046033A1 (fr) * 2013-09-12 2016-07-20 Panasonic Intellectual Property Corporation of America Procédé de communication d'informations
US20180046156A1 (en) * 2016-08-10 2018-02-15 Whirlpool Corporation Apparatus and method for controlling the noise level of appliances

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693548B2 (en) * 2001-08-08 2004-02-17 Sikorsky Aircraft Corporation Structural monitoring system for helicopter rotor components
WO2003015456A2 (fr) * 2001-08-10 2003-02-20 Seti Média Inc. Systeme et procede de surveillance de la pollution sonore
US7891246B2 (en) * 2002-11-12 2011-02-22 Itron, Inc. Tracking vibrations in a pipeline network
GB0411447D0 (en) * 2004-05-21 2004-06-23 Navitas Uk Ltd Valve monitoring system
US8626459B2 (en) * 2008-09-25 2014-01-07 The Regents Of The University Of California Defect detection in objects using statistical approaches
KR101655214B1 (ko) * 2014-10-02 2016-09-07 현대자동차 주식회사 프레스 판넬의 결함 검출 장치 및 그 방법
DE102017100956B4 (de) * 2017-01-18 2022-08-25 Samson Aktiengesellschaft Diagnosesystem und Verfahren zum Kontrollieren der Funktionsfähigkeit eines Stellgeräts zum Beeinflussen einer Prozessmediumströmung einer prozesstechnischen Anlage sowie Stellgerät
EP3940288A1 (fr) * 2020-06-25 2022-01-19 Romet Limited Procédé et système de surveillance d'un ensemble de compteurs à l'aide d'un capteur

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584433A (zh) * 2004-06-04 2005-02-23 广东科龙电器股份有限公司 基于神经网络的空调器噪声源识别方法
EP2648393A1 (fr) * 2012-04-04 2013-10-09 Samsung Electronics Co., Ltd Système, procédé et appareil permettant de réaliser un diagnostic de défaillance pour appareil électronique
EP3046033A1 (fr) * 2013-09-12 2016-07-20 Panasonic Intellectual Property Corporation of America Procédé de communication d'informations
US20160157034A1 (en) * 2014-12-02 2016-06-02 Air China Limited Testing equipment of onboard air conditioning system and a method of testing the same
US20180046156A1 (en) * 2016-08-10 2018-02-15 Whirlpool Corporation Apparatus and method for controlling the noise level of appliances

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3141244A1 (fr) * 2022-10-19 2024-04-26 Orange Détecteur et procédé de détection de dysfonctionnement, et superviseur et procédé de supervision d’équipements

Also Published As

Publication number Publication date
EP3785404A1 (fr) 2021-03-03
US20210239576A1 (en) 2021-08-05
FR3080726A1 (fr) 2019-11-01

Similar Documents

Publication Publication Date Title
EP3583485B1 (fr) Ordinateur d'assistant intelligent d'identification humaine avec une efficacité computationelle
US10832672B2 (en) Smart speaker system with cognitive sound analysis and response
US10976337B2 (en) Context awareness of a smart device through sensing transient and continuous events
US10832673B2 (en) Smart speaker device with cognitive sound analysis and response
US20180232571A1 (en) Intelligent assistant device communicating non-verbal cues
CN110719553B (zh) 具有认知声音分析和响应的智能扬声器系统
EP2353153A1 (fr) Système de suivi de présence de personnes dans un bâtiment, procédé et produit-programme d'ordinateur
EP2076894A1 (fr) Procedes et systeme pour la detection de situations anormales d'une personne dans un lieu de vie
KR20180010581A (ko) 감시 데이터 제공 시스템 및 방법
US11521626B2 (en) Device, system and method for identifying a scene based on an ordered sequence of sounds captured in an environment
WO2019207254A1 (fr) Détecteur d'état complexe d'un objet, oreille électronique et procédé de détection
CA3015178C (fr) Outil d'identification de survenance d'un incident aigu symptomatique d'un probleme de sante mentale ou d'un trouve mental
US11854367B1 (en) Detecting events based on the rhythm and flow of a property
US12014611B1 (en) Temporal motion zones for audio/video recording devices
EP3848916B1 (fr) Dispositif de détection d'un comportement à risque d'au moins une personne, procédé de détection et réseau de détection associés
US20240071055A1 (en) Audiovisual Detection of Expectation Violations in Disparate Home Automation Systems
EP3846503A1 (fr) Procédé et système d'émission prédictive et automatique d'un signal domotique
EP3776537A1 (fr) Dispositif d'assistant intelligent communiquant des repères non verbaux
FR3085525A1 (fr) Surveillance des personnes avec prise en compte des visites
WO2023037079A1 (fr) Dispositif de détermination adaptative d'actions sur un objet par analyse progressive des contraintes qu'elles génèrent
Asghar et al. Skystrm: An Activity Monitoring System to Support Elderly Independence Through Smart Care Homes
FR3085524A1 (fr) Procede d'apprentissage du mode de vie d'une personne et detection d'anomalies
US20210210203A1 (en) Notification alert adjustment
Soares et al. Graph-based approach for interference free integration of pervasive applications
FR3141244A1 (fr) Détecteur et procédé de détection de dysfonctionnement, et superviseur et procédé de supervision d’équipements

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19733841

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019733841

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019733841

Country of ref document: EP

Effective date: 20201126