WO2020255480A1 - 作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋 - Google Patents

作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋 Download PDF

Info

Publication number
WO2020255480A1
WO2020255480A1 PCT/JP2020/005504 JP2020005504W WO2020255480A1 WO 2020255480 A1 WO2020255480 A1 WO 2020255480A1 JP 2020005504 W JP2020005504 W JP 2020005504W WO 2020255480 A1 WO2020255480 A1 WO 2020255480A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
signal
pressure
sound
detection
Prior art date
Application number
PCT/JP2020/005504
Other languages
English (en)
French (fr)
Inventor
哲也 石丸
広行 吉元
義博 脇坂
杉井　信之
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN202080024412.2A priority Critical patent/CN113631901B/zh
Priority to US17/435,894 priority patent/US11900777B2/en
Publication of WO2020255480A1 publication Critical patent/WO2020255480A1/ja
Priority to US18/520,323 priority patent/US20240169816A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D13/00—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D13/00—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches
    • A41D13/05—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches protecting only a particular body part
    • A41D13/08—Arm or hand
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D19/00—Gloves
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D19/00—Gloves
    • A41D19/015—Protective gloves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/20—Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G01L5/228—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R43/00—Apparatus or processes specially adapted for manufacturing, assembling, maintaining, or repairing of line connectors or current collectors or for joining electric conductors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/023—Transducers incorporated in garment, rucksacks or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • the present invention relates to a technique for detecting and determining a work content.
  • Patent Document 1 describes a device in which a microphone and an acceleration sensor are attached to the hands of a fitting operator, and the fitting state of the connector is determined using sound information obtained from the microphone and acceleration information obtained from the acceleration sensor. Is disclosed. By using both the sound information and the acceleration information, it becomes easy to determine the fitting in the work site where many similar sounds exist.
  • the present invention was devised in view of the above-mentioned problems, and an object of the present invention is to detect the work contents of an operator with high accuracy.
  • a preferred aspect of the present invention is a microphone that is worn by the operator's hand and detects the work sound of the hand movement that the hand acts on the work object through contact with the work object of the hand, and detects the pressure of the work of the hand movement.
  • a glove having a pressure sensor, a motion sensor for detecting the movement of the hand, a transmitter for transmitting a sound signal of a microphone, a pressure signal of the pressure sensor, and a motion signal of the motion sensor, and transmitting from the transmitter.
  • a receiver that receives the sound signal, pressure signal, and motion signal, a work determination unit that detects and determines the work content of the operator using the sound signal, pressure signal, and motion signal, and a work determination unit. It is a work detection determination system having a notification unit for notifying a determination result.
  • Another preferred aspect of the present invention is a wearable sensor built-in glove that is worn by the operator's hand and observes the hand movement that the hand acts on the work object through contact with the work object, and the work of the work object.
  • a microphone that detects sound
  • a pressure sensor that detects the work pressure of hand movements
  • a motion sensor that detects hand movements
  • wireless transmission for wirelessly transmitting signals from the microphone, pressure sensor, and motion sensor.
  • the microphone, pressure sensor, and motion sensor do not prevent a single physical configuration from serving as multiple types of microphones or sensors.
  • the sound signal, the pressure signal, and the motion signal one signal serves as a plurality of signals.
  • Another preferred aspect of the present invention is the sound signal from the microphone that detects the work sound, the pressure signal from the pressure sensor that detects the work pressure of the hand movement, and the pressure, which are wirelessly transmitted from the wireless transmitter.
  • a receiver that receives at least one of the slip signal detected from the sensor and the acceleration signal from the acceleration sensor that detects the acceleration of the hand movement, and at least the sound signal, the pressure signal, and the slip signal and the acceleration signal. It is a work content detection determination device characterized by having a work determination unit that determines the work content of an operator from one signal.
  • the work content of the worker can be detected with high accuracy.
  • Notations such as “first”, “second”, and “third” in the present specification and the like are attached to identify the components, and do not necessarily limit the number, order, or contents thereof. is not.
  • numbers for identifying components are used for each context, and numbers used in one context do not always indicate the same composition in other contexts. Further, it does not prevent the component identified by a certain number from having the function of the component identified by another number.
  • the work detection determination system described in the following embodiment includes a microphone that is worn on the worker's hand and detects as a sound signal the work sound of the hand movement that the hand works on the work target through contact with the work target.
  • Use gloves that have a motion sensor that detects hand movements as motion signals, a pressure sensor that detects the work pressure of hand motions as pressure signals, and a transmitter for transmitting sensing information from these sensors. ..
  • the movement of the hand means the displacement or deformation of the hand, or the information based on them.
  • Hand movements are indirectly detected by motion sensors installed on the gloves.
  • the motion sensor for example, an acceleration sensor is used.
  • the acceleration sensor a known MEMS (Micro Electro Mechanical Systems) can be used.
  • the pressure sensor is also used as the motion sensor, and the slip signal is detected based on the pressure signal of the pressure sensor.
  • the slip signal is a signal for detecting the relative displacement between the surface of the hand and the surface of the work target.
  • the motion sensor may be one that optically detects the movement of the hand by using a reflection marker and a light source installed on the surface of the glove.
  • the system uses sound signals, pressure signals, and motion signals to detect and determine the work content of the operator.
  • a predetermined work sound detection timing based on a sound signal for example, a predetermined pressure detection timing based on a pressure signal, and a predetermined motion detection timing based on a motion signal are used, and the context of these timings is used. Judgment is made based on.
  • a predetermined work sound based on the sound signal is detected, for example, at the timing of the maximum amplitude of the sound signal.
  • the motion signal is an acceleration signal
  • the predetermined motion based on the motion signal is detected, for example, at a timing equal to or higher than a predetermined threshold value or when the maximum value of the acceleration is obtained.
  • the motion signal is a slip signal
  • a signal deemed to be slip above a predetermined value is obtained.
  • the detection of a predetermined pressure based on the pressure signal is performed at a timing when the predetermined threshold value is exceeded.
  • FIG. 1 shows a configuration diagram of the work content detection determination system 100 of the first embodiment.
  • the work content detection / determination system 100 includes a wearable sensor 101 worn by an operator and a work content detection / determination computer 102 that processes data collected by the wearable sensor.
  • the wearable sensor 101 includes a microphone 103, a pressure sensor 104 (which also serves as a slip sensor), and a wireless transmitter 105.
  • the wearable sensor 101 is attached to the hand while the worker is working, the sound data during work is collected by the microphone 103, and the pressure data during work is collected by the pressure sensor 104, and these data are transmitted wirelessly.
  • the unit 105 wirelessly transmits. Note that wired transmission may be used instead of wireless transmission.
  • the work content detection determination computer 102 includes a wireless reception unit 106, a work determination unit 107, and a notification unit 108.
  • the sound data and pressure data wirelessly sent from the wearable sensor 101 are received by the wireless receiving unit 106, and the received data is subjected to detection determination processing by the work determination unit 107 to determine the fitting state, and the determination result. Is transmitted to the operator by the notification unit 108.
  • the notification unit 108 may display only visual information, and is a combination of auditory and tactile information such as sound and vibration. You may.
  • the notification unit 108 may be configured as a feedback unit that conveys information from the work determination unit 107 to the operator or the work manager as visual, auditory, and tactile information. By communicating the judgment result to the worker in real time, the worker can immediately redo or correct the work on the spot.
  • the work content detection determination computer 102 can also be configured by, for example, a personal computer or a portable information terminal provided with a well-known input device, output device, processing device, and storage device. In that case, functions such as calculation and control are realized in cooperation with other hardware by executing the program stored in the storage device by the processing device.
  • a program executed by a computer or the like, its function, or a means for realizing the function may be referred to as a "function", a "means”, a "part”, a "unit”, a “module”, or the like.
  • the same functions as those configured by software can be realized by hardware such as FPGA (Field Programmable Gate Array) and ASIC (Application Specific Integrated Circuit).
  • FIG. 2 shows an external view of the wearable sensor 101.
  • the wearable sensor 101 viewed from the inside, that is, the palm side, is shown on the left, and the wearable sensor 101, which is viewed from the outside, that is, the back side of the hand, is shown on the right.
  • the wearable sensor 101 is a glove type.
  • the wearable sensor 101 of FIG. 2 has five fingers, but at least a finger having a microphone or a pressure sensor, such as two fingers of the thumb and the index finger, may be provided.
  • the wearable sensor 101 may be worn directly on the hand or on work gloves.
  • the wearable sensor 101 wirelessly connects the thumb microphone 103A to the thumb on the back of the hand, the wrist microphone 103B to the wrist on the back of the hand, the thumb pressure sensor 104A to the thumb on the palm, the index finger pressure sensor 104B to the index finger on the palm, and the back of the hand.
  • It includes a transmitter 105A.
  • the microphones 103A and 103B and the pressure sensors 104A and 104B are connected to the wireless transmitter 105A by a conductive thread or a conducting wire.
  • the wireless transmission unit 105A transmits data by wireless communication, but may transmit data by wire in some cases.
  • the wearable sensor 101 of FIG. 2 is equipped with two microphones.
  • the number of microphones may be one or more, and if it is two or more, the direction of the sound source can be known, and it becomes possible to distinguish whether or not the sound is a fingertip sound, which is more desirable.
  • the larger the number of microphones the easier it is to improve the detection accuracy, but the number of wireless transmission channels and the amount of data processing increase, and the cost increases accordingly.
  • the number of microphones is two or more, one is placed near the position where the sound to be detected is generated, and the other is placed far from the position where the sound to be detected is generated. By doing so, the ratio and time difference of the loudness of the sound to be detected captured by the two microphones becomes larger, and it becomes easier to distinguish the sound to be detected.
  • the microphone may be arranged at a position where the sound to be detected is not blocked during work. When detecting the mating sound, it is desirable to place two microphones on the thumb and wrist.
  • the wearable sensor 101 of FIG. 2 is provided with two pressure sensors.
  • the pressure sensor is attached to the position where pressure is applied in the work to be detected. It does not necessarily have to be a finger, but may be a palm. The number may be one or more, but the larger the number, the more data can be used for detection and the higher the detection accuracy.
  • one of the pressure sensors may be attached to a position where pressure is not applied in the target work, but pressure is applied in the work where false detection is likely to occur.
  • it is desirable to attach a pressure sensor to the thumb and index finger because the connector is held by the thumb and index finger for fitting.
  • As the pressure sensor a sheet-like one made of rubber or cloth containing conductive particles is used. The area should sufficiently cover the area where pressure is applied in the target work. Then, a pressure sensor capable of detecting slippage between the pressure sensor and the object is used. As will be described later, the accuracy of detection can be improved by detecting slippage.
  • FIG. 3 shows a configuration diagram of the work content detection determination computer 102 showing the details of the work determination unit 107 of the first embodiment.
  • the work determination unit 107 includes a sound data storage processing unit 111 for storing sound data, a sound data storage unit 112, a pressure detection unit 113 for pressure detection, a pressure detection result storage unit 114, and a sound detection unit 115 for sound detection.
  • Sound detection result storage unit 116 work detection unit 117 for work detection and work detection result storage unit 118, work quality judgment unit 119 for work quality judgment, work log storage unit 120 and work information database 121, each detection / judgment
  • the feature amount condition accumulating unit 122 for accumulating the feature amount extraction condition / judgment condition is provided.
  • FIG. 4 shows a work detection determination flow performed by the work determination unit 107 shown in FIG.
  • the sound storage program 131 and the work determination program 132 are executed separately.
  • Work sounds such as fitting sounds often have components up to the high frequency range, and for high-precision processing, it is desirable to sample sound data at a high frequency of, for example, 40 kHz or higher. Since the other pressure is the movement of a human hand, a low sampling frequency is sufficient, and the pressure data is sampled at a frequency of, for example, about 100 Hz. Therefore, the amount of sound data is several orders of magnitude larger than that of pressure data. Processing sound data with a large amount of data takes time, which increases the load on the computer and makes real-time detection processing difficult.
  • the sound data is processed in advance in the sound storage program 131 separately from the work determination program 132.
  • the determination process is performed in the order of pressure data and sound data in ascending order of sampling frequency.
  • the sound data storage processing unit 111 takes in the sound data received by the wireless reception unit 106 into the sound data storage unit 112 (S1). If the maximum value of the amplitude of the sound data is larger than the value preset in the feature quantity condition storage unit 122 (S2), the sound detection unit 115 saves the sound data in the sound detection result storage unit 116 (S3). ..
  • the time of the sound data to be saved is the time required for sound detection, for example, 0.2 seconds.
  • another feature amount of sound detection for example, a predetermined frequency may be used instead of the maximum value of the amplitude.
  • the pressure data received by the wireless reception unit 106 is taken in by the pressure detection unit 113 (S4), and the pressure detection process is performed using the pressure feature extraction condition / determination condition in the feature condition storage unit 122. Do (S5).
  • the pressure feature extraction condition / judgment condition is, for example, a pattern of temporal change of a pressure signal, a pressure value exceeding a predetermined threshold value, or the like.
  • the detection result is stored in the pressure detection result storage unit 114.
  • the sound detection unit 115 confirms whether the sound data at a time close to the detected pressure is in the sound detection result storage unit 116 (S7). If there is sound data, the sound data is fetched from the sound detection result accumulating unit 116 (S8), and the sound detection process is performed (S9). In the sound detection process, for example, the timing of the maximum amplitude of the sound signal is detected.
  • the detection result is saved in the sound detection result storage unit 116.
  • the work detection unit 117 uses the pressure detection result stored in the pressure detection result storage unit 114 and the sound detection result stored in the sound detection result storage unit 116 to determine the work. (S11). The work determination is performed based on, for example, the relationship between the pressure signal pattern and the sound signal timing.
  • the detection result is saved in the work detection result storage unit 118.
  • the work quality determination unit 119 uses the pressure detection result stored in the pressure detection result storage unit 114 and the sound detection result stored in the sound detection result storage unit 116 to be used. It is determined whether or not the target work is performed correctly (S13).
  • the result is stored in the work log storage unit 120 in association with the work data of the work information database 121 in which the work information is registered in advance, and is output to the notification unit 108 (S14).
  • the work information database 121 is not always necessary, and if it is not necessary, the result is stored in the work log storage unit 120 as it is and output to the notification unit 108 (S14).
  • the process of storing sound data can be reduced, and the access to the sound data storage unit 112 can also be reduced. Only when the work determination program 132 detects the pressure of the target work, the sound data is taken out from the sound data storage unit 112 and the sound data is processed. Therefore, it is not necessary to process the accidentally generated sound. In addition, access to the sound data storage unit 112 can be reduced, and it is not necessary to always perform sound detection processing.
  • the processing of sounds with a large amount of data can be reduced, and the access to the data storage unit, which takes time, can be reduced.
  • the time required for data processing is shortened, real-time detection becomes easier, and the computer
  • the load can be lightened. If the load on the computer can be reduced, the system can be made cheaper with an inexpensive computer, and it becomes possible to detect a plurality of workers with one computer.
  • the worker since real-time detection and determination can be performed, the worker can immediately redo or correct the work without deteriorating the work efficiency.
  • the amount of stored sound data can be reduced, the capacity of the storage unit can be reduced, and the system can be made cheaper.
  • the work detection judgment flow shown in FIG. 4 is an example, and it is not always necessary to follow this flow. If the processing power of the computer is sufficiently high or real-time detection is not required, the sound storage program 131 and the work judgment program 132 should be executed as one program instead of being executed separately. It doesn't matter. Further, sound detection may be performed before pressure detection.
  • 5A, 5B, and 5C are pressure waveforms obtained from the pressure sensor 104 of the wearable sensor 101 detected as the fitting operation.
  • 5A, 5B, and 5C are pressure waveforms when different workers work, the pressure waveform obtained by the thumb pressure sensor 104A is the solid line A, and the pressure waveform obtained by the index finger pressure sensor 104B is the broken line B. It is indicated by.
  • the pressure waveforms of the thumb and index finger are displayed with the vertical axis shifted so that they do not overlap. As will be described later, the time at which the amplitude of the mating sound is maximized is indicated by ts.
  • a pressure sensor of the type of pressure sensitive sheet containing conductive particles when pressure is applied, the conductive particles come into contact with each other, creating a path through which current easily flows, reducing resistance and detecting that the pressure is high.
  • this type of pressure sensor when a force is applied in the direction perpendicular to the pressure, that is, in the direction of sliding, the current path created by the conductive particles suddenly breaks, the resistance increases, and the pressure appears to decrease (Patent Document "Special”. Kai 2010-271242 (Gaz.). At time t2, the pressure suddenly drops because the pressure sensor senses slippage, and after the connector has been inserted, slippage occurs between the connector and the pressure sensor due to the momentum of insertion. It shows that it is.
  • the pressure waveform of the worker B in FIG. 5B and the pressure waveform of the worker C in FIG. 5C are basically the same as those of the worker A.
  • the difference of worker B is that the peak of the pressure waveform from time t1 to time t3 is small. This indicates that worker B is inserting the connector with less force on his finger.
  • the difference of worker C is that after time t3, there is a peak of pressure again from time t3 to time t5, and the pressure suddenly decreases again at time t4. This indicates that the operator C is pushing the connector again in order to confirm the mating state.
  • the mating end point has not yet been specified, but for example, the pressure changes in a pattern having the above timings (1), (2), and (4). Detect what to do.
  • the timing of the motion (slip) signal of (3) may be included.
  • the feature that there is slippage within a certain period of time before the fitting end point is a feature obtained by using a pressure sensor that can detect slippage, and distinguishes another work that does not cause a lot of slippage from the fitting work. Can be facilitated and false positives can be reduced.
  • the simplest example may be to simply detect that the operator's finger has grabbed the object. In this case, it may be determined that the pressure is detected when the pressure exceeds a predetermined threshold value.
  • FIG. 6A and 6B are sound wave shapes obtained by the microphone 103 of the wearable sensor 101 when the fitting work is detected.
  • FIG. 6A is a sound wave type of the thumb microphone 103A
  • FIG. 6B is a sound wave type of the wrist microphone 103B. Unlike the pressure waveform shown in FIG. 5, the difference between the sound wave type and the operator is small.
  • the amplitude of the sound suddenly increases before that, and then gradually attenuates and disappears.
  • the sound wave shape of the wrist microphone in FIG. 6B has the maximum amplitude after the time ts when the amplitude of the thumb microphone is maximum. Also, the maximum amplitude of the wrist microphone is smaller than the maximum amplitude of the thumb microphone. The position where the fitting sound is generated is the tip of the thumb, and since the thumb microphone is closer to the position where the fitting sound is generated than the wrist microphone, the loud sound reaches the thumb microphone earlier.
  • the amplitude is larger than the predetermined threshold, and (2) the speed of increase / decay of the amplitude is the fitting sound. Fitted when there is a sound wave shape that has characteristics such as close to the waveform, (3) the amplitude of the thumb microphone is larger than the amplitude of the wrist microphone, and (4) the sound reaches the thumb microphone earlier than the wrist microphone. Detected as motion sound.
  • the pressure detection time and the sound detection time See the match.
  • the time indicated by ts is the time when the amplitude of the fitting sound is maximum.
  • the locking mechanism of the connector works to generate a mating sound, and immediately after that, the connector reaches the back. That is, the slip time t2 of the fitting pressure exists immediately after the fitting sound time ts (specifically, within a predetermined time). Under this condition, the fitting operation is detected (S11).
  • the temporal relationship between the timing of the sound signal and the timing of the motion (slip) signal is basically determined.
  • the determination may be made based on the pressure value described in the process S4 or the change pattern of the pressure value. Specifically, the determination can be made based on the relationship between the timing of the sound or movement (slip) signal and the temporal change pattern of the pressure described with reference to FIGS. 5A to 5C or the detection timing of the predetermined pressure.
  • the same determination is made for the pressure signal in the process S4, it is not necessary to perform the same determination again.
  • the pressure sensor cannot detect the slip signal, it is possible to use the time of the peak of the pressure peak at which the connector is inserted as the time of the mating pressure, but in this case, the time to put the most force on the finger is during insertion. It is not always clear at what point in time, and the time is not exactly fixed. Also, the time to put the most force on the finger during the insertion of the connector may change depending on the operator. Furthermore, unlike the time of slip, the peak time of the pressure peak is when the peak is gentle or there is a flat area at the top of the peak, for example, as in Worker B in FIG. 5B, the thumb and index finger are not so strong. If you grab the connector and insert it without inserting it, it will be ambiguous.
  • the fitting pressure time becomes ambiguous, the temporal relationship between the fitting pressure time and the fitting sound time will not always be the same, and the detection accuracy will drop.
  • the slip time is used, the time in the graph is clearly determined, and the time when the connector being inserted reaches the back is determined, so that the fitting pressure time and the fitting sound time are determined.
  • the time relationship is always clearly determined, and the accuracy of work detection (S11) can be improved.
  • the work quality determination (S13) of FIG. 4 it is determined whether or not the predetermined work standard is satisfied.
  • the work standard is to perform a confirmation operation of pulling the connector once and pushing it in again to confirm whether the connector is in the fitted state after inserting the connector.
  • there is a peak of pressure again in the time from time t3 to time t5 there is a point that the pressure suddenly decreases again in time t4.
  • the connector is pulled once and pushed in again. It can be seen that the confirmation operation is performed by the fact that there is another slip signal after the slip signal at time t2 immediately after the time ts of the fitting sound.
  • the work quality judgment (S13) is unnecessary. Further, when it can be determined by the work detection (S11) that the work has been performed correctly, for example, in the case of fitting, when it can be determined that the fitting has been performed correctly if there is a fitting sound, the work quality determination (S13). ) Is unnecessary. At this time, in the configuration of the work determination unit 107 of FIG. 3, the work quality determination unit 119 and the work log storage unit 120 are unnecessary, and the result of the work detection unit 117 may be directly output to the notification unit 108. Further, also in the data determination flow of FIG. 4, the work quality determination (S14) may not be performed, and the result of the work detection (S11) may be output to the notification unit 108 (S14).
  • a work information management system to which a tuning function is added will be described with reference to FIG. 7.
  • the pressure data of the fingertip obtained by the wearable sensor 101 differs depending on the operator depending on the magnitude of the force, the method of applying the force, and the method of working. Therefore, the detection accuracy can be improved by tuning the detection conditions for each worker using the work information management system to which the tuning function is added. It is also effective when applied to a new factory or work line.
  • FIG. 7 shows a configuration diagram of a work content detection determination computer 102'with a tuning function added.
  • a tuning unit 141 is provided.
  • the tuning unit 141 includes a work information input unit 142, a positive detection feature amount storage unit 143, and a feature amount condition tuning unit 144.
  • the work information input unit 142 for example, a microphone 103 of the glove-type wearable sensor 101, a pressure sensor 104, a keyboard of the work content detection determination computer 102, and the like are used.
  • the wearable sensor 101 Before each worker uses the work information management system for the first time, the wearable sensor 101 is attached and the tuning function is used to perform tuning work.
  • the tuning work when the worker performs the work to be detected, an input signal is given to the work information input unit 142.
  • a microphone is used as the work information input unit 142
  • a predetermined voice is input to the microphone immediately after the work to be detected is performed.
  • a pressure sensor is used as the work information input unit 142
  • a predetermined pressure signal is input to the pressure sensor immediately after the work to be detected is performed.
  • a keyboard is used as the work information input unit 142, the keyboard is pressed to input a signal immediately after the work to be detected is performed.
  • each detection unit of the work determination unit 107 performs detection and determination processing, and if the detection conditions are satisfied, the detection result is the storage unit of each detection result (pressure detection result storage unit). 114, sound detection result storage unit 116, work detection result storage unit 118, work log storage unit 120).
  • the detection result includes the feature amount used for the detection as well as the detection time.
  • the detection result immediately before the time when the input signal is given is searched from the pressure detection result storage unit 114 and is positive. It moves to the detection feature amount storage unit 143.
  • the detection feature amount storage unit 143 if there is no detection result in the pressure detection result storage unit 114 due to detection omission, when tuning the detection condition, it will not be tuned so that the detection is performed, so first make sure that there is no detection omission. Relaxs the detection conditions. If there is a detection omission, change the detection conditions so that they are loose.
  • the feature amount condition tuning unit 144 is changed so that the feature amount detection condition becomes stricter by using the accumulated feature amount distribution. To do. Since the distribution of the feature amount differs depending on the worker, the detection conditions are different for each worker. After changing the detection conditions, the detection results of the work to be detected are stored in the positive detection feature amount storage unit 143, and the feature amount detection conditions are changed so as to be stricter by using the accumulated feature amount distribution. Repeat until the false detection rate and the detection omission rate fall below the preset settings from the accumulated information of the pressure detection result storage unit 114 and the positive detection feature amount storage unit 143.
  • the pressure waveform is different for each worker and the extracted feature amount is different. Therefore, the detection condition is tuned for each worker and recorded in the feature amount condition storage unit 122. Therefore, the detection accuracy can be improved. That is, the false detection rate and the detection omission rate can be reduced. Further, this tuning function can be applied not only to pressure detection but also to sound detection, work detection, and work quality judgment. By doing so, it becomes possible to further improve the detection accuracy.
  • tuning can be performed simply by performing the tuning work. Tuning for each worker can be easily performed. It can be easily applied to new factories and lines.
  • FIG. 8 shows a configuration diagram of the work content detection determination system 100B of the second embodiment.
  • the acceleration sensor 151 is provided as a difference from the work content detection determination system 100 of the first embodiment.
  • the acceleration sensor 151 uses a three-axis acceleration sensor.
  • the wireless transmission unit 105B and the wireless reception unit 106B transmit and receive data of the acceleration sensor 151 in addition to the data of the microphone 103 and the pressure sensor 104.
  • the work determination unit 107B uses the data of the acceleration sensor 151 in addition to the data of the microphone 103 and the pressure sensor 104 to perform detection / determination.
  • the wearable sensor 101 the wearable sensor 101 shown in FIG. 2 with the acceleration sensor 151 attached is used.
  • the acceleration sensor 151 may be attached to the same position as the wireless transmission unit 105A on the back of the hand of the wearable sensor 101. By attaching it to that position, the wiring to the wireless transmission unit 105A can be shortened.
  • FIG. 9 shows a configuration diagram of the work content detection determination computer 102B showing the detailed configuration of the work determination unit 107B of the second embodiment.
  • the work determination unit 107B is newly provided with an acceleration detection unit 152 for performing acceleration detection and an acceleration detection result storage unit 153 as compared with the work determination unit 107 of the first embodiment shown in FIG.
  • FIG. 10 shows a data determination flow performed by the work determination unit 107B shown in FIG.
  • the sound storage program 131 is the same as the data determination flow of the first embodiment shown in FIG.
  • the work determination program 132B newly captures the acceleration, performs detection processing, and determines (S15 to 17).
  • the sampling frequency of the acceleration data should be about 1 kHz. It does not have to be as high frequency as sound data, but it requires shorter data and higher frequency than pressure data. That is, the pressure data, the acceleration data, and the sound data are obtained in ascending order of sampling frequency. In order to simplify the data acquisition, the sampling frequency of the pressure data may be increased to be the same as the sampling frequency of the acceleration data.
  • the acceleration detection unit 152 outputs acceleration data for a time close to the detected pressure. It is taken in from the wireless receiver 106B (S15) and the acceleration detection process is performed (S16). When the acceleration of the target work is detected (S17), the detection result is stored in the acceleration detection result storage unit 153. Further, when acceleration is detected, sound detection, work judgment, and work quality judgment are performed in the same manner as the work judgment program 132 of the first embodiment, and if the work judgment of the target work is made, it is output to the notification unit 108. To do. At the time of work determination, in (S5), the determination is made using the acceleration detection result in addition to the pressure detection result and the sound detection result.
  • performing the detection processing of a plurality of sensor data in ascending order of sampling frequency means that the detection processing that requires less processing power of the computer is performed first.
  • the detection process that does not require the processing power of the computer first it is not necessary to perform the detection process that requires the processing power of the subsequent computer when it is not detected by the previous process, and the load on the computer is lightened. it can.
  • real-time detection becomes easy, the system can be cheapened with an inexpensive computer, and a plurality of workers can be detected with one computer.
  • the work detection determination flow shown in FIG. 10 is an example, and it is not always necessary to follow this flow.
  • the acceleration detection process may be performed before the pressure detection process, or the pressure detection process and the acceleration detection process may be performed at the same time. If the processing power of the computer is sufficiently high or real-time detection is not required, the sound storage program 131 and the work judgment program 132 should be executed as one program instead of being executed separately. It doesn't matter.
  • the detection performed in the detection flow shown in FIG. 10 will be described using the waveform of the sensor data when the fitting work detection shown in FIGS. 11 and 12 is performed.
  • FIG. 11 is an acceleration waveform obtained from the acceleration sensor 04 of the wearable sensor 101 when the fitting work is detected.
  • the absolute value of the acceleration of the three axes is represented by a waveform.
  • the acceleration takes the value of 1g of gravitational acceleration when there is no movement of the hand, and usually moves up and down around 1g when the hand is moved during work. In FIG. 11, the acceleration suddenly increases at time ta. At this time, the worker is inserting the connector. When inserting the connector, the hand moves quickly, so the acceleration becomes a large value momentarily. By capturing a large acceleration, the acceleration waveform of the fitting operation can be detected. However, since many similar waveforms appear during the work, it is difficult to determine the fitting operation only from the acceleration waveform.
  • FIG. 12 shows the pressure waveform of the fitting operation.
  • the time ta and the time ts are the times when the acceleration and the amplitude of the sound are maximum, that is, the time of the acceleration detection and the time of the sound detection, respectively.
  • the time ta of acceleration detection, the time ts of sound detection, and the slip time t2 of the fitting pressure are in this order.
  • the locking mechanism works to generate a fitting sound, and the amplitude of the sound becomes the maximum value at time ts. After that, the connector reaches the back and pressure slip occurs at time t2.
  • the fitting operation is detected on condition that the time ta, the time ts, and the time t2 are arranged in order within a certain time (S11). Within a certain period of time, for example, it is within 0.1 seconds.
  • the time ta may come after the time ts.
  • the fitting operation is detected on the condition that both the time ta and the time ts are a certain time before the time t2.
  • the slip signal time t2 is used, but even if the slip signal time t2 is omitted and the relationship between the acceleration detection time, the sound detection time, and the pressure signal detection timing is used, the work detection accuracy can be improved to some extent. You can expect to raise it. This is because, as described with reference to FIGS. 5A to 5C, the pressure signal during work shows a peculiar pattern, and the relationship between the acceleration detection time and the sound detection time is also characteristic.
  • the wireless data transmission from the wireless transmission unit 105 to the wireless reception unit 106 will be described with reference to FIG. As described with reference to FIG. 4, the time relationship between the fitting sound time ts and the fitting pressure slip time t2 is used for the work determination.
  • the sound data and the pressure data are wirelessly transmitted from the wearable sensor 101 to the work content detection determination computer 102, but if the time synchronization of the sound data and the pressure data is out of sync, the determination cannot be made correctly.
  • the plurality of sensor signals are bundled into a composite signal, and the bundled signal is transmitted and received as a single radio signal.
  • signals from a plurality of sensors 401 and 402 arranged on a printed circuit board are once sent to the signal compounding unit 403, the signals are compounded, and then transmitted from the wireless transmitter 404. To do.
  • the signal compounding unit 403 may be arranged as a single IC chip as shown in FIG. 7.
  • the time information is assigned to the data by the wireless transmission unit 105, the wireless reception unit 106, or the work determination unit 107, and then the operation is collated after being decomposed into each sensing signal.
  • the work content detection determination system 100 of the embodiment described above may be a work content that can be detected by information on sound and pressure applied to the hand, or information on sound and pressure applied to the hand and acceleration of the hand, other than the fitting operation. If so, it can be applied in the same way. Further, not only one operation but also a plurality of operations can be separately detected by setting the respective detection conditions / judgment conditions. It is also possible to detect a plurality of operations and record the work contents in chronological order. By doing so, it becomes easy to make the work more efficient.
  • the work content detection and determination system 100 described above detects the work based on the information on the sound and the pressure applied to the hand, or the sensor information on the sound and the pressure applied to the hand and the acceleration of the hand, but other sensor information is used. You may use it. By using more sensor information, the detection accuracy can be further improved.
  • the wearable sensor included in the present invention is not limited to this, and a part of the foot such as the sole and knee, and the arm such as shoulder and elbow. It may be attached to a part of.
  • the description as a wearable sensor has been given, but the sensor is not necessarily limited to a sensor worn by a person, and may be a robot or an assembly machine equipped with a plurality of sensors.
  • the work content detection determination system and the wearable sensor capable of detecting the work content of the operator with high accuracy, particularly the connector fitting can be detected with high accuracy, by the technique described in the examples. Can be provided.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Factory Administration (AREA)
  • Professional, Industrial, Or Sporting Protective Garments (AREA)
  • Gloves (AREA)
  • Manufacturing Of Electrical Connectors (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

作業検出判定システムにおいて、高精度で作業を検出判定する。　作業者の手に着用され、手の作業対象への接触を通じて手が作業対象に働きかけた手動作の作業音を検出するマイクと、手動作の作業の圧力を検出する圧力センサと、手動作の動きを検出する動きセンサと、マイクの音信号、圧力センサの圧力信号、および動きセンサの動き信号を送信するための送信部とを有する手袋と、送信部から送信された音信号、圧力信号、および動き信号を受信する受信部と、音信号、圧力信号、および動き信号を用いて、作業者の作業内容の検出判定を行う作業判定部と、作業判定部の判定結果を報知する報知部と、を有する作業検出判定システムである。

Description

作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋
　本発明は、作業内容を検出し判定する技術に関する。
　IoT（Internet of Things）やデジタル技術の進展により、製造業の現場での作業者のセンシングが盛んに行われるようになってきた。作業者をセンシングすることで、作業の正しさを確保し、作業の効率を向上し、作業の不良を減らすことができる。
　長年問題になっている製造業の現場での作業の例として、たとえばコネクタの嵌合がある。電気配線の接続に使用されるコネクタは、オスのコネクタをメスのコネクタに挿入し、ロック機構でロックされて嵌合状態となる。電気的に接続されていても、機械的に嵌合が不完全な半嵌合状態にあれば、振動等によりコネクタが外れて不良となることがある。不良をなくすためには、電気的な接続だけを確認するだけでなく、機械的な嵌合状態を調べる必要がある。
　特許文献１には、嵌合の作業者の手にマイクと加速度センサを装着し、マイクから得られた音情報と加速度センサから得られた加速度情報を使ってコネクタの嵌合状態を判定する装置が開示されている。音情報と加速度情報の両方を用いることで、類似の音が多数存在する作業現場において、嵌合の判定がしやすくなる。
特開２０１０－１８６６５１号公報
　しかしながら、作業現場では、作業者は様々な作業を行い、作業と作業の間にも手を動かす。このとき、手に付けた加速度センサからは、実に様々な加速度情報が得られ続ける。手が予期せず物に衝突した場合には、予期せぬ加速度情報が含まれる。嵌合を検出する場合、こうした様々な加速度情報の中には嵌合時と類似の加速度が多く存在することになる。音情報にも嵌合時と類似の音が多く存在することと合わせて、音情報と加速度情報の両方を用いても嵌合を検出するのは容易ではない。嵌合以外の動作を検出する場合においても同様である。
　本発明は、前記した問題に鑑みて創案されたものであり、作業者の作業内容を高精度に検出することを課題とする。
　本発明の好ましい一側面は、作業者の手に着用され、手の作業対象への接触を通じて手が作業対象に働きかけた手動作の作業音を検出するマイクと、手動作の作業の圧力を検出する圧力センサと、手動作の動きを検出する動きセンサと、マイクの音信号、圧力センサの圧力信号、および動きセンサの動き信号を送信するための送信部とを有する手袋と、送信部から送信された音信号、圧力信号、および動き信号を受信する受信部と、音信号、圧力信号、および動き信号を用いて、作業者の作業内容の検出判定を行う作業判定部と、作業判定部の判定結果を報知する報知部と、を有する作業検出判定システムである。
　本発明の好ましい他の一側面は、作業者の手に着用され、手の作業対象への接触を通じて手が作業対象に働きかけた手動作を観測するウェアラブルセンサ内蔵手袋であって、作業対象の作業音を検出するマイクと、手の動作の作業の圧力を検出する圧力センサと、手の動きを検出する動きセンサと、マイク、圧力センサおよび動きセンサからの信号を無線で送信するための無線送信機と、を有するウェアラブルセンサ内蔵手袋である。
　なお、マイク、圧力センサ、および動きセンサは、物理的に単一の構成が複数種のマイクあるいはセンサを兼ねることを妨げるものではない。その場合には、音信号、圧力信号、および動き信号は、一つの信号が複数の信号を兼ねることになる。
　本発明の好ましい他の一側面は、無線送信機から無線送信された、作業音を検出したマイクからの音信号、手の動作の作業の圧力を検出した圧力センサからの圧力信号、および、圧力センサから検出された滑り信号及び手の動作の加速度を検出した加速センサからの加速度信号の少なくとも一つの信号、を受信する受信部と、音信号、圧力信号、および、滑り信号と加速度信号の少なくとも一つの信号、から作業者の作業内容を判定する作業判定部と、を有することを特徴とする作業内容検出判定装置である。
　本発明によれば、作業者の作業内容を高精度に検出することができる。
第１の実施形態の作業内容検出判定システムの構成を示すブロック図である。 ウェアラブルセンサの外観を示す模式図である。 第１の実施形態の作業判定部の詳細を表すブロック図である。 第１の実施形態の作業検出判定フローを示す流れ図である。 嵌合作業検出がなされたときにウェアラブルセンサの圧力センサで得られた圧力波形と音検知時刻を示す図である。 嵌合作業検出がなされたときにウェアラブルセンサの圧力センサで得られた圧力波形と音検知時刻を示す図である。 嵌合作業検出がなされたときにウェアラブルセンサの圧力センサで得られた圧力波形と音検知時刻を示す図である。 嵌合作業検出がなされたときにウェアラブルセンサのマイクで得られた音波形を示す波形図である。 嵌合作業検出がなされたときにウェアラブルセンサのマイクで得られた音波形を示す波形図である。 第１の実施形態のチューニング機能を付加した作業情報管理システムの構成を示すブロック図である。 第２の実施形態の作業内容検出判定システムの構成を示すブロック図である。 第２の実施形態の作業判定部の詳細を表すブロック図である。 第２の実施形態の作業検出判定フローを示す流れ図である。 嵌合作業検出がなされたときにウェアラブルセンサの加速度センサで得られた加速度波形を示す波形図である。 嵌合作業検出がなされたときにウェアラブルセンサの圧力センサで得られた圧力波形と音検知時刻と加速度検知時刻を示す波形図である。 異なるセンサを単一無線で送信するためのプリント基板上のＩＣ配置の例を示すブロック図である。
　実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
　以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。
　同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。
　本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
　図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
　以下の実施例で説明される作業検出判定システムは、作業者の手に着用され、手の作業対象への接触を通じて手が作業対象に働きかけた手動作の作業音を音信号として検出するマイクと、手の動きを動き信号として検出する動きセンサと、手動作の作業の圧力を圧力信号として検出する圧力センサと、これらのセンサのセンシング情報を送信するための送信機とを有する手袋を使用する。
　ここで手の動きとは、手の変位あるいは変形、あるいはそれらに基づく情報をいうものとする。手の動きは、間接的には手袋に設置された動きセンサにより検出される。動きセンサとしては、例えば加速度センサを使用する。加速度センサは公知のＭＥＭＳ（Micro Electro Mechanical Systems）を用いたものが使用できる。あるいは、動きセンサとして圧力センサを兼用し、圧力センサの圧力信号をもとに滑り信号を検知する。ここで滑り信号とは、手の表面と作業対象の表面との間の相対的変位を検知する信号である。あるいは、動きセンサは、手袋の表面に設置した反射マーカと光源を用い、光学的に手の動きを検知するものであってもよい。
　システムでは、音信号、圧力信号、および動き信号を用いて、作業者の作業内容の検出判定を行う。検出判定においては、例えば音信号に基づく所定の作業音の検出タイミングと、圧力信号に基づく所定の圧力の検出タイミングと、動き信号に基づく所定の動きの検出タイミングを用い、これらのタイミングの前後関係に基づいて判定を行う。音信号に基づく所定の作業音は、例えば音信号の最大振幅のタイミングで検出する。動き信号に基づく所定の動きは、動き信号が加速度信号である場合は、例えば所定閾値以上あるいは加速度の最大値を得たタイミングで検出する。動き信号が滑り信号である場合は、例えば所定以上の滑りとみなされる信号を得たタイミングで検出する。圧力信号に基づく所定の圧力の検出は、所定閾値を超えたタイミングで検出する。あるいは、圧力値が所定のパターンで推移した期間があるかどうかで検出する。なお、信号の周波数の関係から圧力信号の処理が最も負荷が小さいので、例えば最初に圧力値が所定のパターンで推移したか期間があるかどうかを判定し、その期間内において音信号と動き信号のタイミングの関係をチェックして作業を判定するように構成するとよい。
　以下、本発明の作業内容検出判定システム及びウェアラブルセンサの実施の形態について、図面を参照して詳細を説明する。作業内容として、嵌合作業を例に説明する。
　図１～図８を参照して、第１の実施形態の作業内容検出判定システムについて説明する。
　＜基本構成＞
  図１に、第１の実施形態の作業内容検出判定システム１００の構成図を示す。作業内容検出判定システム１００は、作業者が身につけるウェアラブルセンサ１０１と、ウェアラブルセンサで収集したデータを処理する作業内容検出判定計算機１０２から構成される。
　ウェアラブルセンサ１０１は、マイク１０３と圧力センサ１０４（滑りセンサを兼ねる）と無線送信部１０５を備えている。作業者が作業をしている最中にウェアラブルセンサ１０１を手に装着し、マイク１０３で作業中の音データを、圧力センサ１０４で作業中の圧力データを取集し、それらのデータを無線送信部１０５で無線送信する。なお、無線送信でなく有線による送信でもよい。
　作業内容検出判定計算機１０２は、無線受信部１０６と作業判定部１０７と報知部１０８を備える。ウェアラブルセンサ１０１から無線で送られてきた音データと圧力データを無線受信部１０６で受信し、受信したデータを作業判定部１０７で検出判定の処理を行って嵌合状態を判定し、判定した結果を報知部１０８で作業者に伝える。
　報知部１０８は、作業判定部１０７の判定結果を報知する機能を有すれば、例えば、視覚情報のみの表示であってもよく、音や振動などの聴覚、触覚情報が組み合わさったものであってもよい。例えば、この報知部１０８を作業判定部１０７からの情報を作業者または作業管理者に視覚、聴覚、触覚情報で伝えるフィードバック部として構成してもよい。判定した結果をリアルタイムで作業者に伝えることで、作業者はその場ですぐに作業のやりなおしや修正を行うことができる。
　作業内容検出判定計算機１０２は、例えば周知の入力装置、出力装置、処理装置、記憶装置を備えるパーソナルコンピュータや携帯用情報端末で構成することもできる。その場合は、計算や制御等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」等と呼ぶ場合がある。また、ソフトウエアで構成した機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウェアでも実現できる。
　図２に、ウェアラブルセンサ１０１の外観図を示す。左に、内側すなわち手の平側から見たウェアラブルセンサ１０１を、右に、外側すなわち手の甲側から見たウェアラブルセンサ１０１を示してある。ウェアラブルセンサ１０１は手袋型である。図２のウェアラブルセンサ１０１は５本の指を備えているが、例えば親指と人差し指の２本といったように、少なくとも、マイクもしくは圧力センサを備えた指が備わっていればよい。
　ウェアラブルセンサ１０１は、手に直接装着しても、作業手袋の上に装着してもよい。ウェアラブルセンサ１０１は、手の甲側の親指に親指マイク１０３Ａを、手の甲側の手首に手首マイク１０３Ｂを、手の平側の親指に親指圧力センサ１０４Ａを、手の平側の人差し指に人差し指圧力センサ１０４Ｂを、手の甲に無線送信部１０５Ａを備えている。マイク１０３Ａ、１０３Ｂ、圧力センサ１０４Ａ、１０４Ｂは、導電糸もしくは導線で無線送信部１０５Ａと接続されている。無線送信部１０５Ａは無線通信によりデータを送信するが、場合により有線で送信してもよい。
　図２のウェアラブルセンサ１０１は２個のマイクを備えている。マイクの数は１個以上であればよく、２個以上であれば音源の方向が分かるようになり、指先の音か否かが区別できるようになるのでより望ましい。マイクの数は多いほど、検出精度をあげやすくなるが、無線送信のチャネル数やデータ処理の量が多くなり、その分コストが上昇してしまう。マイクの数を２個以上にする場合、１個は検知対象の音が発生する位置の近くに、別の１個は検知対象の音が発生する位置から遠くに配置する。こうすることで、２つのマイクが捉える検知対象の音の大きさの比や時間差がより大きくなり、検知対象の音であることをより区別しやすくなる。２個のマイクは、親指と人差し指など、指の動きで互いに位置関係が変わる位置には配置しない方がよい。また、マイクは、作業中に検出対象の音が遮られない位置に配置するとよい。嵌合音を検出する場合、２つのマイクを親指と手首に配置するのが望ましい。
　図２のウェアラブルセンサ１０１は２個の圧力センサを備えている。圧力センサは、検出対象の作業で圧力が掛かる位置に付ける。必ずしも指でなくても、手のひらでもよい。数は１個以上であればよいが、多いほど検出に使えるデータが増えて検出の精度が上がる。多数の圧力センサを用いる場合、圧力センサの１個を、対象の作業では圧力が掛からないが、誤検知しやすい作業では圧力が掛かる位置に付けてもよい。嵌合の場合は、親指と人差し指でコネクタを持って嵌合するので、親指と人差し指に圧力センサを付けるのが望ましい。圧力センサには、導電性粒子を含むゴムや布などで出来たシート状のものを用いる。その面積は対象の作業で圧力が掛かるエリアを十分カバーするようにする。そして、圧力センサと対象物との間の滑りを検知できる圧力センサを用いる。後述するように、滑りを検知することで、検出の精度を向上することができる。
　図３と図４を用いて、図１に示した作業判定部１０７の詳細を説明する。
  図３に第１の実施形態の作業判定部１０７の詳細を表した、作業内容検出判定計算機１０２の構成図を示す。作業判定部１０７は、音データの保存を行う音データ保存処理部１１１と音データ蓄積部１１２、圧力検知を行う圧力検知部１１３と圧力検知結果蓄積部１１４、音検知を行う音検知部１１５と音検知結果蓄積部１１６、作業検知を行う作業検知部１１７と作業検知結果蓄積部１１８、作業良否判定を行う作業良否判定部１１９と作業ログ蓄積部１２０と作業情報データベース１２１、各検知・判定の特徴量抽出条件・判定条件を蓄積する特徴量条件蓄積部１２２を備える。
　図４に、図３に示した作業判定部１０７が行う作業検出判定フローを示す。この作業検出判定フローでは、音保存プログラム１３１と作業判定プログラム１３２の２つが別々に実行される。嵌合音をはじめとする作業音は高周波領域までの成分を有することが多く、高精度な処理のため、音データは例えば40kHz以上の高周波数でサンプリングすることが望ましい。もう一方の圧力は人の手の動きなのでサンプリングの周波数は低くても十分であり、圧力データは例えば100Hz程度の周波数でサンプリングする。よって、音データは、圧力データと比べて、データ量が数桁も多くなる。データ量が多い音データの処理は、時間が掛かるため、計算機の負荷を重くするとともに、リアルタイムでの検出処理を難しくする。リアルタイムで検知処理ができないと、結果がすぐに作業者に伝わらず、その場で作業のやりなおしや修正を行えなくなってしまう。このため、音データは、作業判定プログラム１３２とは別に、音保存プログラム１３１の中で事前に処理する。後述するように、本実施例ではサンプリング周波数が低い順に、圧力データ、音データの順に判定処理を行う。
　音保存プログラム１３１では、音データ保存処理部１１１にて、無線受信部１０６で受信した音データを音データ蓄積部１１２に取り込む（Ｓ１）。音検知部１１５は、音データの振幅の最大値が、特徴量条件蓄積部１２２で事前に設定した値よりも大きければ（Ｓ２）、音データを音検知結果蓄積部１１６に保存する（Ｓ３）。保存する音データの時間は、音検知に必要な時間、例えば0.2秒分とする。Ｓ２において、振幅の最大値ではなく、音検知の別の特徴量たとえば所定の周波数を用いても良い。
　作業判定プログラム１３２では、無線受信部１０６で受信した圧力データを圧力検知部１１３で取り込み（Ｓ４）、特徴量条件蓄積部１２２にある圧力の特徴量抽出条件・判定条件を使って圧力検知処理を行う（Ｓ５）。圧力の特徴量抽出条件・判定条件は、例えば圧力信号の時間的な変化のパターン、あるいは所定閾値を超えた圧力値等である。対象作業の圧力が検知された場合（Ｓ６）、検知結果を圧力検知結果蓄積部１１４に保存する。また、圧力が検知された場合、音検知部１１５が、検知された圧力と近い時刻の音データが音検知結果蓄積部１１６にあるかを確認する（Ｓ７）。音データがあれば、音検知結果蓄積部１１６からその音データを取り込んで（Ｓ８）、音検知処理を行う（Ｓ９）。音検知処理では、例えば、音信号の最大振幅のタイミングを検知する。
　対象作業の音が検知された場合（Ｓ１０）、検知結果を音検知結果蓄積部１１６に保存する。また、音が検知された場合（Ｓ１０）、作業検知部１１７にて、圧力検知結果蓄積部１１４に保存した圧力検知結果と音検知結果蓄積部１１６に保存した音検知結果を使って、作業判定を行う（Ｓ１１）。作業判定は、例えば圧力信号のパターンと音信号のタイミングの関係に基づいて行う。
　検知結果が対象作業と判定された場合（Ｓ１２）、検知結果を作業検知結果蓄積部１１８に保存する。また、対象作業と判定された場合（Ｓ１２）、作業良否判定部１１９にて、圧力検知結果蓄積部１１４に保存した圧力検知結果と音検知結果蓄積部１１６に保存した音検知結果を使って、対象作業が正しく行われたか否かの良否判定を行う（Ｓ１３）。その結果は、事前に作業情報を登録した作業情報データベース１２１の作業データと紐づけて作業ログ蓄積部１２０に保存するとともに、報知部１０８に出力する（Ｓ１４）。作業情報データベース１２１は必ずしも必要ではなく、ない場合には、結果をそのまま作業ログ蓄積部１２０に保存し、報知部１０８に出力する（Ｓ１４）。
　上記作業判定部１０７及びデータ判定フローにおいては、音保存プログラム１３１を使うことで、音データを保存する処理を減らすことができ、音データ蓄積部１１２へのアクセスも減らすことができる。作業判定プログラム１３２で対象作業の圧力を検知したときのみ、音データ蓄積部１１２から音データを取り出し、音データ処理をする。このため、偶発的に生じた音の処理を行わずにすむ。また、音データ蓄積部１１２へのアクセスも減らすことができ、常に音検知処理を行う必要がない。
　これらにより、データ量の多い音の処理を減らし、時間が掛かるデータ蓄積部へのアクセスを減らすことができ、その結果、データ処理に要する時間が短くなってリアルタイムの検知が容易になり、計算機の負荷を軽くできる。計算機の負荷を軽くできれば、安価な計算機でシステムを安くすることができ、複数の作業者の検知を１つの計算機で行うことができるようにもなる。また、リアルタイムの検出判定ができることにより、作業者が、作業効率を落とすことなく、すぐに作業のやり直しや修正をすることができる。加えて、音データの保存データ量も減らすことができ、蓄積部の容量を小さくでき、システムを安くすることができる。
　図４に示した作業検出判定フローは、一例であり、必ずしもこのフローに従う必要はない。計算機の処理能力が十分に高かったり、リアルタイムの検知が不要であったりする場合には、音保存プログラム１３１と作業判定プログラム１３２の２つを別々が実行せずに、１つのプログラムとして実行しても構わない。また、圧力検知の先に音検知を行っても構わない。
　続いて、図５と図６に示す嵌合作業でのセンサデータの波形を使って、図３と図４を用いて説明した作業検出判定について説明する。
  図５Ａ，図５Ｂ，図５Ｃは、嵌合作業として検出されたウェアラブルセンサ１０１の圧力センサ１０４から得られた圧力波形である。図５Ａ，図５Ｂ，図５Ｃは別々の作業者が作業したときの圧力波形で、親指圧力センサ１０４Ａで得られた圧力波形が実線Ａで、人差し指圧力センサ１０４Ｂで得られた圧力波形が破線Ｂで示されている。親指と人差し指の圧力波形は、重ならないように縦軸をずらして表示してある。後述のように、嵌合音の振幅が最大になる時間をtsで示している。
　一連の嵌合動作とそのときの圧力変化を図５Ａの作業者Aの圧力波形を用いて説明する。まず、時刻t0までの時間は、圧力が小さい状態が続く。ここは、嵌合動作の前であり、手袋型ウェアラブルセンサでは何も掴んでいない。時刻t0から、圧力が大きくなる。ここから、作業者が、手袋型ウェアラブルセンサの親指と人差し指でコネクタを掴んで、嵌合動作を開始する。時刻t1から時刻t3までの時間には、圧力の山があり、その間の時刻t2で圧力が急に減少している。時刻t1から時刻t3までの圧力が山の期間で、作業者がコネクタを親指と人差し指で強く掴んでコネクタを挿入している。そして、時刻t2では、コネクタを挿入し終わっている（嵌合終了点）。
　導電性粒子を含む感圧シートのタイプの圧力センサでは、圧力が掛かると導電性粒子が互いに接触して電流が流れやすい経路が生じて抵抗が下がり、圧力が高いと感知する。このタイプの圧力センサは、圧力と垂直の方向、すなわち、滑りの方向に力が掛かると、導電性粒子が作る電流経路が急に壊れて抵抗が上がり、圧力が下がってみえる（特許文献「特開２０１０－２７１２４２号公報」参照）。時刻t2で、圧力が急に低下しているのは、圧力センサが滑りを感知しているためであり、コネクタの挿入が終わって挿入の勢いでコネクタと圧力センサとの間で滑りが発生していることを示している。時刻t3以降は、圧力が小さい状態が続く。ここで、作業者がコネクタから指を離して、嵌合動作が終了している。したがって、感圧導電シートから送出される検出信号を受けて、感圧導電シートの抵抗値から圧力を検知し、感圧導電シートの抵抗値の変化に基づいて滑り検出信号を生成することができる。
　図５Ｂの作業者Bの圧力波形も、図５Ｃの作業者Cの圧力波形も、基本的には作業者Aと同様である。作業者Bの違う点として、時刻t1から時刻t3までの圧力の波形の山が小さい。これは、作業者Bが指にあまり力を入れずにコネクタの挿入を行っていることを示している。作業者Cの違う点として、時刻t3の後、時刻t3から時刻t5までの時間で再度圧力の山があり、時刻t4で再度圧力が急減少している点がある。これは、作業者Cが、嵌合状態を確認するため、コネクタを再度押し込む動作をしていることを示している。
　図４の圧力検知処理（Ｓ５）では、以上の嵌合動作の圧力波形にみられるような、(1)嵌合終了点の前に圧力が大きい、(2)嵌合終了点の後ろは圧力が小さい点が続く、(3)嵌合終了点の一定時間前までに滑りがある、(4)親指と人差し指で同様の変化が同じ時間に生じる、等の特徴の少なくとも一つを有する圧力波形があった場合に、嵌合動作の圧力として検知する。
　その後の処理を行うかどうかを決める圧力検知処理（Ｓ５）では、嵌合終了点はまだ特定していないが、例えば、圧力が上記のタイミング(1)(2)(4)を持つパターンで推移することを検知する。また、これに加えて(3)の動き（滑り）の信号のタイミングを含めてもよい。嵌合終了点の一定時間前までに滑りがあるという特徴は、滑りを検知できる圧力センサを用いることで得られる特徴であり、多くの滑りを生じない別の作業を嵌合作業から区別することが容易になり、誤検知を減らすことができる。逆に最も簡単な例としては、作業者の指が対象物をつかんだことを検知するだけでもよい。この場合は、圧力が所定閾値を超えたことをもって圧力検知と判定すればよい。
　図６Ａおよび図６Ｂは、嵌合作業検知がなされたときにウェアラブルセンサ１０１のマイク１０３で得られた音波形である。図６Ａは親指マイク１０３Ａの音波形、図６Ｂは手首マイク１０３Ｂの音波形である。図５に示した圧力波形とは違い、音波形は作業者による違いは小さい。
　図６Ａの親指マイクの音波形では、振幅が最大になる時間をtsとすると、その前に音の振幅が急に増加し、その後で増加よりは緩やかに減衰してなくなる。図６Ｂの手首マイクの音波形は、親指マイクの振幅が最大となる時刻tsより遅れて振幅が最大となる。また、手首マイクの振幅の最大値は、親指マイクの振幅の最大値よりも小さい。嵌合音が発生する位置は親指の先であり、親指マイクの方が手首マイクよりも嵌合音の発生位置に近いために、親指マイクに大きな音が早く到達する。
　図４の音検知処理（Ｓ９）では、以上の嵌合時の音波形にみられるような、(1)所定閾値より振幅が大きい、(2)振幅の増加・減衰の速度が嵌合音の波形に近い、(3)親指マイクの振幅が手首マイクの振幅より大きい、(4)手首マイクよりも親指マイクに早く音が到達する、等の特徴を有する音波形があった場合に、嵌合動作の音として検知する。
　図４の作業判定（Ｓ１１）では、圧力検知処理（Ｓ５）と音検知処理（Ｓ９）で嵌合の圧力と音の両方が検知されたことに加えて、圧力検知の時間と音検知の時間の一致をみる。図５の圧力波形において、tsで示されている時刻が、嵌合音の振幅が最大のときの時刻である。親指と人差し指で掴んでコネクタを挿入している最中、コネクタのロック機構が働いて嵌合音が発生し、その直後にコネクタが奥に達する。すなわち、勘合音の時刻tsの直後（具体的には所定時間内）に勘合圧力の滑り時刻ｔ2が存在することになる。これを条件に嵌合作業を検知する（Ｓ１１）。すなわち、作業判定（Ｓ１１）では、基本的に音の信号のタイミングと、動き（滑り）の信号のタイミングの時間的関係を判定していることになる。また、これに加えて処理Ｓ４で説明した圧力値あるいは圧力値の変化パターンに基づいて判定してもよい。具体的には、音または動き（滑り）の信号のタイミングと、図５Ａ～Ｃで説明した圧力の時間的な変化パターンあるいは、所定圧力の検出タイミングとの関係に基づいて判定することができる。もちろん、処理Ｓ４で圧力信号について同じ判定を行っている場合には再度行うことは不要である。
　圧力センサが滑り信号を検知できない場合、嵌合圧力の時刻として、コネクタを挿入する圧力の山のピークの時刻を使うことが考えられるが、この場合、最も指に力を入れる時間が挿入中のどの時点かが必ずしも明確ではなく、時刻が厳密に定まらない。また、作業者によってもコネクタ挿入中に最も指に力を入れる時間が変わりうる。更に、滑りの時刻と違い、圧力の山のピークの時刻は、山がなだらかな場合や山の頂上に平な領域がある場合、例えば図５Ｂの作業者Bのように親指と人差し指にあまり力を入れずにコネクタを掴んで挿入する場合、あいまいになってしまう。嵌合圧力の時刻があいまいになると、嵌合圧力の時刻と嵌合音の時刻の時間的な関係が常に同じとならず、検知の精度が落ちてしまう。これに対して、滑りの時刻を用いる場合、グラフ中での時刻が明確に定まり、かつ、挿入中のコネクタが奥に達した時刻で決まるので、嵌合圧力の時刻と嵌合音の時刻の時間的な関係が常に明確に決まり、作業検知（Ｓ１１）の精度を上げることができる。
　図４の作業良否判定（Ｓ１３）では、予め定めた作業基準を満たしているか否かを判定する。例えば、嵌合作業の場合、コネクタの挿入後に、嵌合状態にあるかを確認のために一旦コネクタを引いて再度押し込む確認の動作を実施することを作業基準とする。図５Ｃの作業者Cの場合、上で説明したように、時刻t3から時刻t5までの時間で再度圧力の山があり、時刻t4で再度圧力が急減少している点があって、ここで、嵌合状態を確認するために一旦コネクタを引いて再度押し込む確認の動作をしている。嵌合音の時刻tsの直後の時刻t2の滑り信号の後、もう１回滑り信号があることで確認の動作がなされていることが分かる。図５Ａと図５Ｂの作業者Aと作業者Bの作業には、嵌合音の時刻tsの直後の時刻t2の滑り信号の後に滑り信号はない。よって、確認の動作はなされていないことがわかる。このようにして、作業良否判定（Ｓ１３）において、図５Ｃの作業は作業基準を満たし、図５Ａと図５Ｂの作業は作業基準を満たしていないと判定される。ここでも、滑り信号を使うことで確認の動作をより明確に判定することが可能となる。
　作業の良否を判定する必要がなく、作業があったことを検知できればよい場合には、作業良否判定（Ｓ１３）は不要である。また、作業検知（Ｓ１１）によって、作業が正しく行われたと判断できる場合、例えば、嵌合の場合で、嵌合音がすれば嵌合が正しくなされたと判断できる場合にも、作業良否判定（Ｓ１３）は不要である。このときには、図３の作業判定部１０７の構成において、作業良否判定部１１９と作業ログ蓄積部１２０は不要であり、作業検知部１１７の結果を直接報知部１０８に出力すればよい。また、図４のデータ判定フローにおいても、作業良否判定（Ｓ１４）は行わず、作業検知（Ｓ１１）の結果を報知部１０８に出力すればよい（Ｓ１４）。
　＜チューニング機能を追加した例＞
  次に、図７を使ってチューニング機能を付加した作業情報管理システムについて説明する。ウェアラブルセンサ１０１で得られる指先の圧力データは、図５で示したように、作業者によって力の大きさ、力の入れ方、作業の仕方で異なってくる。そのため、チューニング機能を付加した作業情報管理システムを用い、作業者毎に検知条件をチューニングすることで、検知精度を向上することができる。新たな工場や作業ラインに適用するときにも、有効である。
　図７にチューニング機能を付加した作業内容検出判定計算機１０２’の構成図を示す。図３の作業内容検出判定計算機１０２に加えて、チューニング部１４１を備える。チューニング部１４１は、作業情報入力部１４２、正検知特徴量蓄積部１４３、特徴量条件チューニング部１４４から成る。作業情報入力部１４２として、例えば、手袋型ウェアラブルセンサ１０１のマイク１０３、圧力センサ１０４、作業内容検出判定計算機１０２のキーボード等を用いる。
　各作業者が、作業情報管理システムを初めて使用する前に、ウェアラブルセンサ１０１を装着しチューニング機能を用いて、チューニングのための作業を行う。チューニングのための作業にて、作業者が検知対象の作業を行ったときに、作業情報入力部１４２に入力信号を与える。作業情報入力部１４２としてマイクを用いる場合、検知対象の作業を行った直後に、事前に決めた音声をマイクに入力する。作業情報入力部１４２として圧力センサを用いる場合、検知対象の作業を行った直後に、事前に決めた圧力信号を圧力センサに入力する。作業情報入力部１４２としてキーボードを用いる場合、検知対象の作業を行った直後に、キーボードを押して信号を入力する。作業情報入力部１４２に信号が入力されたことにより、システムは検知対象の作業が行われたことを検知することができる。
　まず、検知対象の作業が行われると、作業判定部１０７の各検知部が検知と判定の処理を行い、検知の条件を満たせば、検知結果が各検知結果の蓄積部（圧力検知結果蓄積部１１４、音検知結果蓄積部１１６、作業検知結果蓄積部１１８、作業ログ蓄積部１２０）に保存される。検知結果には、検知の時刻とともに、検知に用いた特徴量が含まれる。
　続いて、検知対象の作業を行った直後に、作業情報入力部１４２に入力信号を与えると、入力信号が与えられた時刻の直前の検知結果を圧力検知結果蓄積部１１４の中から探し、正検知特徴量蓄積部１４３に移動する。ここで、検知漏れで圧力検知結果蓄積部１１４の中に検知結果がないと、検知条件をチューニングする際に、その検知がなされるようにチューニングされなくなってしまうので、検知漏れがないように最初は検知条件を緩くする。もし検知漏れがあった場合には、検知条件が緩くなるように変更する。
　検知対象の作業の検知結果が正検知特徴量蓄積部１４３にたまってくると、特徴量条件チューニング部１４４にて、たまった特徴量の分布を使って特徴量の検知条件が厳しくなるように変更する。特徴量の分布は、作業者によって異なるので、作業者毎に異なる検知条件となる。検知条件を変更したら、また、検知対象の作業の検知結果が正検知特徴量蓄積部１４３にためて、たまった特徴量の分布を使って特徴量の検知条件が厳しくなるように変更する。圧力検知結果蓄積部１１４と正検知特徴量蓄積部１４３の蓄積情報から誤検知率、検知漏れ率が事前の設定を下回るまで繰り返す。
　圧力検知は、図５で説明したよう作業者毎に圧力波形が異なり、抽出される特徴量が異なってくるので、作業者毎に検知条件をチューニングし、特徴量条件蓄積部１２２に記録することで、検知精度を上げることができる。すなわち、誤検知率、検知漏れ率を下げることができる。また、本チューニング機能は、圧力検知だけでなく、同様に音検知、作業検知、作業良否判定にも適用できる。そうすることで、検知精度をより上げることが可能となる。
　図７に示したチューニング機能を付加した作業内容検出判定計算機１０２’を使うことで、チューニングの作業を行うだけで、チューニングがなされる。作業者毎のチューニングを容易に行うことができる。新規の工場やラインへの適用も容易に行うことができる。
　図８～図１１を参照して、第２の実施形態の作業情報管理システムについて説明する。
  図８に、第２の実施形態の作業内容検出判定システム１００Ｂの構成図を示す。第１の実施形態の作業内容検出判定システム１００とは異なる点として、加速度センサ１５１を備えている。加速度センサ１５１は、３軸の加速度センサを用いる。無線送信部１０５Ｂと無線受信部１０６Ｂは、マイク１０３と圧力センサ１０４のデータに加えて、加速度センサ１５１のデータも送受信する。
　また、作業判定部１０７Ｂでは、マイク１０３と圧力センサ１０４のデータに加えて、加速度センサ１５１のデータも用いて、検知・判定を行う。ウェアラブルセンサ１０１は、図２に示すウェアラブルセンサ１０１に加速度センサ１５１を取り付けたものを用いる。加速度センサ１５１は、ウェアラブルセンサ１０１の手の甲の無線送信部１０５Ａと同じ位置に付けるとよい。その位置に付けることで、無線送信部１０５Ａまでの配線を短くすることができる。
　図９と図１０を用いて、図８に示した作業判定部１０７Ｂの詳細を説明する。
  図９に第２の実施形態の作業判定部１０７Ｂの詳細な構成を表した作業内容検出判定計算機１０２Ｂの構成図を示す。作業判定部１０７Ｂは、図３に示した第１の実施形態の作業判定部１０７と比べて、新たに、加速度検知を行う加速度検知部１５２と加速度検知結果蓄積部１５３を備える。
　図１０に、図９に示した作業判定部１０７Ｂで行われるデータ判定フローを示す。図４に示した第１の実施形態のデータ判定フローに対して、音保存プログラム１３１は同じである。作業判定プログラム１３２Ｂで、新たに、加速度の取り込み、検知処理、判定が行われる（Ｓ１５～１７）。加速度データのサンプリング周波数は、1kHz程度にするとよい。音データほどは高周波である必要はないが、圧力データと比べるとより短時間のデータが必要でより高周波となる。すなわち、サンプリング周波数が低い順に、圧力データ、加速度データ、音データとなる。データ取得を簡便にするために、圧力データのサンプリング周波数を高くして加速度データのサンプリング周波数と同じにしてもよい。
　作業判定プログラム１３２Ｂでは、サンプリング周波数が低い順に検知処理を行う。第１の実施形態の作業判定プログラム１３２と同様に圧力検知処理を行って（Ｓ５）、圧力が検知された場合（Ｓ６）、加速度検知部１５２が、検知された圧力と近い時間の加速度データを無線受信部１０６Ｂから取り込んで（Ｓ１５）、加速度検知処理を行う（Ｓ１６）。対象作業の加速度が検知された場合（Ｓ１７）、検知結果を加速度検知結果蓄積部１５３に保存する。また、加速度が検知された場合、第１の実施形態の作業判定プログラム１３２と同様に、音検知、作業判定、作業良否判定を行い、対象作業の作業判定がなされれば、報知部１０８に出力する。作業判定の際には、（Ｓ５）、圧力で検知結果と音検知結果に加えて、加速度検知結果を用いて、判定を行う。
　作業判定プログラム１３２Ｂにおいて、複数のセンサデータの検知処理をサンプリング周波数が低い順に行うことは、計算機の処理能力がより必要ない検知処理から行うことを意味する。計算機の処理能力がより必要ない検知処理を先に行うことで、先の処理で検知されなかったときの後の計算機の処理能力がより必要な検知処理を行わずにすみ、計算機の負荷を軽くできる。その結果、リアルタイムの検知が容易になり、安価な計算機でシステムを安くすることができ、複数の作業者の検知を１つの計算機で行うことが可能となる。
　図１０に示した作業検出判定フローは、一例であり、必ずしもこのフローに従う必要はない。圧力検知処理の前に加速度検知処理を行ってもよいし、圧力検知処理と加速度検知処理を同時に行ってもよい。計算機の処理能力が十分に高かったり、リアルタイムの検知が不要であったりする場合には、音保存プログラム１３１と作業判定プログラム１３２の２つを別々が実行せずに、１つのプログラムとして実行しても構わない。
　図１１と図１２に示す嵌合作業検知がなされたときのセンサデータの波形を使って、図１０に示した検知フローで行われる検知について説明する。
　図１１は、嵌合作業検知がなされたときにウェアラブルセンサ１０１の加速度センサ０４から得られた加速度波形である。３軸の加速度の絶対値を波形で表している。加速度は、手の動きがないときには重力加速度の1gの値を取り、作業中に手を動かすと通常は1g付近で上下する。図１１では、時刻taで加速度が急に大きくなっている。この時刻で作業者がコネクタを挿入している。コネクタを挿入するときには、手を速く動かすので、加速度が瞬間的に大きな値となる。大きな加速度を捉えることで、嵌合動作の加速度波形を検出することができる。ただし、同様の波形は、作業中に多数現れるので、加速度波形のみから嵌合動作の判定を行うのは困難である。
　図１０の作業検知（Ｓ１１）では、圧力検知処理（Ｓ５）と加速度検知処理（Ｓ１６）と音検知処理（Ｓ９）で嵌合の圧力と加速度と音がすべて検知されたことに加えて、圧力検知の時刻と加速度検知の時刻と音検知の時刻の関係をみる。図１２に嵌合動作の圧力波形を示す。時刻taと時刻tsは、それぞれ加速度と音の振幅が最大のときの時刻、すなわち、加速度検知の時刻と音検知の時刻である。ここでは、加速度検知の時刻ta、音検知の時刻ts、勘合圧力の滑り時刻ｔ2の順になっている。コネクタを挿入する際、親指と人差し指でコネクタを掴んで手を勢いよく挿入方向に動かし、時刻taで加速度が最大値となる。続いて、コネクタが挿入されていくとロック機構が働いて嵌合音が発生し、時刻tsで音の振幅が最大値となる。さらにその後でコネクタが奥に達して時刻t2で圧力の滑りが生じる。時刻ta、時刻ts、時刻t2が一定時間内に順番で並ぶことを条件に嵌合作業を検知する（Ｓ１１）。一定時間内は、例えば、0.1秒以内とする。
　作業者や作業によって加速度が最大になるタイミングは異なることがある場合には、時刻taが時刻tsの後にくることがある。このようなことが起こりうる場合には、時刻taと時刻tsの両方が時刻t2の一定時間前にあることを条件に嵌合作業を検知する。
　上記の説明では滑り信号時刻ｔ2を用いているが、滑り信号時刻ｔ2を省略し、加速度検知の時刻と音検知の時刻と圧力信号の検知タイミングの関係を用いても、作業の検知精度をある程度上げることが期待できる。図５Ａ～Ｃで説明したように、作業時の圧力信号は特有のパターンを示し、加速度検知の時刻と音検知の時刻との関係にも特徴がみられるからである。
　以上説明した加速度の時刻を用いることで、誤検知を減らすことができ、検知精度を上げることができる。十分に高い検知精度が必要な場合に有効である。第１の実施形態で説明したチューニング機能は、第２の実施形態にも同様に適用できる。
　図１３を用いて、無線送信部１０５から無線受信部１０６への無線によるデータ送信について説明する。
  図４を用いて説明したように、作業判定には、勘合音の時刻tsと勘合圧力の滑り時刻ｔ2の時間関係を用いる。音データと圧力データがウェアラブルセンサ１０１から作業内容検出判定計算機１０２に無線で送信されるが、音データと圧力データの時刻の同期がずれると、正しく判定できなくなってしまう。
　このような複数のセンサ信号間の時刻同期のずれを防ぐために、複数のセンサ信号を束ねて複合信号化し、束ねられた信号を単一の無線信号として送信ならびに受信を行う。
　この方法の一例として、図７に示すようにプリント基板上に配置された複数のセンサ４０１、４０２からの信号をいったん信号複合化部４０３に送り、信号を複合化した後に無線送信機４０４から送信する。このとき、信号複合化部４０３は、図７に示すように単一のＩＣチップとして配置してもよい。
　また、例えば、無線送信部１０５のＩＣに複数の信号が配線上の電気信号を通じて送られた後に内部の回路で単一の無線信号となるように束ねられてもよい。なお、時刻情報は、このあと無線送信部１０５または無線受信部１０６または作業判定部１０７においてデータに時刻を付与してから、各センシング信号に分解後に動作照合を行う。
　複数のセンサの間の時刻同期ずれをなくすことで精度高く作業者の作業情報特定をして作業の判定を下すことが可能になる。
　以上説明した実施例の作業内容検出判定システム１００は、嵌合作業以外でも、音と手に掛かる圧力の情報、もしくは、音と手に掛かる圧力と手の加速度の情報で検出できる作業内容であれば、同様に適用できる。また、１つの作業だけでなく、複数の作業も、それぞれの検出条件・判定条件を設けることで、切り分けて検出することも可能である。複数の作業を検出して、作業内容を時系列に記録することも可能である。そうすることで、作業を効率化することが容易になる。
　また、以上説明した作業内容検出判定システム１００で、音と手に掛かる圧力の情報、もしくは、音と手に掛かる圧力と手の加速度のセンサ情報で作業を検出するが、それ以外のセンサ情報を用いてもよい。より多くのセンサ情報を用いることで、検知精度をより高めることができる。
　また、上記実施形態では、作業者による作業に例をとって説明したが、本発明の用途は必ずしも作業者による作業に限定されるものではない。
　また、上記実施形態では、手の作業を例にとって説明したが、本発明に含まれるウェアラブルセンサはこれに限定されるものではなく、足の裏やひざなど足の一部、肩やひじなど腕の一部に装着するものであってもよい。
　また、上記実施形態では、ウェアラブルセンサとしての説明を行ったが、必ずしも人が装着するセンサに限定するものではなく、複数のセンサを取りつけたロボットあるいは組み立て機械であってもよい。
　以上説明したように、実施例記載の技術により、作業者の作業内容を高精度に検出することができる、特にコネクタ嵌合を高精度に検出することができる作業内容検出判定システム及びウェアラブルセンサを提供することができる。
１００、１００Ｂ　作業内容検出判定システム
１０１　ウェアラブルセンサ
１０２、１０２’、１０２Ｂ　作業内容検出判定計算機
１０３、１０３Ａ、１０３Ｂ　マイク
１０４、１０４Ａ、１０４Ｂ　圧力センサ
１０５、１０５Ａ、１０５Ｂ　無線送信部１０６、１０６Ｂ　無線受信部
１０７、１０７Ｂ　作業判定部
１０８　報知部
１１１　音データ保存処理部
１１２　音データ蓄積部
１１３　圧力検知部
１１４　圧力検知結果蓄積部
１１５　音検知部
１１６　音検知結果蓄積部
１１７　作業検知部
１１８　作業検知結果蓄積部
１１９　作業良否判定部
１２０　作業ログ蓄積部
１２１　作業情報データベース
１２２　特徴量条件蓄積部
１３１　音保存プログラム
１３２、１３２Ｂ　作業判定プログラム
１４１　チューニング部
１４２　作業情報入力部
１４３　正検知特徴量蓄積部
１４４　特徴量条件チューニング部
１５１　加速度センサ
１５２　加速度検知部
１５３　加速度検知結果蓄積部
４０１、４０２　センサ
４０３　信号複合化部
４０４　無線送信機

Claims (17)

  1. 　作業者の手に着用され、前記手の作業対象への接触を通じて前記手が前記作業対象に働きかけた手動作の作業音を検出するマイクと、前記手動作の作業の圧力を検出する圧力センサと、前記手動作の動きを検出する動きセンサと、前記マイクの音信号、前記圧力センサの圧力信号、および前記動きセンサの動き信号を送信するための送信部とを有する手袋と、
    　前記送信部から送信された前記音信号、前記圧力信号、および前記動き信号を受信する受信部と、
    　前記音信号、前記圧力信号、および前記動き信号を用いて、前記作業者の作業内容の検出判定を行う作業判定部と、
    　前記作業判定部の判定結果を報知する報知部と、
    　を有する作業内容検出判定システム。
  2. 　前記作業判定部は、
    　前記音信号に基づく所定の作業音の検出タイミングと、前記圧力信号に基づく所定の圧力の検出タイミングと、前記動き信号に基づく所定の動きの検出タイミングを用いて、前記作業内容の検出判定を行う、
    　請求項１記載の作業内容検出判定システム。
  3. 　前記作業判定部は、
    　前記圧力信号を用いて、前記音信号に基づく所定の作業音の検出を行うかどうかを決定する、
    　請求項２記載の作業内容検出判定システム。
  4. 　前記手袋が有する前記マイクは少なくとも２個あり、第１のマイクは前記作業音の発生する箇所に近い第１の場所に、第２のマイクは前記第１の場所より前記作業音の発生する箇所から遠い第２の場所に取り付けられている、
    　請求項１記載の作業内容検出判定システム。
  5. 　前記作業判定部は、
    　前記第１のマイクの音と前記第２のマイクの音の音量もしくは伝播特性の違いに基づいて、前記音信号に基づく所定の作業音の検出を行う、
    　請求項４記載の作業内容検出判定システム。
  6. 　前記圧力センサおよび前記動きセンサは、導電性粒子を含む感圧シートが兼ねており、
    　前記感圧シートは、そのセンシング信号から圧力を検知することで圧力センサとして機能するとともに、センシング信号の変化に基づいて滑り信号を検知することにより動きセンサとして機能する、
    　請求項１記載の作業内容検出判定システム。
  7. 　前記作業判定部は、
    　前記音信号に基づく所定の作業音の検出タイミングと前記滑り信号を検知したタイミングの時刻差が一定時間内であること条件にして、前記作業内容の検出判定を行う、
    　請求項６記載の作業内容検出判定システム。
  8. 　前記作業判定部は、
    　前記音信号に基づく所定の作業音の検出タイミングの後に前記滑り信号を検知したタイミングがあること条件にして、前記作業内容の検出判定を行う、
    　請求項６記載の作業内容検出判定システム。
  9. 　前記動きセンサとして、さらに加速度信号を検出する加速度センサを備え、
    　前記作業判定部は、
    　前記音信号に基づく所定の作業音の検出タイミングと、前記滑り信号に基づく所定の滑りの検出タイミングと、前記加速度信号に基づく所定の加速度の検出タイミングを用いて、前記作業内容の検出判定を行う、
    　請求項６記載の作業内容検出判定システム。
  10. 　前記動きセンサは、動き信号として加速度信号を検出する加速度センサであり、
    　前記作業判定部は、
    　前記音信号に基づく所定の作業音の検出タイミングと、前記圧力信号に基づく所定の圧力の検出タイミングと、前記加速度信号に基づく所定の加速度の検出タイミングを用いて、前記作業内容の検出判定を行う、
    　請求項１記載の作業内容検出判定システム。
  11. 　前記作業内容の検出判定を行った結果を、事前に登録された作業情報と紐づけた作業ログとして蓄積部に保存する、
    　請求項１記載の作業内容検出判定システム。
  12. 　前記マイクからの音信号と前記圧力センサからの圧力信号を束ねて複合信号化する信号複合化部を更に有し、
    　前記送信部は無線送信を行う無線送信部であり、
    　前記無線送信部は、前記信号複合化部で束ねられた前記音信号および前記圧力信号を単一の無線信号として無線送信し
    　前記作業判定部は、受信した単一の前記無線信号を、時刻を付与したセンサ情報信号に分解後に前記作業内容の検出判定を行う、
    　請求項１記載の作業内容検出判定システム。
  13. 　入力部を備えるチューニング部を有し、
    　前記入力部に信号が入力された時刻と作業内容の検出判定の結果の時刻とが一定の時間内にあるときに、当該前記作業内容の検出判定の結果を使って検出判定条件のチューニングを行う、
    　請求項１記載の作業内容検出判定システム。
  14. 　作業者の手に着用され、前記手の作業対象への接触を通じて前記手が前記作業対象に働きかけた手動作を観測するウェアラブルセンサ内蔵手袋であって、
    　前記作業対象の作業音を検出するマイクと、
    　前記手の動作の作業の圧力を検出する圧力センサと、
    　前記手の動きを検出する動きセンサと、
    　前記マイク、前記圧力センサおよび前記動きセンサからの信号を無線で送信するための無線送信機と、
    　を有するウェアラブルセンサ内蔵手袋。
  15. 　前記圧力センサは、前記手の動作の作業の圧力を検出し滑りも検出可能であって、前記動きセンサを兼ねる、
    　請求項１４記載のウェアラブルセンサ内蔵手袋。
  16. 　前記ウェアラブルセンサ内蔵手袋が有する前記マイクは少なくとも２個あり、第１のマイクは前記作業音の発生する箇所に近い第１の場所に、第２のマイクは前記第１の場所より前記作業音の発生する箇所から遠い第の場所に取り付けられている、
    　請求項１４記載のウェアラブルセンサ内蔵手袋。
  17. 　無線送信機から無線送信された、作業音を検出したマイクからの音信号、手の動作の作業の圧力を検出した圧力センサからの圧力信号、および、前記圧力センサから検出された滑り信号及び手の動作の加速度を検出した加速センサからの加速度信号の少なくとも一つの信号、を受信する受信部と、
    　前記音信号、前記圧力信号、および、前記滑り信号と前記加速度信号の少なくとも一つの信号、から作業者の作業内容を判定する作業判定部と、
    　を有する作業内容検出判定装置。
PCT/JP2020/005504 2019-06-21 2020-02-13 作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋 WO2020255480A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080024412.2A CN113631901B (zh) 2019-06-21 2020-02-13 作业内容检测判定装置以及作业内容检测判定系统
US17/435,894 US11900777B2 (en) 2019-06-21 2020-02-13 Work content detection determination device, work content detection determination system, and wearable sensor embedded glove
US18/520,323 US20240169816A1 (en) 2019-06-21 2023-11-27 Work content detection determination device, work content detection determination system, and wearable sensor embedded glove

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019115047A JP7139289B2 (ja) 2019-06-21 2019-06-21 作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋
JP2019-115047 2019-06-21

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/435,894 A-371-Of-International US11900777B2 (en) 2019-06-21 2020-02-13 Work content detection determination device, work content detection determination system, and wearable sensor embedded glove
US18/520,323 Continuation US20240169816A1 (en) 2019-06-21 2023-11-27 Work content detection determination device, work content detection determination system, and wearable sensor embedded glove

Publications (1)

Publication Number Publication Date
WO2020255480A1 true WO2020255480A1 (ja) 2020-12-24

Family

ID=73995349

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005504 WO2020255480A1 (ja) 2019-06-21 2020-02-13 作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋

Country Status (4)

Country Link
US (2) US11900777B2 (ja)
JP (1) JP7139289B2 (ja)
CN (1) CN113631901B (ja)
WO (1) WO2020255480A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293794A (ja) * 2007-05-24 2008-12-04 Toyota Motor Corp コネクタ嵌合状態判定装置及び方法
JP2010186651A (ja) * 2009-02-12 2010-08-26 Toyota Motor Corp コネクタ嵌合判定装置及びコネクタ嵌合判定方法
JP2011159204A (ja) * 2010-02-03 2011-08-18 Kanto Auto Works Ltd 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044153A (en) * 1998-01-30 2000-03-28 Motorola, Inc. Hand adaptive telephone
US8625819B2 (en) * 2007-04-13 2014-01-07 Personics Holdings, Inc Method and device for voice operated control
JP5034058B2 (ja) * 2009-01-09 2012-09-26 トヨタ自動車東日本株式会社 コネクタ嵌合検査システム及び方法
JP5257896B2 (ja) * 2009-05-22 2013-08-07 国立大学法人電気通信大学 滑り検出装置及び方法
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
EP2767229A4 (en) * 2011-10-11 2015-03-04 Murata Manufacturing Co PORTABLE INSTRUMENT
WO2015175838A1 (en) * 2014-05-15 2015-11-19 Sensoria, Inc. Gloves with sensors for monitoring and analysis of position, pressure and movement
EP2823759A4 (en) * 2012-03-07 2015-11-11 Seiko Epson Corp PULSE MONITOR AND PROGRAM THEREOF
JP6013847B2 (ja) * 2012-09-14 2016-10-25 矢崎総業株式会社 端子圧着状態の検査方法及びその装置
FR3006477B1 (fr) * 2013-05-29 2016-09-30 Blinksight Dispositif et procede de detection de la manipulation d'au moins un objet
US9959854B2 (en) * 2015-06-09 2018-05-01 Almasi A. SIMS Performance enhancing device and related methods
US20170309152A1 (en) * 2016-04-20 2017-10-26 Ulysses C. Dinkins Smart safety apparatus, system and method
US10375473B2 (en) * 2016-09-20 2019-08-06 Vocollect, Inc. Distributed environmental microphones to minimize noise during speech recognition
US20210177341A1 (en) * 2017-11-03 2021-06-17 Schlumberger Technology Corporation Utilizing wearable electronic devices at a worksite
CN108042109A (zh) * 2017-12-21 2018-05-18 王雪峰 可穿戴式生理信息采集传输平台
CN208544243U (zh) * 2018-07-04 2019-02-26 上汽通用汽车有限公司 儿童被锁提示系统及汽车车窗控制系统
JP7171359B2 (ja) * 2018-10-17 2022-11-15 株式会社日立製作所 作業情報管理システム及びウェアラブルセンサ
WO2022035820A1 (en) * 2020-08-12 2022-02-17 The Esab Group Inc. Monitoring system employing smart gloves to analyze operator fabrication activities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008293794A (ja) * 2007-05-24 2008-12-04 Toyota Motor Corp コネクタ嵌合状態判定装置及び方法
JP2010186651A (ja) * 2009-02-12 2010-08-26 Toyota Motor Corp コネクタ嵌合判定装置及びコネクタ嵌合判定方法
JP2011159204A (ja) * 2010-02-03 2011-08-18 Kanto Auto Works Ltd 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体

Also Published As

Publication number Publication date
US20220207978A1 (en) 2022-06-30
JP2021001410A (ja) 2021-01-07
CN113631901B (zh) 2023-05-12
JP7139289B2 (ja) 2022-09-20
CN113631901A (zh) 2021-11-09
US11900777B2 (en) 2024-02-13
US20240169816A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
US11023045B2 (en) System for recognizing user gestures according to mechanomyogram detected from user's wrist and method thereof
US8186216B2 (en) Device, system, and method for determining fitting condition of connector
CN104765461B (zh) 一种控制方法及电子设备
US20120157886A1 (en) Mechanomyography Signal Input Device, Human-Machine Operating System and Identification Method Thereof
US8259092B2 (en) Method for writing motion and trajectory recognition and writing apparatus and recognizing system
CN104272225A (zh) 信息处理装置、信息处理方法和程序
US20240087470A1 (en) Operational Information Management System and Wearable Sensor
US11941175B2 (en) Skin-to-skin contact detection
CN110794989A (zh) 一种按键响应方法、电子设备
WO2016139798A1 (ja) 入力検知方法、入力検知プログラム及びデバイス
WO2020255480A1 (ja) 作業内容検出判定装置、作業内容検出判定システム、及びウェアラブルセンサ内蔵手袋
US9823774B2 (en) Noise reduction in a digitizer system
CN113467647A (zh) 皮肤与皮肤接触检测
EP2936391B1 (en) System, electronic pen and method for the acquisition of the dynamic handwritten signature using mobile devices with capacitive touchscreen
CN111766941B (zh) 一种基于智能戒指的手势识别方法及系统
CN106951109B (zh) 一种采集手部姿态的方法及其装置
CN106919887B (zh) 指纹识别芯片、电子设备及按键事件上报方法
CN104516563B (zh) 信息处理设备及其数据处理方法、和输入设备及其输入控制方法
CN100424624C (zh) 一种鼠标控制方法
CN116160457B (zh) 一种机械手臂的控制系统、方法、电子设备及存储介质
CN106569610A (zh) 一种通过大拇指弯曲度检测实现电子设备输入功能的方法
CN112764540A (zh) 设备的识别方法、装置、存储介质及电子设备
KR101009579B1 (ko) 가속도 신호의 처리 방법 및 이를 채용한 인터페이스 장치
KR20140144560A (ko) 제스처 인식 기기의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20825938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20825938

Country of ref document: EP

Kind code of ref document: A1