WO2022254693A1 - 操作検出装置及び操作検出方法 - Google Patents

操作検出装置及び操作検出方法 Download PDF

Info

Publication number
WO2022254693A1
WO2022254693A1 PCT/JP2021/021381 JP2021021381W WO2022254693A1 WO 2022254693 A1 WO2022254693 A1 WO 2022254693A1 JP 2021021381 W JP2021021381 W JP 2021021381W WO 2022254693 A1 WO2022254693 A1 WO 2022254693A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
predetermined
sound
motion
accuracy
Prior art date
Application number
PCT/JP2021/021381
Other languages
English (en)
French (fr)
Inventor
雅己 岡本
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to EP21943339.8A priority Critical patent/EP4350483A1/en
Priority to JP2023525312A priority patent/JPWO2022254693A1/ja
Priority to CN202180098857.XA priority patent/CN117396829A/zh
Priority to PCT/JP2021/021381 priority patent/WO2022254693A1/ja
Publication of WO2022254693A1 publication Critical patent/WO2022254693A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to a detection device and detection method for detecting an operator's operation.
  • the user interface parts are displayed on the operation plane where the user (operator) operates, the touch position where the user's finger touches the operation plane is detected, and the finger touching the operation plane is acquires the shape of the user's hand, recognizes the projection area when the hand is projected onto the operation plane from the acquired hand shape, and from the detected touch position and the position where the UI component is displayed, the UI
  • Patent Document 1 a technique of detecting a user's operation on a component and determining the content of the operation on the UI component according to the recognized projection area and the detected user's operation.
  • the problem to be solved by the present invention is to provide an operation detection device and an operation detection method that can improve the detection accuracy of the operator's operation when the operator's touch position cannot be detected.
  • the present invention detects a motion of an operator, estimates the probability that the operator has performed a predetermined operation based on the detected motion of the operator, and generates a predetermined sound when performing the predetermined operation. is detected, and when the certainty is equal to or greater than a predetermined value and the predetermined sound is detected, it is determined that the operator has performed the predetermined operation.
  • FIG. 1 is a block diagram showing one embodiment of an operation detection system including an operation detection device according to the present invention
  • FIG. 2 is a perspective view showing an example of the positional relationship between the imaging device, myoelectric potential measurement device, sound collector, and display device of FIG. 1 and an operator.
  • FIG. FIG. 3 is an explanatory diagram showing an example of a trained model used in the accuracy estimation unit in FIG. 1; It is explanatory drawing which shows an example of a predetermined procedure.
  • 5 is a graph showing the accuracy of execution of a predetermined operation with respect to the degree of progress of steps and the accuracy of generation of a predetermined sound with respect to the degree of progress of steps in the predetermined procedure shown in FIG. 4;
  • FIG. 10 is an explanatory diagram showing another example of the predetermined procedure;
  • 2 is a flowchart showing an example of an information processing procedure in the operation detection system of FIG. 1;
  • FIG. 1 is a block diagram showing an operation detection system 1 according to the invention.
  • the operation detection system 1 is a device that detects an operator's operation on a certain device.
  • a vehicle dealer hereinafter also referred to as a "dealer”
  • it can be used, for example, to confirm whether or not maintenance by a mechanic engaged in vehicle maintenance has been carried out according to the manual.
  • An operator whose operation is detected by the operation detection system 1 (hereinafter also simply referred to as "operator”) is not particularly limited, and examples thereof include a vehicle crew member, a factory worker, and a dealer mechanic.
  • the operation detection system 1 includes an imaging device 11, a myoelectric potential measurement device 12, a sound collector 13, a display device 14, and an operation detection device 15.
  • the devices constituting the operation detection system 1 are connected in a state in which data can be exchanged with each other by known means such as a wired or wireless LAN.
  • the number of imaging devices 11, myoelectric potential measurement devices 12, sound collectors 13, and display devices 14 is not particularly limited as long as each is at least one or more.
  • the imaging device 11, myoelectric potential measurement device 12, sound collector 13, and display device 14 do not need to be provided together with the operation detection device 15, and may be installed at a location away from the operation detection device 15. good.
  • the imaging device 11, the sound collector 13, and the display device 14 are installed near the assembly line of an assembly plant, and the operation detection device 15 is installed in a central control room away from the assembly line, or in a remote control room away from the assembly plant. It may be provided on a local server.
  • the imaging device 11 is a device for acquiring image data of objects existing around the operator, and is, for example, a camera including an imaging device such as a CCD, an ultrasonic camera, an infrared camera, or the like.
  • Objects include objects existing around the operator in addition to the operator.
  • objects include switches and touch panels around the vehicle occupants, parts assembled by workers and tools used, and vehicles maintained by dealer mechanics.
  • the imaging device 11 can detect the operator's actions such as the dashboard, roof, and seats of the vehicle, the assembly line of the assembly plant, the workbench, the vicinity of the tools used by the workers, and the lift of the dealer. installed in a position where
  • the myoelectric potential measurement device 12 is a device for measuring the operator's myoelectric potential, and is, for example, an electromyograph.
  • the type of myoelectric potential measurement device 12 is not particularly limited, and may be, for example, an electromyograph with needle electrodes, an electromyograph with surface electrodes, or an electromyograph with wire electrodes.
  • the myoelectric potential measuring device 12 is attached to the operator's body by, for example, an adhesive pad or hook-and-loop fastener, and measures the myoelectric potential of the attached portion that comes into contact with the operator's body.
  • the part of the operator to which the myoelectric potential measuring device 12 is attached includes the arm of a vehicle occupant, the upper arm and/or the forearm of a worker, the leg of a mechanic at a dealer, and the like.
  • the sound collecting device 13 is a device for acquiring ambient sound as audio data, and is, for example, a microphone such as a stand microphone, a close-talking microphone, or a gun microphone.
  • a microphone may be omnidirectional or directional.
  • the communication method may be either wired or wireless.
  • Sounds acquired by the sound collector 13 include the operator's voice and the voices of people around the operator, as well as sounds caused by the operator's operations. Sounds caused by the operator's operation include the sound generated from the switch operated by the vehicle occupant, the sound generated from the speaker when the vehicle occupant touches the touch panel, and the sound generated when the worker assembles multiple parts. , the sound of parts meshing together, and the operating sound of tools used by dealer mechanics.
  • the sound collector 13 is placed at a position where it can detect sounds around the operator, such as the dashboard, roof, and seats of the vehicle, the assembly line of the assembly plant, the workbench, and the tools used by the workers. It may be installed together with the imaging device 11 or myoelectric potential measurement device 12 .
  • the display device 14 is a device for notifying the operator of the operation detected by the operation detection device 15 .
  • the display device 14 is, for example, a liquid crystal display, a projector, or the like, and may include a speaker.
  • the display device 14 is installed in a position close to the operator, such as a dashboard of a vehicle or a work place of a worker in an assembly plant, where necessary information can be notified to the operator. If there is a supervisor to monitor the operation, it will be installed near the supervisor. In this case, if the supervisor is located away from the operator, the display device 14 is installed at a location away from the operator. Moreover, the display device 14 may be attached to the operator as a wearable terminal.
  • the imaging device 11, the myoelectric potential measurement device 12, the sound collector 13, the display device 14, and the operation detection device 15 may be integrated into one wearable terminal and attached to the operator. Also, instead of the display device 14, only a speaker that emits an alarm sound may be used.
  • FIG. 2 shows an example of the positional relationship between the imaging device 11, the myoelectric potential measuring device 12, the sound collecting device 13, the display device 14, and the operator.
  • the operator OP is a worker engaged in assembly work in an assembly factory, and is assembling parts P on a workbench WB.
  • An imaging device 11 is installed above the operator OP, and acquires image data of how the parts P are assembled by the operator OP on the workbench WB.
  • a myoelectric potential measuring device 12 is attached to the right forearm of the operator OP, and from the value of the measured myoelectric potential, the movement of the muscles when the operator OP assembles the part P is acquired, and the motion of the operator OP is measured. To detect.
  • a sound collector 13 is attached to the right upper arm of the operator OP, and detects the sound of the parts engaging with each other, which is generated when the operator OP assembles the parts P.
  • a display device 14 for notifying the operator OP of the detected operation is installed as a liquid crystal display 14a, for example, in front of the operator OP. Alternatively, they may be provided as earphones 14b attached to the ears of the operator OP.
  • the operation detection device 15 is a device for determining whether or not the operator has performed a certain operation.
  • Image data, myoelectric potential data, and audio data used for the determination are acquired from the imaging device 11, the myoelectric potential measuring device 12, and the sound collecting device 13, respectively, at predetermined time intervals.
  • the operation detection device 15 uses the processor 16 to implement functions such as processing of acquired data, determination of whether or not an operation has been properly executed, and output of the result of the determination.
  • the processor 16 includes a ROM (Read Only Memory) 162 storing a program, and a CPU (Central Processing Unit) 161 which is an operation circuit for functioning as the operation detection device 15 by executing the program stored in the ROM 162. and a RAM (Random Access Memory) 163 functioning as an accessible storage device.
  • ROM Read Only Memory
  • CPU Central Processing Unit
  • a program used in the operation detection device 15 of the present embodiment implements functions such as processing of acquired data, determination of whether or not an operation has been properly executed, and output of the result of the determination. It includes an operation detection unit 2 which is a functional block for The operation detection unit 2 acquires image data from the imaging device 11, acquires myoelectric potential values from the myoelectric potential measurement device 12, acquires voice data from the sound collector 13, and detects the operator based on the acquired data. It has a function of estimating an operation to be performed, determining whether or not the estimated operation has been appropriately performed, and outputting the determination result.
  • the operation detection unit 2 includes an operation detection unit 21, a probability estimation unit 22, a sound detection unit 23, an operation determination unit 24, and a determination result output unit 25, as shown in FIG. In FIG. 1, each part is extracted and shown for convenience.
  • the operation detection device 15 shown in FIG. 1 includes all of the functional blocks described above, but a single operation detection device 15 need not include all of the functional blocks, and some of the functional blocks described above may be used for operation detection. It may be provided in another device included in the system 1 or in another information processing device (not shown).
  • the determination result output section 25 may be provided in the display device 14 . In this case, the functions of the determination result output unit 25 are executed using the CPU, ROM, and RAM of the display device 14 .
  • each functional block it is not necessary for a single device to execute all the processing of each functional block, and the function of each functional block may be realized across multiple devices connected in a state where data can be exchanged.
  • part of the processing performed by the motion detection unit 21 is performed by the imaging device 11 or myoelectric potential measurement device 12, and the remaining processing is performed by the operation detection device. 15 may be executed.
  • the CPU, ROM, and RAM of the imaging device 11 or myoelectric potential measuring device 12 are used to perform part of the processing for realizing the function of the motion detection unit 21 .
  • part of the processing performed by the sound detection unit 23 may be performed by the sound collector 13 and the rest of the processing may be performed by the operation detection device 15. good.
  • the motion detection unit 21 has a function of detecting the motion of the operator. For example, the motion detection unit 21 acquires image data including the operator from the imaging device 11 and detects the motion of the operator from the acquired image data. The motion detection unit 21 performs analysis such as pattern matching on image data acquired from the imaging device 11, and classifies objects included in the image data. Next, an operator is selected from the classified objects, and data relating to the operator extracted from the image data is acquired. Then, each part of the operator's body and its positional relationship are recognized from the data about the operator, and the operator's motion is detected from the recognized positional relationship of each part.
  • the motion detection unit 21 may acquire the measured myoelectric potential value from the myoelectric potential measurement device 12 and detect the operator's motion from the acquired myoelectric potential value. good.
  • the myoelectric potential measurement device 12 is attached to the arm of a worker working on an assembly line in a factory, and the potential of each muscle in the upper arm and forearm of the worker's arm is measured. From the measured potential of each muscle, which muscle is contracting, that is, how the worker's arm is moving is detected as a motion.
  • the accuracy estimation unit 22 has a function of estimating the accuracy with which the operator has performed a predetermined operation based on the operator's motion detected by the motion detection unit 21 .
  • the predetermined operation is not particularly limited, and includes all operations for the operator to perform some kind of input on the operation target. Specifically, a vehicle occupant pushes a switch to move the windows of the vehicle up and down, a vehicle occupant touches a touch panel to change the map display of the navigation device, and an assembly plant worker The operation of fitting the coupler connected to the sensor with the coupler connected to the electronic control unit (ECU), and the operation of the assembly plant worker using tools to tighten the bolts and attach the exhaust manifold to the engine block. , an operation by a dealer's mechanic to fit a spark plug into an engine, and an operation by a dealer's mechanic to tighten a bolt using a torque wrench.
  • ECU electronice control unit
  • the accuracy estimation unit 22 estimates the operation that the operator is about to perform based on the operator's motion detected by the motion detection unit 21 when estimating the certainty that the predetermined operation has been performed.
  • the correspondence between the operator's motion and the operation that the operator is about to execute is obtained in advance for each operation and stored in a database such as the database 17, for example.
  • the accuracy estimating unit 22 can acquire the correspondence between operations and actions from the database 17 as necessary. Based on the correspondence obtained from the database 17, the accuracy estimation unit 22 estimates the operation that the operator is about to perform from the operator's motion.
  • the motion detection unit 21 detects a motion of an occupant sitting in the front passenger seat of a vehicle wiping sweat from his face with a handkerchief and then reaching out to a switch installed on the front passenger door.
  • the accuracy estimating unit 22 searches for the operation corresponding to the operation of reaching for the switch installed on the front passenger seat side door from the correspondence relationship between the operation and the operation acquired from the database 17 . Assuming that the operation corresponding to the operation corresponds to the operation of pulling the handle of the passenger seat side door to open the door and the operation of pushing in the switch for moving the window glass of the vehicle up and down. was driving, and the occupant was wiping sweat from his face with a handkerchief.
  • the motion detection unit 21 detects a motion of a worker working on an assembly line in a factory holding an uncoupled coupler in his left hand and extending his right hand toward another coupler.
  • the accuracy estimating unit 22 searches for an operation corresponding to the motion of reaching out to the coupler from the correspondence relationship between motions and operations acquired from the database 17 .
  • the operations corresponding to this action include the operation of removing one coupler from a pair of couplers already engaged, and the operation of engaging the coupler connected to the sensor with the coupler connected to the electronic control unit.
  • the accuracy estimating unit 22 determines that since the worker is holding the coupler that is not engaged in the left hand, the worker's movement is connected to the coupler connected to the sensor and to the electronic control device. It is presumed that it corresponds to the operation of mating the coupler.
  • the accuracy estimation unit 22 determines whether the operation estimated as described above corresponds to the predetermined operation. Then, when it is determined that the estimated operation corresponds to the predetermined operation, the probability that the predetermined operation has been performed is estimated.
  • the accuracy is predetermined as a function of the operator's motion for each predetermined operation, and is stored in a database such as the database 17, for example.
  • the accuracy estimating unit 22 can acquire from the database 17 the accuracy that a predetermined operation has been performed on the detected motion, if necessary. For example, in the case of an operation to touch the touch panel to change the display of the device, the accuracy is highest when the occupant's hand touching the touch panel is detected, and the accuracy decreases as the occupant's hand moves away from the touch panel. In the case of the operation of pushing the switch, the accuracy is highest when the occupant's hand touches the switch as the operation, and the accuracy decreases as the occupant's hand moves away from the switch.
  • the motion is most accurate when the motion of the mated coupler stops moving and the worker's hand stops moving, and the motion of the coupler to coupler The greater the distance, the lower the accuracy.
  • the accuracy is highest when the movement of the torque wrench stops and the operator's hand stops. less accurate while the is rotating and after the torque wrench is stationary.
  • the accuracy is highest when the motion of the spark plug stops rotating and the mechanic's hand is stationary, while the hand is moving, and Accuracy decreases after the mechanic's body has left the engine.
  • Such accuracy estimation is performed in parallel with detection of the operator's motion by the motion detection unit 21, and the accuracy is estimated by the accuracy estimation unit 22 each time the operator's motion changes.
  • the accuracy estimating unit 22 can estimate the accuracy at predetermined time intervals, and the predetermined time can be appropriately set according to the computing power of the CPU 161 .
  • the accuracy estimation unit 22 can estimate the accuracy using a learned model that has undergone machine learning for estimating the accuracy from the operator's motion detected by the motion detection unit 21 .
  • a trained model is a model that has been learned in advance by machine learning so that appropriate output data can be obtained for certain input data. At least, a program that performs operations from input data to output data, and a weighting coefficient (parameter) used for the calculation.
  • the learned model of the present embodiment is based on the input data, the operation corresponding to the operator's motion, and the operation corresponding to the operation.
  • the computer (particularly, the CPU 161 of the processor 16) is caused to output output data including the accuracy of execution of .
  • the trained model of this embodiment is not particularly limited, it is, for example, a neural network 3 as shown in FIG.
  • the neural network 3 comprises an input layer 31, an intermediate layer 32 and an output layer 33, each layer containing at least one neuron.
  • the input layer 31 receives input data 34 including operator motion data detected by the motion detection unit 21 and outputs the input data to the intermediate layer 32 .
  • the intermediate layer 32 extracts motion data from the data input from the input layer 31 . Next, the motion in the extracted motion data is associated with the operation. Then, when the operation is a predetermined operation, the accuracy with which the predetermined operation has been performed for the action is estimated.
  • the output layer 33 outputs the data input from the intermediate layer 32 as output data 35 including accuracy data.
  • the action of reaching out to another coupler with the right hand, or the action of a factory worker holding a torque wrench with his right hand and fitting it into the bolt of the engine block on the workbench, are all actions that are
  • a correspondence relationship is established by machine learning.
  • the corresponding relationship is associated with a plurality of factors such as the tool used by the operator and the environment around the operator.
  • the parameters are set so that the appropriate operation is output for the operation. For example, the fact that the vehicle in which the crew is riding is running, the fact that the worker is holding the coupler with each hand, and the like are taken into consideration as parameters when estimating the operation from the motion.
  • the correspondence relationship of the intermediate layer 32 described above may be learned in advance by machine learning, but the input data 34 input to the neural network 3 in the past and the output data 35 output from the neural network 3 in the past are New learning may be performed using the teacher data 36 included therein, or a learned model previously learned by machine learning may be further learned.
  • the learning is performed by the machine learning unit 22a included in the accuracy estimation unit 22.
  • the teacher data 36 is stored in a database such as the database 17 shown in FIG. 1, for example, and can be obtained as needed.
  • the sound detection unit 23 has a function of detecting a predetermined sound generated when performing a predetermined operation.
  • the predetermined sound is not particularly limited, and includes all sounds generated from an operation target operated by the operator in a predetermined operation and an object attached to the operation target. Specifically, if the predetermined operation is an operation of pushing a switch, it is the operation sound of the switch that is generated when the switch is pushed. If the predetermined operation is a touch panel operation, the sound is generated from the speaker when the touch panel is touched. When the predetermined operation is an operation of fitting the couplers together, the sound is generated when the fitting portions of the couplers are engaged.
  • a predetermined sound corresponding to a predetermined operation is stored as data such as waveform data in a database such as the database 17, and can be obtained as needed.
  • the sound detection unit 23 determines whether or not the sound data acquired from the sound collector 13 contains the predetermined sound as described above. Specifically, the sound detection unit 23 performs a process of reducing noise such as road noise, engine sound, factory noise, and human voices on the audio data acquired from the sound collector 13 . Then, the same sound as the predetermined sound obtained from the database 17 is detected from the audio data that has undergone necessary preprocessing such as noise reduction by performing frequency analysis or the like. When the same sound as the predetermined sound is detected from the preprocessed audio data, the sound detection section 23 outputs to the operation determination section 24 that the predetermined sound has been detected. Note that the correspondence between the predetermined operation and the predetermined sound is not necessarily a one-to-one correspondence, and a plurality of predetermined sounds may be set for one predetermined operation.
  • the operation determination unit 24 combines the accuracy estimated by the accuracy estimation unit 22 and the timing at which the predetermined sound is detected by the sound detection unit 23 to determine whether or not the predetermined operation has been performed. It has a function to determine whether or not the procedure has been executed.
  • a predetermined procedure is a procedure of operations set in advance for a predetermined operation. Specifically, when the accuracy estimated by the accuracy estimation unit 22 is equal to or greater than a predetermined value and the sound detection unit 23 detects a predetermined sound, the operation determination unit 24 executes a predetermined operation in a predetermined procedure.
  • the predetermined value is, for example, 80% or more, and can be set to an appropriate value within a range in which it can be determined whether or not the predetermined operation has been appropriately performed.
  • the switch SW shown in FIG. 4 switches between ON and OFF of the apparatus, and is OFF when positioned on the left side in the horizontal direction of FIG. 4, and ON when positioned on the right side.
  • the switch SW can be switched from the OFF state to the ON state.
  • step 1) the occupant touches the switch SW with the finger F of the hand
  • step 2) the occupant pushes the switch SW in the ON direction with the finger F
  • step 3 the occupant pushes the switch SW in the ON direction with the finger F
  • the operation determination unit 24 acquires the accuracy from the accuracy estimation unit 22 at predetermined time intervals, and grasps the timing when the accuracy reaches or exceeds a predetermined value along with the change in the detected motion.
  • a graph like the one shown in the upper part of Fig. 5 can be obtained.
  • the operation determination unit 24 determines whether or not the switch operating sound S, which is a predetermined sound, is detected while the passenger is performing the procedure of step 3), that is, while the accuracy is equal to or higher than a predetermined value.
  • a graph such as that shown in the lower part of FIG. 5 can be obtained.
  • the sound detection unit 23 analyzes the sound data acquired by the sound collector 13 using a method such as frequency analysis, particularly while step 3) is being executed, and detects the operating sound S of the switch. .
  • the operation determination unit 24 determines that the operation of pushing the switch of the vehicle corresponds to the predetermined procedure. It is determined that it has been executed according to On the other hand, if the occupant does not receive the output of the sound detection unit 23 while performing the procedure of step 3) and the occupant proceeds to the procedure of step 4), the operation determination unit 24 operates the switch of the vehicle. is not executed according to a predetermined procedure. That is, since the operation sound of the switch was not detected in step 3), it is determined that the switch was not pushed to the position where it would operate properly, and that the occupant's switch input operation was not properly executed.
  • FIG. 6 will be used to explain a case where the predetermined operation is an operation for fitting two couplers by a worker.
  • the coupler C1 held in the left hand of the worker and the coupler C2 held in the left hand of the worker are fitted together, and when the fitting portions of the coupler C1 and the coupler C2 are fitted properly, the operating sound shall occur.
  • the predetermined procedure in this case is, for example, as shown in FIG.
  • the couplers C1 and C2 are pushed into each other until the fitting portion Z is engaged and a clicking sound S is generated, and step 4) when the operating sound S is generated, the couplers C1 and C2 are released. be.
  • the operation determination unit 24 acquires the accuracy from the accuracy estimation unit 22 and grasps the timing when the accuracy becomes equal to or greater than a predetermined value. In this predetermined procedure, it is assumed that the accuracy becomes equal to or greater than a predetermined value in step 3). While the operator is performing the procedure of step 3), that is, while the accuracy is equal to or higher than a predetermined value, the operation determination unit 24 generates a predetermined sound, that is, an operation sound when the fitting portion Z of the coupler is engaged. Determine whether S is detected. While the worker is performing the procedure of step 3), if an output indicating that the predetermined sound has been detected is received from the sound detection unit 23, the operation determination unit 24 instructs the worker to engage the couplers C1 and C2.
  • the operation determination unit 24 determines that the coupler It is determined that the operator's operation to fit C1 and C2 has not been performed according to a predetermined procedure. That is, since the operating sound S of the fitting portion was not detected in step 3), it is determined that the couplers C1 and C2 were not properly fitted because the couplers were not pushed to a position where they are properly meshed.
  • predetermined procedures and predetermined operations are not limited to a one-to-one correspondence, and a plurality of predetermined procedures may be set for one predetermined operation.
  • the determination result output unit 25 has a function of outputting the determination result of the operation determination unit 24 to an external device. has a function of outputting that the predetermined operation has not been executed when the The determination result output unit 25 outputs to the display device 14 a determination result to the effect that the predetermined operation has not been performed properly, and displays the determination result on the display device 14, so that the operator can properly perform the predetermined operation. It can be notified that it was not executed. For example, if the operator is driving a bus and the supervisor controlling the operation of the bus is in the operation control room away from the bus driven by the operator, the display device 14 The determination result is output from the determination result output unit 25 to the display device 14 provided in the operation control room. As a result, the supervisor can monitor the operation status of the bus from a position away from the operator, and the operator who drives the bus can operate the ventilator and air conditioner to appropriately control the temperature inside the bus. You can check whether
  • FIG. 7 is an example of a flowchart showing information processing in the operation detection system 1 of this embodiment. The processing described below is executed by the processor 16 of the operation detection device 15 at predetermined time intervals.
  • step S1 the action of the operator is detected by the function of the action detection unit 21 .
  • the motion of the occupant is detected from image data acquired by an imaging device 11 installed on the dashboard of the vehicle, for example.
  • the function of the accuracy estimation unit 22 estimates the operation that the operator is about to perform using the correspondence between operations and actions stored in the database 17.
  • the operation of the occupant is estimated from the correspondence relationship between operations and actions based on the action detected by the action detection unit 21 using image data.
  • the function of the accuracy estimation unit 22 determines whether or not the estimated operation corresponds to the predetermined operation, and if it is determined that the estimated operation corresponds to the predetermined operation, the predetermined operation is executed.
  • Estimate the accuracy of The estimation uses functions of motion and probability stored in the database 17 .
  • the operation of the operator interface is executed from a function of the action and accuracy based on the action detected by the action detection unit 21 using image data.
  • the function of the sound detection unit 23 detects a predetermined sound using the sound collector 13.
  • the sound collector 13 detects the operating sound generated from the speaker of the vehicle when the operator interface is operated.
  • step S5 the function of the operation determination unit 24 determines whether or not the sound detection unit 23 has detected a predetermined sound while the accuracy estimated by the accuracy estimation unit 22 is equal to or greater than a predetermined value. If it is determined that the sound detection unit 23 has detected the predetermined sound while the accuracy estimated by the accuracy estimation unit 22 is equal to or greater than the predetermined value, it is determined that the operator has performed the predetermined operation, and the routine is executed. Stops execution and terminates operation detection processing. On the other hand, if the sound detector 23 does not detect the predetermined sound while the accuracy is equal to or greater than the predetermined value, it is determined that the predetermined operation has not been performed according to the predetermined procedure, and the process proceeds to step S6.
  • step S6 the function of the determination result output unit 25 outputs to the display device 14 that the predetermined operation has not been properly executed. Then, the display device 14 receives the output of the determination result output unit 25 and notifies the operator that the predetermined operation was not properly executed. When an occupant of the vehicle operates the operator interface of the in-vehicle device, the operator interface displays a message indicating that the operation was not performed properly. After the display, the execution of the routine is stopped and the operation detection processing is terminated.
  • step S1 when the vehicle occupant opens the sunroof or operates the ventilator, for example, in step S1, from the image data acquired by the imaging device 11 installed on the window glass at the rear of the vehicle, Detect occupant movements.
  • step S2 based on the motion detected by the motion detection unit 21 using the image data, the operation of the occupant is estimated from the correspondence relationship between the operation and the motion.
  • step S3 based on the motion detected by the motion detection unit 21 using the image data, the probability that the sunroof or ventilator has been operated is estimated from the function of motion and probability.
  • the sound of the opening/closing mechanism of the sunroof being activated or the sound of the ventilator being opened is detected.
  • step S5 it is determined whether or not the sound of the opening/closing mechanism of the sunroof or the sound of the ventilator being opened is detected while the accuracy of operating the sunroof or the ventilator is equal to or higher than a predetermined value.
  • the operation detection process ends.
  • step S6 it is determined that the operation of the sunroof or the ventilator has not been performed according to the prescribed procedure, and the process proceeds to step S6.
  • step S6 it is output to the display device 14 that the operation of the sunroof or the ventilator was not properly executed.
  • step S1 when a worker engaged in assembly work in a factory tightens a bolt using a tool, for example, in step S1, the myoelectric potential measurement device 12 attached to the worker acquires The motion of the worker is detected from the myoelectric potential value.
  • step S2 based on the motion detected by the motion detection unit 21 using the value of myoelectric potential, the operation of the occupant is estimated from the correspondence relationship between the operation and the motion.
  • step S3 based on the motion detected by the motion detection unit 21 using the value of myoelectric potential, the accuracy of the bolt tightening operation being performed is estimated from the function of the motion and the accuracy.
  • step S4 the sound generated from the tool when the bolt has been tightened is detected.
  • step S5 it is determined whether or not the sound generated from the tool is detected while the accuracy of the bolt tightening operation is equal to or higher than a predetermined value.
  • the operation detection process ends.
  • step S6 it is determined that the bolt has not been properly tightened, and the process proceeds to step S6.
  • step S6 it is output to the display device 14 that the bolt has not been properly tightened.
  • step S1 when a worker engaged in assembly work in a factory connects two couplers, for example, in step S1, image data is captured by an imaging device 11 attached to the worker as a wearable terminal. to detect worker movements.
  • step S2 based on the motion detected by the motion detection unit 21 using the image data, the operator's operation is estimated from the correspondence relationship between the operation and the motion.
  • step S3 based on the motion detected by the motion detection unit 21 using the image data, the accuracy of the worker combining the couplers is estimated from the function of the motion and the accuracy.
  • a sound generated from the fitting portion when the coupler is fitted is detected.
  • step S5 it is determined whether or not a sound generated from the fitting portion is detected while the accuracy of performing the operation of fitting the coupler is equal to or higher than a predetermined value.
  • the sound generated from the mating portion is detected, it is determined that the coupler is properly mated, and the operation detection process is terminated.
  • the sound generated from the mating portion is not detected, it is determined that the coupler has not been properly mated, and the process proceeds to step S6. Then, in step S6, it is output to the display device 14 that the coupler has not been properly fitted.
  • the operation detection unit 21 for detecting the operation of the operator and the operation of the operator detected by the operation detection unit 21 are detected by the operation detection unit 21 .
  • a certainty estimating unit 22 for estimating the accuracy of performing a predetermined operation, a sound detecting unit 23 for detecting a predetermined sound generated when the predetermined operation is performed, and the accuracy estimated by the accuracy estimating unit 22 is a predetermined and an operation determination unit 24 that determines that the operator has performed the predetermined operation when the predetermined sound is detected by the sound detection unit 23. be done.
  • the operator's operation can be detected without detecting the operator's touch position.
  • the accuracy estimation unit 22 estimates the accuracy at predetermined time intervals. This makes it possible to estimate more accurate accuracy.
  • the action detection unit 21 acquires an image including the operator, and detects the action of the operator from the acquired image. Thereby, the motion of the operator can be detected without attaching the device to the operator.
  • the operation determination unit 24 It is determined that the predetermined operation has not been performed according to a predetermined procedure. Thereby, the operation detection device 15 can recognize that the operation was not performed according to the predetermined procedure.
  • the determination result output unit outputs that the predetermined operation has not been performed. 25. Thereby, the operator can be notified that the operation was not performed according to the predetermined procedure.
  • the display device 14 receives the output of the determination result output unit 25 and notifies the operator that the predetermined operation has not been performed. Thereby, the operator can be notified that the operation was not performed according to the predetermined procedure.
  • the predetermined sound is a sound generated due to the predetermined operation by the operator.
  • the sound to be detected by the sound detection unit 23 can be narrowed down, and the predetermined sound can be detected more accurately.
  • the accuracy estimation unit 22 performs machine learning for estimating the accuracy from the operation of the operator detected by the operation detection unit 21.
  • a trained model is used to estimate the likelihood. As a result, it is possible to estimate the degree of certainty for operations that have not been set in advance.
  • the learned model inputs the input data 34 including the data of the operation of the operator detected by the operation detection unit 21 to the input layer 31.
  • the output data 35 including the accuracy data is the neural network 3 output from the output layer 33
  • the accuracy estimation unit 22 receives the input data 34 input to the neural network 3 in the past and the neural
  • a machine learning unit for learning the neural network 3 using output data 35 output from the network 3 as teacher data 36 is provided, and the neural network 3 is trained by the machine learning unit. This makes it possible to more accurately estimate the accuracy of operations that have not been set in advance.
  • the operation of the operator is detected, the probability that the operator has performed a predetermined operation is estimated based on the detected operation of the operator, and the predetermined operation is performed. is detected, and if the certainty is equal to or greater than a predetermined value and the predetermined sound is detected, it is determined that the operator has performed the predetermined operation.
  • the operator's operation can be detected without detecting the operator's touch position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Transportation (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Dermatology (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)

Abstract

本発明は、操作者の動作を検出し、検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定し、前記所定操作を実行する際に発生する所定音を検出し、前記確度が所定値以上であり、且つ、前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定する、操作検出装置及び操作検出方法を提供する。

Description

操作検出装置及び操作検出方法
　本発明は、操作者の操作を検出する検出装置及び検出方法に関するものである。
　ユーザーインターフェースとなる部品（ＵＩ部品）を、ユーザー（操作者）が操作を行う操作平面に表示し、ユーザーの指が操作平面に接触したタッチ位置を検出し、操作平面に接触している指を含む、ユーザーの手の形状を取得し、取得した手の形状から、操作平面に手を投影したときの投影領域を認識し、検出したタッチ位置と、ＵＩ部品が表示された位置とから、ＵＩ部品へのユーザーの操作を検出し、認識した投影領域と、検出したユーザーの操作とに応じて、ＵＩ部品への操作内容を判定する技術が知られている（特許文献１）。
特開２０１７－１６２１２６号公報
　上記従来技術では、ＵＩ部品への操作者の操作を検出するときに、検出した操作者のタッチ位置を用いる。そのため、タッチ位置を検出することができない場合には、ＵＩ部品に対する操作者の操作が検出できず、ＵＩ部品に対する操作者の操作内容を適切に判定することができないという問題がある。
　本発明が解決しようとする課題は、操作者のタッチ位置を検出することができない場合に、操作者の操作の検出精度を高めることができる操作検出装置及び操作検出方法を提供することである。
　本発明は、操作者の動作を検出し、検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定し、前記所定操作を実行する際に発生する所定音を検出し、前記確度が所定値以上であり、且つ、前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定することによって上記課題を解決する。
　本発明によれば、操作者のタッチ位置を検出することができない場合に、操作者の操作の検出精度を高めることができる。
本発明に係る操作検出装置を含む操作検出システムの実施形態の一つを示すブロック図である。 図１の撮像装置、筋電位測定装置、集音装置、及び表示装置と、操作者との位置関係の一例を示す斜視図である。 図１の確度推定部にて用いる学習済みモデルの一例を示す説明図である。 所定手順の一例を示す説明図である。 図４に示す所定手順において、ステップの進行度に対する所定操作の実行確度と、ステップの進行度に対する所定音の発生確度とを示すグラフである。 所定手順の別の例を示す説明図である。 図１の操作検出システムにおける情報処理の手順の一例を示すフローチャートである。
　以下、本発明に係る操作検出装置及び操作検出方法の実施形態を図面に基づいて説明する。
［操作検出システム］
　図１は、本発明に係る操作検出システム１を示すブロック図である。操作検出システム１は、ある装置に対する操作者の操作を検出する装置であり、たとえば、車両の乗員（ドライバーを含む。以下同じ。）による車載機器の操作を検出し、当該操作に付随した機能を発現させる場合、車両の組立て工場において、組立て作業に従事する作業員の作業が、予め決められた手順に従って行われたか否かを検出する場合、車両の販売店（以下、「ディーラー」とも言う。）において、車両の整備に従事する整備士の整備がマニュアルに従って行われたか否かを確認する場合などに用いることができる。操作検出システム１により操作を検出される操作者（以下、単に「操作者」とも言う。）は特に限定されず、車両の乗員、工場の作業員、ディーラーの整備士などが挙げられる。
　図１に示すように、操作検出システム１は、撮像装置１１、筋電位測定装置１２、集音装置１３、表示装置１４、及び操作検出装置１５を備える。操作検出システム１を構成する機器は、有線又は無線ＬＡＮなどの公知の手段により、互いにデータの授受が可能な状態で接続されている。撮像装置１１、筋電位測定装置１２、集音装置１３、及び表示装置１４の数は、それぞれ、少なくとも１以上であれば特に限定されない。また、撮像装置１１、筋電位測定装置１２、集音装置１３、及び表示装置１４は、操作検出装置１５と共に設けられている必要はなく、操作検出装置１５から離れた場所に設置されていてもよい。たとえば、撮像装置１１、集音装置１３、及び表示装置１４を、組立て工場の組立てラインの近くに設置し、操作検出装置１５を、組立てラインから離れた中央制御室、又は組立て工場から離れた遠隔地のサーバーに設けてもよい。
　撮像装置１１は、操作者の周囲に存在する対象物の画像データを取得するための装置であり、たとえば、ＣＣＤなどの撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどのカメラである。対象物には、操作者に加えて、操作者の周囲に存在する物体が含まれる。たとえば、車両の乗員の周囲にあるスイッチやタッチパネル、作業員が組立てているパーツや使用している工具、ディーラーの整備士が整備する車両などが、対象物に含まれる。また、撮像装置１１は、車両のダッシュボード、ルーフ、及び座席、組立て工場の組立てライン、作業台、及び作業員が使用する道具の近傍、並びにディーラーのリフトなど、操作者の動作を検出することができる位置に設置される。
　筋電位測定装置１２は、操作者の筋電位を測定するための装置であり、たとえば筋電計である。筋電位測定装置１２の種類は特に限定されず、たとえば、針電極を備える筋電計、表面電極を備える筋電計、又はワイヤー電極を備える筋電計のいずれであってもよい。筋電位測定装置１２は、たとえば、粘着性のパッド又は面ファスナーにより操作者の身体に取り付けられ、取り付けられた操作者の身体と接する部分の筋電位を測定する。筋電位測定装置１２を取付ける操作者の部位としては、車両の乗員の腕、作業員の上腕及び／又は前腕、ディーラーの整備士の脚などが挙げられる。
　集音装置１３は、周囲の音を音声データとして取得するための装置であり、たとえば、スタンドマイク、接話型マイク、ガンマイクなどのマイクロフォンである。マイクロフォンは、無指向性であってもよく、指向性を有していてもよい。また、通信方式は、有線及び無線のいずれでもよい。集音装置１３により取得される音には、操作者の声及び操作者の周囲の人の声に加えて、操作者の操作に起因する音が含まれる。操作者の操作に起因する音としては、車両の乗員が操作したスイッチから発生する音、車両の乗員がタッチパネルに触れた時にスピーカーから発生する音、作業員が複数のパーツを嵌合した時に発生する、パーツ同士がかみ合った音、ディーラーの整備士が使用する工具の作動音などが挙げられる。また、集音装置１３は、車両のダッシュボード、ルーフ、及び座席、組立て工場の組立てライン、作業台、及び作業員が使用する道具など、操作者の周囲の音を検出することができる位置に設置され、撮像装置１１又は筋電位測定装置１２と共に設置されていてもよい。
　表示装置１４は、操作検出装置１５にて検出された操作を操作者に通知するための装置である。表示装置１４は、たとえば、液晶ディスプレイ、プロジェクターなどであり、スピーカーを備えていてもよい。表示装置１４は、車両のダッシュボード、組立て工場の作業員の作業場所など、操作者の近くであって、操作者に必要な情報を通知することができる位置に設置されるが、操作者の操作を監視する監督者が存在する場合は、監督者の近くに設置される。この場合、監督者が操作者から離れた場所にいるとすると、表示装置１４は、操作者から離れた位置に設置されることになる。また、表示装置１４は、ウェアラブル端末として操作者に取付けられていてもよい。さらに、撮像装置１１、筋電位測定装置１２、集音装置１３、表示装置１４、及び操作検出装置１５を一つのウェアラブル端末に統合し、操作者に取付けてもよい。また、表示装置１４に代えて警報音を発するスピーカーのみとしてもよい。
　撮像装置１１、筋電位測定装置１２、集音装置１３、及び表示装置１４と、操作者との位置関係の一例を図２に示す。図２では、操作者ＯＰは、組立て工場において組立て作業に従事する作業員であり、作業台ＷＢの上で部品Ｐを組立てているものとする。操作者ＯＰの上方には撮像装置１１が設置されており、作業台ＷＢ上で操作者ＯＰが行う部品Ｐの組立ての様子を、画像データとして取得する。操作者ＯＰの右前腕には筋電位測定装置１２が取付けられており、計測した筋電位の値から、操作者ＯＰが部品Ｐを組立てるときの筋肉の動きを取得し、操作者ＯＰの動作を検出する。また、操作者ＯＰの右上腕には集音装置１３が取付けられており、操作者ＯＰが部品Ｐを組立てる際に発生する、パーツ同士がかみ合った音などを検出する。検出された操作を操作者ＯＰに通知する表示装置１４は、たとえば操作者ＯＰの正面に、液晶ディスプレイ１４ａとして設置される。又は、操作者ＯＰの耳に取付けられるイヤホン１４ｂとして設けられてもよい。
　図１に戻り、操作検出装置１５は、操作者が、ある操作を実行したか否かを判定するための装置である。当該判定に用いる画像データ、筋電位のデータ、及び音声データは、それぞれ、所定の時間間隔で、撮像装置１１、筋電位測定装置１２、及び集音装置１３から取得される。操作検出装置１５は、プロセッサ１６を用いて、取得したデータの処理、操作が適切に実行されたか否かの判定、及び当該判定の結果の出力といった機能を実現する。プロセッサ１６は、プログラムが格納されたＲＯＭ（Read Only Memory）１６２と、ＲＯＭ１６２に格納されたプログラムを実行することで、操作検出装置１５として機能するための動作回路であるＣＰＵ（Central Processing Unit）１６１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１６３とを備える。
［操作検出部］
　本実施形態の操作検出装置１５で用いるプログラムは、取得したデータの処理、操作が適切に実行されたか否かの判定、及び当該判定の結果の出力などの機能を操作検出装置１５にて実現するための機能ブロックである操作検出部２を含む。操作検出部２は、撮像装置１１から画像データを取得し、筋電位測定装置１２から筋電位の値を取得し、集音装置１３から音声データを取得し、取得したデータに基づいて操作者が実行する操作を推定し、推定した操作が適切に実行されたか否かを判定し、当該判定結果を出力する機能を有する。操作検出部２は、図１に示すように、動作検出部２１、確度推定部２２、音検出部２３、操作判定部２４、及び判定結果出力部２５を備える。図１には、各部を便宜的に抽出して示す。
　図１に示す操作検出装置１５は上記の機能ブロックを全て備えるが、単一の操作検出装置１５が全ての機能ブロックを備える必要はなく、上記の機能ブロックのうち一部のものを、操作検出システム１に含まれる他の機器、又は図示しない別の情報処理装置に設けてもよい。たとえば、図１の操作検出システム１において、判定結果出力部２５を表示装置１４に設けてもよい。この場合には、表示装置１４のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて判定結果出力部２５の機能が実行されることになる。
　また、各機能ブロックの処理の全てを単一の装置にて実行する必要はなく、データが授受できる状態で接続された複数の装置をまたいで、各機能ブロックの機能を実現してもよい。たとえば、図１の操作検出システム１において、動作検出部２１にて実行される処理のうち、一部の処理を撮像装置１１又は筋電位測定装置１２にて実行し、残りの処理を操作検出装置１５にて実行するようにしてもよい。この場合には、撮像装置１１又は筋電位測定装置１２のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて、動作検出部２１の機能を実現するための処理の一部が行われることになる。また、ほかの例として、音検出部２３にて実行される処理のうち、一部の処理を集音装置１３にて実行し、残りの処理を操作検出装置１５にて実行するようにしてもよい。
　以下、操作検出部２の各機能ブロックが果たす機能について説明する。
　動作検出部２１は、操作者の動作を検出する機能を有する。動作検出部２１は、たとえば、操作者を含む画像データを撮像装置１１から取得し、取得した画像データから操作者の動作を検出する。動作検出部２１は、撮像装置１１から取得した画像データについてパターンマッチングなどの解析を行い、画像データに含まれる対象物を分類する。次に、分類された対象物から操作者を選択し、画像データから抽出された操作者に関するデータを取得する。そして、操作者に関するデータから、操作者の身体の各部位とその位置関係を認識し、認識した各部位の位置関係から操作者の動作を検出する。
　また、これに代えて又はこれに加えて、動作検出部２１は、測定した筋電位の値を筋電位測定装置１２から取得し、取得した筋電位の値から操作者の動作を検出してもよい。たとえば、工場の組立てラインで作業に従事する作業員の腕に筋電位測定装置１２を取付け、作業員の腕の上腕部及び前腕部の各筋肉の電位を測定する。そして、測定した各筋肉の電位から、どの筋肉が収縮しているのか、つまり、作業員の腕がどのように動いているのかを動作として検出する。
　確度推定部２２は、動作検出部２１により検出された操作者の動作に基づいて、操作者が所定操作を実行した確度を推定する機能を有する。所定操作は特に限定されず、操作者が操作対象に対して何らかの入力を行うためのあらゆる操作が含まれる。具体的には、車両の乗員が、車両の窓ガラスを上下させるスイッチを押込む操作、車両の乗員が、タッチパネルに触れてナビゲーション装置の地図の表示を変更する操作、組立て工場の作業員が、センサーに接続されたカプラーと、電子制御装置（ＥＣＵ）に接続されたカプラーとを嵌合する操作、組立て工場の作業員が、工具を用いてボルトを締めて、エンジンブロックにエキゾーストマニホールドを取り付ける操作、ディーラーの整備士が、エンジンにスパークプラグを嵌める操作、ディーラーの整備士が、トルクレンチを用いてボルトを締める操作などを挙げることができる。
　確度推定部２２は、所定操作が実行された確度を推定する際に、動作検出部２１により検出された操作者の動作に基づいて、操作者が実行しようとしている操作を推定する。ここで、操作者の動作と、操作者が実行しようとしている操作との対応関係は、操作ごとに予め求められており、たとえばデータベース１７のようなデータベースに格納されている。確度推定部２２は、必要に応じて、データベース１７から操作と動作の対応関係を取得することができる。確度推定部２２は、データベース１７から取得した対応関係に基づき、操作者の動作から、操作者が実行しようとしている操作を推定する。
　一例として、動作検出部２１により、車両の助手席に座っている乗員が、ハンカチで顔の汗を拭う動作をした後に、助手席側のドアに設置されたスイッチに手を延ばす動作が検出された場合には、確度推定部２２は、データベース１７から取得した、動作と操作の対応関係から、助手席側のドアに設置されたスイッチに手を延ばす動作に対応する操作を検索する。当該動作に対応する操作として、助手席側のドアのハンドルを引いてドアを開ける操作と、車両の窓ガラスを上下させるスイッチを押込む操作とが該当したとすると、確度推定部２２は、車両が走行中であり、乗員がハンカチで顔の汗を拭う動作をしていたことから、乗員の当該動作は、車両の窓ガラスを上下させるスイッチを押込む操作に対応すると推定する。
　また別の例として、動作検出部２１により、工場の組立てラインで作業している作業員が、嵌合していないカプラーを左手に持った状態で、別のカプラーに右手を延ばす動作が検出された場合には、確度推定部２２は、データベース１７から取得した、動作と操作の対応関係から、カプラーに手を延ばす動作に対応する操作を検索する。当該動作に対応する操作として、すでに嵌合された一対カプラーから一方のカプラーを抜取る操作と、センサーに接続されたカプラーと、電子制御装置に接続されたカプラーとを嵌合する操作とが該当したとすると、確度推定部２２は、作業員が、嵌合していないカプラーを左手に持っていることから、作業員の当該動作は、センサーに接続されたカプラーと、電子制御装置に接続されたカプラーとを嵌合する操作に対応すると推定する。
　確度推定部２２は、上記のようにして推定した操作が、所定操作に該当するか否かを判定する。そして、推定した操作が所定操作に該当すると判定した場合は、所定操作が実行された確率である確度を推定する。当該確度は、所定操作ごとに、操作者の動作に対する関数として予め定められており、たとえばデータベース１７のようなデータベースに格納されている。確度推定部２２は、必要に応じて、データベース１７から、検出された動作に対して所定操作が行われた確度を取得することができる。たとえば、タッチパネルに触れて装置の表示を変更する操作である場合は、乗員の手がタッチパネルに触れる動作を検出した時に確度が最も高くなり、乗員の手がタッチパネルから離れるほど確度が低くなる。また、スイッチを押込む操作である場合は、動作として、乗員の手がスイッチに触れる動作を検出した時に確度が最も高くなり、乗員の手がスイッチから離れるほど確度が低くなる。
　別の例として、２つのカプラーを嵌合する操作である場合は、動作として、かみ合ったカプラーの移動が止まり、作業員の手が静止する動作を検出した時に確度が最も高くなり、カプラー同士の距離が大きくなるほど確度が低くなる。また、トルクレンチのような工具を用いてボルトを締める操作である場合は、動作として、トルクレンチの移動が止まり、作業員の手が静止する動作を検出した時に確度が最も高くなり、トルクレンチが回転している間、及びトルクレンチが静止した後では確度が低くなる。さらに、エンジンにスパークプラグを嵌める操作である場合は、動作として、スパークプラグの回転が止まり、整備士の手が静止する動作を検出した時に確度が最も高くなり、手が動いている間、及び整備士の身体がエンジンから離れた後では確度が低くなる。
　このような確度の推定は、動作検出部２１における操作者の動作を検出と並行して行われ、操作者の動作が変化するごとに、確度推定部２２にて確度が推定される。確度推定部２２における確度の推定は、所定時間ごとに行うことができ、当該所定時間は、ＣＰＵ１６１の計算能力に応じて適宜の時間を設定することができる。
　また、確度推定部２２は、動作検出部２１にて検出された操作者の動作から確度を推定するための機械学習を行った学習済みモデルを用いて確度を推定することができる。学習済みモデルとは、ある入力データに対して適切な出力データが得られるように、予め機械学習により学習されたモデルであり、少なくとも、入力データから出力データを得るまでの演算を行うプログラムと、当該演算に用いられる重み付け係数（パラメータ）とを備える。本実施形態の学習済みモデルは、動作検出部２１にて検出された操作者の動作が入力データとして入力されると、当該入力データに基づいて、操作者の動作に対応する操作と、その操作を実行した確度とを含む出力データが出力されるようにコンピュータ（特に、プロセッサ１６のＣＰＵ１６１）を機能させる。このような学習済みモデルを用いることで、予め設定されていない操作についても、操作が実行された確度を推定することができる。
　本実施形態の学習済みモデルは特に限定されないが、たとえば、図３に示すようなニューラルネットワーク３である。ニューラルネットワーク３は、入力層３１、中間層３２、及び出力層３３を備え、各層には少なくとも一つのニューロンが含まれている。入力層３１には、動作検出部２１にて検出された操作者の動作のデータを含む入力データ３４が入力され、入力されたデータを中間層３２に出力する。中間層３２は、入力層３１から入力されたデータから、動作のデータを抽出する。次に、抽出した動作のデータにおける動作を、操作と対応付ける。そして、当該操作が所定操作である場合に、動作に対して所定操作が実行された確度を推定する。出力層３３は、中間層３２から入力されたデータを、確度のデータを含む出力データ３５として出力する。
　中間層３２では、車両の乗員が、ドアに設置されたスイッチに手を延ばす動作、車両の乗員が、車載機器の操作者インターフェースに手を延ばす動作、工場の作業員が、左手にカプラーを持った状態で、別のカプラーに右手を延ばす動作、工場の作業員が、トルクレンチを右手で把持し、作業台の上にあるエンジンブロックのボルトにトルクレンチを嵌める動作などの動作が、どの操作と対応しているのかを示す対応関係が、機械学習により確立されている。当該対応関係には、検出した動作における操作者の身体の各部位の位置関係に加えて、操作者の使用している道具、操作者の周囲の環境などの複数の要因が関連づけられ、検出した動作に対して適切な操作が出力されるように、パラメータが設定されている。たとえば、乗員の乗車する車両が走行中であること、作業員がカプラーを左右それぞれの手で把持していることなどは、動作から操作を推定する際のパラメータとして考慮される。
　また、上述した中間層３２の対応関係は、予め機械学習により学習されていてもよいが、過去にニューラルネットワーク３に入力した入力データ３４、及び過去にニューラルネットワーク３から出力された出力データ３５を含む教師データ３６により新たに学習させてもよいし、予め機械学習により学習された学習済みモデルをさらに学習させてもよい。当該学習は、確度推定部２２が備える機械学習部２２ａより実行される。教師データ３６は、たとえば、図１に示すデータベース１７のようなデータベースに格納されており、必要に応じて取得することができる。過去の入力データ３４と出力データ３５との組み合わせを用いて学習することで、確度推定部２２において、動作に基づいた確度の推定がより正確になる。
　図１に戻り、音検出部２３は、所定操作を実行する際に発生する所定音を検出する機能を有する。所定音は特に限定されず、所定操作において操作者が操作する操作対象、及び当該操作対象に付随する物体から発生するあらゆる音が含まれる。具体的には、所定操作がスイッチを押込む操作である場合は、スイッチを押込んだ時に発生するスイッチの作動音である。所定操作が、タッチパネルの操作である場合は、タッチパネルに触れた時にスピーカーから発生する音である。所定操作が、カプラー同士を嵌合する操作である場合は、カプラーの嵌合部がかみ合った時に発生する音である。所定操作が、規定されたトルクに達した時に音と振動が発生するプリセット型のトルクレンチを用いてボルトを締める操作である場合は、トルクレンチが規定のトルクに達した時に発生する音である。所定操作に対応する所定音は、データベース１７のようなデータベースに、波形データなどのデータとして格納されており、必要に応じて取得することができる。
　音検出部２３は、集音装置１３から取得した音声データに、上記のような所定音が含まれているか否かを判定する。具体的には、音検出部２３は、集音装置１３から取得した音声データに対して、ロードノイズ、エンジン音、工場内の騒音及び人の話し声などのノイズを低減させる処理を行う。そして、ノイズ低減などの必要な前処理がされた音声データから、データベース１７から取得した所定音と同じ音を、周波数解析などを行うことで検出する。所定音と同じ音が、前処理された音声データから検出された場合には、音検出部２３は、所定音が検出されたことを操作判定部２４に出力する。なお、所定操作と所定音との対応関係は必ずしも１対１の対応関係ではなく、一つの所定操作に対して複数の所定音が設定されていてもよい。
　操作判定部２４は、確度推定部２２にて推定された確度と、音検出部２３にて所定音が検出されたタイミングとを組み合わせて、所定操作が実行されたか否か、つまり所定操作が所定手順で実行されたか否かを判定する機能を有する。所定手順とは、所定操作に対して予め設定された操作の手順のことである。具体的には、操作判定部２４は、確度推定部２２により推定された確度が所定値以上であり、且つ、音検出部２３で所定音が検出された場合に、所定操作が所定手順で実行されたと判定する。一方、確度推定部２２にて推定された確度が所定値以上である間に、音検出部２３により所定音が検出されなかった場合は、所定操作が所定手順で実行されなかったと判定する。当該所定値は、たとえば８０％以上であり、所定操作が適切に実行されたか否かを判定することができる範囲内で、適宜の値を設定することができる。
　一例として、図４を用いて、所定操作が車両のスイッチを押込む操作である場合について説明する。図４に示すスイッチＳＷは、装置のＯＮとＯＦＦを切り替えるものであり、図４の横方向において左側に位置する時はＯＦＦの状態であり、右側に位置するときはＯＮの状態である。操作者の手の指ＦでスイッチＳＷを押し込むことで、スイッチＳＷをＯＦＦの状態からＯＮの状態に切り替えることができる。この場合の所定手順は、たとえば図４に示すように、ステップ１）乗員が手の指ＦでスイッチＳＷに触れ、ステップ２）乗員が指ＦでスイッチＳＷをＯＮの方向に押込み、ステップ３）スイッチＳＷがカチッという作動音Ｓを発生させるまで押込む動作を続け、ステップ４）作動音Ｓが発生したらスイッチＳＷから指Ｆを離すという４つのステップからなる手順である。操作判定部２４は、所定の時間間隔で確度推定部２２から確度を取得し、検出された動作の変化と共に、確度が所定値以上になるタイミングを把握する。
　ステップの進行度に対して操作が実行された確度をプロットすると、たとえば図５の上部に示すようなグラフが得られる。この所定手順では、ステップ３）にて確度が所定値以上になるものとする。操作判定部２４は、乗員がステップ３）の手順を行っている間、つまり、確度が所定値以上である間に、所定音であるスイッチの作動音Ｓが検出されたか否かを判定する。ステップの進行度に対して所定音が発生する確度をプロットすると、たとえば図５の下部に示すようなグラフが得られる。操作が実行された確度が所定値以上の間、つまりステップ３）の間において、所定音であるスイッチの作動音Ｓが検出される確度が高くなっている。音検出部２３は、特にステップ３）が実行されている間に、周波数解析などの方法を用いて、集音装置１３にて取得された音声データを解析し、スイッチの作動音Ｓを検出する。
　乗員がステップ３）の手順を行っている間に、音検出部２３から所定音を検出した旨の出力を受け取った場合は、操作判定部２４は、車両のスイッチを押込む操作が、所定手順に従って実行されたと判定する。これに対して、乗員がステップ３）の手順を行っている間に音検出部２３の出力を受け取らず、乗員がステップ４）の手順に進んだ場合は、操作判定部２４は、車両のスイッチを押込む操作が、所定手順に従って実行されなかったと判定する。つまり、ステップ３）にてスイッチの作動音が検出されなかったため、スイッチが適切に作動する位置まで押込まれず、乗員のスイッチ入力操作が適切に実行されなかったと判定される。
　また別の例として、図６を用いて、所定操作が、作業員が２つのカプラーを嵌合する操作である場合ついて説明する。図６では、作業員の左手に把持されたカプラーＣ１と、作業員の左手に把持されたカプラーＣ２とを嵌合し、カプラーＣ１とカプラーＣ２の嵌合部が適切に嵌合すると、作動音が発生するものとする。この場合の所定手順は、たとえば図６に示すように、ステップ１）作業員が左手と右手のそれぞれでカプラーＣ１、Ｃ２を把持し、ステップ２）カプラーＣ１をカプラーＣ２と組み合わせ、ステップ３）カプラーの嵌合部Ｚがかみ合い、カチッという作動音Ｓを発生させるまでカプラーＣ１、Ｃ２を互いに押込み、ステップ４）作動音Ｓが発生したらカプラーＣ１、Ｃ２から手を離すという４つのステップからなる手順である。
　上述の例と同様に、操作判定部２４は、確度推定部２２から確度を取得し、確度が所定値以上になるタイミングを把握する。この所定手順では、ステップ３）にて確度が所定値以上になるものとする。操作判定部２４は、作業員がステップ３）の手順を行っている間、つまり、確度が所定値以上である間に、所定音である、カプラーの嵌合部Ｚがかみ合った時の作動音Ｓが検出されたか否かを判定する。作業員がステップ３）の手順を行っている間に、音検出部２３から所定音を検出した旨の出力を受け取った場合は、操作判定部２４は、カプラーＣ１、Ｃ２を嵌合させる作業員の操作が、所定手順に従って実行されたと判定する。これに対して、作業員がステップ３）の手順を行っている間に音検出部２３の出力を受け取らず、作業員がステップ４）の手順に進んだ場合は、操作判定部２４は、カプラーＣ１、Ｃ２を嵌合させる作業員の操作が、所定手順に従って実行されなかったと判定する。つまり、ステップ３）にて嵌合部の作動音Ｓが検出されなかったため、カプラー同士が適切にかみ合う位置まで押込まれず、カプラーＣ１とカプラーＣ２とが適切に嵌合されなかったと判定される。
　なお、所定手順と所定操作との対応関係は、１対１の対応関係に限られず、一つの所定操作に対して複数の所定手順が設定されていてもよい。
　図１に戻り、判定結果出力部２５は、操作判定部２４における判定結果を外部の機器に出力する機能を有し、特に、操作判定部２４にて所定操作が所定手順で実行されなかったと判定した場合に、所定操作が実行されなかったことを出力する機能を有する。判定結果出力部２５は、所定操作が適切に実行されなかった旨の判定結果を表示装置１４に出力し、当該判定結果を表示装置１４に表示させることで、操作者に、所定操作が適切に実行されなかったことを通知することができる。たとえば、操作者がバスを運転しており、バスの運行を制御している監督者が、操作者が運転するバスから離れた位置にある運行管理室にいる場合であれば、表示装置１４は運行管理室に設けられ、当該表示装置１４に、判定結果出力部２５から判定結果が出力される。これにより、監督者は、操作者から離れた位置にてバスの操作状況を監視することができ、バスを運転する操作者が、ベンチレータやエアコンを作動させてバス内の温度を適切に制御しているかを確認することができる。
［操作検出システムにおける処理］
　図７を参照して、操作検出装置１５が情報を処理する際の手順を説明する。図７は、本実施形態の操作検出システム１における情報の処理を示すフローチャートの一例である。以下に説明する処理は、操作検出装置１５のプロセッサ１６により所定の時間間隔で実行される。
　まず、ステップＳ１にて、動作検出部２１の機能により、操作者の動作を検出する。車両の乗員が車載機器の操作者インターフェースを操作する場合では、たとえば、車両のダッシュボードに設置された撮像装置１１にて取得された画像データから、乗員の動作を検出する。
　続くステップＳ２にて、確度推定部２２の機能により、データベース１７に格納されている、操作と動作の対応関係を用いて、操作者が実行しようとしている操作を推定する。車両の乗員が車載機器の操作者インターフェースを操作する場合では、画像データを用いて動作検出部２１にて検出された動作に基づいて、操作と動作の対応関係から、乗員の操作を推定する。
　続くステップＳ３にて、確度推定部２２の機能により、推定した操作が所定操作に該当するか否かを判定し、推定した操作が所定操作に該当すると判定した場合には、所定操作が実行された確度を推定する。当該推定には、データベース１７に格納された、動作と確度の関数を用いる。車両の乗員が車載機器の操作者インターフェースを操作する場合では、画像データを用いて動作検出部２１にて検出された動作に基づいて、動作と確度の関数から、操作者インターフェースの操作が実行された確度を推定する。
　続くステップＳ４にて、音検出部２３の機能により、集音装置１３を用いて所定音を検出する。車両の乗員が車載機器の操作者インターフェースを操作する場合では、集音装置１３により、操作者インターフェースを操作した時に、車両のスピーカーから発生する作動音を検出する。
　続くステップＳ５にて、操作判定部２４の機能により、確度推定部２２により推定された確度が所定値以上ある間に、音検出部２３にて所定音が検出されたか否か判定する。確度推定部２２により推定された確度が所定値以上である間に、音検出部２３にて所定音が検出されたと判定された場合は、操作者が所定操作を実行したと判定し、ルーチンの実行を停止して操作検出の処理を終了する。これに対して、確度が所定値以上である間に、音検出部２３により所定音が検出されなかった場合は、所定操作が所定手順で実行されなかったと判定し、ステップＳ６に進む。車両の乗員が車載機器の操作者インターフェースを操作する場合では、操作者インターフェースを操作した確度が所定値以上である間に、車両のスピーカーから発生する作動音が検出されたときは、操作者インターフェースの操作が適切に実行されたと判定する。これに対して、操作者インターフェースを操作した確度が所定値以上である間に、車両のスピーカーから発生する作動音が検出されなかったときは、操作者インターフェースの操作が所定手順で実行されなかったと判定する。
　ステップＳ６では、判定結果出力部２５の機能により、所定操作が適切に実行されなかったことを、表示装置１４に出力する。そして、表示装置１４では、判定結果出力部２５の出力を受け取り、操作者に、所定操作が適切に実行されなかったことを通知する。車両の乗員が車載機器の操作者インターフェースを操作する場合では、操作者インターフェースに、適切に操作が実行されなかった旨の表示がなされる。当該表示後、ルーチンの実行を停止して操作検出の処理を終了する。
　また別の例として、車両の乗員が、サンルーフを開ける又はベンチレータを作動させる場合では、たとえば、ステップＳ１にて、車両後部の窓ガラスに設置された撮像装置１１にて取得された画像データから、乗員の動作を検出する。続くステップＳ２にて、画像データを用いて動作検出部２１にて検出された動作に基づいて、操作と動作の対応関係から、乗員の操作を推定する。続くステップＳ３にて、画像データを用いて動作検出部２１にて検出された動作に基づいて、動作と確度の関数から、サンルーフ又はベンチレータの操作が実行された確度を推定する。続くステップＳ４にて、サンルーフの開閉機構が作動した音、又はベンチレータが開いた音を検出する。続くステップＳ５にて、サンルーフ又はベンチレータを操作した確度が所定値以上である間に、サンルーフの開閉機構が作動した音、又はベンチレータが開いた音が検出されたか否かを判定する。これらの音が検出されたときは、サンルーフ又はベンチレータの操作が適切に実行されたと判定し、操作検出の処理を終了する。これに対して、これらの音が検出されなかったときは、サンルーフ又はベンチレータの操作が所定手順で実行されなかったと判定し、ステップＳ６に進む。そして、ステップＳ６にて、サンルーフ又はベンチレータの操作が適切に実行されなかったことを、表示装置１４に出力する。
　さらに別の例として、工場にて組立て作業に従事する作業員が工具を用いてボルトを締める場合では、たとえば、ステップＳ１にて、作業員に取付けられた筋電位測定装置１２にて取得された筋電位の値から、作業員の動作を検出する。続くステップＳ２にて、筋電位の値を用いて動作検出部２１にて検出された動作に基づいて、操作と動作の対応関係から、乗員の操作を推定する。続くステップＳ３にて、筋電位の値を用いて動作検出部２１にて検出された動作に基づいて、動作と確度の関数から、ボルトを締める操作が実行された確度を推定する。続くステップＳ４にて、ボルトを締め終わった時に工具から発生する音を検出する。続くステップＳ５にて、ボルトを締める操作を実行した確度が所定値以上である間に、工具から発生する音が検出されたか否かを判定する。工具から発生した音が検出されたときは、ボルトが適切に締められたと判定し、操作検出の処理を終了する。これに対して、工具から発生した音が検出されなかったときは、ボルトが適切に締められなかったと判定し、ステップＳ６に進む。そして、ステップＳ６にて、ボルトが適切に締められなかったことを、表示装置１４に出力する。
　さらに別の例として、工場にて組立て作業に従事する作業員が２つのカプラーを嵌合する場合では、たとえば、ステップＳ１にて、ウェアラブル端末として作業員に取付けられた撮像装置１１にて画像データを取得し、作業員の動作を検出する。続くステップＳ２にて、画像データを用いて動作検出部２１にて検出された動作に基づいて、操作と動作の対応関係から、作業員の操作を推定する。続くステップＳ３にて、画像データを用いて動作検出部２１にて検出された動作に基づいて、動作と確度の関数から、作業員がカプラーを化合した確度を推定する。続くステップＳ４にて、カプラーが嵌合された時に嵌合部から発生する音を検出する。続くステップＳ５にて、カプラーを嵌合する操作を実行した確度が所定値以上である間に、嵌合部から発生する音が検出されたか否かを判定する。嵌合部から発生した音が検出されたときは、カプラーが適切に嵌合されたと判定し、操作検出の処理を終了する。これに対して、嵌合部から発生した音が検出されなかったときは、カプラーが適切に嵌合されなかったと判定し、ステップＳ６に進む。そして、ステップＳ６にて、カプラーが適切に嵌合されなかったことを、表示装置１４に出力する。
［本発明の実施態様］
　以上のとおり、本実施形態の操作検出装置１５によれば、操作者の動作を検出する動作検出部２１と、前記動作検出部２１により検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定する確度推定部２２と、前記所定操作を実行する際に発生する所定音を検出する音検出部２３と、前記確度推定部２２により推定された前記確度が所定値以上であり、且つ、前記音検出部２３で前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定する操作判定部２４と、を備える、操作検出装置が提供される。これにより、操作者のタッチ位置を検出せずに、操作者の操作を検出することができる。また、適切に操作が実行されたか否かを画像のみから判定することが難しい場合でも、操作が適切に完了したか否かを判定することができる。
　また、本実施形態の操作検出装置１５によれば、前記確度推定部２２は、所定時間ごとに前記確度を推定する。これにより、より正確な確度を推定することができる。
　また、本実施形態の操作検出装置１５によれば、前記動作検出部２１は、前記操作者を含む画像を取得し、取得した前記画像から前記操作者の動作を検出する。これにより、操作者に機器を取付けることなく、操作者の動作を検出することができる。
　また、本実施形態の操作検出装置１５によれば、前記操作判定部２４は、前記確度が前記所定値以上である間に、前記音検出部２３により前記所定音が検出されなかった場合は、前記所定操作が所定手順で実行されなかったと判定する。これにより、操作が所定の手順に従って実行されなかったことを、操作検出装置１５が認識することができる。
　また、本実施形態の操作検出装置１５によれば、前記操作判定部２４が、前記所定操作が実行されなかったと判定した場合に、前記所定操作が実行されなかったことを出力する判定結果出力部２５を備える。これにより、操作者に、操作が所定の手順に従って実行されなかったことを通知することができる。
　また、本実施形態の操作検出装置１５によれば、前記判定結果出力部２５の出力を受け取り、前記操作者に、前記所定操作が実行されなかったことを通知する表示装置１４を備える。これにより、操作者に、操作が所定の手順に従って実行されなかったことを通知することができる。
　また、本実施形態の操作検出装置１５によれば、前記所定音は、前記操作者の前記所定操作に起因して発生する音である。これにより、音検出部２３にて検出すべき音を絞込むことができ、より正確に所定音を検出することができる。
　また、本実施形態の操作検出装置１５によれば、前記確度推定部２２は、前記動作検出部２１にて検出された前記操作者の前記動作から前記確度を推定するための機械学習を行った学習済みモデルを用いて前記確度を推定する。これにより、予め設定されていなかった操作に対する確度を推定することができる。
　また、本実施形態の操作検出装置１５によれば、前記学習済みモデルは、前記動作検出部２１にて検出された前記操作者の前記動作のデータを含む入力データ３４を入力層３１に入力すると、前記確度のデータを含む出力データ３５が出力層３３からの出力されるニューラルネットワーク３であり、前記確度推定部２２は、過去に前記ニューラルネットワーク３に入力した入力データ３４、及び過去に前記ニューラルネットワーク３から出力された出力データ３５を教師データ３６として前記ニューラルネットワーク３を学習させる機械学習部を備え、前記機械学習部により前記ニューラルネットワーク３を学習させる。これにより、予め設定されていなかった操作に対する確度を、より正確に推定することができる。
　また、本実施形態の操作検出方法によれば、操作者の動作を検出し、検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定し、前記所定操作を実行する際に発生する所定音を検出し、前記確度が所定値以上であり、且つ、前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定する。これにより、操作者のタッチ位置を検出せずに、操作者の操作を検出することができる。また、適切に操作が実行されたか否かを画像のみから判定することが難しい場合でも、操作が適切に完了したか否かを判定することができる。
１…操作検出システム
　１１…撮像装置
　１２…筋電位測定装置
　１３…集音装置
　１４…表示装置
　　１４ａ…液晶ディスプレイ
　　１４ｂ…イヤホン
　１５…操作検出装置
　１６…プロセッサ
　　１６１…ＣＰＵ
　　１６２…ＲＯＭ
　　１６３…ＲＡＭ
　１７…データベース
２…操作検出部
　２１…動作検出部
　２２…確度推定部
　　２２ａ…機械学習部
　２３…音検出部
　２４…操作判定部
　２５…判定結果出力部
３…ニューラルネットワーク
　３１…入力層
　３２…中間層
　３３…出力層
　３４…入力データ
　３５…出力データ
　３６…教師データ
Ｃ１、Ｃ２…カプラー
Ｆ…指
ＯＰ…操作者
Ｐ…部品
Ｓ…作動音
ＳＷ…スイッチ
ＷＢ…作業台
Ｚ…嵌合部

Claims (10)

  1. 　操作者の動作を検出する動作検出部と、
    　前記動作検出部により検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定する確度推定部と、
    　前記所定操作を実行する際に発生する所定音を検出する音検出部と、
    　前記確度推定部により推定された前記確度が所定値以上であり、且つ、前記音検出部で前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定する操作判定部と、を備える、操作検出装置。
  2. 　前記確度推定部は、所定時間ごとに前記確度を推定する、請求項１に記載の操作検出装置。
  3. 　前記動作検出部は、前記操作者を含む画像を取得し、取得した前記画像から前記操作者の動作を検出する、請求項１又は２に記載の操作検出装置。
  4. 　前記操作判定部は、前記確度が前記所定値以上である間に、前記音検出部により前記所定音が検出されなかった場合は、前記所定操作が所定手順で実行されなかったと判定する、請求項１～３のいずれか一項に記載の操作検出装置。
  5. 　前記操作判定部が、前記所定操作が実行されなかったと判定した場合に、前記所定操作が実行されなかったことを出力する判定結果出力部を備える、請求項４に記載の操作検出装置。
  6. 　前記判定結果出力部の出力を受け取り、前記操作者に、前記所定操作が実行されなかったことを通知する表示装置を備える、請求項５に記載の操作検出装置。
  7. 　前記所定音は、前記操作者の前記所定操作に起因して発生する音である、請求項１～６のいずれか一項に記載の操作検出装置。
  8. 　前記確度推定部は、前記動作検出部にて検出された前記操作者の前記動作から前記確度を推定するための機械学習を行った学習済みモデルを用いて前記確度を推定する、請求項１～７のいずれか一項に記載の操作検出装置。
  9. 　前記学習済みモデルは、前記動作検出部にて検出された前記操作者の前記動作のデータを含む入力データを入力層に入力すると、前記確度のデータを含む出力データが出力層からの出力されるニューラルネットワークであり、
    　前記確度推定部は、過去に前記ニューラルネットワークに入力した入力データ、及び過去に前記ニューラルネットワークから出力された出力データを教師データとして前記ニューラルネットワークを学習させる機械学習部を備え、前記機械学習部により前記ニューラルネットワークを学習させる、請求項８に記載の操作検出装置。
  10. 　操作者の動作を検出し、
    　検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定し、
    　前記所定操作を実行する際に発生する所定音を検出し、
    　前記確度が所定値以上であり、且つ、前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定する、操作検出方法。
PCT/JP2021/021381 2021-06-04 2021-06-04 操作検出装置及び操作検出方法 WO2022254693A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21943339.8A EP4350483A1 (en) 2021-06-04 2021-06-04 Operation detection device and operation detection method
JP2023525312A JPWO2022254693A1 (ja) 2021-06-04 2021-06-04
CN202180098857.XA CN117396829A (zh) 2021-06-04 2021-06-04 操作检测装置和操作检测方法
PCT/JP2021/021381 WO2022254693A1 (ja) 2021-06-04 2021-06-04 操作検出装置及び操作検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021381 WO2022254693A1 (ja) 2021-06-04 2021-06-04 操作検出装置及び操作検出方法

Publications (1)

Publication Number Publication Date
WO2022254693A1 true WO2022254693A1 (ja) 2022-12-08

Family

ID=84322959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021381 WO2022254693A1 (ja) 2021-06-04 2021-06-04 操作検出装置及び操作検出方法

Country Status (4)

Country Link
EP (1) EP4350483A1 (ja)
JP (1) JPWO2022254693A1 (ja)
CN (1) CN117396829A (ja)
WO (1) WO2022254693A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147785A1 (ja) * 2013-03-21 2014-09-25 富士通株式会社 動作検知装置，動作検知方法，プログラム及び記録媒体
JP2015088161A (ja) * 2013-09-26 2015-05-07 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム
JP2017162126A (ja) 2016-03-08 2017-09-14 キヤノン株式会社 入力システム、入力方法、制御用プログラム、及び記憶媒体
JP2018173913A (ja) * 2017-03-31 2018-11-08 綜合警備保障株式会社 画像処理システム、情報処理装置、プログラム
JP2020064376A (ja) * 2018-10-15 2020-04-23 東京瓦斯株式会社 情報処理システムおよびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147785A1 (ja) * 2013-03-21 2014-09-25 富士通株式会社 動作検知装置，動作検知方法，プログラム及び記録媒体
JP2015088161A (ja) * 2013-09-26 2015-05-07 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム
JP2017162126A (ja) 2016-03-08 2017-09-14 キヤノン株式会社 入力システム、入力方法、制御用プログラム、及び記憶媒体
JP2018173913A (ja) * 2017-03-31 2018-11-08 綜合警備保障株式会社 画像処理システム、情報処理装置、プログラム
JP2020064376A (ja) * 2018-10-15 2020-04-23 東京瓦斯株式会社 情報処理システムおよびプログラム

Also Published As

Publication number Publication date
EP4350483A1 (en) 2024-04-10
JPWO2022254693A1 (ja) 2022-12-08
CN117396829A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
US10324425B2 (en) Human collaborative robot system having improved external force detection accuracy by machine learning
US11498216B2 (en) Remote control manipulator system and control device
US11931905B2 (en) Failure prediction method and failure prediction apparatus
CN111459274B (zh) 一种基于5g+ ar的针对非结构化环境的遥操作方法
WO2019198179A1 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
CN109543651A (zh) 一种驾驶员危险驾驶行为检测方法
CN113412178A (zh) 机器人控制装置、机器人系统以及机器人控制方法
CN112215093A (zh) 一种车辆驾驶能力水平的评价方法及装置
WO2022254693A1 (ja) 操作検出装置及び操作検出方法
JPH06110543A (ja) 直接教示装置
JP5284179B2 (ja) 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体
Zhao et al. In vehicle diver postural monitoring using a depth camera kinect
Solomon et al. Driver Attention and Behavior Detection with Kinect
KR102013854B1 (ko) 상지 다관절 임피던스 측정 방법 및 그 장치
JPH09225872A (ja) ロボット教示装置
CN113386125A (zh) 机器人、控制装置、信息处理装置、方法及存储介质
WO2021195916A1 (zh) 动态手部仿真方法、装置和系统
Lopez et al. Taichi algorithm: human-like arm data generation applied on non-anthropomorphic robotic manipulators for demonstration
JP2020163511A (ja) 遠隔操作ロボットの作業支援システム及び作業支援方法
McMahan et al. Spectral subtraction of robot motion noise for improved event detection in tactile acceleration signals
JP2022186188A (ja) 監視装置及び監視方法
CN115225682B (zh) 管理服务器、远程操作系统、远程操作方法以及存储介质
Ogawa et al. Development of interface for teleoperation of humanoid robot using task model method
Zhang et al. Visuotactile feedback parallel gripper for robotic adaptive grasping
US20210008711A1 (en) Robotic device, robotic device controlling system, and robotic device controlling method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21943339

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023525312

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180098857.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18566893

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2021943339

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021943339

Country of ref document: EP

Effective date: 20240104