WO2023218522A1 - 機械操作装置 - Google Patents

機械操作装置 Download PDF

Info

Publication number
WO2023218522A1
WO2023218522A1 PCT/JP2022/019792 JP2022019792W WO2023218522A1 WO 2023218522 A1 WO2023218522 A1 WO 2023218522A1 JP 2022019792 W JP2022019792 W JP 2022019792W WO 2023218522 A1 WO2023218522 A1 WO 2023218522A1
Authority
WO
WIPO (PCT)
Prior art keywords
worker
unit
command
machine
operating device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/019792
Other languages
English (en)
French (fr)
Inventor
蓮成 胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to PCT/JP2022/019792 priority Critical patent/WO2023218522A1/ja
Priority to JP2024520114A priority patent/JP7849466B2/ja
Publication of WO2023218522A1 publication Critical patent/WO2023218522A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to a machine operating device.
  • the control panel of industrial machinery has many buttons and operation screens, but the operations are complex and can take time to master.
  • the voice input interface allows you to perform desired operations simply by uttering voice commands. Therefore, attempts have been made to improve operability using voice input interfaces.
  • the voice input interface allows commands to be issued in all situations without touching the industrial machine, such as opening/closing the door of the industrial machine, starting or stopping the machine, turning on/off indoor lights, stopping the use of cutting fluid, cleaning chips, etc. can.
  • buttons or operation screens for example, in the case of prototype production, you can operate the robot while watching the processing status, operate the robot from outside the safety fence, or approach the button when you feel danger. You can also stop it quickly with your voice.
  • the voice commands used to operate the industrial machine can be assumed depending on the type of industrial machine that uses the voice command, the site where the industrial machine is installed, the operation content of the industrial machine, etc. Therefore, expected voice commands can be created using grammar (syntax and words). For example, see Patent Document 1.
  • the machine operating device combines voice recognition based on voice detected by a microphone, etc., and face (mouth shape) or gesture recognition based on an image detected by a camera etc. for the operation of industrial machines such as machine tools and robots. By doing so, it is possible to perform machine operations with improved productivity compared to manual operations, thereby solving the above problems.
  • One aspect of the present disclosure is a machine operation device that recognizes a voice signal input at a manufacturing site and uses it as an operation command to operate an industrial machine, the machine operation device being used as an operation command for operating an industrial machine.
  • a voice recognition unit that recognizes first data indicating a predetermined operation based on an audio signal obtained by converting the uttered voice; a video analysis unit that analyzes second data indicating an operation of the industrial machine; a command determination unit that determines an operation command for operating the industrial machine based on the first data and the second data;
  • the machine operating device includes a command processing unit that processes the operation command determined by the command determination unit.
  • productivity can be improved by simplifying and increasing the efficiency of work, and since machine operation can be performed without contacting the machine body, worker safety can be ensured.
  • FIG. 1 is a schematic hardware configuration diagram of a mechanical operating device according to an embodiment of the present invention.
  • FIG. 1 is a block diagram schematically showing the functions of a machine operating device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram schematically showing the functions of a mechanical operating device according to a modification of the present invention.
  • FIG. 3 is a block diagram showing the general functions of a machine operating device according to another embodiment of the present invention. It is a figure showing an example of working using a plurality of industrial machines.
  • FIG. 1 is a schematic hardware configuration diagram showing the main parts of a mechanical operating device according to an embodiment of the present invention.
  • the machine operating device 1 according to this embodiment can be mounted on a control device that controls an industrial machine 2 installed at a manufacturing site such as a factory. Further, the machine operating device 1 can be implemented on a computer such as a personal computer attached to the control device, a fog computer 6 connected to the control device via a wired or wireless network, and a cloud server 7.
  • a description will be given based on an example in which the machine operating device 1 according to the present embodiment is mounted on a control device that controls an industrial machine 2.
  • the CPU 11 included in the machine operating device 1 is a processor that controls the machine operating device 1 as a whole.
  • the CPU 11 reads a system program stored in the ROM 12 via the bus 22, and controls the entire machine operating device 1 according to the system program.
  • the RAM 13 temporarily stores temporary calculation data, display data, various data input from the outside, and the like.
  • the non-volatile memory 14 is composed of, for example, a memory backed up by a battery (not shown), a solid state drive (SSD), etc., and the stored state is maintained even when the power of the machine operating device 1 is turned off.
  • the nonvolatile memory 14 stores data acquired from the industrial machine 2, control programs and data read from the external device 72 via the interface 15, control programs and data input via the input device 71, and the network. Control programs, data, and the like acquired from other devices via 5 are stored.
  • the control program and data stored in the non-volatile memory 14 may be expanded to the RAM 13 at the time of execution/use. Further, various system programs such as a known analysis program are written in the ROM 12 in advance.
  • the interface 15 is an interface for connecting the CPU 11 of the machine operating device 1 to an external device 72 such as a USB device.
  • control programs and setting data used to control the industrial machine 2 are read from the external device 72 side.
  • control programs, setting data, etc. edited within the machine operating device 1 can be stored in external storage means via the external device 72.
  • the PLC 16 executes the ladder program to control the industrial machine 2 and peripheral devices of the industrial machine 2 (for example, tool changers, actuators such as robots, and multiple sensors such as temperature sensors and humidity sensors attached to the industrial machine 2). 3), a signal is outputted and controlled via the I/O unit 19. It also receives signals from various switches on the operation panel provided in the main body of the industrial machine 2, peripheral devices, etc., performs necessary signal processing, and then passes them to the CPU 11.
  • the interface 20 is an interface for connecting the CPU of the machine operating device 1 and the wired or wireless network 5.
  • the network 5 is connected to other industrial machines 4 such as machine tools and electric discharge machines, a fog computer 6, a cloud server 7, and the like, and exchanges data with the machine operating device 1.
  • the display device 70 outputs and displays each data read into the memory, data obtained as a result of executing a program, etc. via the interface 17.
  • the display device 70 may include an LED indicator or a warning lamp that indicates the status of the machine.
  • an input device 71 composed of a keyboard, a pointing device, etc. passes commands, data, etc. based on operations by an operator to the CPU 11 via the interface 18.
  • the interface 21 is an interface for connecting the CPU 11 of the machine operating device 1 and the audio sensor 73.
  • the audio sensor 73 may be, for example, a sound collecting device such as a microphone.
  • the audio sensor 73 may be attached to, for example, the input device 71, a machine operation panel (not shown), a pendant (portable machine operation panel), or the like.
  • the voice emitted by the worker detected by the voice sensor 73 is passed to the CPU 11 as a voice signal.
  • the interface 23 is an interface for connecting the CPU 11 of the mechanical operating device 1 and the image sensor 74.
  • the image sensor 74 may be, for example, a camera.
  • the image sensor 74 may be attached to, for example, the display device 70, a machine operation panel (not shown), a pendant (portable machine operation panel), or the like. Further, it may be installed above the position where the machine is installed so that the surroundings of the machine can be imaged. Movements of the worker's face and body detected by the image sensor 74 are passed to the CPU 11 as video signals.
  • An axis control circuit 30 for controlling the axes of the industrial machine 2 receives an axis movement command amount from the CPU 11 and outputs the axis command to the servo amplifier 40. Upon receiving this command, the servo amplifier 40 drives a servo motor 50 that moves an axis of the machine tool.
  • the shaft servo motor 50 has a built-in position/velocity detector, and feeds back a position/velocity feedback signal from this position/velocity detector to the axis control circuit 30 to perform position/velocity feedback control.
  • FIG. 2 is a schematic block diagram showing the functions of the machine operating device 1 according to an embodiment of the present invention.
  • Each function of the machine operating device 1 according to the present embodiment is realized by the CPU 11 of the machine operating device 1 shown in FIG. 1 executing a system program and controlling the operation of each part of the machine operating device 1. .
  • the machine operating device 1 of this embodiment includes an audio signal acquisition section 100, a voice recognition section 110, a video signal acquisition section 120, a video analysis section 130, a command determination section 140, a command processing section 150, and an output section 160.
  • the audio signal acquisition unit 100 acquires the audio signal detected by the audio sensor 73. Then, an audio signal recognized as one utterance is extracted from the acquired audio signals.
  • the audio signal detected by the audio sensor 73 is mainly based on the audio uttered by the worker.
  • the audio signal acquisition unit 100 may extract an audio signal corresponding to one utterance by the worker from among the audio signals. This means, for example, that a state in which the audio signal remains below a predetermined level Lv th continues for a predetermined period Ts th or more is defined as an audio break, and a predetermined period Tn th sandwiched between the audio breaks.
  • the above audio signals may be extracted as audio signals corresponding to one utterance. Further, other known audio signal analysis techniques may be used to cut out the audio.
  • the audio signal extracted by the audio signal acquisition unit 100 is output to the audio recognition unit 110.
  • the voice recognition unit 110 performs voice recognition processing on the voice signal corresponding to one utterance of the worker input from the voice signal acquisition unit 100. Then, the recognized result is output to the command determining section 140.
  • a known speech recognition algorithm such as a dynamic time warping method, a hidden Markov model, or a method using a neural network may be used.
  • the recognition result of the audio signal output by the audio recognition unit 110 may be, for example, a character string representing a word uttered in the audio signal and the reliability of the recognition result. At this time, a plurality of recognition results and the reliability of each recognition result may be output together.
  • the recognition result of the audio signal may be a feature amount indicating the characteristics of the utterance of the audio signal.
  • the video signal acquisition unit 120 acquires the audio signal detected by the image sensor 74. Then, a portion of the video signal corresponding to the worker's utterance is extracted from the acquired video signal.
  • the video signal detected by the image sensor 74 may be an image of the worker's face, particularly the mouth. Alternatively, the video signal detected by the image sensor 74 may be an image of the upper body of the worker including both hands.
  • the audio signal acquisition unit 100 extracts an audio signal corresponding to one utterance by the worker
  • the video signal acquisition unit 120 extracts the video signal acquired at the same timing as the extracted audio signal, into the audio signal of the worker.
  • the video signal may be cut out as a portion corresponding to one utterance.
  • the video signal extracted by the video signal acquisition section 120 is output to the video analysis section 130.
  • the video analysis unit 130 analyzes the video signal corresponding to one utterance of the worker input from the video signal acquisition unit 120. Then, the analyzed result is output to the command determining section 140.
  • a known algorithm such as AAM (Active Appearance Model) or LipNet can be used for video analysis processing. Further, if the video signal is an image of the upper body of the worker including both hands, a known gesture recognition algorithm using a hidden Markov model or a multilayer neural network may be used.
  • the analysis result of the video signal output by the video analysis unit 130 includes, for example, a character string representing the operation of the industrial machine 2 obtained by analyzing the mouth movement recognized from the video signal, and the reliability of the analysis result. good.
  • the analysis result of the video signal may be a feature amount indicating a feature related to a mouth movement recognized from the video signal or a feature amount indicating a feature of a gesture.
  • the command determination unit 140 determines an operation command for the industrial machine 2 by the worker based on the recognition result of the audio signal input from the voice recognition unit 110 and the analysis result of the video signal input from the video analysis unit 130. do. Then, the determined command is output to the command processing section 150 and the output section 160.
  • the command determining unit 140 compares, for example, the reliability included in the recognition result of the audio signal and the reliability included in the analysis result of the video signal, and determines the operation command based on the result with higher reliability. It's okay. At this time, the reliability included in the audio signal recognition result and the reliability included in the video signal analysis result may be multiplied by a predetermined weight and then compared. In addition, when multiple recognition results and analysis results are input, recognition results and analysis results that indicate the same operation command and whose reliability is higher than a predetermined threshold are selected. The operation command with the highest reliability of either the result or the analysis result may be determined.
  • the command determination unit 140 may determine the operation command using a multilayer neural network model.
  • a character string representing the words uttered in the audio signal, the reliability of the recognition result, a character string representing the operation of the industrial machine 2 corresponding to the worker's gesture, and the reliability of the analysis result are input, and the reliability of the recognition result is input.
  • the command determination unit 140 inputs the recognition result input from the voice recognition unit 110 and the analysis result input from the video analysis unit 130 to the trained neural network, and outputs the output operation command to the operator. This is determined as an operation command for the industrial machine 2.
  • Another example of using a multilayer neural network is to create a model that is trained in advance using training data that uses the features of audio signals and features of mouth movements and gestures as input, and outputs operation commands. I'll keep it. Then, the command determination unit 140 inputs the recognition result input from the voice recognition unit 110 and the analysis result input from the video analysis unit 130 to the trained neural network, and outputs the output operation command to the operator. This is determined as an operation command for the industrial machine 2.
  • the command processing unit 150 executes a predetermined function corresponding to the operation command according to the operation command output from the command determination unit 140.
  • the predetermined function may be a general function included in the control device. Examples include a function of calling a predetermined screen of the machine operating device 1, a function of setting a predetermined parameter, and a function related to control of the industrial machine 2.
  • a function of calling a predetermined screen of the machine operating device 1 a function of setting a predetermined parameter
  • peripheral devices of the industrial machine 2 via the PLC 16 it is possible to open and close safety doors placed around the industrial machine 2, turn on and off indoor lights, stop using cutting fluid, and clean chips. It is also possible to perform functions such as
  • the output unit 160 displays the operation command output from the command determination unit 140 on the display device 70.
  • the output unit 160 may display the operation command in a position that does not interfere with the display of a predetermined function being executed on the screen of the display device 70 (for example, in a status display area at the bottom of the screen). . Further, the information may be displayed and output in the form of a dialog or the like. Furthermore, the operation command may be outputted as a voice to be repeated from a speaker (not shown).
  • the output unit 160 may output not only the determined operation command but also each process such as the start of the operation command recognition process, the process in progress, and the completion of the process. Further, the display device 70 may also include lighting of an LED, a warning lamp, or the like.
  • the output unit 160 may transmit and output the operation command to a host computer such as another industrial machine 4, a fog computer 6, or a cloud server 7 via the network 5.
  • a host computer such as another industrial machine 4, a fog computer 6, or a cloud server 7 via the network 5.
  • the data may be output to a log recording area provided in advance on the nonvolatile memory 14 or the like.
  • the machine operating device 1 with the above configuration determines an operating command for the industrial machine 2 by the worker based on the acquired audio signal and video signal.
  • the reduction in recognition accuracy due to noise at the manufacturing site can be compensated for by video signals, improving the recognition accuracy of operation commands. is expected.
  • the limited expressiveness of the commands will be compensated for by the audio signals.
  • the machine operating device 1 may have a function of authenticating a worker.
  • FIG. 3 is a schematic block diagram showing the functions of the machine operating device 1 according to this modification.
  • the machine operating device 1 according to this modification further includes a worker authentication section 170.
  • the worker authentication section 170 identifies the worker based on the voice signal detected by the voice uttered by the worker recognized by the voice recognition section 110 and the video signal captured by the image of the worker's face analyzed by the video analysis section 130. Authenticate.
  • the RAM 13 to non-volatile memory 14 of the machine operating device 1 contains information related to worker authentication, such as feature quantities indicating the characteristics of the worker's voice and feature quantities indicating the features of the worker's face.
  • An authentication information storage unit 210 is prepared in advance that stores identification information that uniquely identifies a worker in association with each other. When the worker speaks, the worker authentication unit 170 extracts feature amounts indicating the characteristics of the worker's voice and the worker's voice from the voice of the worker and the video signal of the worker's face.
  • the voice and facial features of a plurality of workers stored in the authentication information storage unit 210 are then compared to authenticate which worker is speaking.
  • the worker authentication section 170 outputs identification information of the authenticated worker to the command processing section 150. Only one of the worker's voice and the worker's face may be used for authentication, or both may be used for authentication.
  • An authorization information storage unit 220 is provided on the RAM 13 to nonvolatile memory 14 of the machine operating device 1, which stores authorization information in which operation commands executable by each worker are associated with worker identification information. has been done. Then, when the determined operation command is input from the command processing unit 150, the command processing unit 150 generates an executable operation command associated with the worker identification information input from the worker authentication unit 170. Acquired from the authorization information storage unit 220. If the determined operation command is included in the acquired executable operation commands, the operation command is processed as usual. On the other hand, if it is not included, a message indicating that the operation command is not authorized by the operator is output to the output unit 160.
  • the machine operating device 1 can be restricted so that operation commands that cannot be executed due to the type of job or authority of the worker cannot be executed. Since worker authentication is performed based on the worker's voice and the worker's face, it can be expected to prevent impersonation from executing operation commands. For example, it is possible to prevent other workers' voices from being recorded and misused.
  • the authentication information storage unit 210 may further store information related to the language used by the worker in association with the identification information of the worker.
  • the language model used by the speech recognition unit 110 for speech recognition may be switched in advance depending on the language used by the worker. With this configuration, it is possible to improve the recognition accuracy of operation commands for various workers who speak different languages.
  • the authentication information storage unit 210 may automatically authenticate the worker. Then, if the operator is not authenticated, the command determining unit 140 may stop the process related to determining the operation command.
  • the command determining unit 140 may stop the process related to determining the operation command.
  • the worker's work motions and standing position may be detected and used to recognize the operation command.
  • the video analysis unit 130 determines what kind of work movement the worker is doing (for example, whether he is carrying a workpiece, whether he is putting his arm inside the machine, etc.), Analyzes where the worker is standing near the industrial machine 2. Then, the analysis result is output to the command determining section 140.
  • the command determination unit 140 determines the operation command by narrowing down the operation commands that the worker is about to perform, depending on the work motion that the worker is performing and the standing position.
  • the command determination unit 140 can avoid determining a dangerous operation command as a processing target.
  • the voice recognition unit 110 recognizes such a voice signal
  • the command determination unit 140 can avoid determining a dangerous operation command as a processing target.
  • at manufacturing sites such as factories, there may be cases where multiple workers work together. In such a case, a conversation between workers may be mistakenly detected as a voice command.
  • the system should not accept input of operation commands. is also possible. This is expected to reduce erroneous operation of industrial machinery.
  • the command determining unit 140 may exclude such an operation command from being determined.
  • the industrial machine 2 to be operated may be determined based on the worker's standing position or gesture.
  • the machine operating device 1 is mounted on a computer connected via a network to a control device that controls each industrial machine 2.
  • the voice uttered by the worker may be collected using, for example, the voice sensor 73 connected to the machine operating device 1 via the wired/wireless network 5.
  • images of workers are captured by an image sensor 74 installed on the ceiling of the manufacturing site or near the worker, and connected to the machine operating device 1 via a wired/wireless network 5, or by an image sensor 74 that is controlled by the worker.
  • the images are collected using an image sensor 474 attached to the industrial machine 4.
  • the standing position of the worker and the direction of the worker (body position) captured by the image sensor 74 and the image sensor 474 are The industrial machine 4 to be operated is identified from among a plurality of industrial machines 4 based on the worker's gesture (direction, line of sight, etc.) and the worker's gestures (which industrial machine 4 he is pointing at, etc.), and the operation is performed on that industrial machine 4. It may be configured to recognize and analyze commands. At this time, terms that identify the industrial machine 4 (operation commands that are executed only on a specific industrial machine 4, name of the industrial machine 4, etc.) are also detected and used from the voice uttered by the worker. It's okay.
  • Machine operating device 2 Industrial machine 4 Industrial machine 5 Network 6 Fog computer 7 Cloud server 11 CPU 12 ROM 13 RAM 14 Non-volatile memory 15, 17, 18, 20, 21 Interface 16 PLC 19 I/O unit 22 Bus 30 Axis control circuit 40 Servo amplifier 50 Servo motor 70 Display device 71 Input device 72 External device 73 Audio sensor 74 Image sensor 100 Audio signal acquisition unit 110 Audio recognition unit 120 Video signal acquisition unit 130 Video analysis unit 140 Command determination unit 150 Command processing unit 160 Output unit 170 Operator authentication unit 210 Authentication information storage unit 220 Authorization information storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Factory Administration (AREA)

Abstract

本開示による機械操作装置は、音声センサにより検出された作業者が発話した音声を変換した音声信号に基づいて、所定の操作を示す第１のデータを認識する音声認識部と、撮像センサにより作業者の動きを撮像して得られた映像信号に基づいて、所定の操作を示す第２のデータを解析する映像解析部と、前記第１のデータ及び前記第２のデータに基づいて、産業機械を操作するための操作コマンドを決定するコマンド決定部と、コマンド決定部が決定した操作コマンドを処理するコマンド処理部と、を備える。

Description

機械操作装置
　本発明は、機械操作装置に関する。
　現在、製造業などの産業分野では、ロボット、搬送機、工作機械、機械設備などの様々な産業機械が作動している。このような産業機械には、操作部を備えたものも多く、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ）、ＮＣ（Ｎｕｍｅｒｉｃａｌ　Ｃｏｎｔｒｏｌｌｅｒ）、制御盤など、各産業機械を制御する機器も操作部を備える。
　産業機械の操作部は、ボタンや操作画面が多いが、操作が複雑で習熟に時間のかかることがある。音声入力インタフェースは、音声コマンドを発話するだけで目的の操作が実行できる。そのため、音声入力インタフェースを用いた操作性の向上が試みられている。音声入力インタフェースは、産業機械のドア開閉、産業機械の運転開始や一時停止、室内点消灯、切削液の使用停止、切粉の清掃など、あらゆる場面において当該産業機械に触れることなく指令することができる。また、ボタンや操作画面を直接操作する必要が無いため、例えば、試作の場合だと加工状況を見ながら操作したり、ロボットを安全柵外から操作したり、危険を感じるときにボタンに近寄るまでもなく速やかに音声で停止させることもできる。
　産業機械の操作に使用する音声コマンドは、音声コマンドを使用する産業機械の種類、産業機械を設置する現場、産業機械の操作内容などにより想定することができる。そのため、想定される音声コマンドを文法（構文及び単語）で作成することができる。例えば、特許文献１参照。
特開平９－３２５７８７号公報
　産業機械が設置される工場などの製造現場では、通常、複数の産業機械が動作している。そして、製造現場では常に騒音が発生している。そのため、音声コマンドのみで産業機械を操作する場合、音声コマンドと同時に加工音などがマイクに入力される。これが原因で、音声コマンドの認識精度が低下することがある。騒音が発生している現場においては、音声よりもジェスチャなどを撮像し、撮像した映像からコマンドを認識する方法も考えられる。このようにすることで、騒音の影響を排除することができる。しかしながら、ジェスチャのみの場合、言語より指令の表現力に限界があり、使いにくい場面がある。
　そのため、製造現場において生産性と精度とを両立させた機械操作の手法が望まれている。
　本発明による機械操作装置は、工作機械やロボット等の産業機械の操作に、マイク等で検出した音声に基づく音声認識と、カメラ等で検出した画像に基づく顔（口形）乃至ジェスチャ認識を融合させることで、手動操作より生産性を向上した機械操作を行えるようにし、上記課題を解決する。
　そして、本開示の一態様は、製造現場において入力された音声信号を音声認識して産業機械を操作するための操作コマンドとして利用する機械操作装置であって、音声センサにより検出された作業者が発話した音声を変換した音声信号に基づいて、所定の操作を示す第１のデータを認識する音声認識部と、撮像センサにより作業者の動きを撮像して得られた映像信号に基づいて、所定の操作を示す第２のデータを解析する映像解析部と、前記第１のデータ及び前記第２のデータに基づいて、前記産業機械を操作するための操作コマンドを決定するコマンド決定部と、前記コマンド決定部が決定した操作コマンドを処理するコマンド処理部と、を備えた機械操作装置である。
　本開示の一態様により、作業の簡略化や効率化により生産性を向上するとともに、機械本体と非接触で機械操作が可能となるため、作業者の安全性を確保できるようになる。
本発明の一実施形態による機械操作装置の概略的なハードウェア構成図である。 本発明の一実施形態による機械操作装置の概略的な機能を示すブロック図である。 本発明の変形例による機械操作装置の概略的な機能を示すブロック図である。 本発明の他の実施形態による機械操作装置の概略的な機能を示すブロック図である。 複数の産業機械を用いて作業する例を示す図である。
　以下、本発明の実施形態を図面と共に説明する。
　図１は本発明の一実施形態による機械操作装置の要部を示す概略的なハードウェア構成図である。本実施形態による機械操作装置１は、工場などの製造現場に設置された産業機械２を制御する制御装置の上に実装することができる。また、機械操作装置１は、制御装置に併設されたパソコンや、制御装置と有線乃至無線のネットワークを介して接続されたフォグコンピュータ６、クラウドサーバ７などのコンピュータ上に実装することができる。以下では、本実施形態による機械操作装置１を、産業機械２を制御する制御装置上に実装した例に基づいて説明する。
　本実施形態による機械操作装置１が備えるＣＰＵ１１は、機械操作装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステム・プログラムを読み出し、該システム・プログラムに従って機械操作装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から入力された各種データ等が一時的に格納される。
　不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等で構成され、機械操作装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、産業機械２から取得されたデータ、インタフェース１５を介して外部機器７２から読み込まれた制御用プログラムやデータ、入力装置７１を介して入力された制御用プログラムやデータ、ネットワーク５を介して他の装置から取得された制御用プログラムやデータ等が記憶される。不揮発性メモリ１４に記憶された制御用プログラムやデータは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システム・プログラムがあらかじめ書き込まれている。
　インタフェース１５は、機械操作装置１のＣＰＵ１１とＵＳＢ装置等の外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えば産業機械２の制御に用いられる制御用プログラムや設定データ等が読み込まれる。また、機械操作装置１内で編集した制御用プログラムや設定データ等は、外部機器７２を介して外部記憶手段に記憶させることができる。ＰＬＣ１６は、ラダープログラムを実行して産業機械２及び産業機械２の周辺装置（例えば、工具交換装置や、ロボット等のアクチュエータ、産業機械２に取付けられている温度センサや湿度センサ等の複数のセンサ３）にＩ／Ｏユニット１９を介して信号を出力し制御する。また、産業機械２の本体に配備された操作盤の各種スイッチや周辺装置等の信号を受け、必要な信号処理をした後、ＣＰＵ１１に渡す。
　インタフェース２０は、機械操作装置１のＣＰＵと有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５には、工作機械や放電加工機などの他の産業機械４やフォグコンピュータ６、クラウドサーバ７等が接続され、機械操作装置１との間で相互にデータのやり取りを行っている。
　表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ等がインタフェース１７を介して出力されて表示される。表示装置７０は、機械の状態を示すＬＥＤインジケイターや警告ランプを備えていてもよい。また、キーボードやポインティングデバイス等から構成される入力装置７１は、オペレータによる操作に基づく指令，データ等をインタフェース１８を介してＣＰＵ１１に渡す。
　インタフェース２１は、機械操作装置１のＣＰＵ１１と音声センサ７３とを接続するためのインタフェースである。音声センサ７３は、例えばマイクなどの集音機器であってよい。音声センサ７３は、例えば入力装置７１や図示しない機械操作盤、ペンダント（携帯型機械操作盤）などに取り付けられていてよい。音声センサ７３が検出した作業者の発する音声は、音声信号としてＣＰＵ１１に渡される。
　インタフェース２３は、機械操作装置１のＣＰＵ１１と撮像センサ７４とを接続するためのインタフェースである。撮像センサ７４は、例えばカメラなどであってよい。撮像センサ７４は、例えば表示装置７０や図示しない機械操作盤、ペンダント（携帯型機械操作盤）などに取り付けられていてよい。また、機械の周辺を撮像できるように、機械が設置された位置の上方に取り付けられていてもよい。撮像センサ７４が検出した作業者の顔や体の動きは、映像信号としてＣＰＵ１１に渡される。
　産業機械２が備える軸を制御するための軸制御回路３０はＣＰＵ１１からの軸の移動指令量を受けて、軸の指令をサーボアンプ４０に出力する。サーボアンプ４０はこの指令を受けて、工作機械が備える軸を移動させるサーボモータ５０を駆動する。軸のサーボモータ５０は位置・速度検出器を内蔵し、この位置・速度検出器からの位置・速度フィードバック信号を軸制御回路３０にフィードバックし、位置・速度のフィードバック制御を行う。なお、図１のハードウェア構成図では軸制御回路３０、サーボアンプ４０、サーボモータ５０は１つずつしか示されていないが、実際には制御対象となる産業機械２に備えられた軸の数だけ用意される。
　図２は、本発明の一実施形態による機械操作装置１が備える機能を概略的なブロック図として示したものである。本実施形態による機械操作装置１が備える各機能は、図１に示した機械操作装置１が備えるＣＰＵ１１がシステム・プログラムを実行し、機械操作装置１の各部の動作を制御することにより実現される。
　本実施形態の機械操作装置１は、音声信号取得部１００、音声認識部１１０、映像信号取得部１２０、映像解析部１３０、コマンド決定部１４０、コマンド処理部１５０、出力部１６０を備える。
　音声信号取得部１００は、音声センサ７３が検出した音声信号を取得する。そして、取得した音声信号から１回の発話として認識される音声信号を抽出する。音声センサ７３が検出する音声信号は、主として作業者が発話した音声に基づくものである。音声信号取得部１００は、その中から作業者の１回の発話に対応する音声信号を切り出すようにしてよい。これは、例えば音声信号が予め定めた所定のレベルＬｖth以下となる状態が予め定めた所定の期間Ｔｓth以上続いたところを音声の区切りとして、音声の区切りで挟まれた所定の期間Ｔｎth以上の音声信号を１回の発話に対応する音声信号として切り出すようにすればよい。また、音声の切り出しにその他の公知の音声信号の解析技術を用いるようにしてもよい。音声信号取得部１００が切り出した音声信号は、音声認識部１１０に出力される。
　音声認識部１１０は、音声信号取得部１００から入力された作業者の１回の発話に対応する音声信号に対して音声認識処理を行う。そして、認識した結果をコマンド決定部１４０へと出力する。音声認識処理としては、動的時間伸縮法や隠れマルコフモデル、ニューラルネットワークを用いた手法などの公知の音声認識アルゴリズムを用いればよい。音声認識部１１０が出力する音声信号の認識結果は、例えば当該音声信号において発話される言葉を表す文字列、及び認識結果の信頼度であってよい。この時、複数の認識結果、それぞれの認識結果の信頼度を併せて出力するようにしてもよい。また、ニューラルネットワークを用いる場合、音声信号の認識結果は、音声信号の発話の特徴を示す特徴量であってもよい。
　映像信号取得部１２０は、撮像センサ７４が検出した音声信号を取得する。そして、取得した映像信号から作業者の発話に対応する部分の映像信号を抽出する。撮像センサ７４が検出する映像信号は、作業者の顔、特に口元を撮像したものであってよい。または、撮像センサ７４が検出する映像信号は、作業者の両手を含む上半身を撮像したものであってよい。映像信号取得部１２０は、音声信号取得部１００が作業者の１回の発話に対応する音声信号を切り出した際に、その切り出した音声信号と同じタイミングで取得される映像信号を、作業者の１回の発話に対応する部分の映像信号として切り出すようにしてよい。映像信号取得部１２０が切り出した映像信号は、映像解析部１３０に出力される。
　映像解析部１３０は、映像信号取得部１２０から入力された作業者の１回の発話に対応する映像信号を解析する。そして、解析した結果をコマンド決定部１４０へと出力する。映像信号が作業者の顔、特に口元を撮像したものである場合は、映像解析処理としてＡＡＭ（Ａｃｔｉｖｅ　Ａｐｐｅａｒａｎｃｅ　Ｍｏｄｅｌ）、ＬｉｐＮｅｔなどの公知のアルゴリズムを用いることができる。また、映像信号が作業者の両手を含む上半身を撮像したものである場合、隠れマルコフモデルや多層ニューラルネットワークを用いた公知のジェスチャ認識アルゴリズムを用いればよい。映像解析部１３０が出力する映像信号の解析結果は、例えば当該映像信号から認識される口の動きを解析して得られる産業機械２の操作を表す文字列、及び解析結果の信頼度であってよい。また、作業者のジェスチャに対応する産業機械２の操作を表す文字列、及び解析結果の信頼度であってよい。いずれの場合においても、複数の解析結果、それぞれの認識結果の信頼度を併せて出力するようにしてもよい。更に、映像信号の解析結果は、映像信号から認識される口の動きに係る特徴を示す特徴量や、ジェスチャの特徴を示す特徴量であってもよい。
　コマンド決定部１４０は、音声認識部１１０から入力された音声信号の認識結果と、映像解析部１３０から入力された映像信号の解析結果とに基づいて、作業者による産業機械２に対する操作コマンドを決定する。そして、決定したコマンドをコマンド処理部１５０、及び出力部１６０へと出力する。コマンド決定部１４０は、例えば音声信号の認識結果に含まれる信頼度と、映像信号の解析結果に含まれる信頼度とを比較して、信頼度が高い方の結果に基づいて操作コマンドを決定してもよい。この時、音声信号の認識結果に含まれる信頼度と、映像信号の解析結果に含まれる信頼度とに、予め定めた所定の重みを掛け合わせてから比較するようにしてもよい。また、複数の認識結果、及び解析結果が入力された場合、同一の操作コマンドを示す認識結果、及び解析結果のそれぞれの信頼度が予め定めた所定の閾値以上である操作コマンドの内で、認識結果、及び解析結果のいずれかの信頼度が最も高い操作コマンドに決定するようにしてもよい。
　より厳密に判定をする場合には、コマンド決定部１４０は、多層ニューラルネットワークのモデルを用いて操作コマンドを決定するようにしてもよい。この場合、例えば音声信号において発話される言葉を表す文字列、認識結果の信頼度、作業者のジェスチャに対応する産業機械２の操作を表す文字列、及び解析結果の信頼度を入力とし、操作コマンドを出力とする教師データを用いて学習を行ったモデルを作成しておく。そして、コマンド決定部１４０は、音声認識部１１０から入力された認識結果、及び映像解析部１３０から入力された解析結果を学習済みのニューラルネットワークへと入力し、出力された操作コマンドを作業者による産業機械２に対する操作コマンドとして決定する。
　多層ニューラルネットを用いた他の例としては、例えば予め音声信号の特徴量及び口の動きやジェスチャの特徴量を入力とし、操作コマンドを出力とする教師データを用いて学習を行ったモデルを作成しておく。そして、コマンド決定部１４０は、音声認識部１１０から入力された認識結果、及び映像解析部１３０から入力された解析結果を学習済みのニューラルネットワークへと入力し、出力された操作コマンドを作業者による産業機械２に対する操作コマンドとして決定する。
　コマンド処理部１５０は、コマンド決定部１４０から出力された操作コマンドに従って、該操作コマンドに対応する所定の機能を実行する。所定の機能は、制御装置が備える一般的な機能であってよい。例えば機械操作装置１の所定の画面を呼び出す機能や、所定のパラメータの設定機能、産業機械２に対する制御に係る機能などが例示される。また、ＰＬＣ１６を介して産業機械２の周辺装置に対して信号を送ることで、産業機械２の周りに配置される安全ドアの開閉や、室内点消灯、切削液の使用停止、切粉の清掃などの機能を実行することも考えられる。
　出力部１６０は、コマンド決定部１４０から出力された操作コマンドを表示装置７０に対して表示出力する。出力部１６０は、操作コマンドを表示装置７０の画面上で実行されている所定の機能の表示の邪魔にならない位置（例えば、画面の最下段の状態表示領域など）に表示するようにしてもよい。また、ダイアログなどの形で表示出力するようにしてもよい。更に、図示しないスピーカーから操作コマンドを復唱するように音声出力するようにしてもよい。出力部１６０は、単に決定した操作コマンドを出力するだけでなく、操作コマンドの認識処理開始、処理中、処理完了などといったように、処理のそれぞれの過程を出力するようにしてもよい。また、表示装置７０にＬＥＤや警告ランプなどの点灯を併用するようにしてもよい。出力部１６０は、操作コマンドをネットワーク５を介して他の産業機械４やフォグコンピュータ６、クラウドサーバ７などの上位のコンピュータに送信出力するようにしてもよい。また、不揮発性メモリ１４などの上に予め設けられたログ記録領域に出力するようにしてもよい。
　上記構成を備えた機械操作装置１は、取得した音声信号及び映像信号に基づいて、作業者による産業機械２に対する操作コマンドを決定する。音声信号の認識結果のみに基づいて操作コマンドを決定する場合と比較して、製造現場における騒音などが原因での認識精度の低下を映像信号により補うことができるため、操作コマンドの認識精度の向上が見込まれる。また、映像信号の解析結果のみに基づいて操作コマンドを決定する場合と比較すると、指令の表現力の限界を音声信号で補うことが期待される。
　本実施形態による機械操作装置１の一変形例として、機械操作装置１は、作業者を認証する機能を備えていてもよい。図３は、本変形例による機械操作装置１が備える機能を概略的なブロック図として示したものである。本変形例による機械操作装置１は、更に作業者認証部１７０を備える。
　作業者認証部１７０は、音声認識部１１０が認識した作業者が発話した声を検出した音声信号や、映像解析部１３０が解析した作業者の顔を撮像した映像信号に基づいて、作業者を認証する。機械操作装置１のＲＡＭ１３乃至不揮発性メモリ１４上には、作業者の認証に係る情報として、作業者の発話する声の特徴を示す特徴量や、作業者の顔の特徴を示す特徴量に対して、作業者を一意に識別する識別情報を関連付けて記憶している認証情報記憶部２１０が予め用意されている。作業者認証部１７０は、作業者が発話した際に、作業者が発話した声や、作業者の顔を撮像した映像信号から、作業者の発話する声の特徴を示す特徴量や、作業者の顔の特徴を示す特徴量を解析する。そして、認証情報記憶部２１０に記憶されている複数の作業者の声乃至顔の特徴量と照合して、発話している作業者がいずれの作業者であるのかを認証する。作業者認証部１７０は、認証した作業者の識別情報をコマンド処理部１５０に出力する。作業者の発話した声、作業者の顔は、一方のみを認証に用いてもよいし、双方を認証に用いるようにしてよい。
　機械操作装置１のＲＡＭ１３乃至不揮発性メモリ１４上には、更に作業者の識別情報に対して、それぞれの作業者が実行可能な操作コマンドを関連付けた認可情報を記憶する認可情報記憶部２２０が用意されている。そして、コマンド処理部１５０は、コマンド処理部１５０から決定された操作コマンドが入力された際に、作業者認証部１７０から入力された作業者の識別情報に関連付けられている実行可能な操作コマンドを認可情報記憶部２２０から取得する。そして、取得した実行可能な操作コマンドの中に、決定した操作コマンドが含まれている場合は、通常通りその操作コマンドを処理する。一方で、含まれていない場合には、当該操作コマンドは作業者に認可されていない旨を出力部１６０に出力する。
　本変形例による機械操作装置１は、作業者の職種や権限などにより実行できない操作コマンドが実行できないように制限することができる。作業者の認証は、作業者が発話した声や作業者の顔に基づいて行われるため、なりすましによる操作コマンドの実行を防止することが期待できる。例えば、他の作業者の音声を録音して悪用することを防止することができる。
　以上、本発明の実施形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
　例えば、上記した変形例において認証情報記憶部２１０には、作業者の識別情報と関連付けて、更に作業者の用いる言語に係る情報を記憶するようにしてもよい。そして、予め音声認識部１１０が音声認識に用いる言語モデルを、作業者の用いる言語に応じて切り替えるようにしてもよい。このように構成することで、言語が異なる様々な作業者に対して、操作コマンドの認識精度を向上させることが可能となる。
　更に、作業者が撮像センサ７４の撮像領域に入った場合に、認証情報記憶部２１０は、自動的に作業者を認証するようにしてよい。そして、作業者が認証されていない場合に、コマンド決定部１４０は、操作コマンドの決定に係る処理を停止するようにしてもよい。このような構成により、作業者が産業機械２の操作を行う範囲内にいない限り、操作コマンドの入力を受け付けないようにすることができるため、他の音声を検出することによる産業機械２の誤動作を防止することができる。また、複数台の産業機械２を用いて１人の作業者が作業している場合、作業者がいずれの産業機械２の操作範囲内にいるかに応じて、操作の対象とする産業機械２を切り替えるようにすることもできる。
　また、作業者の動作として、作業者の口の動きやジェスチャ以外に、例えば作業者の作業動作や立ち位置を検出して、これを操作コマンドの認識に用いるようにしてもよい。この場合、映像解析部１３０は、作業者がどのような作業動作をしているのか（例えば、ワークを運んでいるのか、機械の中に腕を入れているのか否かなど）といったことや、作業者が産業機械２の近傍のいずれの位置に立っているのかなどを解析する。そして、その解析結果をコマンド決定部１４０へと出力する。コマンド決定部１４０は、作業者が行っている作業動作や、立ち位置に応じて、作業者が行おうとしている操作コマンドの絞り込みを行うことで、操作コマンドの決定をする。例えば作業者が機械の安全扉の中に手を入れている状態で、安全扉を閉じる操作コマンドや、運転再開の操作コマンドを入力することは危険な行為である。このような状況において、音声認識部１１０がそのような音声信号を認識した場合であっても、コマンド決定部１４０は、危険な操作コマンドを処理対象として決定しないようにすることができる。また、工場などの製造現場には、複数の作業者が協働して作業を進めている場合もある。このような場合、作業者同士の会話を音声コマンドとして誤検出してしまう可能性がある。そのような場合に、作業者を認証した上で、作業者の動作内容から他の作業者と会話をしていると解析されている場合には、操作コマンドの入力を受け付けないようにすることも可能となる。これにより、産業機械の誤操作を抑制することが期待される。
　更に、上記に加えて産業機械２の動作状態を取得し、その動作状態から作業者が行おうとしている操作コマンドの絞り込みを行うことも可能である。例えば、ワークの加工が行われている状態で安全扉を開く操作コマンドが入力されることは通常あり得ない。そのため、ワークの加工中に安全扉を開く操作コマンドが認識乃至解析された場合、コマンド決定部１４０は、そのような操作コマンドについては決定対象として除外するようにしてもよい。
　近傍に設置された複数台の産業機械を用いて並列して作業している場合、作業者の立ち位置やジェスチャにより操作対象とする産業機械２を決定するようにしてもよい。このように構成する場合、図４に示すように、それぞれの産業機械２を制御する制御装置とネットワークを介して接続されたコンピュータ上に機械操作装置１を実装する。作業者が発話した音声は、例えば機械操作装置１と有線／無線のネットワーク５を介して接続される音声センサ７３を用いて収集すればよい。また、作業者の映像については、製造現場の天井や作業者の近傍に設置され、機械操作装置１と有線／無線のネットワーク５を介して接続される撮像センサ７４や、作業者の管理対象となる産業機械４に取り付けられた撮像センサ４７４などを用いて収集する。
　そして、図５に例示されるように、複数台の産業機械４を用いて作業をするに際して、撮像センサ７４や撮像センサ４７４で撮像された作業者の立ち位置や、作業者の向き（体の向きや、目線など）、作業者のジェスチャ（どの産業機械４を指さしているか、など）に基づいて複数の産業機械４の中から操作対象の産業機械４を特定し、その産業機械４に対する操作コマンドを認識及び解析するように構成すればよい。この時、作業者が発話した音声の中から産業機械４を特定する用語（特定の産業機械４でのみ実行される操作コマンド、産業機械４の名称など）も併せて検出して利用するようにしてもよい。
　　　１　機械操作装置
　　　２　産業機械
　　　４　産業機械
　　　５　ネットワーク
　　　６　フォグコンピュータ
　　　７　クラウドサーバ
　　１１　ＣＰＵ
　　１２　ＲＯＭ
　　１３　ＲＡＭ
　　１４　不揮発性メモリ
　　１５，１７，１８，２０，２１　インタフェース
　　１６　ＰＬＣ
　　１９　Ｉ／Ｏユニット
　　２２　バス
　　３０　軸制御回路
　　４０　サーボアンプ
　　５０　サーボモータ
　　７０　表示装置
　　７１　入力装置
　　７２　外部機器
　　７３　音声センサ
　　７４　撮像センサ
　１００　音声信号取得部
　１１０　音声認識部
　１２０　映像信号取得部
　１３０　映像解析部
　１４０　コマンド決定部
　１５０　コマンド処理部
　１６０　出力部
　１７０　作業者認証部
　２１０　認証情報記憶部
　２２０　認可情報記憶部

Claims (5)

  1. 　製造現場において入力された音声信号を音声認識して産業機械を操作するための操作コマンドとして利用する機械操作装置であって、
    　音声センサにより検出された作業者が発話した音声を変換した音声信号に基づいて、所定の操作を示す第１のデータを認識する音声認識部と、
    　撮像センサにより作業者の動きを撮像して得られた映像信号に基づいて、所定の操作を示す第２のデータを解析する映像解析部と、
    　前記第１のデータ及び前記第２のデータに基づいて、前記産業機械を操作するための操作コマンドを決定するコマンド決定部と、
    　前記コマンド決定部が決定した操作コマンドを処理するコマンド処理部と、
    を備えた機械操作装置。
  2. 　前記第１のデータは、作業者が発話した音声及び作業者の顔に基づいて該作業者を認証する作業者認証部を更に備え、
    　前記コマンド処理部は、前記作業者認証部により認証された作業者に認可されていない操作コマンドの実行を禁止する、
    請求項１に記載の機械操作装置。
  3. 　認証された作業者が用いる言語に応じて、前記音声認識部が用いる言語モデルを切り替える、
    請求項２に記載の機械操作装置。
  4. 　前記コマンド決定部は、前記映像解析部による作業者の検出が行われない場合に、前記操作コマンドの決定を停止する、
    請求項１に記載の機械操作装置。
  5. 　前記音声認識部による認識結果及び前記映像解析部による解析結果の少なくともいずれかに基づいて、複数の産業機械の中から操作対象となる産業機械を特定する、
    請求項１に記載の機械操作装置。
PCT/JP2022/019792 2022-05-10 2022-05-10 機械操作装置 Ceased WO2023218522A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/019792 WO2023218522A1 (ja) 2022-05-10 2022-05-10 機械操作装置
JP2024520114A JP7849466B2 (ja) 2022-05-10 2022-05-10 機械操作装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/019792 WO2023218522A1 (ja) 2022-05-10 2022-05-10 機械操作装置

Publications (1)

Publication Number Publication Date
WO2023218522A1 true WO2023218522A1 (ja) 2023-11-16

Family

ID=88729971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019792 Ceased WO2023218522A1 (ja) 2022-05-10 2022-05-10 機械操作装置

Country Status (2)

Country Link
JP (1) JP7849466B2 (ja)
WO (1) WO2023218522A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121576A (ja) * 2005-10-26 2007-05-17 Matsushita Electric Works Ltd 音声操作装置
JP2012103840A (ja) * 2010-11-09 2012-05-31 Sony Corp 情報処理装置、プログラムおよびコマンド生成方法
JP2013075005A (ja) * 2011-09-30 2013-04-25 Ge Medical Systems Global Technology Co Llc 画像診断装置用制御装置および画像診断システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5191313B2 (ja) 2008-08-26 2013-05-08 スター精密株式会社 工作機械
US8700405B2 (en) 2010-02-16 2014-04-15 Honeywell International Inc Audio system and method for coordinating tasks
JP5964472B1 (ja) 2015-02-03 2016-08-03 ファナック株式会社 ロボットと工作機械の動作制限機能を有する加工システム
JP2021089310A (ja) 2019-12-02 2021-06-10 株式会社デンソーテン 音声操作装置、音声操作システムおよび音声操作方法
JP2021111646A (ja) 2020-01-07 2021-08-02 株式会社東京精密 レーザ加工装置及び加工方法
JP7435045B2 (ja) 2020-03-06 2024-02-21 株式会社リコー 命令要求システム、命令要求方法、命令処理システム及びプログラム
US20220266363A1 (en) 2021-02-25 2022-08-25 Nan John Electrical Co., Ltd. Human-body-defined security recognition system of processing machine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121576A (ja) * 2005-10-26 2007-05-17 Matsushita Electric Works Ltd 音声操作装置
JP2012103840A (ja) * 2010-11-09 2012-05-31 Sony Corp 情報処理装置、プログラムおよびコマンド生成方法
JP2013075005A (ja) * 2011-09-30 2013-04-25 Ge Medical Systems Global Technology Co Llc 画像診断装置用制御装置および画像診断システム

Also Published As

Publication number Publication date
JPWO2023218522A1 (ja) 2023-11-16
JP7849466B2 (ja) 2026-04-21

Similar Documents

Publication Publication Date Title
KR101581883B1 (ko) 모션 정보를 이용하는 음성 검출 장치 및 방법
JP6887031B2 (ja) 方法、電子装置、家庭用機器ネットワークおよび記憶媒体
CN102099614A (zh) 防备机器人危险事件的人安全保护系统
CN103068707A (zh) 利用可变协议的电梯及其控制方法
JPH01195499A (ja) 音声入力装置
JP2002251234A (ja) 複数のセンサによるヒューマンインタフェースシステム
CN111798850B (zh) 用语音操作设备的方法和系统及服务器
WO2009155947A1 (en) Control system and method for control
WO2007138503A1 (en) Method of driving a speech recognition system
JP5776544B2 (ja) ロボットの制御方法、ロボットの制御装置、及びロボット
JP2010128015A (ja) 音声認識の誤認識判定装置及び音声認識の誤認識判定プログラム
CN106313085B (zh) 使用视觉传感器的机器人系统
US11580972B2 (en) Robot teaching device
JPH1124694A (ja) 命令認識装置
JP7849466B2 (ja) 機械操作装置
JP2018206073A (ja) 遠隔操作システム
JP7750950B2 (ja) 音声認識装置
US20200353614A1 (en) Teaching device for robot
JP4468777B2 (ja) 脚式歩行ロボットの制御装置
KR20130041421A (ko) 터치기반 음성인식 멀티모달리티 시스템
KR20170029390A (ko) 음성 명령 모드 진입 방법
WO2021124258A1 (en) Instruction validation system
JP7712405B2 (ja) 音声認識装置、及びコンピュータが読み取り可能な記録媒体
Bedaif et al. Voice Recognition-Based Assistive System to Help Blind People Control Home Openings
CN118008429A (zh) 一种液压支架控制方法、装置及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22941604

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024520114

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22941604

Country of ref document: EP

Kind code of ref document: A1