WO2025196891A1 - 音声処理装置、及びコンピュータ読み取り可能な記録媒体 - Google Patents

音声処理装置、及びコンピュータ読み取り可能な記録媒体

Info

Publication number
WO2025196891A1
WO2025196891A1 PCT/JP2024/010551 JP2024010551W WO2025196891A1 WO 2025196891 A1 WO2025196891 A1 WO 2025196891A1 JP 2024010551 W JP2024010551 W JP 2024010551W WO 2025196891 A1 WO2025196891 A1 WO 2025196891A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation content
unit
machine
content
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/010551
Other languages
English (en)
French (fr)
Inventor
俊祐 青木
誠彰 相澤
友一 萱沼
昂汰 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to PCT/JP2024/010551 priority Critical patent/WO2025196891A1/ja
Publication of WO2025196891A1 publication Critical patent/WO2025196891A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Definitions

  • This disclosure relates to an audio processing device and a computer-readable recording medium.
  • the operation of the industrial machinery may be controlled based on the voice content spoken by the user (see, for example, Patent Document 1).
  • the voice recognition results are called back and confirmed.
  • the voice processing device disclosed herein solves the above problem by determining whether or not notification is necessary and notifying the operator before carrying out the operation content of the voice command.
  • One aspect of the present disclosure is a voice processing device comprising: an operation content acquisition unit that acquires operation content linked to voice content based on a voice command linking the voice content and the operation content and the voice content spoken by an operator; a machine state acquisition unit that acquires the machine state of an industrial machine that is to be instructed to perform the operation content; a first determination unit that determines whether a first operation condition for performing the operation content on the industrial machine is met based on the operation content and the machine state; a notification unit that notifies the operator if the first determination unit determines that the first operation condition is not met; a second determination unit that determines whether a second operation condition is met at a predetermined timing after the notification unit notifies the operator that the first operation condition for performing the operation content on the industrial machine is not met; and an operation content command unit that commands the industrial machine to perform the operation content if the first determination unit determines that the first operation condition is met or if the second determination unit determines that the second operation condition is met.
  • FIG. 1 is a schematic hardware configuration diagram of a voice processing device according to an embodiment of the present disclosure.
  • 1 is a block diagram showing schematic functions of a voice processing device according to a first embodiment
  • FIG. 4 is a table showing examples of voice commands stored in a voice command storage unit.
  • FIG. 4 is a table showing an example of operating conditions stored in an operating condition storage unit.
  • FIG. 10 is a block diagram showing schematic functions of a voice processing device according to a second embodiment.
  • FIG. 11 is a block diagram showing schematic functions of a voice processing device according to a third embodiment.
  • FIG. 10 is a block diagram showing schematic functions of a voice processing device according to a fourth embodiment.
  • FIG. 10 is a table showing another example of the operating conditions stored in the operating condition storage unit.
  • based on XX means “based on at least XX,” and includes cases where it is based on other elements in addition to XX. Furthermore, “based on XX” is not limited to cases where XX is used directly, but also includes cases where it is based on XX that has been calculated or processed. "XX” is any element (for example, any information).
  • FIG. 1 is a schematic hardware configuration diagram showing the main parts of a voice processing device according to a first embodiment of the present disclosure.
  • the voice processing device 1 can be implemented, for example, on a control device that controls industrial machinery.
  • the voice processing device 1 can also be implemented, for example, on a computer such as a personal computer attached to the control device, a personal computer connected to the control device via a wired or wireless network, a cell computer, a fog computer 6, or a cloud server 7.
  • This embodiment shows an example in which the voice processing device 1 is implemented on a computer connected to a control device that controls industrial machinery via a network.
  • the CPU 11 provided in the voice processing device 1 is a processor that controls the voice processing device 1 as a whole.
  • the CPU 11 reads a system program stored in the ROM 12 via the bus 22 and controls the voice processing device 1 as a whole in accordance with the system program.
  • the RAM 13 temporarily stores temporary calculation data, display data, and various data acquired from external sources.
  • the non-volatile memory 14 is composed of, for example, a battery-backed memory (not shown) or an SSD (Solid State Drive), and retains its memory state even when the power to the voice processing device 1 is turned off.
  • the non-volatile memory 14 stores programs and data read from the external device 72 via the interface 15, programs and data input via the input device 71, and programs and data obtained from the control device 3 that controls the industrial machine 4 or other devices via the network 5.
  • the programs and data stored in the non-volatile memory 14 may be expanded into the RAM 13 when executed/used.
  • various system programs such as well-known analysis programs are pre-written in the ROM 12.
  • the interface 15 is an interface for connecting the CPU 11 of the audio processing device 1 to an external device 72 such as a USB device.
  • an external device 72 such as a USB device.
  • system programs, setting data, etc. are read from the external device 72.
  • programs and setting data created or edited within the audio processing device 1 can be stored in external storage means via the external device 72.
  • the interface 20 is an interface for connecting the CPU 11 of the voice processing device 1 to a wired or wireless network 5.
  • the network 5 may communicate using technologies such as serial communication such as RS-485, Ethernet (registered trademark), optical communication, wireless LAN, Wi-Fi (registered trademark), or Bluetooth (registered trademark).
  • the network 5 is connected to a control device 3 that controls at least one industrial machine 4, a fog computer 6, a cloud server 7, a terminal 8, etc., and exchanges data with the voice processing device 1.
  • Display device 70 displays data obtained as a result of executing various data and programs loaded into memory, output via interface 17. Furthermore, input device 71, which is comprised of at least one input device such as a keyboard, pointing device, audio input device, and imaging device, passes commands and data based on user operations to CPU 11 via interface 18.
  • input device 71 which is comprised of at least one input device such as a keyboard, pointing device, audio input device, and imaging device, passes commands and data based on user operations to CPU 11 via interface 18.
  • the terminal 8 is a computer such as a personal computer or mobile terminal operated by an operator.
  • the terminal 8 is connected to the voice processing device 1 via the network 5 so that it can communicate with the voice processing device 1, but the terminal 8 may also be, for example, a pendant connected to a specified interface of the voice processing device 1.
  • the terminal 8 has the function of acquiring voice spoken by the operator and recognizing the content of that voice.
  • the terminal 8 converts the recognized voice content into, for example, character string data indicating the voice content.
  • the terminal 8 outputs the recognized voice content to the voice processing device 1.
  • the terminal 8 is also configured to display notifications received from the voice processing device 1 and send to the voice processing device 1 commands from the operator input via an input device (not shown) provided on the terminal 8.
  • FIG. 2 is a schematic block diagram showing the functions of the voice processing device 1 according to the first embodiment of the present disclosure.
  • Each function of the voice processing device 1 according to this embodiment is realized by the CPU 11 of the voice processing device 1 shown in FIG. 1 executing a system program and controlling the operation of each part of the voice processing device 1.
  • the voice processing device 1 of this embodiment includes an operation content acquisition unit 110, a machine state acquisition unit 120, a first judgment unit 130, a notification unit 140, a second judgment unit 150, and an operation content command unit 160.
  • the RAM 13 to non-volatile memory 14 of the voice processing device 1 also include a voice command storage unit 200, which is an area that stores multiple voice commands in advance, and an operation condition storage unit 210, which is an area that stores multiple first operation conditions that define the relationship between operation content and machine state in advance.
  • the operation content acquisition unit 110 acquires operation content linked to the voice content based on the voice command stored in the voice command storage unit 200 and the voice content spoken by the operator.
  • the voice content spoken by the operator is received from the terminal 8.
  • the voice command associates the voice content with the operation content.
  • Figure 3 is a table diagram showing examples of voice commands stored in the voice command storage unit 200. As illustrated in Figure 3, the voice command storage unit 200 stores multiple voice commands that can be processed by the voice processing device 1.
  • the operation content acquisition unit 110 references the voice command storage unit 200 and acquires the operation content "automatic operation start” that is associated with the voice content "cycle start.”
  • the operation content may be a command to the control device 3 that controls the industrial machine 4.
  • the operation content acquisition unit 110 outputs the acquired operation content to the machine state acquisition unit 120 and the first determination unit 130.
  • the machine state acquisition unit 120 acquires the machine state of the industrial machine 4 from the industrial machine 4 that is the target of an instruction to perform the operation content acquired by the operation content acquisition unit 110.
  • the machine state acquisition unit 120 acquires the machine state of the industrial machine 4 via the network 5 from the control device 3 that controls the industrial machine 4.
  • the machine state includes, for example, the industrial machine 4's operation mode (manual operation mode, MDI operation mode, automatic operation mode, etc.), operation state (stopped, operating, etc.), setting values of each parameter, state of each signal, operation state of each motor, modal values, state of each peripheral device, detection values of each attached sensor, etc.
  • the machine state acquisition unit 120 may acquire only the machine state related to the operation content acquired by the operation content acquisition unit 110.
  • the machine state acquisition unit 120 identifies the machine state related to the acquired operation content by referencing, for example, the operating condition storage unit 210.
  • the identified machine state is then acquired from the control device 3 associated with the industrial machine 4.
  • the machine state acquisition unit 120 outputs the acquired machine state to the first determination unit 130.
  • the first determination unit 130 determines whether a first operating condition for performing the operation content on the industrial machine 4 is met, based on the operation content acquired by the operation content acquisition unit 110 and the machine state acquired by the machine state acquisition unit 120. The first determination unit 130 determines whether the first operating condition for performing the operation content on the industrial machine 4 is met, for example, by referring to the operation condition storage unit 210 and determining whether the machine state of the industrial machine 4 meets the conditions for performing the operation content. If the first determination unit 130 determines that the first operating condition is not met, it outputs the determination result to the notification unit 140. If the first determination unit 130 determines that the first operating condition is met, it outputs the determination result to the operation content command unit 160.
  • FIG. 4 is a table diagram showing an example of first operating conditions stored in the operating condition storage unit 210.
  • the first operating conditions stored in the operating condition storage unit 210 associate an operation content with a condition related to the machine state required to perform the operation content.
  • the first operating conditions may include multiple conditions. They may also be conditions in which multiple conditions are associated with a logical operator. In the example of FIG. 4, for example, in order to start automatic operation, the first operating conditions are that the safety door is closed and the override is set to 100%, among other conditions.
  • the first operating conditions may be stored in the form of a table, as shown in the example of FIG. 4, or may be implemented in the form of logic, such as program code or a logic circuit.
  • the notification unit 140 notifies the operator of this. It also notifies the second determination unit 150 of the notification to the operator.
  • the notification unit 140 may notify the operator, for example, by sending a message to the terminal 8 via the network 5 indicating that the first operating condition required to perform the operation content is not satisfied.
  • the terminal 8 may display on a display device (not shown) that the first operating condition required to perform the operation content is not satisfied. It may also output a voice message from an audio output device (not shown) indicating that the first operating condition required to perform the operation content is not satisfied. For example, suppose the operating conditions illustrated in FIG.
  • the notification unit 140 notifies the terminal 8 with a message stating "override is not 100%.”
  • an operator sees this notification, they can take action by operating the control panel of the industrial machine 4, such as setting the override to 100%.
  • the second determination unit 150 determines whether the second operating condition is met at a predetermined timing after the notification unit 140 notifies the operator that the first operating condition for performing the operation content on the industrial machine 4 is not met.
  • This predetermined timing may be at a predetermined cycle, or may be the timing when some external command, message, or instruction is received.
  • the second operating condition may be, for example, confirmation that the first operating condition is met after notification by the notification unit 140. Or, for example, it may be confirmation that a state has been reached in which the first operating condition can be considered to be met after notification. Or, for example, it may be confirmation that a state has been reached in which it is acceptable to ignore some or all of the first operating condition after notification. If the second determination unit 150 determines that the second operating condition is met, it outputs the determination result to the operation content command unit 160.
  • the operation command unit 160 commands the industrial machine 4 to carry out the operation acquired by the operation command acquisition unit 110.
  • the operation command unit 160 commands the control device 3 that controls the industrial machine 4, for example, via the network 5, to carry out the operation. Upon receiving this command, the control device 3 controls the industrial machine 4 to carry out the commanded operation.
  • the voice processing device 1 which is configured as described above, allows the operator to notice if there is a problem with the execution of the operation content of the voice command when operating industrial machinery 4 using voice commands. Furthermore, the execution of the operation content of the voice command is suspended until the conditions for execution of the operation content are met, thereby improving safety.
  • the voice processing device 1 according to this embodiment has the same hardware configuration as the voice processing device 1 according to the first embodiment.
  • FIG. 5 is a schematic block diagram showing the functions of the voice processing device 1 according to the second embodiment of the present disclosure.
  • the functions of the voice processing device 1 according to this embodiment are realized by the CPU 11 of the voice processing device 1 shown in FIG. 1 executing a system program and controlling the operation of each part of the voice processing device 1.
  • the voice processing device 1 of this embodiment includes an operation content acquisition unit 110, a machine state acquisition unit 120, a first judgment unit 130, a notification unit 140, a second judgment unit 150, and an operation content command unit 160. Furthermore, the RAM 13 to non-volatile memory 14 of the voice processing device 1 are provided with a voice command storage unit 200, which is an area that stores multiple voice commands in advance, and an operation condition storage unit 210, which is an area that stores multiple first operation conditions that define the relationship between operation content and machine state in advance.
  • the operation content acquisition unit 110, first determination unit 130, and operation content command unit 160 provided in the voice processing device 1 according to this embodiment have the same functions as those in the first embodiment.
  • the notification unit 140 when the first determination unit 130 determines that the first operating condition related to the operation content is not met, the notification unit 140 notifies the operator of this. It also notifies the second determination unit 150 and the machine state acquisition unit 120 that the operator has been notified.
  • the machine state acquisition unit 120 upon receiving a notification from the notification unit 140, the machine state acquisition unit 120 repeatedly acquires the machine state of the industrial machine 4 at a predetermined cycle.
  • the acquired machine state of the industrial machine 4 is then output to the second judgment unit 150.
  • This predetermined cycle may be set using parameters, etc. Furthermore, the cycle may differ depending on the type of machine state to be acquired.
  • the second determination unit 150 determines whether the second operation condition is met at a predetermined timing after the notification unit 140 notifies the operator that the first operation condition for performing the operation content on the industrial machine 4 is not met.
  • the predetermined timing is the timing when the machine status acquisition unit 120 newly acquires the machine status.
  • the second operation condition is when it is confirmed that the first operation condition for performing the operation content on the industrial machine 4 has been met.
  • the voice processing device 1 continues to monitor the machine status of the industrial machine 4 after notifying the operator that the first operation condition for performing the operation content on the industrial machine 4 is not met. Then, when it determines that the operation content can be performed on the industrial machine 4, it commands the control device 3 of the industrial machine 4 to perform the operation content.
  • the voice processing device 1 of this embodiment which is configured as described above, allows the operator to notice if there is a problem with the execution of the operation content of the voice command when operating industrial machinery 4 using voice commands. Then, when the operator operates the control device 3 or industrial machinery 4 to change any problematic settings and return the machine to a state where the operation content can be executed, the operation content is automatically executed, thereby achieving both safety and convenience.
  • a voice processing device according to a third embodiment of the present disclosure will be described below.
  • the voice processing device 1 according to this embodiment has the same hardware configuration as the voice processing device 1 according to the first embodiment.
  • FIG. 6 is a schematic block diagram showing the functions of the voice processing device 1 according to the third embodiment of the present disclosure.
  • the functions of the voice processing device 1 according to this embodiment are realized by the CPU 11 of the voice processing device 1 shown in FIG. 1 executing a system program and controlling the operation of each part of the voice processing device 1.
  • the voice processing device 1 of this embodiment includes an operation content acquisition unit 110, a machine state acquisition unit 120, a first judgment unit 130, a notification unit 140, a second judgment unit 150, an operation content command unit 160, and further includes a recognition unit 170.
  • the RAM 13 to non-volatile memory 14 of the voice processing device 1 also include a voice command storage unit 200, which is an area that stores multiple voice commands in advance, and an operation condition storage unit 210, which is an area that stores multiple first operation conditions that define the relationship between operation content and machine state in advance.
  • the operation content acquisition unit 110, machine state acquisition unit 120, first determination unit 130, notification unit 140, and operation content command unit 160 provided in the voice processing device 1 according to this embodiment have the same functions as those in the first embodiment.
  • the recognition unit 170 receives commands from the operator. These commands are sent from the terminal 8 to the voice processing device 1 via the network 5, for example, based on the operator's operation of the terminal 8. These commands include, for example, information indicating that the mechanical state of the industrial machine 4 has changed. Upon receiving a command from the operator, the recognition unit 170 outputs a message to the second judgment unit 150.
  • the second determination unit 150 determines whether the second operation condition is met at a predetermined timing after the notification unit 140 notifies the operator that the first operation condition for performing the operation content on the industrial machine 4 is not met.
  • the predetermined timing is the timing when the recognition unit 170 receives a command from the operator.
  • the second operation condition is that the received command indicates that the machine state of the industrial machine 4 has changed.
  • the second determination unit 150 may further check the machine state of the industrial machine 4 once it has confirmed that the command received by the recognition unit 170 indicates that the machine state of the industrial machine 4 has changed. In this case, the second determination unit 150 commands the machine state acquisition unit 120 to acquire the machine state of the industrial machine 4 again. Then, based on the acquired machine state, it determines whether the operation content can be performed by the industrial machine 4, and if there is no problem, outputs to the operation content command unit 160 that the second operation condition has been met.
  • the voice processing device 1 of this embodiment which is configured as described above, allows the operator to notice if there is a problem with the execution of the voice command's operation when operating industrial machinery 4 using voice commands. Then, when the operator operates the control device 3 or industrial machinery 4 to change the problematic settings and notify the voice processing device that the changes have been made, the operation is automatically executed, achieving both safety and convenience.
  • a voice processing device according to a fourth embodiment of the present disclosure will be described below.
  • the voice processing device 1 according to this embodiment has the same hardware configuration as the voice processing device 1 according to the first embodiment.
  • FIG. 7 is a schematic block diagram showing the functions of the voice processing device 1 according to the fourth embodiment of the present disclosure.
  • Each function of the voice processing device 1 according to this embodiment is realized by the CPU 11 of the voice processing device 1 shown in FIG. 1 executing a system program and controlling the operation of each part of the voice processing device 1.
  • the voice processing device 1 of this embodiment comprises an operation content acquisition unit 110, a machine state acquisition unit 120, a first judgment unit 130, a notification unit 140, a second judgment unit 150, an operation content command unit 160, and a recognition unit 170.
  • the RAM 13 to non-volatile memory 14 of the voice processing device 1 are provided with a voice command storage unit 200, which is an area that stores a plurality of voice commands in advance, and an operation condition storage unit 210, which is an area that stores a plurality of first operation conditions that define the relationship between operation content and machine state in advance.
  • the operation content acquisition unit 110, machine state acquisition unit 120, first determination unit 130, notification unit 140, and operation content command unit 160 provided in the voice processing device 1 according to this embodiment have the same functions as those of the second embodiment.
  • the recognition unit 170 accepts commands from an operator. These commands are sent from the terminal 8 to the voice processing device 1 via the network 5, for example, based on the operator's operation of the terminal 8. These commands include, for example, information that forces the execution of an action. Upon receiving a command from the operator, the recognition unit 170 outputs to the second judgment unit 150 a message that the command has been received.
  • the second determination unit 150 determines whether the second operation condition is met at a predetermined timing after the notification unit 140 notifies the operator that the first operation condition for performing the operation content on the industrial machine 4 has not been met.
  • the predetermined timing is the timing when the recognition unit 170 receives a command from the operator.
  • the second operation condition is one that forces the received command to perform the operation content, and can force the performance of the operation content even if the first operation condition, which is not currently met, is not met.
  • FIG. 8 is a table diagram showing another example of first operating conditions stored in the operating condition storage unit 210.
  • the first operating conditions shown in FIG. 8 are accompanied by information indicating whether each condition is "required” or "recommended” for carrying out the operation content.
  • the second determination unit 150 checks whether the first operating conditions that are not currently met are "recommended.” If the conditions that are not met are "recommended,” the second determination unit 150 determines that the execution of the operation content can be forced even if those conditions are not met. The second determination unit 150 then determines that the first operating conditions that are not met can be ignored, and outputs to the operation content command unit 160 that the second operating conditions have been met.
  • the voice processing device 1 of this embodiment which has the above configuration, allows the operator to notice if there is a problem with the execution of the operation content of the voice command when operating industrial machinery 4 using voice commands. If the problem is negligible, the operator can force the voice processing device 1 to execute the operation content. This makes it possible to achieve both safety and convenience, while also allowing for flexible operation that adapts to the situation.
  • a voice processing device (1) includes an operation content acquisition unit (110) that acquires operation content linked to a voice command linking the voice content and the operation content and the voice content uttered by an operator;
  • the system includes a machine state acquisition unit (120) that acquires a machine state of an industrial machine (4) that is the target of an instruction to perform the operation content; a first determination unit (130) that determines whether or not a first operation condition for performing the operation content on the industrial machine (4) is satisfied based on the operation content and the machine state; a notification unit (140) that notifies an operator of the first determination unit (130) that the first operation condition is not satisfied; a second determination unit (150) that determines whether or not a second operation condition is satisfied at a predetermined timing after the notification unit (140) notifies the operator that the first operation condition for performing the operation content on the industrial machine (4) is not satisfied; and an operation content command unit (160) that commands the industrial machine (4) to
  • the machine state acquisition unit (120) provided in the voice processing device (1) continues to acquire the machine state of the industrial machine (4) at a predetermined cycle when the first judgment unit (130) determines that the first operating condition is not established, the predetermined timing being the timing at which the machine state acquisition unit (120) newly acquires the machine state of the industrial machine (4), and the second operating condition being that the first operating condition for the industrial machine (4) to perform the operation content is established based on the operation content and the machine state.
  • the voice processing device (1) further includes a recognition unit (170) that receives a command from the operator, the predetermined timing being the timing at which the recognition unit (170) receives the command from the operator, and the second operating condition being that the received command indicates that the machine state of the industrial machine (4) has changed.
  • the second judgment unit (150) provided in the voice processing device (1) commands the machine status acquisition unit (120) to acquire the machine status of the industrial machine (4) and checks whether the first operating condition is established or not, before outputting a notice to that effect to the operation content command unit (160).
  • a voice processing device (1) further includes a recognition unit (170) that receives an instruction from the operator, the predetermined timing is the timing at which the recognition unit (170) receives an instruction from the operator, the second operating condition is one that forces the received instruction to perform the operation content, and the operation content can be performed even if the first operating condition is not satisfied.
  • a computer-readable recording medium includes a computer including an operation content acquisition unit (110) that acquires operation content linked to voice content based on a voice command linking the voice content and the operation content and the voice content spoken by an operator, a machine state acquisition unit (120) that acquires a machine state of an industrial machine (4) that is the target of an instruction to perform the operation content, a first determination unit (130) that determines whether a first operation condition for performing the operation content on the industrial machine (4) is met based on the operation content and the machine state, and when the first determination unit (130) determines that the first operation condition is not met, A program is recorded to operate as a notification unit (140) that notifies an operator of this fact, a second judgment unit (150) that judges whether or not a second operation condition is met at a predetermined timing after the notification unit (140) notifies the operator that a first operation condition for performing the operation content in the industrial machine (4) is not met, and an operation content command unit (160) that commands the industrial

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本開示による音声処理装置は、音声内容及び動作内容を紐づけた音声コマンドと、オペレータが発話した音声内容とに基づいて、音声内容に紐づいた動作内容を取得する動作内容取得部と、動作内容の実施を指示する対象となる産業機械の機械状態を取得する機械状態取得部と、産業機械で動作内容を実施する第１の動作条件が成立しているか否かを判断する第１の判断部と、第１の動作条件が成立していないと判断された場合に、その旨をオペレータに対して通知する通知部と、通知部が産業機械で前記動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする第２の判断部と、第１の動作条件が成立していると判断された場合、または、第２の動作条件が成立したと判断された場合に、動作内容を実施するように産業機械へと指令する動作内容指令部と、を備える。

Description

音声処理装置、及びコンピュータ読み取り可能な記録媒体
　本開示は、音声処理装置、及びコンピュータ読み取り可能な記録媒体に関する。
　工作機械やロボットなどの産業機械が設置された製造現場では、ユーザが発話した音声内容に基づいて産業機械の動作を制御する場合がある（例えば、特許文献１など）。音声内容と産業機械の動作内容を紐づけた音声コマンドが実施された際に、音声認識した音声内容をコールバックして確認することが行われている。
特開２０２０－０４２４２０号公報
　オペレータが音声コマンドの動作内容の実施に問題があるか否かを気づかずに動作内容が実行されると問題が生じる場合がある。
　現場では、状況に対して音声コマンドの動作内容を確認できる仕組みが望まれている。
　本開示による音声処理装置は、音声コマンドの動作内容を実施する前にオペレータに対して通知が必要か否かを判断して通知することで、上記課題を解決する。
　そして、本開示の一態様は、音声内容及び動作内容を紐づけた音声コマンドと、オペレータが発話した音声内容とに基づいて、前記音声内容に紐づいた動作内容を取得する動作内容取得部と、前記動作内容の実施を指示する対象となる産業機械の機械状態を取得する機械状態取得部と、前記動作内容と前記機械状態とから、前記産業機械で該動作内容を実施する第１の動作条件が成立しているか否かを判断する第１の判断部と、前記第１の判断部により前記第１の動作条件が成立していないと判断された場合に、その旨をオペレータに対して通知する通知部と、前記通知部が前記産業機械で前記動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする第２の判断部と、前記第１の判断部により第１の動作条件が成立していると判断された場合、または、前記第２の判断部により前記第２の動作条件が成立したと判断された場合に、前記動作内容を実施するように前記産業機械へと指令する動作内容指令部と、を備える音声処理装置である。
本開示の一実施形態による音声処理装置の概略的なハードウェア構成図である。 第１実施形態による音声処理装置の概略的な機能を示すブロック図である。 音声コマンド記憶部に記憶される音声コマンドの例を示すテーブル図である。 動作条件記憶部に記憶される動作条件の例を示すテーブル図である。 第２実施形態による音声処理装置の概略的な機能を示すブロック図である。 第３実施形態による音声処理装置の概略的な機能を示すブロック図である。 第４実施形態による音声処理装置の概略的な機能を示すブロック図である。 動作条件記憶部に記憶される動作条件の他の例を示すテーブル図である。
　以下、本開示の実施形態を図面と共に説明する。なお、以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は、省略する場合がある。
　本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
［第１実施形態］
　図１は本開示の第１実施形態による音声処理装置の要部を示す概略的なハードウェア構成図である。本実施形態による音声処理装置１は、例えば、産業機械を制御する制御装置上に実装することができる。また、音声処理装置１は、例えば、制御装置に併設されたパソコンや、該制御装置と有線／無線のネットワークを介して接続されたパソコン、セルコンピュータ、フォグコンピュータ６、クラウドサーバ７などのコンピュータ上に実装することができる。本実施形態では、音声処理装置１を、産業機械を制御する制御装置とネットワークを介して接続されたコンピュータの上に実装した例を示す。
　本実施形態による音声処理装置１が備えるＣＰＵ１１は、音声処理装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステムプログラムを読み出し、該システムプログラムに従って音声処理装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から取得した各種データ等が一時的に格納される。
　不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等で構成され、音声処理装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたプログラムやデータ、入力装置７１を介して入力されたプログラムやデータ、ネットワーク５を介して産業機械４を制御する制御装置３や他の装置から取得されたプログラムやデータ等が記憶される。不揮発性メモリ１４に記憶されたプログラムやデータは、実行時／利用時にはＲＡＭ１３に展開されてもよい。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システムプログラムが予め書き込まれている。
　インタフェース１５は、音声処理装置１のＣＰＵ１１とＵＳＢ装置等の外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えばシステムプログラム、設定データ等が読み込まれる。また、音声処理装置１内で作成または編集したプログラムや設定データ等は、外部機器７２を介して外部記憶手段に記憶させることができる。
　インタフェース２０は、音声処理装置１のＣＰＵ１１と有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５は、例えばＲＳ－４８５等のシリアル通信、Ｅｔｈｅｒｎｅｔ（登録商標）通信、光通信、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の技術を用いて通信をするものであってよい。ネットワーク５には、少なくとも１つの産業機械４を制御する制御装置３やフォグコンピュータ６、クラウドサーバ７、端末８等が接続され、音声処理装置１との間で相互にデータのやり取りを行っている。
　表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ等がインタフェース１７を介して出力されて表示される。また、キーボードやポインティングデバイス、音声入力装置、撮像装置等の少なくとも１つ以上の入力機器から構成される入力装置７１は、ユーザによる操作に基づく指令、データ等をインタフェース１８を介してＣＰＵ１１に渡す。
　端末８は、オペレータが操作するパソコンや携帯端末などのコンピュータである。本実施形態による端末８は、ネットワーク５を介して音声処理装置１と通信可能に接続されているが、例えば端末８は、音声処理装置１の所定のインタフェースに接続されたペンダントなどであってもよい。端末８は、オペレータが発話した音声を取得し、その音声内容を認識する機能を備える。端末８は、認識した音声内容を例えば該音声内容を示す文字列のデータへと変換する。端末８は、認識した音声内容を音声処理装置１に対して出力する。また、端末８は、音声処理装置１から受信した通知を表示したり、端末８が備える図示しない入力装置を介して入力されたオペレータからの指令を音声処理装置１に対して送信したりできるように構成されている。
　図２は、本開示の第１実施形態による音声処理装置１が備える機能を概略的なブロック図として示したものである。本実施形態による音声処理装置１が備える各機能は、図１に示した音声処理装置１が備えるＣＰＵ１１がシステムプログラムを実行し、音声処理装置１の各部の動作を制御することにより実現される。
　本実施形態の音声処理装置１は、動作内容取得部１１０、機械状態取得部１２０、第１の判断部１３０、通知部１４０、第２の判断部１５０、動作内容指令部１６０を備える。また、音声処理装置１のＲＡＭ１３乃至不揮発性メモリ１４には、予め複数の音声コマンドを記憶している領域である音声コマンド記憶部２００、及び予め動作内容と機械状態との関係を定義する第１の動作条件を複数記憶している領域である動作条件記憶部２１０が用意されている。
　動作内容取得部１１０は、音声コマンド記憶部２００に記憶された音声コマンドと、オペレータが発話した音声内容とに基づいて、前記音声内容に紐づいた動作内容を取得する。オペレータが発話した音声内容は、端末８から受信したものである。また、音声コマンドは、音声内容と動作内容を紐づけたものである。図３は、音声コマンド記憶部２００に記憶される音声コマンドの例を示すテーブル図である。図３に例示するように、音声コマンド記憶部２００には、音声処理装置１において処理可能な複数の音声コマンドが記憶される。例えば、端末８から「サイクルスタート」という音声内容を受信した場合、動作内容取得部１１０は、音声コマンド記憶部２００を参照して、「サイクルスタート」という音声内容に紐付けられた「自動運転開始」という動作内容を取得する。なお、図３ではわかりやすいように動作内容を一般的な自然言語の形で示しているが、動作内容は産業機械４を制御する制御装置３に対する指令であってよい。動作内容取得部１１０は、取得した動作内容を機械状態取得部１２０及び第１の判断部１３０へと出力する。
　機械状態取得部１２０は、動作内容取得部１１０が取得した動作内容の実施を指示する対象となる産業機械４から、該産業機械４の機械状態を取得する。機械状態取得部１２０は、産業機械４を制御する制御装置３から、ネットワーク５を介して産業機械４の機械状態を取得する。機械状態は、例えば産業機械４の運転モード（手動運転モード、ＭＤＩ運転モード、自動運転モードなど）、運転状態（停止中、運転中など）、各パラメータの設定値、各信号の状態、各モータの動作状態、モーダル値、各周辺装置の状態、取り付けられている各センサの検出値などを含む。機械状態取得部１２０は、動作内容取得部１１０が取得した動作内容に係る機械状態のみを取得するようにしてもよい。この場合、機械状態取得部１２０、例えば動作条件記憶部２１０を参照することで、取得した動作内容に関係する機械状態を特定する。そして、特定した機械状態を産業機械４に係る制御装置３から取得する。機械状態取得部１２０は、取得した機械状態を第１の判断部１３０へと出力する。
　第１の判断部１３０は、動作内容取得部１１０が取得した動作内容と、機械状態取得部１２０が取得した機械状態とに基づいて、産業機械４で該動作内容を実施する第１の動作条件が成立しているか否かを判断する。第１の判断部１３０は、例えば動作条件記憶部２１０を参照して、産業機械４の機械状態が、動作内容を実施する条件を満たしているか否かを判断することで、産業機械４で動作内容を実施する第１の動作条件が成立しているか否かを判断する。そして、第１の判断部１３０は、第１の動作条件が成立していないと判断した場合、その判断結果を通知部１４０へと出力する。また、第１の判断部１３０は、第１の動作条件が成立していると判断した場合、その判断結果を動作内容指令部１６０へと出力する。
　図４は、動作条件記憶部２１０に記憶されている第１の動作条件の例を示すテーブル図である。動作条件記憶部２１０に記憶される第１の動作条件は、動作内容と、該動作内容を実施するために必要とされる機械状態に係る条件とを関連付けたものである。第１の動作条件は、複数の条件を含んでいてよい。また、複数の条件を論理演算子で関連付けた条件であってよい。図４の例では、例えば自動運転を開始するためには、安全ドアが閉じた状態であって、オーバライドが１００％に設定されている状態であることなどが同時に成立していることが第１の動作条件となる。第１の動作条件は、図４に例示するようにテーブルなどの形式で記憶しておくようにしてもよいし、プログラムコードや論理回路などのロジックの形式で実装するようにしてもよい。
　通知部１４０は、第１の判断部１３０により動作内容に係る第１の動作条件が成立していないと判断された場合に、その旨をオペレータに対して通知する。また、オペレータに対して通知した旨を第２の判断部１５０へと通知する。通知部１４０は、例えばネットワーク５を介して端末８に対して動作内容を実施するために必要な第１の動作条件が成立していない旨を記したメッセージを送信することで、オペレータに対して通知するようにしてもよい。この時、端末８は、図示しない表示装置に動作内容を実施するために必要な第１の動作条件が成立していない旨を表示するようにしてもよい。また、図示しない音声出力装置より動作内容を実施するために必要な第１の動作条件が成立していない旨を音声で出力するようにしてもよい。例えば、図４に例示する動作条件が設定されている場合において、オペレータが「サイクルスタート」と発話したとする。この時、機械状態において安全ドアは閉じているもののオーバライドが１００％になってなかったとする。このような場合、通知部１４０は、「オーバライドが１００％になっていません」というメッセージを端末８に対して通知する。この通知を見たオペレータは、産業機械４の操作盤を操作して、オーバライドを１００％にする、などと言った対処を行うことができる。
　第２の判断部１５０は、通知部１４０が産業機械４で動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする。この所定のタイミングは、予め定めた所定の周期毎のタイミングであってもよいし、何らかの外部からの指令やメッセージ、指令を受信したタイミングであってもよい。第２の動作条件は、例えば通知部１４０による通知の後に第１の動作条件が成立したことが確認されたことであってよい。また、例えば通知の後に第１の動作条件が成立したとみなせる状態になったことであってよい。更に、例えば通知の後に第１の動作条件の一部または全部を無視して良い状態になったことが確認されたことであってよい。第２の判断部１５０は、第２の動作条件が成立したと判断した場合、その判断結果を動作内容指令部１６０へと出力する。
　動作内容指令部１６０は、第１の判断部１３０により第１の動作条件が成立していると判断された場合、または、第２の判断部１５０により第２の動作条件が成立したと判断された場合に、動作内容取得部１１０が取得した動作内容を実施するように産業機械４へと指令する。動作内容指令部１６０は、例えばネットワーク５を介して産業機械４を制御する制御装置３に対して動作内容を実施するように指令する。この指令を受けた制御装置３は、産業機械４を制御して指令された動作内容を実施させる。
　上記構成を備えた本実施形態による音声処理装置１は、音声コマンドによる産業機械４の操作をする際に、音声コマンドの動作内容の実施に問題があるかオペレータが気付くことができる。そして、動作内容が実施できる条件が成立するまで音声コマンドの動作内容の実施が保留されるため、安全性が向上する。
［第２実施形態］
　以下では、本開示の第２実施形態による音声処理装置について説明する。本実施形態による音声処理装置１は、第１実施形態による音声処理装置１と同様のハードウェア構成を備える。
　図５は、本開示の第２実施形態による音声処理装置１が備える機能を概略的なブロック図として示したものである。本実施形態による音声処理装置１が備える各機能は、図１に示した音声処理装置１が備えるＣＰＵ１１がシステムプログラムを実行し、音声処理装置１の各部の動作を制御することにより実現される。
　本実施形態の音声処理装置１は、第１実施形態による音声処理装置１と同様に、動作内容取得部１１０、機械状態取得部１２０、第１の判断部１３０、通知部１４０、第２の判断部１５０、動作内容指令部１６０を備える。また、音声処理装置１のＲＡＭ１３乃至不揮発性メモリ１４には、予め複数の音声コマンドを記憶している領域である音声コマンド記憶部２００、及び予め動作内容と機械状態との関係を定義する第１の動作条件を複数記憶している領域である動作条件記憶部２１０が用意されている。
　本実施形態による音声処理装置１が備える動作内容取得部１１０、第１の判断部１３０、動作内容指令部１６０は、第１実施形態による各機能と同様を備える。
　本実施形態による通知部１４０は、第１の判断部１３０により動作内容に係る第１の動作条件が成立していないと判断された場合に、その旨をオペレータに対して通知する。また、オペレータに対して通知した旨を第２の判断部１５０及び機械状態取得部１２０へと通知する。
　本実施形態による機械状態取得部１２０は、通知部１４０からの通知を受けると、所定の周期で産業機械４の機械状態を取得することを繰り返す。そして取得した産業機械４の機械状態を第２の判断部１５０へと出力する。この所定の周期は、パラメータ等で設定したものであってもよい。また、取得する機械状態の種類によって異なる周期であってもよい。
　本実施形態による第２の判断部１５０は、通知部１４０が産業機械４で動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする。本実施形態では、所定のタイミングは機械状態取得部１２０が新たに機械状態を取得したタイミングである。また、第２の動作条件は、産業機械４で動作内容を実施する第１の動作条件が成立したことが確認できたことである。このように構成することで、音声処理装置１は、産業機械４で動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、産業機械４の機械状態を監視し続ける。そして、産業機械４で動作内容を実施することができると判断した時点で、動作内容を実施するように産業機械４の制御装置３へと指令する。
　上記構成を備えた本実施形態による音声処理装置１は、音声コマンドによる産業機械４の操作をする際に、音声コマンドの動作内容の実施に問題があるかオペレータが気付くことができる。そして、オペレータが制御装置３や産業機械４を操作して問題が有る設定などを変更して動作内容が実施できる機械状態になった時点で、自動的に動作内容が実施されるため、安全性と利便性が両立できるようになる。
［第３実施形態］
　以下では、本開示の第３実施形態による音声処理装置について説明する。本実施形態による音声処理装置１は、第１実施形態による音声処理装置１と同様のハードウェア構成を備える。
　図６は、本開示の第３実施形態による音声処理装置１が備える機能を概略的なブロック図として示したものである。本実施形態による音声処理装置１が備える各機能は、図１に示した音声処理装置１が備えるＣＰＵ１１がシステムプログラムを実行し、音声処理装置１の各部の動作を制御することにより実現される。
　本実施形態の音声処理装置１は、動作内容取得部１１０、機械状態取得部１２０、第１の判断部１３０、通知部１４０、第２の判断部１５０、動作内容指令部１６０に加えて、更に認識部１７０を備える。また、音声処理装置１のＲＡＭ１３乃至不揮発性メモリ１４には、予め複数の音声コマンドを記憶している領域である音声コマンド記憶部２００、及び予め動作内容と機械状態との関係を定義する第１の動作条件を複数記憶している領域である動作条件記憶部２１０が用意されている。
　本実施形態による音声処理装置１が備える動作内容取得部１１０、機械状態取得部１２０、第１の判断部１３０、通知部１４０、動作内容指令部１６０は、第１実施形態による各機能と同様を備える。
　認識部１７０は、オペレータからの指令を受け付ける。この指令は、例えばオペレータによる端末８の操作に基づいて、ネットワーク５を介して端末８から音声処理装置１へと送信されたものである。この指令は、例えば産業機械４の機械状態が変化したことを示す情報を含む。認識部１７０は、オペレータからの指令を受けると旨を第２の判断部１５０へと出力する。
　本実施形態による第２の判断部１５０は、通知部１４０が産業機械４で動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする。本実施形態では、所定のタイミングは認識部１７０がオペレータからの指令を受け付けたタイミングである。また、第２の動作条件は、受け付けた指令が産業機械４の機械状態が変化したことを示すことである。このように構成することで、音声処理装置１は、産業機械４で動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、オペレータから機械状態を変更した旨の指令があった時点で、動作内容を実施するように産業機械４の制御装置３へと指令する。
　なお、第２の判断部１５０は、認識部１７０が受け付けた指令が産業機械４の機械状態が変化したことを示していることが確認できた時点で、更に、産業機械４の機械状態を確認するようにしてもよい。この場合、第２の判断部１５０は、機械状態取得部１２０に対して改めて産業機械４の機械状態を取得するように指令する。そして、取得した機械状態に基づいて、産業機械４で動作内容を実施することができるかを判断し、問題が無い場合は第２の動作条件が成立した旨を動作内容指令部１６０へと出力する。
　上記構成を備えた本実施形態による音声処理装置１は、音声コマンドによる産業機械４の操作をする際に、音声コマンドの動作内容の実施に問題があるかオペレータが気付くことができる。そして、オペレータが制御装置３や産業機械４を操作して問題が有る設定などを変更し、音声処理装置に対して変更した旨と通知した時点で、自動的に動作内容が実施されるため、安全性と利便性が両立できるようになる。
［第４実施形態］
　以下では、本開示の第４実施形態による音声処理装置について説明する。本実施形態による音声処理装置１は、第１実施形態による音声処理装置１と同様のハードウェア構成を備える。
　図７は、本開示の第４実施形態による音声処理装置１が備える機能を概略的なブロック図として示したものである。本実施形態による音声処理装置１が備える各機能は、図１に示した音声処理装置１が備えるＣＰＵ１１がシステムプログラムを実行し、音声処理装置１の各部の動作を制御することにより実現される。
　本実施形態の音声処理装置１は、第３実施形態による音声処理装置と同様に、動作内容取得部１１０、機械状態取得部１２０、第１の判断部１３０、通知部１４０、第２の判断部１５０、動作内容指令部１６０、認識部１７０を備える。また、音声処理装置１のＲＡＭ１３乃至不揮発性メモリ１４には、予め複数の音声コマンドを記憶している領域である音声コマンド記憶部２００、及び予め動作内容と機械状態との関係を定義する第１の動作条件を複数記憶している領域である動作条件記憶部２１０が用意されている。
　本実施形態による音声処理装置１が備える動作内容取得部１１０、機械状態取得部１２０、第１の判断部１３０、通知部１４０、動作内容指令部１６０は、第２実施形態による各機能と同様を備える。
　本実施形態による認識部１７０は、オペレータからの指令を受け付ける。この指令は、例えばオペレータによる端末８の操作に基づいて、ネットワーク５を介して端末８から音声処理装置１へと送信されたものである。この指令は、例えば動作内容を実施することを強制する情報を含む。認識部１７０は、オペレータからの指令を受けると旨を第２の判断部１５０へと出力する。
　本実施形態による第２の判断部１５０は、通知部１４０が産業機械４で動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする。本実施形態では、所定のタイミングは認識部１７０がオペレータからの指令を受け付けたタイミングである。また、第２の動作条件は、受け付けた指令が動作内容を実施することを強制するものであり、且つ、現時点で成立していない第１の動作条件が成立していなくても動作内容の実施を強制できるものであることである。
　図８は、動作条件記憶部２１０に記憶されている第１の動作条件の他の例を示すテーブル図である。図８に例示する第１の動作条件は、それぞれの条件が動作内容を実施するために「必須」であるか「推奨」であるかを示す情報が付加されている。第２の判断部１５０は、認識部１７０が受け付けた指令が動作内容を実施することを強制するものであった場合に、現時点で成立していない第１の動作条件が「推奨」のものであるかどうかを確認する。そして、成立していない条件が「推奨」のものである場合、それらの条件は成立していなくとも動作内容の実施を強制できるものであると判断する。そして、第２の判断部１５０は、成立していない第１の動作条件を無視できるものとして、第２の動作条件が成立した旨を動作内容指令部１６０へと出力する。
　上記構成を備えた本実施形態による音声処理装置１は、音声コマンドによる産業機械４の操作をする際に、音声コマンドの動作内容の実施に問題があるかオペレータが気付くことができる。そして、その問題が無視できるものである場合、オペレータは音声処理装置１に対して動作内容の実施を強制することができる。そのため、安全性と利便性が両立しつつ、状態に合わせた柔軟な運用をすることが可能となる。
　以上、本開示の実施形態について詳述したが、本開示は上述した個々の実施形態に限定されるものではない。これらの実施形態は、発明の要旨を逸脱しない範囲で、または、請求の範囲に記載された内容とその均等物から導き出される本開示の思想および趣旨を逸脱しない範囲で、種々の追加、置き換え、変更、部分的削除等が可能である。例えば、上述した実施形態において、各動作の順序や各処理の順序は、一例として示したものであり、これらに限定されるものではない。また、上述した実施形態の説明に数値又は数式が用いられている場合も同様である。
　以下に、本開示の実施形態に係る付記を示す。
（付記１）
　本開示の一態様による音声処理装置（１）は、音声内容及び動作内容を紐づけた音声コマンドと、オペレータが発話した音声内容とに基づいて、前記音声内容に紐づいた動作内容を取得する動作内容取得部（１１０）と、
　前記動作内容の実施を指示する対象となる産業機械（４）の機械状態を取得する機械状態取得部（１２０）と、前記動作内容と前記機械状態とから、前記産業機械（４）で該動作内容を実施する第１の動作条件が成立しているか否かを判断する第１の判断部（１３０）と、前記第１の判断部（１３０）により前記第１の動作条件が成立していないと判断された場合に、その旨をオペレータに対して通知する通知部（１４０）と、前記通知部（１４０）が前記産業機械（４）で前記動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする第２の判断部（１５０）と、前記第１の判断部（１３０）により第１の動作条件が成立していると判断された場合、または、前記第２の判断部（１５０）により前記第２の動作条件が成立したと判断された場合に、前記動作内容を実施するように前記産業機械（４）へと指令する動作内容指令部（１６０）と、を備える。
（付記２）
　本開示の他の態様による音声処理装置（１）が備える前記機械状態取得部（１２０）は、前記第１の判断部（１３０）により第１の動作条件が成立していないと判断された場合に、予め定めた所定の周期で前記産業機械（４）の機械状態を取得し続け、前記所定のタイミングは、前記機械状態取得部（１２０）が新たに前記産業機械（４）の機械状態を取得したタイミングであり、前記第２の動作条件は、前記動作内容と前記機械状態とから、前記産業機械（４）で該動作内容を実施する前記第１の動作条件が成立したことである。
（付記３）
　本開示の他の態様による音声処理装置（１）は、前記オペレータからの指令を受け付ける認識部（１７０）を更に備え、前記所定のタイミングは、前記認識部（１７０）が前記オペレータの指令を受け付けたタイミングであり、前記第２の動作条件は、受け付けた前記指令が前記産業機械（４）の機械状態が変化したことを示すことである。
（付記４）
　本開示の他の態様による音声処理装置（１）が備える前記第２の判断部（１５０）は、前記第２の動作条件が成立した場合、その旨を動作内容指令部（１６０）へと出力する前に、前記機械状態取得部（１２０）に指令して前記産業機械（４）の機械状態を取得し、前記第１の動作条件が成立したか否かを確認する。
（付記５）
　本開示の他の態様による音声処理装置（１）は、前記オペレータからの指令を受け付ける認識部（１７０）を更に備え、前記所定のタイミングは、前記認識部（１７０）が前記オペレータの指令を受け付けたタイミングであり、前記第２の動作条件は、受け付けた前記指令が前記動作内容を実施することを強制するものであり、且つ、前記第１の動作条件が成立していなくても前記動作内容を実施できることである。
（付記６）
　本開示の一態様によるコンピュータ読み取り可能な記録媒体は、コンピュータを、音声内容及び動作内容を紐づけた音声コマンドと、オペレータが発話した音声内容とに基づいて、前記音声内容に紐づいた動作内容を取得する動作内容取得部（１１０）、前記動作内容の実施を指示する対象となる産業機械（４）の機械状態を取得する機械状態取得部（１２０）、前記動作内容と前記機械状態とから、前記産業機械（４）で該動作内容を実施する第１の動作条件が成立しているか否かを判断する第１の判断部（１３０）、前記第１の判断部（１３０）により前記第１の動作条件が成立していないと判断された場合に、その旨をオペレータに対して通知する通知部（１４０）、前記通知部（１４０）が前記産業機械（４）で前記動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする第２の判断部（１５０）、前記第１の判断部（１３０）により第１の動作条件が成立していると判断された場合、または、前記第２の判断部（１５０）により前記第２の動作条件が成立したと判断された場合に、前記動作内容を実施するように前記産業機械（４）へと指令する動作内容指令部（１６０）、として動作をさせるプログラムを記録する。
　　　１　音声処理装置
　　　３　制御装置
　　　４　産業機械
　　　５　ネットワーク
　　　６　フォグコンピュータ
　　　７　クラウドサーバ
　　　８　端末
　　１１　ＣＰＵ
　　１２　ＲＯＭ
　　１３　ＲＡＭ
　　１４　不揮発性メモリ
　　１５，１７，１８，２０　インタフェース
　　２２　バス
　　７０　表示装置
　　７１　入力装置
　　７２　外部機器
　１１０　動作内容取得部
　１２０　機械状態取得部
　１３０　第１の判断部
　１４０　通知部
　１５０　第２の判断部
　１６０　動作内容指令部
　１７０　認識部
　２００　音声コマンド記憶部
　２１０　動作条件記憶部

Claims (6)

  1. 　音声内容及び動作内容を紐づけた音声コマンドと、オペレータが発話した音声内容とに基づいて、前記音声内容に紐づいた動作内容を取得する動作内容取得部と、
    　前記動作内容の実施を指示する対象となる産業機械の機械状態を取得する機械状態取得部と、
    　前記動作内容と前記機械状態とから、前記産業機械で該動作内容を実施する第１の動作条件が成立しているか否かを判断する第１の判断部と、
    　前記第１の判断部により前記第１の動作条件が成立していないと判断された場合に、その旨をオペレータに対して通知する通知部と、
    　前記通知部が前記産業機械で前記動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする第２の判断部と、
    　前記第１の判断部により第１の動作条件が成立していると判断された場合、または、前記第２の判断部により前記第２の動作条件が成立したと判断された場合に、前記動作内容を実施するように前記産業機械へと指令する動作内容指令部と、
    を備える音声処理装置。
  2. 　前記機械状態取得部は、前記第１の判断部により第１の動作条件が成立していないと判断された場合に、予め定めた所定の周期で前記産業機械の機械状態を取得し続け、
    　前記所定のタイミングは、前記機械状態取得部が新たに前記産業機械の機械状態を取得したタイミングであり、
    　前記第２の動作条件は、前記動作内容と前記機械状態とから、前記産業機械で該動作内容を実施する前記第１の動作条件が成立したことである、
    請求項１に記載の音声処理装置。
  3. 　前記オペレータからの指令を受け付ける認識部を更に備え、
    　前記所定のタイミングは、前記認識部が前記オペレータの指令を受け付けたタイミングであり、
    　前記第２の動作条件は、受け付けた前記指令が前記産業機械の機械状態が変化したことを示すことである、
    請求項１に記載の音声処理装置。
  4. 　前記第２の判断部は、前記第２の動作条件が成立した場合、その旨を動作内容指令部へと出力する前に、前記機械状態取得部に指令して前記産業機械の機械状態を取得し、前記第１の動作条件が成立したか否かを確認する、
    請求項３に記載の音声処理装置。
  5. 　前記オペレータからの指令を受け付ける認識部を更に備え、
    　前記所定のタイミングは、前記認識部が前記オペレータの指令を受け付けたタイミングであり、
    　前記第２の動作条件は、受け付けた前記指令が前記動作内容を実施することを強制するものであり、且つ、前記第１の動作条件が成立していなくても前記動作内容を実施できることである、
    請求項１に記載の音声処理装置。
  6. 　コンピュータを、
    　音声内容及び動作内容を紐づけた音声コマンドと、オペレータが発話した音声内容とに基づいて、前記音声内容に紐づいた動作内容を取得する動作内容取得部、
    　前記動作内容の実施を指示する対象となる産業機械の機械状態を取得する機械状態取得部、
    　前記動作内容と前記機械状態とから、前記産業機械で該動作内容を実施する第１の動作条件が成立しているか否かを判断する第１の判断部、
    　前記第１の判断部により前記第１の動作条件が成立していないと判断された場合に、その旨をオペレータに対して通知する通知部、
    　前記通知部が前記産業機械で前記動作内容を実施する第１の動作条件が成立していないことをオペレータに対して通知した後に、所定のタイミングで第２の動作条件が成立したか否か判断をする第２の判断部、
    　前記第１の判断部により第１の動作条件が成立していると判断された場合、または、前記第２の判断部により前記第２の動作条件が成立したと判断された場合に、前記動作内容を実施するように前記産業機械へと指令する動作内容指令部、
    として動作をさせるプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2024/010551 2024-03-18 2024-03-18 音声処理装置、及びコンピュータ読み取り可能な記録媒体 Pending WO2025196891A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/010551 WO2025196891A1 (ja) 2024-03-18 2024-03-18 音声処理装置、及びコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/010551 WO2025196891A1 (ja) 2024-03-18 2024-03-18 音声処理装置、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2025196891A1 true WO2025196891A1 (ja) 2025-09-25

Family

ID=97138793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/010551 Pending WO2025196891A1 (ja) 2024-03-18 2024-03-18 音声処理装置、及びコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
WO (1) WO2025196891A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081559A (ja) * 2005-09-12 2007-03-29 Konica Minolta Business Technologies Inc 画像形成装置および画像形成方法
JP2013114359A (ja) * 2011-11-25 2013-06-10 Hitachi Ltd 計算機システム、および、監視方法
JP2019185734A (ja) * 2018-03-30 2019-10-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2020179005A (ja) * 2019-04-26 2020-11-05 パナソニック株式会社 ロボット及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081559A (ja) * 2005-09-12 2007-03-29 Konica Minolta Business Technologies Inc 画像形成装置および画像形成方法
JP2013114359A (ja) * 2011-11-25 2013-06-10 Hitachi Ltd 計算機システム、および、監視方法
JP2019185734A (ja) * 2018-03-30 2019-10-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2020179005A (ja) * 2019-04-26 2020-11-05 パナソニック株式会社 ロボット及び方法

Similar Documents

Publication Publication Date Title
EP1058876B1 (en) Speech input device with attention span
EP3660839B1 (en) System and method for voice recognition of home appliance
JP4388427B2 (ja) スクリプト言語で記述されたプログラムを呼出し可能な数値制御装置
JP6707671B2 (ja) 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法
EP2930574B1 (en) Programming assist device for programmable logic controller program and programming assist method for the program
WO2025196891A1 (ja) 音声処理装置、及びコンピュータ読み取り可能な記録媒体
JP2018152032A (ja) 情報処理装置、情報処理方法、および、情報処理プログラム
JP7540517B2 (ja) 装置及び制御方法
JP7750950B2 (ja) 音声認識装置
EP1710645A2 (en) Numerical control system
WO2024047708A1 (ja) 音声認識装置及び記憶媒体
WO2004114281A1 (en) System and method for voice input to an automation system
US11722609B2 (en) Operation receiving apparatus, control method, image forming system, and recording medium that perform print setting based on voice and manual operations
WO2025186879A1 (ja) 音声認識モデル切替装置、及びコンピュータ読み取り可能な記録媒体
JP7695370B2 (ja) 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体
WO1997028493A1 (en) Parameter setting method for cnc machine
JP3905250B2 (ja) 情報処理装置の制御装置および制御方法ならびにインタフェース装置
JP2005037597A (ja) 設備の制御システム
JP7820405B2 (ja) 音声認識装置、およびコンピュータ読み取り可能な記憶媒体
WO1998015881A1 (fr) Controleur numerique, son affichage et procede d'entree/sortie des donnees
EP4293440A1 (en) Programmable logic controller with voice control
WO2025191872A1 (ja) 音声コマンド作成装置、及びコンピュータが読み取り可能な記憶媒体
JP6452826B2 (ja) ファクトリーオートメーションシステムおよびリモートサーバ
JP2005250883A (ja) プログラマブルロジックコントローラシステム
CN110466126A (zh) 一种注塑机控制系统、方法及注塑机

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24930987

Country of ref document: EP

Kind code of ref document: A1