JP6963881B2 - Voice recognition monitoring device - Google Patents

Voice recognition monitoring device Download PDF

Info

Publication number
JP6963881B2
JP6963881B2 JP2018107538A JP2018107538A JP6963881B2 JP 6963881 B2 JP6963881 B2 JP 6963881B2 JP 2018107538 A JP2018107538 A JP 2018107538A JP 2018107538 A JP2018107538 A JP 2018107538A JP 6963881 B2 JP6963881 B2 JP 6963881B2
Authority
JP
Japan
Prior art keywords
voice data
voice
data
stop
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018107538A
Other languages
Japanese (ja)
Other versions
JP2019211617A (en
Inventor
将大 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Mitsubishi Electric Industrial Systems Corp
Original Assignee
Toshiba Mitsubishi Electric Industrial Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Mitsubishi Electric Industrial Systems Corp filed Critical Toshiba Mitsubishi Electric Industrial Systems Corp
Priority to JP2018107538A priority Critical patent/JP6963881B2/en
Publication of JP2019211617A publication Critical patent/JP2019211617A/en
Application granted granted Critical
Publication of JP6963881B2 publication Critical patent/JP6963881B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)

Description

本発明の実施形態は、プラントの各プロセスラインを監視し、音声によってライン停止を可能とする音声認識監視装置に関する。 An embodiment of the present invention relates to a voice recognition monitoring device that monitors each process line of a plant and enables the line to be stopped by voice.

従来、鉄鋼や非鉄金属、製紙、石油化学、医薬品等のプラントのプロセスラインは、HMIベースの監視装置によって操業状態を監視されている。プロセスラインに何らかの異常が発生し、緊急にプロセスラインを停止する場合には、監視装置のオペレータが操作盤に設置されているJOG操作スイッチや停止スイッチ等の操作用品を操作する必要がある。 Conventionally, the process lines of plants such as steel, non-ferrous metals, papermaking, petrochemicals, and pharmaceuticals have been monitored by HMI-based monitoring equipment. When an abnormality occurs in the process line and the process line is stopped urgently, the operator of the monitoring device needs to operate the operation supplies such as the JOG operation switch and the stop switch installed on the operation panel.

オペレータが何らかの事情で操作盤から離れている際に、緊急でプロセスラインの停止が必要になった場合には、操作盤の前に戻り操作用品を操作してラインを停止させるまでに、タイムラグが発生してしまう。また、現場においては、オペレータが機側操作盤から離れた場所にいる場合も多いため、操作盤までの移動時間だけ停止操作が遅れ、緊急に停止したい場合でも停止できないケースが発生するおそれがある。 If the operator is away from the operation panel for some reason and the process line needs to be stopped urgently, there will be a time lag before returning to the operation panel and operating the operation equipment to stop the line. It will occur. In addition, since the operator is often located away from the operation panel on the machine side at the site, the stop operation may be delayed by the movement time to the operation panel, and there may be a case where the operator cannot stop even if he / she wants to stop urgently. ..

そこで、音声認識技術を用いることによって、オペレータが操作盤から離れた位置にいる場合であっても、プロセスラインの停止操作を行うことが望まれている。 Therefore, it is desired to stop the process line by using the voice recognition technology even when the operator is at a position away from the operation panel.

一方で、オペレータの習熟度が低く、判断や操作に不慣れな場合等に、誤ってプロセスラインを停止させてしまうと、プロセスラインの再稼働に長時間の調整等の工数を要し、ラインダウン期間に多大な費用が発生するおそれがある。 On the other hand, if the operator is not proficient and is unfamiliar with judgment and operation, if the process line is accidentally stopped, it will take man-hours such as long-term adjustment to restart the process line, and the line will be down. A large amount of money may be incurred during the period.

特開2002−73125号公報JP-A-2002-73125 特開2002−267252号公報Japanese Unexamined Patent Publication No. 2002-267252

実施形態は、誤停止を回避しつつ、プロセスラインを迅速かつ確実に緊急停止する音声認識監視装置を提供する。 The embodiment provides a voice recognition monitoring device that quickly and reliably makes an emergency stop on a process line while avoiding an accidental stop.

実施形態に係る音声認識監視装置は、プラントにおけるプロセスラインの少なくとも一部の操業を音声で停止させる。この音声認識監視装置は、音声を入力して音声データを生成する第1集音手段と、あらかじめ設定された話者の音声のデータを登録データとして記憶する記憶装置と、前記音声データが前記登録データに対応するものか否かを判断し、前記音声データが前記登録データに対応するものである場合には前記音声データを処理し、前記音声データが前記登録データに対応するものでない場合には前記音声データの処理を中止する判断装置と、を備える。前記判断装置は、前記音声データを処理するときには前記音声データが停止に関するワードを含むか否かを判断し、前記音声データが停止に関するワードを含むときにはプラントの操業を制御するプロセス制御装置に対する停止指令を含む制御信号を生成する。前記第1集音手段は、動作および遮断を設定するスイッチを含む。前記記憶装置は、前記判断装置が実行できる処理に応じて設定された複数のオペレータ区分のそれぞれに対応づけられた前記登録データを含む。前記判断装置は、前記音声データが前記複数のオペレータ区分の1つに対応するときには、前記スイッチの動作および停止にかかわらず、前記音声データの処理を継続し、前記音声データが前記複数のオペレータ区分の他の1つに対応するときには、前記スイッチの動作が選択されたときに前記音声データの処理を継続し、前記スイッチの遮断が選択されたときに前記音声データの処理を中止する。 The voice recognition monitoring device according to the embodiment voice-stops the operation of at least a part of the process line in the plant. This voice recognition monitoring device includes a first sound collecting means for inputting voice and generating voice data, a storage device for storing preset speaker voice data as registration data, and the voice data being registered. It is determined whether or not it corresponds to the data, and if the voice data corresponds to the registered data, the voice data is processed, and if the voice data does not correspond to the registered data, the voice data is processed. A determination device for stopping the processing of the audio data is provided. The determination device determines whether or not the voice data includes a word related to stop when processing the voice data, and when the voice data includes a word related to stop, a stop command to a process control device that controls the operation of the plant. Generates a control signal containing. The first sound collecting means includes a switch for setting operation and cutoff. The storage device includes the registration data associated with each of a plurality of operator categories set according to the processing that can be executed by the determination device. When the voice data corresponds to one of the plurality of operator categories, the determination device continues processing of the voice data regardless of the operation and stop of the switch, and the voice data is the plurality of operator categories. When corresponding to the other one, the processing of the voice data is continued when the operation of the switch is selected, and the processing of the voice data is stopped when the shutoff of the switch is selected.

本実施形態では、誤停止を回避しつつ、プロセスラインを迅速かつ確実に緊急停止する音声認識監視装置が実現される。 In the present embodiment, a voice recognition monitoring device that quickly and surely makes an emergency stop of a process line while avoiding an erroneous stop is realized.

図1(a)は、実施形態に係る音声認識監視装置を例示する模式的な平面図である。図1(b)は、実施形態に係る音声認識監視装置を例示する模式的な正面図である。FIG. 1A is a schematic plan view illustrating the voice recognition monitoring device according to the embodiment. FIG. 1B is a schematic front view illustrating the voice recognition monitoring device according to the embodiment. 実施形態の音声認識監視装置の動作を説明するフローチャートの例である。This is an example of a flowchart for explaining the operation of the voice recognition monitoring device of the embodiment. 図3(a)および図3(b)は、実施形態の変形例の音声認識監視装置の一部を例示する模式的な斜視図である。3 (a) and 3 (b) are schematic perspective views illustrating a part of the voice recognition monitoring device of the modified example of the embodiment.

以下、図面を参照しつつ、本発明の実施形態について説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して詳細な説明を適宜省略する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
The drawings are schematic or conceptual, and the relationship between the thickness and width of each part, the ratio of the sizes between the parts, and the like are not necessarily the same as the actual ones. Further, even when the same parts are represented, the dimensions and ratios may be different from each other depending on the drawings.
In the specification of the present application and each of the drawings, the same elements as those described above with respect to the above-described drawings are designated by the same reference numerals, and detailed description thereof will be omitted as appropriate.

図1(a)に示すように、実施形態の音声認識監視装置4は、操作室1内に設置される。操作室1には、操作盤2が設置されており、音声認識監視装置4は、操作盤2に隣接して配置され、操作盤2とともに用いられる。 As shown in FIG. 1A, the voice recognition monitoring device 4 of the embodiment is installed in the operation room 1. An operation panel 2 is installed in the operation panel 1, and the voice recognition monitoring device 4 is arranged adjacent to the operation panel 2 and is used together with the operation panel 2.

操作室1には、ドア1aが設けられており、オペレータやその他のたとえば入室が許可された人間が操作室1に出入りすることができる。操作室1には、この例では、ドア1aに対向する壁面1bにプラントの各種ラインの状態を監視する監視画面(図示せず)が設けられている。また、壁面1bに設けられた窓から操作室1の外の現場の状況を視認することができるようになっていてもよい。オペレータは、監視画面や目視によって、そのプラントの各種プロセスラインの状況を認識することができる。 The operation room 1 is provided with a door 1a, and an operator or other person who is permitted to enter the operation room 1, for example, can enter and exit the operation room 1. In this example, the operation room 1 is provided with a monitoring screen (not shown) for monitoring the state of various lines of the plant on the wall surface 1b facing the door 1a. Further, the situation of the site outside the operation room 1 may be visually recognized from the window provided on the wall surface 1b. The operator can recognize the status of various process lines of the plant by monitoring screen or visual inspection.

操作盤2上には、操作盤スイッチ9や、操作盤ランプ6、操作盤JOGスイッチ7等が配置されている。図示しないが、操作盤2は、たとえば制御用の高速ネットワークを介してプロセスコントローラ(プロセス制御装置)に接続されている。プロセスコントローラは、たとえばプログラムにもとづいて、プロセスラインに配置された機器や装置等の運転状況や、周囲環境に関する各種データ等を取得する。プロセスコントローラは、取得した各種データおよびプログラムにもとづいて、これらの機器や装置等に各種指令や制御信号等を生成して送信し、プロセスラインを制御する。オペレータは、操作盤2上のスイッチ等の操作用品を操作することによって、プロセスコントローラの制御に介在することができる。オペレータは、監視画面や目視した状況に応じて、操作盤2上のこれらのスイッチ等を操作して円滑にプロセスラインの制御ができるようにする。 An operation panel switch 9, an operation panel lamp 6, an operation panel JOG switch 7, and the like are arranged on the operation panel 2. Although not shown, the operation panel 2 is connected to a process controller (process control device) via, for example, a high-speed network for control. The process controller acquires, for example, the operating status of devices and devices arranged on the process line, various data related to the surrounding environment, and the like based on a program. The process controller controls the process line by generating and transmitting various commands and control signals to these devices and devices based on the acquired various data and programs. The operator can intervene in the control of the process controller by operating the operating equipment such as the switch on the operation panel 2. The operator operates these switches and the like on the operation panel 2 according to the monitoring screen and the visual situation so that the process line can be smoothly controlled.

音声認識監視装置4は、制御用ネットワークを介して、プロセスコントローラに接続されている。音声認識監視装置4は、オペレータの音声を取得して、操作盤2による操作を介することなく、プロセスラインの制御に介入することができる。ここで、音声認識監視装置4によるプロセスラインの制御とは、プロセスラインの停止である。なお、操作盤2上にも、プロセスラインの緊急停止のための操作ボタン等が設けられており、オペレータの手動によって、プロセスラインを停止することができる。 The voice recognition monitoring device 4 is connected to the process controller via a control network. The voice recognition monitoring device 4 can acquire the voice of the operator and intervene in the control of the process line without going through the operation by the operation panel 2. Here, the control of the process line by the voice recognition monitoring device 4 is the stop of the process line. An operation button or the like for emergency stop of the process line is also provided on the operation panel 2, and the process line can be stopped manually by the operator.

音声認識監視装置4は、マイク(第1集音手段)3を備え、マイク3はマイク用スイッチ8とともに音声認識監視装置4上に設けられている。マイク3およびマイク用スイッチ8は、音声認識監視装置4に電気的に接続されている。この例では、マイク3およびマイク用スイッチ8は、音声認識監視装置4の天板上に固定されている。なお、この例では、マイク3およびマイク用スイッチ8は、音声認識監視装置4の天板上で別体で設けられているが、マイク用スイッチ8は、マイク3に備え付けられていてもよい。また、上述のとおり、マイク3およびマイク用スイッチ8は、音声認識監視装置4を介して電気的に接続されており、マイク用スイッチ8は、実質的にマイク3に含まれているものとする。 The voice recognition monitoring device 4 includes a microphone (first sound collecting means) 3, and the microphone 3 is provided on the voice recognition monitoring device 4 together with the microphone switch 8. The microphone 3 and the microphone switch 8 are electrically connected to the voice recognition monitoring device 4. In this example, the microphone 3 and the microphone switch 8 are fixed on the top plate of the voice recognition monitoring device 4. In this example, the microphone 3 and the microphone switch 8 are separately provided on the top plate of the voice recognition monitoring device 4, but the microphone switch 8 may be provided on the microphone 3. Further, as described above, it is assumed that the microphone 3 and the microphone switch 8 are electrically connected via the voice recognition monitoring device 4, and the microphone switch 8 is substantially included in the microphone 3. ..

マイク3は、たとえば無指向性であり、オペレータが操作室1内のどこにいても、オペレータの発する音声を取得して、取得した音声データを音声認識監視装置4に供給することができる。 The microphone 3 is, for example, omnidirectional, and can acquire the voice emitted by the operator and supply the acquired voice data to the voice recognition monitoring device 4 regardless of where the operator is in the operation room 1.

マイク用スイッチ8は、押しボタン式のスイッチであり、マイク用スイッチ8を押しているときにオン状態となり、マイク用スイッチ8を押すのをやめるとオフ状態となる。 The microphone switch 8 is a push button type switch, and is turned on when the microphone switch 8 is pressed, and turned off when the microphone switch 8 is stopped pressed.

音声認識監視装置4は、マイク用スイッチ8をオンにすることによって、マイク3によって取得された音声データを入力することができる。音声認識監視装置4は、マイク用スイッチ8をオフにすることによって、取得された音声データの入力を中止することができる。音声認識監視装置4のおける音声データは、後に詳述するように、マイク用スイッチ8のオン・オフによってどのように取り扱われるかについて、オペレータ区分に応じてあらかじめ設定されている。 The voice recognition monitoring device 4 can input the voice data acquired by the microphone 3 by turning on the microphone switch 8. The voice recognition monitoring device 4 can stop the input of the acquired voice data by turning off the microphone switch 8. As will be described in detail later, the voice data in the voice recognition monitoring device 4 is preset according to the operator classification as to how it is handled by turning on / off the microphone switch 8.

音声認識監視装置4は、入力された音声データを認識し、音声データの内容にもとづいて、制御信号を生成する。制御信号は、プロセスラインの停止指令を含む信号である。音声データには、プロセスラインのセクションを表すデータを含むことができ、音声認識監視装置4は、認識されたセクションにおける停止指令含む制御信号を生成する。音声認識監視装置4は、プロセスコントローラに接続されているので、生成された制御信号は、プロセスコントローラに送信されて、プロセスコントローラは、プロセスラインのうち該当するセクションを停止するように動作する。 The voice recognition monitoring device 4 recognizes the input voice data and generates a control signal based on the content of the voice data. The control signal is a signal including a process line stop command. The voice data can include data representing a section of the process line, and the voice recognition monitoring device 4 generates a control signal including a stop command in the recognized section. Since the voice recognition monitoring device 4 is connected to the process controller, the generated control signal is transmitted to the process controller, and the process controller operates to stop the corresponding section of the process line.

プロセスラインのセクションとは、1つのプロセスラインにおける区域や位置を表している。たとえば、鋼板の圧延ラインでは、圧延材が圧延機に投入される前の搬送区域、圧延材が圧延機で圧延されている区域、および圧延材が圧延機から排出された後の搬送区域等であり、プロセスラインに応じてあらかじめ設定されている。 A process line section represents an area or location in one process line. For example, in a steel sheet rolling line, in a transport area before the rolled material is put into the rolling mill, an area where the rolled material is rolled by the rolling mill, a transport area after the rolled material is discharged from the rolling mill, and the like. Yes, it is preset according to the process line.

音声認識監視装置4は、判断装置4aと、記憶装置4bと、を備える。判断装置4aおよび記憶装置4bは、相互に接続されている。判断装置4aは、たとえばコンピュータ装置のCPU(Central Processing Unit)等のプログラムにしたがって動作する演算装置を含んでもよい。判断装置4aと接続された記憶装置4bには、判断装置4aの動作のためのプログラムが格納されている。判断装置4aは、記憶装置4bから読み出したプログラムの各ステップに応じて動作する。判断装置4aは、認識された音声にもとづいて、停止指令を含む制御信号を生成して、プロセスコントローラに送信する。 The voice recognition monitoring device 4 includes a determination device 4a and a storage device 4b. The determination device 4a and the storage device 4b are connected to each other. The determination device 4a may include an arithmetic unit that operates according to a program such as a CPU (Central Processing Unit) of a computer device. A program for operating the determination device 4a is stored in the storage device 4b connected to the determination device 4a. The determination device 4a operates according to each step of the program read from the storage device 4b. The determination device 4a generates a control signal including a stop command based on the recognized voice and transmits it to the process controller.

判断装置4aは、マイク3によって取得された音声データにもとづいて、話者を特定する。話者はあらかじめ登録され、登録データは、記憶装置4bに格納されている。判断装置4aは、取得された音声データの話者が登録データの話者と一致する場合には、取得された音声データにもとづいて処理を続行することができる。判断装置4aは、取得された音声データの話者が登録データの話者と一致しない場合には、マイク用スイッチ8のオン・オフにかかわらず、その音声データの処理を中止する。 The determination device 4a identifies the speaker based on the voice data acquired by the microphone 3. The speaker is registered in advance, and the registered data is stored in the storage device 4b. When the speaker of the acquired voice data matches the speaker of the registered data, the determination device 4a can continue the process based on the acquired voice data. If the speaker of the acquired voice data does not match the speaker of the registered data, the determination device 4a stops processing the voice data regardless of whether the microphone switch 8 is turned on or off.

話者に関する登録データには、複数のオペレータ区分が設定されている。オペレータ区分は、たとえばオペレータの操作盤2を含む操作室1内の装置等の操作に関する習熟度にしたがって設定される。判断装置4aは、オペレータ区分にしたがって、処理を実行する。 A plurality of operator categories are set in the registration data related to the speaker. The operator classification is set according to the proficiency level of the operation of the device or the like in the operation room 1 including the operation panel 2 of the operator, for example. The determination device 4a executes the process according to the operator classification.

オペレータ区分にもとづく処理は、たとえばオペレータの習熟度に応じて2段階に設定されている。オペレータ区分“1”は、もっとも習熟したオペレータに適用される。オペレータ区分が“1”の場合には、たとえば、マイク用スイッチ8のオン・オフにかかわらず、音声認識監視装置4は、そのオペレータの音声データの処理を実行し、停止指令を含む制御信号を生成する。オペレータ区分“2”は、習熟していないオペレータに適用される。オペレータ区分が“2”の場合には、たとえば、マイク用スイッチ8がオンの場合のみ、音声認識監視装置4は、音声データを処理する。マイク用スイッチ8がオフの場合には、音声認識監視装置4は、音声データの処理を中止する。 The processing based on the operator classification is set in two stages according to, for example, the proficiency level of the operator. The operator category "1" applies to the most proficient operator. When the operator classification is "1", for example, regardless of whether the microphone switch 8 is turned on or off, the voice recognition monitoring device 4 executes the processing of the operator's voice data and outputs a control signal including a stop command. Generate. The operator category "2" applies to unskilled operators. When the operator classification is "2", for example, the voice recognition monitoring device 4 processes the voice data only when the microphone switch 8 is on. When the microphone switch 8 is off, the voice recognition monitoring device 4 stops processing the voice data.

音声データには、複数の種類のワードを含むことができる。複数の種類のワードのうち1つは、「停止」に関するワードであり、他の1つは、プロセスラインの「セクション」に関するワードである。音声データの処理を継続するために、音声データが「停止」に関するワードを含むことを必須とすることができ、「セクション」に関するワードを含むことを任意とすることができる。以下では、音声データの処理を継続するために、音声データが「停止」に関するワードを含む必要があるとする場合について説明する。 The voice data can include a plurality of types of words. One of the multiple types of words is the word for "stop" and the other is the word for "section" of the process line. In order to continue processing the audio data, it may be mandatory for the audio data to include a word for "stop", and it may be optional to include a word for "section". In the following, a case where the voice data needs to include a word related to "stop" in order to continue processing the voice data will be described.

判断装置4aは、音声データを解析して、その中に「停止」に関するワードが含まれている場合には、停止指令を含む制御信号を生成して、プロセスコントローラに送信する。「停止」に関するワードは、たとえば、「停止」のほか、「止まれ」、「ストップ」等があらかじめ記憶装置4bに登録される。判断装置4aは、音声データにこれらの「停止」に関するワードが含まれていない場合には、他のワードの有無にかかわらず、停止指令を含む制御信号を生成しない。 The determination device 4a analyzes the voice data, and if the word related to "stop" is included in the voice data, generates a control signal including a stop command and transmits the control signal to the process controller. As for the word related to "stop", for example, in addition to "stop", "stop", "stop" and the like are registered in the storage device 4b in advance. If the voice data does not include these "stop" words, the determination device 4a does not generate a control signal including a stop command regardless of the presence or absence of other words.

判断装置4aは、話者の音声データを解析して、その中に「セクション」に関するワードが含まれている場合には、停止指令にセクションのデータを関連付けして制御信号を生成し、プロセスコントローラに送信する。「セクション」に関するワードは、たとえば、「入側」、「インプット」、「中央」、「センター」、「出側」、「アウトプット」等である。「セクション」に関するワードは、これら以外にも、ラインに応じてあらかじめ記憶装置4bに登録される。また、プロセスコントローラ側でも機器や装置等は、「セクション」があらかじめ割り当てられている。 The determination device 4a analyzes the voice data of the speaker, and if the word related to the "section" is included in the data, associates the section data with the stop command to generate a control signal, and the process controller. Send to. Words relating to "section" are, for example, "inside", "input", "center", "center", "outside", "output" and the like. In addition to these, the word related to the "section" is registered in the storage device 4b in advance according to the line. Also, on the process controller side, "sections" are assigned in advance to devices and devices.

実施形態の音声認識監視装置4の動作について説明する。
図2は、実施形態の音声認識制御装置の動作を説明するフローチャートの例である。
上述した例のように、オペレータ区分“1”(高習熟者)および“2”(低習熟者)が設定されているものとする。
The operation of the voice recognition monitoring device 4 of the embodiment will be described.
FIG. 2 is an example of a flowchart illustrating the operation of the voice recognition control device of the embodiment.
As in the above example, it is assumed that the operator categories "1" (highly proficient) and "2" (lowly proficient) are set.

図2に示すように、ステップS0においてプロセスラインで停止すべき事態が発生した場合には、ステップS1において、オペレータは、そのプロセスラインの停止が必要か否かを判断する。停止が必要と判断した場合には、ステップS2において、オペレータがマイク3に向かって発声する。この場合においては、オペレータ区分“2”に該当するオペレータは、マイク用スイッチ8をオンにして発声する。オペレータ区分“1”のオペレータや、入室が許可された部外者の場合には、マイク用スイッチ8をオンにしてもよいし、オフのままであってもよい。 As shown in FIG. 2, when a situation to be stopped at the process line occurs in step S0, in step S1, the operator determines whether or not the process line needs to be stopped. If it is determined that the stop is necessary, the operator speaks into the microphone 3 in step S2. In this case, the operator corresponding to the operator category "2" turns on the microphone switch 8 and speaks. In the case of an operator of the operator category "1" or an outsider who is permitted to enter the room, the microphone switch 8 may be turned on or may be left off.

ステップS3において、判断装置4aは、マイク3によって取得された音声データを解析して、登録データを参照して話者を特定する。話者が登録データの話者と一致する場合には、登録データのオペレータ区分を設定する。話者が登録データの話者と一致しない場合には、判断装置4aは、以降の処理を実行せず、他の音声データが入力されるまで待機する。 In step S3, the determination device 4a analyzes the voice data acquired by the microphone 3 and identifies the speaker with reference to the registered data. If the speaker matches the speaker of the registered data, the operator classification of the registered data is set. If the speaker does not match the speaker of the registered data, the determination device 4a does not execute the subsequent processing and waits until other voice data is input.

ステップS4において、判断装置4aは、音声データのオペレータ区分に応じて、処理を設定する。オペレータ区分“1”の場合には、判断装置4aは、マイク用スイッチ8のオン・オフにかかわらず、音声データの解析を続行し、登録ワードの有無を判断する。オペレータ区分“2”の場合には、判断装置4aは、マイク用スイッチ8がオンのときに音声データの解析を続行する。判断装置4aは、マイク用スイッチ8がオフのときには、マイク用スイッチ8がオンになるまで音声データの解析を停止する。 In step S4, the determination device 4a sets the process according to the operator classification of the voice data. In the case of the operator category "1", the determination device 4a continues the analysis of the voice data regardless of whether the microphone switch 8 is on or off, and determines the presence or absence of the registered word. In the case of the operator category “2”, the determination device 4a continues the analysis of the voice data when the microphone switch 8 is on. When the microphone switch 8 is off, the determination device 4a stops the analysis of the voice data until the microphone switch 8 is turned on.

ステップS5において、判断装置4aは、音声データを解析して、音声データに「停止」に関するワードが含まれているか否かを判断する。また判断装置4aは、音声データに「セクション」に関するワードが含まれているか否かを判断する。音声データに「セクション」に関するワードが含まれていない場合には、判断装置4aは、処理をステップS6に遷移させる。音声データに「セクション」に関するデータが含まれている場合には、判断装置4aは、処理をステップS7に遷移させる。音声データに、「停止」に関するワードが含まれていない場合には、他の音声データを取得するまで、待機する。 In step S5, the determination device 4a analyzes the voice data and determines whether or not the voice data includes a word related to "stop". Further, the determination device 4a determines whether or not the voice data includes a word related to the "section". If the voice data does not include a word related to the "section", the determination device 4a shifts the process to step S6. When the voice data includes data related to the "section", the determination device 4a shifts the process to step S7. If the voice data does not include a word related to "stop", it waits until other voice data is acquired.

ステップS6において、判断装置4aは、音声データが「停止」に関するワードを含み、「セクション」に関するワードを含まない場合には、プロセスラインのすべてのセクションの動作を停止するように制御信号を生成する。 In step S6, the determination device 4a generates a control signal to stop the operation of all sections of the process line when the voice data includes a word related to "stop" and does not include a word related to "section". ..

ステップS7において、判断装置4aは、音声データが「停止」に関するワードおよび「セクション」に関するワードの両方を含む場合には、その「セクション」についての停止指令を含む制御信号を生成する。 In step S7, when the voice data includes both a word related to "stop" and a word related to "section", the determination device 4a generates a control signal including a stop command for the "section".

ステップS8において、判断装置4aは、音声データが「停止」に関するワードを含まない場合には、制御信号を生成せず、他の音声データが入力されて処理されるまで待機する。 In step S8, if the voice data does not include a word related to "stop", the determination device 4a does not generate a control signal and waits until another voice data is input and processed.

なお、音声データには、「停止」に関するワードおよび「セクション」に関するワードが含まれていればよく、語順は問わないが、語順を設定するようにしてもよい。たとえば、「停止」に関するワードを「セクション」に関するワードよりも先にした場合のみ、「停止」に関するワードを有効にしてもよいし、その逆にしてもよい。また、「停止」に関するワードと「セクション」に関するワードとの間に所定の時間以上の無言の期間が含まれている場合には、最初のワードのみを有効なワードとして処理するようにしてもよい。「停止」に関するワードと「セクション」に関するワードとの間に、「停止」にも「セクション」にも関係しないワードが含まれている場合には、そのワードを除外して、「停止」および「セクション」に関するワードの処理をするようにしてもよい。 The voice data may include a word related to "stop" and a word related to "section", and the word order may be set regardless of the word order. For example, the word "stop" may be enabled and vice versa only if the word "stop" precedes the word "section". In addition, if there is a silent period of a predetermined time or more between the word related to "stop" and the word related to "section", only the first word may be treated as a valid word. .. If there is a word that is neither "stop" nor "section" between the word "stop" and the word "section", exclude that word and "stop" and "section". You may want to process words related to "sections".

上述では、音声データが「セクション」に関するワードを含まない場合には、プロセスラインの全セクションの停止をすることとしたが、プロセスラインの種類等に応じて適切な設定とすることができる。たとえば、音声データが「セクション」に関するワードを含まない場合には、「セクション」に関するワード含む音声データが入力されるまで処理を中止し、待機するようにしてもよい。 In the above, when the voice data does not include the word related to the "section", all the sections of the process line are stopped, but it can be set appropriately according to the type of the process line and the like. For example, when the voice data does not include the word related to the "section", the process may be stopped and wait until the voice data including the word related to the "section" is input.

また、上述では、音声データが「停止」に関するワードを含まない場合には、判断装置4aは、音声データの処理を中止するものとしたが、音声データの処理の可否については、プロセスラインの種類や状況等に応じて適切に設定することができる。たとえば、音声データが、「停止」に関するワードおよび「セクション」に関するワードのいずれも含まない場合に、判断装置4aは、音声データの処理を停止するようにしてもよい。その場合において、音声データ中に「セクション」に関するワードのみが含まれ、「停止」に関するワードを含まないときには、判断装置4aは、その「セクション」についての停止指令を含む制御信号を生成するようにしてもよい。 Further, in the above description, when the voice data does not include the word related to "stop", the determination device 4a is supposed to stop the processing of the voice data. It can be set appropriately according to the situation. For example, the determination device 4a may stop processing the voice data when the voice data does not contain either a word related to "stop" and a word related to "section". In that case, when the voice data contains only the word related to the "section" and does not include the word related to the "stop", the determination device 4a is made to generate a control signal including the stop command for the "section". You may.

(変形例)
図3(a)および図3(b)は、実施形態の変形例の音声認識制御装置の一部を例示する模式的な斜視図である。
図3(a)には、携帯形のマイク用有線スイッチの概要が示されている。上述した実施形態では、マイク用スイッチ8は、音声認識監視装置4に固定されていたが、本変形例では、オペレータがマイク用スイッチ18を手に持つ等携帯して、操作室1内を移動できる。
(Modification example)
3 (a) and 3 (b) are schematic perspective views illustrating a part of the voice recognition control device of the modified example of the embodiment.
FIG. 3A shows an outline of a portable wired switch for a microphone. In the above-described embodiment, the microphone switch 8 is fixed to the voice recognition monitoring device 4, but in this modified example, the operator carries the microphone switch 18 in his / her hand and moves in the operation room 1. can.

図3(a)に示すように、携帯形のマイク用スイッチ18は、本体18aと、スイッチ18bと、を含む。このマイク用スイッチ18は、配線18cによって、音声認識監視装置4と電気的に接続されている。この例では、マイク用スイッチは、有線で音声認識監視装置4と接続されるものとしたが、無線によって接続されるようにしてももちろんかまわない。本体18aは、底のある円筒形状をなしており、天井部分に押しボタン式の円形のスイッチ18bが設けられている。本体18aの太さは、大人が片手で握ったときに手のひらに余裕ができる程度とされている。 As shown in FIG. 3A, the portable microphone switch 18 includes a main body 18a and a switch 18b. The microphone switch 18 is electrically connected to the voice recognition monitoring device 4 by the wiring 18c. In this example, the microphone switch is connected to the voice recognition monitoring device 4 by wire, but of course, it may be connected wirelessly. The main body 18a has a cylindrical shape with a bottom, and a push button type circular switch 18b is provided on the ceiling portion. The thickness of the main body 18a is such that when an adult holds it with one hand, there is room in the palm.

オペレータは、操作室1に入って作業する際には、通常、操作盤2(図1)の前に立って、あるいは座って各種操作をするが、操作盤2の前から離れる際には、マイク用スイッチ18を手で握り携帯する。 When the operator enters the operation room 1 and works, he / she usually stands or sits in front of the operation panel 2 (FIG. 1) to perform various operations, but when he / she leaves the operation panel 2, he / she performs various operations. Hold the microphone switch 18 in your hand and carry it.

マイク用スイッチ18の動作は、上述した実施形態におけるマイク用スイッチ8と同様である。すなわち、マイク用スイッチ8,18をオンすることによって音声データの処理が認められたオペレータ区分を有するオペレータが、緊急停止の必要時に、マイク用スイッチ8,18をオンにして、音声による停止操作をすることができる。 The operation of the microphone switch 18 is the same as that of the microphone switch 8 in the above-described embodiment. That is, an operator having an operator classification in which processing of voice data is permitted by turning on the microphone switches 8 and 18 turns on the microphone switches 8 and 18 to perform a voice stop operation when an emergency stop is required. can do.

マイク用スイッチ18を携帯形とすることによって、音声認識監視装置4上に固定されたマイク用スイッチ8のところまで移動することなく、その場で音声による停止操作を行うことができる。したがって、習熟度が低いオペレータであっても、迅速に停止操作をすることができる。 By making the microphone switch 18 portable, it is possible to perform a stop operation by voice on the spot without moving to the microphone switch 8 fixed on the voice recognition monitoring device 4. Therefore, even an operator with a low level of proficiency can quickly perform a stop operation.

図3(b)には、携帯形のマイク23の概要が示されている。オペレータは、操作室1から出て、現場の機器や装置等の周辺で機器や装置等の点検、監視作業等を行うことがある。現場には、機器や装置等のための操作盤が設けられ、機器や装置等の操作を行うことができるが、この変形例では、非常時や緊急時に機側操作盤を介さずに、音声によってプロセスラインを停止することができる。 FIG. 3B shows an outline of the portable microphone 23. The operator may leave the operation room 1 and perform inspection, monitoring work, etc. of the equipment, the equipment, etc. in the vicinity of the equipment, the equipment, etc. at the site. An operation panel for equipment and devices is provided at the site, and the equipment and devices can be operated. However, in this modified example, voice is provided without going through the operation panel on the machine side in an emergency or emergency. Can stop the process line.

図3(b)に示すように、マイク(第2集音手段)23は、無線接続装置24と、マイク用スイッチ28と、を含む。無線接続装置24は、マイク23が取得した音声データを音声認識監視装置4に送信する。マイク用スイッチ28は、実施形態のマイク用スイッチ8と同様に、マイク用スイッチ28をオンすることによって音声データの処理が認められたオペレータ区分を有するオペレータが、緊急停止の必要時に、マイク用スイッチ28をオンにして、音声による停止操作を行う。 As shown in FIG. 3B, the microphone (second sound collecting means) 23 includes a wireless connection device 24 and a microphone switch 28. The wireless connection device 24 transmits the voice data acquired by the microphone 23 to the voice recognition monitoring device 4. Similar to the microphone switch 8 of the embodiment, the microphone switch 28 is a microphone switch when an operator having an operator classification in which processing of voice data is permitted by turning on the microphone switch 28 needs an emergency stop. Turn on 28 to perform a voice stop operation.

実施形態および変形例の音声認識監視装置4の効果について説明する。
実施形態および変形例の音声認識監視装置4では、判断装置4aがあらかじめ記憶装置4bに登録された話者であるか否かを判断する。そのため、見学者等のオペレータ以外の人間も出入りする操作室1内の音声によって、誤ってプロセスラインを停止させることがない。
The effect of the voice recognition monitoring device 4 of the embodiment and the modified example will be described.
In the voice recognition monitoring device 4 of the embodiment and the modified example, it is determined whether or not the determination device 4a is a speaker registered in the storage device 4b in advance. Therefore, the process line is not accidentally stopped by the voice in the operation room 1 in which a person other than the operator such as a visitor enters and exits.

音声認識監視装置4では、音声によってプロセスラインの停止をさせることができるので、操作盤2の操作の習熟度の低いオペレータであっても、確実かつ迅速にプロセスラインの停止をすることができる。 In the voice recognition monitoring device 4, since the process line can be stopped by voice, even an operator who is not proficient in the operation of the operation panel 2 can stop the process line reliably and quickly.

音声認識監視装置4では、話者として登録する登録データに、複数の区分を設定することができる。複数の区分をオペレータの習熟度に応じて設定し、習熟度の低いオペレータには、停止操作に関する多重の保護措置を講ずることができる。保護措置として、マイク用スイッチ8,18,28を設けることによって、習熟度の低いオペレータがプロセスラインを誤って停止させることを防止する。 In the voice recognition monitoring device 4, a plurality of categories can be set for the registration data to be registered as a speaker. A plurality of divisions can be set according to the proficiency level of the operator, and multiple protective measures for the stop operation can be taken for the operator with a low proficiency level. As a protective measure, microphone switches 8, 18 and 28 are provided to prevent an unskilled operator from accidentally stopping the process line.

たとえば、鉄鋼プラントでは、圧延プロセスに異常が生じた場合に、緊急停止し適切な処置を行わないと、被害が拡大し、再稼働までの期間に長時間を要し、多大なコストが必要となる。実施形態および変形例の音声認識監視装置4では、音声によって、プロセスラインを停止させることができるので、操作盤2の操作を待たずに、迅速にプロセスラインを停止することができる。操作盤2の操作手順に不慣れな低習熟度のオペレータであっても、確実に異常時の処理を行うことができる。 For example, in a steel plant, if an abnormality occurs in the rolling process, if emergency stop is not taken and appropriate measures are not taken, the damage will spread, it will take a long time to restart, and a large cost will be required. Become. In the voice recognition monitoring device 4 of the embodiment and the modified example, the process line can be stopped by voice, so that the process line can be stopped quickly without waiting for the operation of the operation panel 2. Even an operator with a low level of proficiency who is unfamiliar with the operation procedure of the operation panel 2 can reliably perform processing at the time of abnormality.

一方、実施形態および変形例の音声認識監視装置4では、音声データによって、オペレータの習熟度や操作許可の有無を判断することができるので、誤って、適切でない停止をさせ、本来必要でない停止による損失を発生させることを防止することができる。 On the other hand, in the voice recognition monitoring device 4 of the embodiment and the modified example, since it is possible to determine the proficiency level of the operator and the presence / absence of operation permission from the voice data, an inappropriate stop is mistakenly made, and the stop is not originally necessary. It is possible to prevent the loss from occurring.

以上説明した実施形態によれば、プロセスラインの誤停止を回避しつつ、迅速かつ確実に緊急停止する音声認識監視装置を実現することができる。 According to the embodiment described above, it is possible to realize a voice recognition monitoring device that makes an emergency stop quickly and surely while avoiding an erroneous stop of the process line.

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明およびその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。 Although some embodiments of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention and its equivalents described in the claims. Moreover, each of the above-described embodiments can be implemented in combination with each other.

1 操作室、2 操作盤、3,23 マイク、4 音声認識監視装置、4a 判断装置、4b 記憶装置、8,18,28 マイク用スイッチ、24 無線接続装置 1 operation room, 2 operation panel, 3,23 microphones, 4 voice recognition monitoring device, 4a judgment device, 4b storage device, 8,18,28 microphone switch, 24 wireless connection device

Claims (5)

プラントにおけるプロセスラインの少なくとも一部の操業を音声で停止させる音声認識監視装置であって、
音声を入力して音声データを生成する第1集音手段と、
あらかじめ設定された話者の音声のデータを登録データとして記憶する記憶装置と、
前記音声データが前記登録データに対応するものか否かを判断し、前記音声データが前記登録データに対応するものである場合には前記音声データを処理し、前記音声データが前記登録データに対応するものでない場合には前記音声データの処理を中止する判断装置と、
を備え、
前記判断装置は、前記音声データを処理するときには前記音声データが停止に関するワードを含むか否かを判断し、前記音声データが停止に関するワードを含むときにはプラントの操業を制御するプロセス制御装置に対する停止指令を含む制御信号を生成し、
前記第1集音手段は、動作および遮断を設定するスイッチを含み、
前記記憶装置は、前記判断装置が実行できる処理に応じて設定された複数のオペレータ区分のそれぞれに対応づけられた前記登録データを含み、
前記判断装置は、前記音声データが前記複数のオペレータ区分の1つに対応するときには、前記スイッチの動作および停止にかかわらず、前記音声データの処理を継続し、
前記音声データが前記複数のオペレータ区分の他の1つに対応するときには、前記スイッチの動作が選択されたときに前記音声データの処理を継続し、前記スイッチの遮断が選択されたときに前記音声データの処理を中止する音声認識監視装置。
A voice recognition monitoring device that stops the operation of at least a part of the process line in the plant by voice.
The first sound collecting means for inputting voice and generating voice data,
A storage device that stores preset speaker voice data as registered data,
It is determined whether or not the voice data corresponds to the registered data, and if the voice data corresponds to the registered data, the voice data is processed, and the voice data corresponds to the registered data. If it is not the case, the judgment device that stops the processing of the voice data and
With
The determination device determines whether or not the voice data includes a word related to stop when processing the voice data, and when the voice data includes a word related to stop, a stop command to a process control device that controls the operation of the plant. It generates a control signal including,
The first sound collecting means includes a switch for setting operation and cutoff.
The storage device includes the registration data associated with each of the plurality of operator categories set according to the processing that can be executed by the determination device.
When the voice data corresponds to one of the plurality of operator categories, the determination device continues processing of the voice data regardless of the operation and stop of the switch.
When the voice data corresponds to the other one of the plurality of operator categories, the processing of the voice data is continued when the operation of the switch is selected, and the voice is selected when the shutoff of the switch is selected. A voice recognition monitoring device that stops processing data.
前記プロセスラインは、前記プロセスラインの区域または位置を表す複数のセクションを含み、
前記判断装置は、
前記音声データの処理が継続された場合には、
前記音声データが前記複数のセクションのうち少なくとも1つに関するワードを含むか否かを判断し、
前記音声データが前記複数のセクションのうち少なくとも1つに関するワードを含むときには、そのセクションに対する停止指令を含む制御信号を生成し、
前記音声データが前記複数のセクションのいずれに関するワードを含まないときには、前記複数のセクションのすべてに対する停止指令を含む制御信号を生成する請求項1記載の音声認識監視装置。
The process line includes a plurality of sections representing areas or locations of the process line.
The judgment device is
If the processing of the voice data is continued,
Determine if the audio data contains words for at least one of the plurality of sections.
When the voice data contains words relating to at least one of the plurality of sections, a control signal including a stop command for that section is generated.
Wherein when the speech data does not include words relating to any of said plurality of sections, the plurality of claim 1 Symbol placement of the speech recognition monitoring device generates a control signal including a stop instruction to all sections.
前記プロセスラインは、前記プロセスラインの区域または位置を表す複数のセクションを含み、
前記判断装置は、
前記音声データの処理が継続された場合には、
前記音声データが前記複数のセクションのうち少なくとも1つに関するワードを含むか否かを判断し、
前記音声データが前記複数のセクションのうち少なくとも1つに関するワードを含むときには、そのセクションに対する停止指令を含む制御信号を生成し、
前記音声データが前記複数のセクションのいずれに関するワードを含まないときには、前記プロセス制御装置の動作を継続させる請求項1記載の音声認識監視装置。
The process line includes a plurality of sections representing areas or locations of the process line.
The judgment device is
If the processing of the voice data is continued,
Determine if the audio data contains words for at least one of the plurality of sections.
When the voice data contains words relating to at least one of the plurality of sections, a control signal including a stop command for that section is generated.
Wherein when the speech data does not include words relating to any of said plurality of sections, the process control according to claim 1 Symbol placement of the speech recognition monitoring device to continue the operation of the device.
前記スイッチは、携帯可能である請求項記載の音声認識監視装置。 The switch is portable and is claim 1 speech recognition monitoring device as claimed. 無線によって前記判断装置に接続し得る第2集音手段をさらに備えた請求項1〜のいずれか1つに記載の音声認識監視装置。 The voice recognition monitoring device according to any one of claims 1 to 4 , further comprising a second sound collecting means that can be wirelessly connected to the determination device.
JP2018107538A 2018-06-05 2018-06-05 Voice recognition monitoring device Active JP6963881B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018107538A JP6963881B2 (en) 2018-06-05 2018-06-05 Voice recognition monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018107538A JP6963881B2 (en) 2018-06-05 2018-06-05 Voice recognition monitoring device

Publications (2)

Publication Number Publication Date
JP2019211617A JP2019211617A (en) 2019-12-12
JP6963881B2 true JP6963881B2 (en) 2021-11-10

Family

ID=68846871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018107538A Active JP6963881B2 (en) 2018-06-05 2018-06-05 Voice recognition monitoring device

Country Status (1)

Country Link
JP (1) JP6963881B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5983211A (en) * 1982-11-02 1984-05-14 Toshiba Corp Plant supervisory controller
US7230582B1 (en) * 1999-02-12 2007-06-12 Fisher-Rosemount Systems, Inc. Wearable computer in a process control environment
JP2002267252A (en) * 2001-03-12 2002-09-18 Rinnai Corp Hot-water supply apparatus
JP2003195939A (en) * 2001-12-26 2003-07-11 Toshiba Corp Plant monitoring controlling system
JP2007027167A (en) * 2005-07-12 2007-02-01 Yamagata Casio Co Ltd Emergency stopping method of component mounting apparatus

Also Published As

Publication number Publication date
JP2019211617A (en) 2019-12-12

Similar Documents

Publication Publication Date Title
JP7198824B2 (en) machine tool controller
US10031513B2 (en) Control apparatus of robot or machine tool, wireless teaching pendant, and automatic machine system
JP2009501687A (en) Communication of elevator reassignment information in group elevator system
EP1909264A3 (en) System and method for hazard mitigation in voice-driven control applications
JP5844418B2 (en) Elevator control device and elevator control method
WO2011055452A1 (en) Elevator call registration device
JP7108103B2 (en) Machine teaching terminal used for machine teaching, teaching system, program and safety confirmation method
JP2019019003A (en) Service tool function Availability adjustment system and service tool function Availability adjustment method
JP6963881B2 (en) Voice recognition monitoring device
JP2006021322A (en) Safety device for automatic machine system
JP5462050B2 (en) Power system monitoring and control device
US11580972B2 (en) Robot teaching device
EP3703915B1 (en) Method of performing assembling of an object, and assembly system
KR101794288B1 (en) Control system for stage setting apparatus
JP2008268517A (en) Operating device with speech recognition function
WO2023042277A1 (en) Operation training device, operation training method, and computer-readable storage medium
JP2009145402A (en) Device operation switch
JP2005037597A (en) Control system for equipment
JPH07104962A (en) Interactive system
US10456921B2 (en) Industrial-robot control device
WO2023218522A1 (en) Machine operation device
JP6418453B2 (en) Press machine
JP2015160735A (en) Control device of in-car fan for elevator, and control method of in-car fan for elevator
JP6567180B2 (en) Voice call registration device for elevator and self-diagnosis method of voice call registration function
JP2009271835A (en) Equipment operation controller and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210611

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211015

R150 Certificate of patent or registration of utility model

Ref document number: 6963881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150