JP6339892B2 - Remote monitoring system and remote monitoring method - Google Patents

Remote monitoring system and remote monitoring method Download PDF

Info

Publication number
JP6339892B2
JP6339892B2 JP2014170676A JP2014170676A JP6339892B2 JP 6339892 B2 JP6339892 B2 JP 6339892B2 JP 2014170676 A JP2014170676 A JP 2014170676A JP 2014170676 A JP2014170676 A JP 2014170676A JP 6339892 B2 JP6339892 B2 JP 6339892B2
Authority
JP
Japan
Prior art keywords
user
urgency
data
operator
elevator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014170676A
Other languages
Japanese (ja)
Other versions
JP2016044054A (en
Inventor
容康 檀上
容康 檀上
英則 関根
英則 関根
岩瀬 茂樹
茂樹 岩瀬
高広 岡田
高広 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2014170676A priority Critical patent/JP6339892B2/en
Publication of JP2016044054A publication Critical patent/JP2016044054A/en
Application granted granted Critical
Publication of JP6339892B2 publication Critical patent/JP6339892B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、昇降機設備の遠隔監視システム及び遠隔監視方法に関し、特に音声認識装置を備える昇降機設備の遠隔監視システム及び遠隔監視方法に適用して好適なものである。   The present invention relates to a remote monitoring system and a remote monitoring method for elevator equipment, and is particularly suitable for application to a remote monitoring system and a remote monitoring method for elevator equipment including a voice recognition device.

一般に昇降機設備は、種々の装置を備えて構成される。例えば特許文献1には、カメラ、マイク及び操作パネル等のユーザインタフェースを備え、またモニタ、スピーカ及びランプ等の提示装置を備えた昇降機設備が開示されている。   In general, elevator equipment includes various devices. For example, Patent Document 1 discloses elevator equipment that includes a user interface such as a camera, a microphone, and an operation panel, and a display device such as a monitor, a speaker, and a lamp.

この特許文献1によれば、ユーザインタフェースによりエレベータの利用者を特定し、特定した個々の利用者に応じて提示すべき情報を提示装置により提示するようにしたので、エレベータの待ち時間や乗車中の時間をより有効に活用することができるとしている。   According to this Patent Document 1, the user of the elevator is specified by the user interface, and the information to be presented according to the specified individual user is presented by the presentation device. It is said that this time can be utilized more effectively.

特開2010−95339号公報JP 2010-95339 A

ところで特許文献1に記載の昇降機設備は比較的多くの機器を備えるものであるが、一般的な昇降機設備であっても、少なくとも外部連絡用のインターホンを備える。昇降機設備の利用者は、火災や事故等の非常事態が発生した場合にはこのインターホンに付属のボタンを押下することで、管制センターのオペレータと通話することができる。   By the way, although the elevator installation of patent document 1 is provided with comparatively many apparatuses, even if it is general elevator equipment, it is provided with the intercom for an external communication at least. When an emergency such as a fire or an accident occurs, a user of the elevator equipment can talk with an operator of the control center by pressing a button attached to the intercom.

ここで仮に大規模災害が発生した場合、複数の昇降機設備からインターホンのボタンが同時期に押下されることが想定される。この場合、管制センターでは、インターホンのボタンが押下された順番にオペレータが昇降機設備の利用者と連絡を取り合って対応することになる。よって緊急度の低い昇降機設備からの連絡が緊急度の高い昇降機設備からの連絡よりも先であった場合、緊急度の高い昇降機設備の対応が遅れるという問題がある。   Here, if a large-scale disaster occurs, it is assumed that intercom buttons are pressed simultaneously from a plurality of elevator equipment. In this case, in the control center, the operator contacts the user of the elevator equipment in the order in which the interphone buttons are pressed. Therefore, when the communication from the elevator equipment with low urgency is earlier than the communication from the elevator equipment with high urgency, there is a problem that the response of the elevator equipment with high urgency is delayed.

なお緊急度の低い昇降機設備からの連絡とは、例えばいたずらや間違い等でインターホンのボタンが押下された昇降機設備からの連絡が該当する。また緊急度の高い昇降機設備からの連絡とは、実際に非常事態に遭遇した利用者によりインターホンのボタンが押下された昇降機設備からの連絡が該当する。また非常事態に遭遇した利用者からの連絡のなかでも、負傷者の人数や負傷の程度によっても緊急度は異なる。   In addition, the communication from the elevator equipment with a low degree of urgency corresponds to the communication from the elevator equipment in which the interphone button is pressed due to mischief or mistake. In addition, the communication from the elevator equipment with a high degree of urgency corresponds to the communication from the elevator equipment in which the button of the interphone is pressed by the user who actually encountered an emergency. In addition, the degree of urgency varies depending on the number of injured persons and the degree of injury among the contacts from users who have encountered an emergency.

本発明は以上の点を考慮してなされたもので、緊急度に応じて昇降機設備からの連絡に対応し得る遠隔監視システム及び遠隔監視方法を提案するものである。   The present invention has been made in consideration of the above points, and proposes a remote monitoring system and a remote monitoring method capable of responding to the communication from the elevator equipment according to the degree of urgency.

かかる課題を解決するために、本発明においては、昇降機設備と管制センターとが接続して構成される遠隔監視システムにおいて、前記昇降機設備は、エレベータ装置内に音声認識装置と、前記音声認識装置の動作を制御する制御装置と、を備え、前記音声認識装置は、前記エレベータ装置の利用者により外部連絡用のボタンが押下された場合、前記利用者と、前記管制センター内のオペレータとが通話可能な状態になる前に、現地の状況を把握するための音声を生成して前記利用者に向けて出力し、前記音声に対して前記利用者が発話した音声を入力して解析し、前記解析した結果に基づいて、現地の状況を把握するために必要な情報を全て取得したか否かを判定し、全て取得したと判定した場合、取得した現地の状況を把握するために必要な情報を前記制御装置に送信し、前記制御装置は、前記現地の状況を把握するために必要な情報に基づいて、対話データを生成するとともに緊急度を判断し、前記対話データ及び前記緊急度を前記管制センター内のサーバ装置に送信し、前記管制センターは、前記サーバ装置内に対話用処理装置を備え、前記対話用処理装置は、前記対話データ及び前記緊急度に基づいて、前記現地の状況を把握するために必要な情報及び前記緊急度を前記オペレータに提示するための画面データを生成し、該画面データを前記オペレータが操作するオペレータ用端末に送信することを特徴とする。 In order to solve such a problem, in the present invention, in a remote monitoring system configured by connecting an elevator equipment and a control center, the elevator equipment includes a voice recognition device in an elevator device, and a voice recognition device. A control device that controls the operation, and the voice recognition device is capable of making a call between the user and an operator in the control center when the user of the elevator device presses a button for external communication Before entering the state, a voice for grasping the local situation is generated and output to the user, and the voice uttered by the user is input and analyzed with respect to the voice. Based on the results, it is determined whether or not all the information necessary for grasping the local situation has been acquired. If it is determined that all information has been obtained, it is necessary to grasp the acquired local situation. Sends such information to the control device, said control device, based on the information necessary to grasp the situation of the local, determines the urgency and generates interaction data, before Symbol interactive data and said send urgency to the server device in the control center, the control center, the comprises a interaction processor in the server device, the interaction processor, based on the interaction data and previous SL urgency, and wherein transmitting the information and the previous SL urgency required to grasp the situation of the local generates screen data to be presented to the operator, the said screen data to the operator terminal operated by an operator To do.

またかかる課題を解決するために、本発明においては、昇降機設備と管制センターとが接続して構成される遠隔監視システムの遠隔監視方法において、前記昇降機設備は、エレベータ装置内に音声認識装置と、前記音声認識装置の動作を制御する制御装置と、を備え、前記音声認識装置が、前記エレベータ装置の利用者により外部連絡用のボタンが押下された場合、前記利用者と、前記管制センター内のオペレータとが通話可能な状態になる前に、現地の状況を把握するための音声を生成して前記利用者に向けて出力し、前記音声に対して前記利用者が発話した音声を入力して解析し、前記解析した結果に基づいて、現地の状況を把握するために必要な情報を全て取得したか否かを判定し、全て取得したと判定した場合、取得した現地の状況を把握するために必要な情報を前記制御装置に送信する第1のステップと、前記制御装置が、前記現地の状況を把握するために必要な情報に基づいて、対話データを生成するとともに緊急度を判断し、前記対話データ及び前記緊急度を前記管制センター内のサーバ装置に送信する第2のステップと、前記管制センターは、前記サーバ装置内に対話用処理装置を備え、前記対話用処理装置が、前記対話データ及び前記緊急度に基づいて、前記現地の状況を把握するために必要な情報及び前記緊急度を前記オペレータに提示するための画面データを生成し、該画面データを前記オペレータが操作するオペレータ用端末に送信する第3のステップとを備えることを特徴とする。 In order to solve such a problem, in the present invention, in the remote monitoring method of the remote monitoring system configured by connecting the elevator equipment and the control center, the elevator equipment includes a voice recognition device in the elevator device, A control device for controlling the operation of the voice recognition device, and the voice recognition device, when a button for external communication is pressed by a user of the elevator device, the user and the control center Before being able to talk with the operator, a voice for grasping the local situation is generated and output to the user, and the voice spoken by the user is input to the voice. Analyzing and determining whether or not all the information necessary for grasping the local situation has been acquired based on the result of the analysis, and if it is determined that all have been acquired, the acquired local situation A first step of transmitting information necessary for grasping to the control device, and the control device generates dialogue data and urgency based on information necessary for grasping the local situation. determination, and a second step of transmitting a pre-Symbol interaction data and the urgency to the server device in the control center, the control center, the comprises a interaction processor in the server device, the interaction process device, the interaction data and based on the previous SL urgency information and pre Symbol urgency required to grasp the situation of the local generates screen data to be presented to the operator, the said screen data And a third step of transmitting to an operator terminal operated by the operator.

本発明によれば、緊急度に応じて昇降機設備からの連絡に対応することができる。   ADVANTAGE OF THE INVENTION According to this invention, it can respond to the communication from elevator equipment according to the degree of urgency.

本実施の形態における遠隔監視システムの全体構成図である。1 is an overall configuration diagram of a remote monitoring system in the present embodiment. 制御装置により生成される対話データの内部構成図である。It is an internal block diagram of the dialog data produced | generated by a control apparatus. 対話用処理装置により生成される画面データの内部構成図である。It is an internal block diagram of the screen data produced | generated by the processing apparatus for dialogue. 遠隔監視処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a remote monitoring process. 優先順位決定処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a priority determination process.

以下図面について、本発明の一実施の形態を詳述する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

(1)遠隔監視システムの全体構成
図1は、本実施の形態における遠隔監視システム1の全体構成を示す。遠隔監視システム1は、昇降機設備10と管制センター20とが通信回線Nを介して通信可能に接続して構成される。なお通信回線Nは、例えばLAN(Local Area Network)や電話網等であり、昇降機設備10内の機器と、管制センター20内の機器との間を互いに通信及び通話可能に接続する有線又は無線である。
(1) Overall Configuration of Remote Monitoring System FIG. 1 shows an overall configuration of a remote monitoring system 1 in the present embodiment. The remote monitoring system 1 is configured such that the elevator equipment 10 and the control center 20 are communicably connected via a communication line N. The communication line N is, for example, a LAN (Local Area Network), a telephone network, or the like, and is wired or wirelessly connected between the equipment in the elevator equipment 10 and the equipment in the control center 20 so that they can communicate and communicate with each other. is there.

(1−1)昇降機設備の構成
昇降機設備10は、エレベータ装置11を備える。エレベータ装置11は、制御装置12、対話用出力装置13、音声認識装置14及び通信回線処理装置15を備えて構成される。制御装置12は、CPU(Central Processing Unit)等を備え、対話用出力装置13、音声認識装置14及び通信回線処理装置15の各装置の動作を統括的に制御する。
(1-1) Configuration of Elevator Equipment The elevator equipment 10 includes an elevator apparatus 11. The elevator device 11 includes a control device 12, a dialogue output device 13, a voice recognition device 14, and a communication line processing device 15. The control device 12 includes a CPU (Central Processing Unit) and the like, and comprehensively controls operations of the dialogue output device 13, the speech recognition device 14, and the communication line processing device 15.

対話用出力装置13は、例えば外部連絡用のインターホンであり、マイク及びスピーカ等を備える。対話用出力装置13は、インターホンに付属のボタンが押下されると、ボタンの押下を検知し、音声認識装置14にボタン押下を通知する。ボタン押下の通知を受けた音声認識装置14は、制御信号を生成して対話用出力装置13に出力する。   The dialogue output device 13 is an intercom for external communication, for example, and includes a microphone and a speaker. When the button attached to the intercom is pressed, the dialogue output device 13 detects the button press and notifies the voice recognition device 14 of the button press. Upon receiving the button press notification, the voice recognition device 14 generates a control signal and outputs it to the dialogue output device 13.

制御信号には音声認識装置14により生成された音声が含まれており、対話用出力装置13は制御信号を入力すると、この制御信号に含まれている音声をスピーカにより利用者100に向けて出力する。一方で対話用出力装置13は、利用者100が発話した音声をマイクにより入力し、入力した音声を音声認識装置14に出力する。   The control signal includes the voice generated by the voice recognition device 14. When the dialog output device 13 receives the control signal, the voice included in the control signal is output to the user 100 through the speaker. To do. On the other hand, the dialogue output device 13 inputs the voice uttered by the user 100 through a microphone and outputs the input voice to the voice recognition device 14.

音声認識装置14は、CPU等を備え、対話用出力装置13からボタン押下の通知を入力すると、外部出力用の音声を生成し、生成した音声を制御信号に含めて対話用出力装置13に出力する。対話用出力装置13は、上記の通り、音声認識装置14からの音声をスピーカにより利用者100に向けて出力することになる。   The voice recognition device 14 includes a CPU or the like, and when a button press notification is input from the dialog output device 13, generates a voice for external output, and outputs the generated voice to the dialog output device 13 by including the generated voice in a control signal. To do. As described above, the dialogue output device 13 outputs the voice from the voice recognition device 14 toward the user 100 through the speaker.

ここで音声認識装置14により生成される音声の内容は、現地の状況を把握するために必要な情報を取得可能とする内容である。例えば「あなたのお名前を教えて下さい」、「けが人はいますか」、「エレベータは停止していますか」、「電気は点いていますか」等の内容の音声が生成される。   Here, the content of the speech generated by the speech recognition device 14 is content that enables acquisition of information necessary for grasping the local situation. For example, voices with contents such as “Tell me your name”, “Is there an injured person”, “Is the elevator stopped?”, “Is electricity turned on?”, Etc. are generated.

なお音声認識装置14は、必要な情報を取得するまでは利用者100との対話を継続するように音声を生成し続けるが、一定時間の対話によっても必要な情報を取得することができない場合には、いたずらや間違い等によりインターホンのボタンが押下されたものと判断して、音声の生成を終了する。或いは利用者100との対話の状況によっては、緊急度が高いものと判断し、直話の要求を管制センター20に送信するとしてもよい。   The voice recognition device 14 continues to generate voice so as to continue the dialogue with the user 100 until necessary information is obtained. However, when the necessary information cannot be obtained even after a certain amount of dialogue. Determines that the interphone button has been pressed due to mischief or mistake, and ends the sound generation. Alternatively, depending on the state of dialogue with the user 100, it may be determined that the degree of urgency is high, and a request for direct talk may be transmitted to the control center 20.

一方で音声認識装置14は、対話用出力装置13を介して利用者100が発話した音声を入力すると、入力した音声を音響モデル及び言語モデル等の一般的な音声解析モデルに基づいて解析し、解析結果を文字データに変換して制御装置12に出力する。   On the other hand, when the speech uttered by the user 100 is input via the dialogue output device 13, the speech recognition device 14 analyzes the input speech based on a general speech analysis model such as an acoustic model and a language model, The analysis result is converted into character data and output to the control device 12.

制御装置12は、音声認識装置14からの文字データを入力すると、予め定められたフォーマットに従って対話データ231を生成する。なお対話データ231は、例えばCSV(Comma Separated Values)等の形式或いは他の形式であってもよい。   When the character data from the voice recognition device 14 is input, the control device 12 generates dialogue data 231 according to a predetermined format. The dialogue data 231 may be in a format such as CSV (Comma Separated Values) or other format.

対話データ231にはこの時点で緊急度に応じた優先順位が関連付けられるが、優先順位を決定して対話データ231に関連付ける処理は、管制センター20に送信された後に実行されるとしてもよい。対話データ231の内部構成については後述する(図2)。   Although the priority order corresponding to the degree of urgency is associated with the dialog data 231 at this time, the process of determining the priority order and associating it with the dialog data 231 may be executed after being transmitted to the control center 20. The internal configuration of the dialogue data 231 will be described later (FIG. 2).

通信回線処理装置15は、例えばNIC(Network Interface Card)等であり、通信回線Nを介して、制御装置12により生成された対話データ231及び優先順位の情報を管制センター20のサーバ装置21に送信する。   The communication line processing device 15 is, for example, a NIC (Network Interface Card) or the like, and transmits the conversation data 231 and priority information generated by the control device 12 to the server device 21 of the control center 20 via the communication line N. To do.

(1−2)管制センターの構成
管制センター20は、サーバ装置21を備える。サーバ装置21は、通信回線処理装置22、現地対話データサーバ23及び対話用処理装置24を備えて構成される。通信回線処理装置22は、例えばNIC等であり、通信回線処理装置15からの対話データ231を受信すると、受信した対話データ231を現地対話データサーバ23に出力する。
(1-2) Configuration of Control Center The control center 20 includes a server device 21. The server device 21 includes a communication line processing device 22, a local dialogue data server 23, and a dialogue processing device 24. The communication line processing device 22 is, for example, a NIC or the like. Upon receiving the dialogue data 231 from the communication line processing device 15, the communication line processing device 22 outputs the received dialogue data 231 to the local dialogue data server 23.

現地対話データサーバ23は、HDD(Hard Disk Drive)等の記憶媒体であり、通信回線処理装置22からの対話データ231を入力して格納する。なおここでは単一の昇降機設備10からの対話データ231を格納するように図示されているが、実際には他の複数の昇降機設備10からの対話データ231を格納する。   The local dialogue data server 23 is a storage medium such as an HDD (Hard Disk Drive) and receives and stores dialogue data 231 from the communication line processing device 22. Although the dialogue data 231 from a single elevator equipment 10 is shown here, the dialogue data 231 from other elevator equipment 10 is actually stored.

対話用処理装置24は、CPU、マイク及びスピーカ等を備え、現地対話データサーバ23に対話データ231が格納されると、昇降機設備10からの非常通話があることを検知するとともに、この対話データ231及び関連付けられている優先順位を参照して、オペレータ200に提示するための画面データ241を生成する。画面データ241の構成については後述する(図3)。   The dialogue processing device 24 includes a CPU, a microphone, a speaker, and the like. When the dialogue data 231 is stored in the local dialogue data server 23, the dialogue processing device 24 detects that there is an emergency call from the elevator equipment 10, and the dialogue data 231. The screen data 241 to be presented to the operator 200 is generated with reference to the associated priority order. The configuration of the screen data 241 will be described later (FIG. 3).

そして対話用処理装置24は、生成した画面データ241をオペレータ200が操作するオペレータ用端末に送信し、オペレータ用端末の表示画面に表示することにより、オペレータ200に昇降機設備10からの非常電話があること及び接続すべき昇降機設備10の優先順位を提示する。   Then, the dialogue processing device 24 transmits the generated screen data 241 to the operator terminal operated by the operator 200 and displays it on the display screen of the operator terminal, so that the operator 200 has an emergency call from the elevator equipment 10. And the priority order of the elevator equipment 10 to be connected.

オペレータ200は、提示された優先順位を参照して、現時点で最も緊急度の高い昇降機設備10の利用者100と対話を試みるとともに保守員を現地に派遣する手配を行う。   The operator 200 refers to the presented priority order and attempts to interact with the user 100 of the elevator equipment 10 having the highest degree of urgency at the present time and arranges to send maintenance personnel to the site.

対話用処理装置24は、オペレータ200により対話を試みようとする昇降機設備10が選択されると、選択された昇降機設備10の利用者100とオペレータ200との対話を可能とするべく、オペレータ200により発話された音声を通信回線処理装置22を介して昇降機設備10に送信する。また通信回線処理装置22を介して昇降機設備10から受信した音声をスピーカによりオペレータ200に向けて出力する。   When the elevator equipment 10 to be tried to interact with is selected by the operator 200, the dialogue processing device 24 is operated by the operator 200 so that the user 100 of the selected elevator equipment 10 can interact with the operator 200. The spoken voice is transmitted to the elevator equipment 10 via the communication line processing device 22. The voice received from the elevator equipment 10 via the communication line processing device 22 is output to the operator 200 through a speaker.

なお昇降機設備10側では、通信回線処理装置15を介して管制センター20から受信した音声を対話用出力装置13により利用者100に向けて出力し、また利用者100が発話した音声を通信回線処理装置15を介して管制センター20に送信する。これらの処理により、利用者100とオペレータ200とが直話することができる。   On the elevator equipment 10 side, the voice received from the control center 20 via the communication line processing device 15 is output to the user 100 by the dialogue output device 13, and the voice spoken by the user 100 is processed by the communication line processing. The data is transmitted to the control center 20 via the device 15. Through these processes, the user 100 and the operator 200 can speak directly.

本実施の形態においては、上記の通り、インターホンのボタンが押下される等して昇降機設備10からの接続要求があった場合、接続要求のあった順番通りに管制センター20のオペレータ200が対応するのではなく、接続要求のあった昇降機設備10のうち、緊急度に応じて接続すべき昇降機設備10の優先順位を決定し、優先順位に従ってオペレータ200が利用者100と連絡することができるようにしたものである。   In the present embodiment, as described above, when there is a connection request from the elevator equipment 10 by pressing an interphone button or the like, the operator 200 of the control center 20 responds in the order in which the connection request is made. Instead, the priority order of the elevator equipment 10 to be connected is determined according to the urgency among the elevator equipment 10 requested to be connected so that the operator 200 can contact the user 100 according to the priority order. It is a thing.

(2)対話データの構成
図2は、対話データ231の内部構成を示す。対話データ231は、現地の状況を把握するために必要な情報を含むデータであり、制御装置12により生成される。
(2) Configuration of Dialog Data FIG. 2 shows the internal configuration of the dialog data 231. The dialogue data 231 is data including information necessary for grasping the local situation, and is generated by the control device 12.

ここでは現地の状況を把握するために必要な情報として、「けが人又は妊婦の有無」、「気分が悪い人の有無」、「かご内の電気の有無」及び「かご内の人数」が例示されている。音声認識装置14は、例えば「けが人又は妊婦の方はいますか」等の音声を生成し、「けが人又は妊婦の有無」の情報を利用者100に答えさせる。そしてこの音声に対する利用者100からの回答を解析する。   Here, examples of information necessary to understand the local situation include “injured person or pregnant woman”, “bad person”, “electricity in the car”, and “number of people in the car”. ing. For example, the voice recognition device 14 generates a voice such as “Is there an injured person or a pregnant woman?” And causes the user 100 to answer information about “whether there is an injured person or a pregnant woman”. And the reply from the user 100 with respect to this sound is analyzed.

音声認識装置14が利用者100から発話された回答を解析し、文字データに変換すると、制御装置12は、所定のフォーマットに従って対話データ231を生成する。   When the speech recognition device 14 analyzes the answer uttered by the user 100 and converts it into character data, the control device 12 generates the dialogue data 231 according to a predetermined format.

なお音声認識装置14が生成する音声の順序は、緊急度の高さを迅速に判断し得る順序である。具体的にここではまず「けが人又は妊婦の有無」について利用者100に回答させる音声を生成している。この場合、利用者100からの回答によっては緊急度が非常に高いか、或いは、そこまで高くないかを判断することができる。   Note that the order of voices generated by the voice recognition device 14 is an order in which the level of urgency can be quickly determined. Specifically, here, a voice is generated that causes the user 100 to answer “whether there is an injured person or a pregnant woman”. In this case, depending on the answer from the user 100, it can be determined whether the degree of urgency is very high or not so high.

すなわちかご内に「けが人又は妊婦」がいる場合には緊急度が非常に高い状況であると判断することができる。この場合、制御装置12は、この対話データ231に対して緊急度の重み付けを大きくする。或いは音声認識装置14に続けて音声を生成させずに直話の要求を管制センター20に送信するとしてもよい。   In other words, when there are “injured persons or pregnant women” in the car, it can be determined that the situation is very urgent. In this case, the control device 12 increases the urgency weighting for the dialogue data 231. Alternatively, a request for direct talk may be transmitted to the control center 20 without generating a voice following the voice recognition device 14.

(3)画面データの構成
図3は、画面データ241の内部構成を示す。画面データ241は、オペレータ200に非常電話があること及び接続すべき昇降機設備10の優先順位を提示するためのデータであり、対話用処理装置24により生成される。
(3) Configuration of Screen Data FIG. 3 shows the internal configuration of the screen data 241. The screen data 241 is data for presenting that the operator 200 has an emergency call and the priority order of the elevator equipment 10 to be connected, and is generated by the interactive processing device 24.

ここでは接続すべき昇降機設備10の優先順位が「7」である画面データ241が示されている。また画面データ241には、障害が発生した発生現場(住所及び昇降機設備10の識別情報)、この昇降機設備10を管理する管轄営業所及び現地の状況を示す情報(けが人又は妊婦の有無の情報)等が含まれる。   Here, screen data 241 in which the priority order of the elevator equipment 10 to be connected is “7” is shown. The screen data 241 also includes information about the site where the failure occurred (address and identification information of the elevator equipment 10), the sales office that manages the elevator equipment 10 and the local situation (information about the presence or absence of an injured person or a pregnant woman). Etc. are included.

この画面データ241は、障害が発生した昇降機設備10ごとに生成され、それぞれが優先順位を含む。この画面データ241がオペレータ用端末の表示画面に表示されることにより、オペレータ200は、優先順位に従って緊急度の高い昇降機設備10から順に対応することができる。   This screen data 241 is generated for each elevator equipment 10 in which a failure has occurred, and each includes priority. By displaying the screen data 241 on the display screen of the operator terminal, the operator 200 can respond in order from the elevator equipment 10 having the highest urgency according to the priority order.

なお画面データ241の表示態様については、例えば優先順位の高い順に画面データ241を上から並べて表示するとしてもよいし、優先順位の高い画面データ241については点滅させる等して優先順位の低い他の画面データ241との差別化を図るように表示するとしてもよい。また地図上に画面データ241を重畳させて表示させて、障害が発生した現場の位置を一見して把握可能とするようにしてもよい。   As for the display mode of the screen data 241, for example, the screen data 241 may be arranged and displayed from the top in order of high priority, or the screen data 241 having high priority may be displayed in a blinking manner or other low priority. It may be displayed so as to be differentiated from the screen data 241. Further, the screen data 241 may be superimposed on the map and displayed so that the location of the site where the failure has occurred can be grasped at a glance.

(4)フローチャート
図4は、遠隔監視処理の処理手順を示す。この遠隔監視処理は、昇降機設備10及び管制センター20が備える各装置により実行される。
(4) Flowchart FIG. 4 shows a processing procedure for remote monitoring processing. This remote monitoring process is executed by each device provided in the elevator equipment 10 and the control center 20.

まず対話用出力装置13は、備え付けられているインターホンのボタンが利用者100により押下されると、ボタン押下を検知して音声認識装置14に通知する(SP1)。   First, when the interphone button provided is pressed by the user 100, the dialog output device 13 detects the button press and notifies the voice recognition device 14 (SP1).

音声認識装置14は、ボタン押下の通知を受領すると、現地の状況を把握するための音声を生成し、対話用出力装置13を介して生成した音声を出力する一方で、出力した音声に対して利用者100が発話した音声を入力し、現地の状況を把握するために必要な情報を収集する(SP2)。   Upon receiving the button press notification, the voice recognition device 14 generates a voice for grasping the local situation and outputs the voice generated through the dialogue output device 13. Voices spoken by the user 100 are input and information necessary for grasping the local situation is collected (SP2).

次いで音声認識装置14は、必要な情報を全て収集したか否かを判断する(SP3)。この判断で否定結果を得ると、音声認識装置14はステップSP2に戻り、必要な情報を取得するまで音声の生成及び出力と、利用者100からの音声の入力とを繰り返す。   Next, the voice recognition device 14 determines whether all necessary information has been collected (SP3). If a negative result is obtained in this determination, the speech recognition apparatus 14 returns to step SP2, and repeats generation and output of speech and speech input from the user 100 until necessary information is acquired.

これに対し、音声認識装置14はステップSP3の判断で肯定結果を得ると、収集した情報を文字データに変換して制御装置12に送信する。制御装置12は、音声認識装置14からの文字データを所定のフォーマット上に記録して対話データ231を生成する。   On the other hand, when the speech recognition apparatus 14 obtains a positive result in the determination at step SP3, it converts the collected information into character data and transmits it to the control apparatus 12. The control device 12 records the character data from the voice recognition device 14 in a predetermined format and generates dialogue data 231.

そして制御装置12は、生成した対話データ231に対し、オペレータ200に接続すべき昇降機設備10の優先順位を決定する(SP4)。このステップSP4の優先順位を決定する処理の詳細については後述する(図5)。   And the control apparatus 12 determines the priority of the elevator installation 10 which should be connected to the operator 200 with respect to the produced | generated dialogue data 231 (SP4). Details of the processing for determining the priority order in step SP4 will be described later (FIG. 5).

次いで制御装置12は、決定した優先順位を対話データ231に関連付けて、対話データ231を管制センター20に送信する(SP5)。管制センター20側では、現地対話データサーバ23が対話データ231を格納する(SP6)。   Next, the control device 12 associates the determined priority order with the dialogue data 231 and transmits the dialogue data 231 to the control center 20 (SP5). On the control center 20 side, the local dialogue data server 23 stores the dialogue data 231 (SP6).

対話用処理装置24は、現地対話データサーバ23に対話データ231が格納されたことを検知すると、画面データ241を生成し、この画面データ241をオペレータ200が操作するオペレータ用端末に送信する(SP7)。   When the dialogue processing device 24 detects that the dialogue data 231 is stored in the local dialogue data server 23, the dialogue processing device 24 generates screen data 241 and transmits the screen data 241 to the operator terminal operated by the operator 200 (SP7). ).

オペレータ200用端末は、対話用処理装置24からの画面データ241を受信すると、表示画面に表示する(SP8)。オペレータ200は、表示画面上に表示された画面データ241を参照することにより、緊急度の高い昇降機設備10から順に対応することができる。以上により本実施の形態における遠隔監視処理を終了する。   Upon receiving the screen data 241 from the interactive processing device 24, the operator 200 terminal displays it on the display screen (SP8). The operator 200 can respond in order from the elevator facility 10 with the highest degree of urgency by referring to the screen data 241 displayed on the display screen. Thus, the remote monitoring process in the present embodiment is completed.

図5は、優先順位決定処理の処理手順を示す。この優先順位決定処理は、制御装置12により実行される。   FIG. 5 shows a processing procedure for priority order determination processing. This priority order determination process is executed by the control device 12.

制御装置12は、対話データ231を参照して、行2311〜行2314を読み取る。そして最上段の行2311から順に緊急度の重み付けを行う。なお緊急度の初期値は0とする。具体的に制御装置12は、まず行2311を読み取り、「けが人又は妊婦の有無」を判断する(SP41)。   The control device 12 refers to the interaction data 231 and reads the rows 2311 to 2314. Then, the urgent level is weighted sequentially from the top row 2311. The initial value of the urgency is 0. Specifically, the control device 12 first reads the row 2311 and determines “whether there is an injured person or a pregnant woman” (SP41).

ステップSP41の判断で肯定結果を得ると、制御装置12は、この対話データ231に対する緊急度を+5だけ重み付けする(SP42)。これに対し、ステップSP41の判断で否定結果を得ると、次に制御装置12は、行2312を読み取り、「気分が悪い人の有無」を判断する(SP43)。   If a positive result is obtained in the determination at step SP41, the control device 12 weights the urgency level for the dialogue data 231 by +5 (SP42). On the other hand, if a negative result is obtained in the determination at step SP41, the control device 12 next reads the row 2312 and determines "the presence or absence of a person who feels bad" (SP43).

ステップSP43の判断で肯定結果を得ると、制御装置12は、この対話データ231に対する緊急度を+3だけ重み付けする(SP44)。これに対し、ステップSP43の判断で否定結果を得ると、次に制御装置12は、行2313を読み取り、「かご内の電気の有無」を判断する(SP45)。   If a positive result is obtained in the determination at step SP43, the control device 12 weights the urgency level for the dialogue data 231 by +3 (SP44). On the other hand, if a negative result is obtained in the determination at step SP43, the control device 12 next reads the row 2313 and determines "the presence / absence of electricity in the car" (SP45).

ステップSP45の判断で否定結果を得ると、制御装置12は、この対話データ231に対する緊急度を+1だけ重み付けする(SP46)。これに対し、ステップSP45の判断で肯定結果を得ると、次に制御装置12は、行2314を読み取り、「かご内の人数」を取得する(SP47)。   If a negative result is obtained in the determination at step SP45, the control device 12 weights the degree of urgency for the dialogue data 231 by +1 (SP46). On the other hand, if a positive result is obtained in the determination at step SP45, the control device 12 next reads the row 2314 and obtains “the number of people in the car” (SP47).

そして制御装置12は、重み付けされた緊急度及びかご内の人数に基づいて、対話データ231に対する優先順位を決定して(SP48)、本処理を終了する。   Then, the control device 12 determines the priority order for the dialogue data 231 based on the weighted urgency level and the number of people in the car (SP48), and ends this process.

例えば制御装置12は、一の対話データ231の緊急度が+5であり、他の対話データ231の緊急度が+3である場合、緊急度が+5の対話データ231の優先順位を1に決定し、緊急度が+3の対話データ231の優先順位を2に決定する。また制御装置12は、2つの対話データ231の緊急度が+3で同様である場合、かご内の人数に基づいて、かご内の人数が多い方(或いは少ない方)の優先順位を1に決定する。   For example, when the urgency level of one dialogue data 231 is +5 and the urgency level of the other dialogue data 231 is +3, the control device 12 determines the priority of the dialogue data 231 having the urgency level +5 as 1. The priority order of the dialogue data 231 whose urgency level is +3 is determined to be 2. Further, when the urgency levels of the two dialog data 231 are the same as +3, the control device 12 determines the priority order of the person with more (or less) persons in the car based on the number of persons in the car. .

(5)本実施の形態による効果
以上のように本実施の形態における遠隔監視システム1によれば、各昇降機設備10から現地の状況を把握するために必要な情報を事前に取得し、取得した情報に対して緊急度を判断し、緊急度に応じてオペレータ200に接続すべき昇降機設備10の優先順位を決定し、優先順位に基づいて昇降機設備10からの連絡をオペレータ200に繋ぐようにしたので、緊急度の高い昇降機設備10からの連絡に迅速に対応することができる。
(5) Effects of the present embodiment As described above, according to the remote monitoring system 1 of the present embodiment, information necessary for grasping the local situation is acquired in advance from each elevator equipment 10 and acquired. The urgency level is determined for the information, the priority order of the elevator equipment 10 to be connected to the operator 200 is determined according to the urgency level, and the communication from the elevator equipment 10 is connected to the operator 200 based on the priority order. Therefore, it is possible to promptly respond to communication from the elevator device 10 having a high degree of urgency.

特に大規模災害が発生して一度に複数の昇降機設備10からの連絡が管制センター20に入るような場合、オペレータ200の人員が限られた状況下であっても、緊急度の高い昇降機設備10から順に適切に対応することができる。またオペレータ200は、画面データ241を事前に参照することができるため、利用者100と直話しながら作業員を効率的に派遣させることができる。   In particular, when a large-scale disaster occurs and communications from a plurality of elevator equipment 10 enter the control center 20 at a time, the elevator equipment 10 with a high degree of urgency is obtained even under a situation where the number of operators 200 is limited. It is possible to respond appropriately in order. In addition, since the operator 200 can refer to the screen data 241 in advance, the operator 200 can be dispatched efficiently while talking directly with the user 100.

また利用者100がいたずらや間違い等でインターホンのボタンを押下した場合であっても、利用者100が第一次的に発話する対象はオペレータ200ではなく音声認識装置14により生成された音声に対するものであるため、オペレータ200は、不要な対応をせずに済む。   Even when the user 100 presses the interphone button due to mischief or mistake, the user 100 speaks primarily for the voice generated by the voice recognition device 14 instead of the operator 200. Therefore, the operator 200 does not have to take unnecessary measures.

(6)他の実施の形態
上記説明してきた本実施の形態においては、音声認識装置14が生成した音声に対して利用者100が発話することにより、現地の状況を把握するために必要な情報を事前に取得するとしたが、必ずしもこれに限らず、例えば音声認識装置14に代えて又は併用してエレベータ装置11に操作パネルを取り付けて、操作パネルが現地の状況を把握するために必要な情報を取得するようにしてもよい。この場合、利用者100が聴覚障害者であっても必要な情報を事前に取得することができる。
(6) Other Embodiments In the present embodiment described above, information necessary for grasping the local situation when the user 100 speaks the voice generated by the voice recognition device 14. However, the present invention is not necessarily limited to this. For example, the operation panel is attached to the elevator device 11 in place of or in combination with the voice recognition device 14, and the information necessary for the operation panel to grasp the local situation. May be obtained. In this case, even if the user 100 is a hearing impaired person, necessary information can be acquired in advance.

1 遠隔監視システム
10 昇降機設備
11 エレベータ装置
12 制御装置
13 対話用出力装置
14 音声認識装置
20 管制センター
21 サーバ装置
23 現地対話データサーバ
231 対話データ
24 対話用処理装置
241 画面データ
100 利用者
200 オペレータ
DESCRIPTION OF SYMBOLS 1 Remote monitoring system 10 Elevator equipment 11 Elevator apparatus 12 Control apparatus 13 Dialogue output apparatus 14 Speech recognition apparatus 20 Control center 21 Server apparatus 23 Local dialog data server 231 Dialog data 24 Dialog processing apparatus 241 Screen data 100 User 200 Operator

Claims (5)

昇降機設備と管制センターとが接続して構成される遠隔監視システムにおいて、
前記昇降機設備は、エレベータ装置内に音声認識装置と、前記音声認識装置の動作を制御する制御装置と、を備え、
前記音声認識装置は、
前記エレベータ装置の利用者により外部連絡用のボタンが押下された場合、前記利用者と、前記管制センター内のオペレータとが通話可能な状態になる前に、
現地の状況を把握するための音声を生成して前記利用者に向けて出力し、
前記音声に対して前記利用者が発話した音声を入力して解析し、
前記解析した結果に基づいて、現地の状況を把握するために必要な情報を全て取得したか否かを判定し、全て取得したと判定した場合、取得した現地の状況を把握するために必要な情報を前記制御装置に送信し、
前記制御装置は、
前記現地の状況を把握するために必要な情報に基づいて、対話データを生成するとともに緊急度を判断し
記対話データ及び前記緊急度を前記管制センター内のサーバ装置に送信し、
前記管制センターは、前記サーバ装置内に対話用処理装置を備え、
前記対話用処理装置は、
前記対話データ及び前記緊急度に基づいて、前記現地の状況を把握するために必要な情報及び前記緊急度を前記オペレータに提示するための画面データを生成し、該画面データを前記オペレータが操作するオペレータ用端末に送信する
ことを特徴とする遠隔監視システム。
In the remote monitoring system configured by connecting the elevator equipment and the control center,
The elevator equipment includes a speech recognition device in an elevator device, and a control device that controls the operation of the speech recognition device.
The speech recognition device
When a button for external communication is pressed by the user of the elevator device, before the user and the operator in the control center are ready to talk,
Generate a voice to understand the local situation and output it to the user,
Input and analyze voice spoken by the user with respect to the voice,
Based on the result of the analysis, it is determined whether or not all information necessary for grasping the local situation has been acquired. If it is determined that all information has been acquired, it is necessary to grasp the acquired local situation. Sending information to the control device;
The controller is
Based on the information necessary to grasp the local situation, generate dialogue data and determine the urgency ,
To send before Symbol interactive data and the degree of urgency to the server device in the control center,
The control center includes a dialogue processing device in the server device,
The interactive processing device comprises:
The interaction data and based on the previous SL urgency information and pre Symbol urgency required to grasp the situation of the local generates screen data to be presented to the operator, the said screen data is the operator A remote monitoring system characterized by being transmitted to an operator terminal to be operated.
前記音声認識装置により生成される現地の状況を把握するための音声は、
前記利用者にけが人又は妊婦がいるか否か、前記利用者に気分の悪い人がいるか否か、前記エレベータ装置に電気が通じているか否か又は前記利用者は何人か、のうちの何れか又は全てについて前記利用者に答えさせる内容を含む
ことを特徴とする請求項1に記載の遠隔監視システム。
The voice for grasping the local situation generated by the voice recognition device is
Whether the user has an injured person or a pregnant woman, whether the user has a bad feeling, whether the elevator apparatus has electricity, or how many users, or The remote monitoring system according to claim 1, wherein the remote monitoring system includes content that causes the user to answer all questions.
前記制御装置は、
前記対話データを生成した後、該対話データに含まれる現地の状況を把握するために必要な情報ごとに緊急度の重み付けを行い、重み付けの合計に基づいて緊急度を判断する
ことを特徴とする請求項1に記載の遠隔監視システム。
The controller is
After generating the dialogue data, the urgency level is weighted for each piece of information necessary for grasping the local situation included in the dialogue data, and the urgency level is determined based on the total weighting. The remote monitoring system according to claim 1.
前記オペレータに提示するための画面データは、
記緊急度、前記昇降機設備の住所もしくは識別情報、前記昇降機設備を管理する管轄営業所又は前記対話データのうちの何れか又は全てを含む
ことを特徴とする請求項1に記載の遠隔監視システム。
Screen data to be presented to the operator is
Before SL urgency, the elevator installation address or identification information, the remote monitoring system according to claim 1, characterized in that it comprises any or all of the competent office or the interaction data to manage the elevator installation .
昇降機設備と管制センターとが接続して構成される遠隔監視システムの遠隔監視方法において、
前記昇降機設備は、エレベータ装置内に音声認識装置と、前記音声認識装置の動作を制御する制御装置と、を備え、
前記音声認識装置が、
前記エレベータ装置の利用者により外部連絡用のボタンが押下された場合、前記利用者と、前記管制センター内のオペレータとが通話可能な状態になる前に、
現地の状況を把握するための音声を生成して前記利用者に向けて出力し、
前記音声に対して前記利用者が発話した音声を入力して解析し、
前記解析した結果に基づいて、現地の状況を把握するために必要な情報を全て取得したか否かを判定し、全て取得したと判定した場合、取得した現地の状況を把握するために必要な情報を前記制御装置に送信する第1のステップと、
前記制御装置が、
前記現地の状況を把握するために必要な情報に基づいて、対話データを生成するとともに緊急度を判断し
記対話データ及び前記緊急度を前記管制センター内のサーバ装置に送信する第2のステップと、
前記管制センターは、前記サーバ装置内に対話用処理装置を備え、
前記対話用処理装置が、
前記対話データ及び前記緊急度に基づいて、前記現地の状況を把握するために必要な情報及び前記緊急度を前記オペレータに提示するための画面データを生成し、該画面データを前記オペレータが操作するオペレータ用端末に送信する第3のステップと
を備えることを特徴とする遠隔監視方法。
In the remote monitoring method of the remote monitoring system configured by connecting the elevator equipment and the control center,
The elevator equipment includes a speech recognition device in an elevator device, and a control device that controls the operation of the speech recognition device.
The speech recognition device
When a button for external communication is pressed by the user of the elevator device, before the user and the operator in the control center are ready to talk,
Generate a voice to understand the local situation and output it to the user,
Input and analyze voice spoken by the user with respect to the voice,
Based on the result of the analysis, it is determined whether or not all information necessary for grasping the local situation has been acquired. If it is determined that all information has been acquired, it is necessary to grasp the acquired local situation. A first step of transmitting information to the control device;
The control device is
Based on the information necessary to grasp the local situation, generate dialogue data and determine the urgency ,
A second step of transmitting a pre-Symbol interaction data and the urgency to the server device in the control center,
The control center includes a dialogue processing device in the server device,
The interactive processing device comprises:
The interaction data and based on the previous SL urgency information and pre Symbol urgency required to grasp the situation of the local generates screen data to be presented to the operator, the said screen data is the operator And a third step of transmitting to the operator terminal to be operated.
JP2014170676A 2014-08-25 2014-08-25 Remote monitoring system and remote monitoring method Active JP6339892B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014170676A JP6339892B2 (en) 2014-08-25 2014-08-25 Remote monitoring system and remote monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014170676A JP6339892B2 (en) 2014-08-25 2014-08-25 Remote monitoring system and remote monitoring method

Publications (2)

Publication Number Publication Date
JP2016044054A JP2016044054A (en) 2016-04-04
JP6339892B2 true JP6339892B2 (en) 2018-06-06

Family

ID=55634957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014170676A Active JP6339892B2 (en) 2014-08-25 2014-08-25 Remote monitoring system and remote monitoring method

Country Status (1)

Country Link
JP (1) JP6339892B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6492020B2 (en) * 2016-03-15 2019-03-27 株式会社日立ビルシステム Elevator control device and elevator control system
JP6670479B2 (en) * 2017-02-20 2020-03-25 フジテック株式会社 Power receiving system
JP6614506B2 (en) * 2017-03-15 2019-12-04 フジテック株式会社 Elevator power receiving system
JP2020066472A (en) * 2018-10-19 2020-04-30 株式会社日立ビルシステム Elevator and communication support method to support emergency communication for elevator
WO2020183668A1 (en) * 2019-03-13 2020-09-17 三菱電機ビルテクノサービス株式会社 Notification processing device for elevator and notification processing system for elevator
WO2020183669A1 (en) * 2019-03-13 2020-09-17 三菱電機ビルテクノサービス株式会社 Notification processing device for elevator and notification processing system for elevator

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152439A (en) * 2006-12-15 2008-07-03 Hitachi Building Systems Co Ltd Remote monitoring system
JP2008150139A (en) * 2006-12-15 2008-07-03 Toshiba Elevator Co Ltd Emergency informing device for elevator and elevator system

Also Published As

Publication number Publication date
JP2016044054A (en) 2016-04-04

Similar Documents

Publication Publication Date Title
JP6339892B2 (en) Remote monitoring system and remote monitoring method
US11462213B2 (en) Information processing apparatus, information processing method, and program
US10244111B1 (en) System for providing data to an interactive response system
JP2007004000A (en) Operator's operation support system for call center
US20170293730A1 (en) Remote controlled medical assistance device
JP2009159558A (en) Operator reception monitoring and switching system
US10255266B2 (en) Relay apparatus, display apparatus, and communication system
JP6069600B2 (en) Information and communication network system in emergency medicine
JP5869056B2 (en) Elevator system and elevator information output method
JP6452165B2 (en) Inquiry support device, system, method and program
JP2017001801A (en) Interactive elevator
KR20210120574A (en) Method and system for speech recognition using artificial intelligence
JP2014075701A (en) System for inspecting elevator emergency call device
CN113003349B (en) Method for rescuing and pacifying trapped people of elevator
JP2009145402A (en) Device operation switch
JP6605774B1 (en) Information processing system, information processing apparatus, information processing method, and computer program
JP2021177598A (en) Speech processing system, speech processing method, and speech processing program
CN213536914U (en) Emergency rescue system of elevator
JP6523974B2 (en) COMMUNICATION SUPPORT DEVICE, COMMUNICATION SUPPORT METHOD, AND PROGRAM
JP6480987B2 (en) Telephone automatic answering assistance system and program
US20200160833A1 (en) Information processor, information processing method, and program
JP6842227B1 (en) Group calling system, group calling method and program
JP2020086364A (en) Information presentation system, information presentation device, information presentation method, and computer program
JP7000547B1 (en) Programs, methods, information processing equipment, systems
JP7172299B2 (en) Information processing device, information processing method, program and information processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180511

R150 Certificate of patent or registration of utility model

Ref document number: 6339892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150