JP6494828B1 - Management device, management method and management program - Google Patents

Management device, management method and management program Download PDF

Info

Publication number
JP6494828B1
JP6494828B1 JP2018040767A JP2018040767A JP6494828B1 JP 6494828 B1 JP6494828 B1 JP 6494828B1 JP 2018040767 A JP2018040767 A JP 2018040767A JP 2018040767 A JP2018040767 A JP 2018040767A JP 6494828 B1 JP6494828 B1 JP 6494828B1
Authority
JP
Japan
Prior art keywords
user
identification
unit
voice
estimation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018040767A
Other languages
Japanese (ja)
Other versions
JP2019159378A (en
Inventor
奈翁美 笹谷
奈翁美 笹谷
山下 達雄
達雄 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2018040767A priority Critical patent/JP6494828B1/en
Application granted granted Critical
Publication of JP6494828B1 publication Critical patent/JP6494828B1/en
Publication of JP2019159378A publication Critical patent/JP2019159378A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】容易にユーザを識別して音声による注文を受け付けることができる管理装置、管理方法および管理プログラムを提供する。【解決手段】本願に係る管理装置1は、受付部12aと、識別部12bと、特定部12dとを備える。受付部12aは、ユーザによる音声の入力を受け付ける。識別部12bは、受付部12aにより受け付けられた音声を用いてユーザを識別する。特定部12dは、受付部12aにより受け付けられた音声を用いて注文内容を特定する。【選択図】図2A management apparatus, management method and management program capable of easily identifying a user and receiving an order by voice are provided. A management apparatus 1 according to the present invention includes a reception unit 12a, an identification unit 12b, and a specification unit 12d. The receiving unit 12a receives an input of voice by the user. The identification unit 12 b identifies the user using the voice accepted by the acceptance unit 12 a. The identifying unit 12d identifies the order content using the voice accepted by the accepting unit 12a. [Selected figure] Figure 2

Description

本発明は、管理装置、管理方法および管理プログラムに関する。   The present invention relates to a management apparatus, a management method, and a management program.

従来、ユーザの注文を音声認識により受け付ける技術が知られている。例えば、食堂における料理の注文やカタログに掲載されている商品の注文を音声により受け付けて、音声認識により料理や商品を特定して注文情報として取り込む技術が知られている。   2. Description of the Related Art Conventionally, techniques for receiving user's orders by voice recognition are known. For example, there is known a technology for receiving by voice the order of food in a cafeteria or an order for a product listed in a catalog, and identifying the food or product by voice recognition and capturing it as order information.

特開2013−054442号公報Unexamined-Japanese-Patent No. 2013-054442 特開2014−191600号公報JP, 2014-191600, A

しかしながら、従来技術では、音声で料理や商品の注文を受け付ける際に、注文したユーザを識別していなかった。そのため、例えば、音声で受け付けた同一のユーザによる日時の異なる複数回の注文をユーザ毎に集計して後に精算することができなかった。   However, in the prior art, when receiving a food or product order by voice, the user who made the order is not identified. Therefore, for example, a plurality of orders with different dates and times by the same user accepted by voice can not be totaled for each user and settled later.

本願は、上記に鑑みてなされたものであって、容易にユーザを識別して音声による注文を受け付けることができる管理装置、管理方法および管理プログラムを提供することを目的とする。   This application is made in view of the above, and an object of the present application is to provide a management device, a management method, and a management program capable of easily identifying a user and receiving an order by voice.

本願に係る管理装置は、ユーザの音声の入力を受け付ける受付部と、前記受付部により受け付けられた前記音声を用いて前記ユーザを識別する識別部と、前記受付部により受け付けられた前記音声を用いて前記ユーザの注文内容を特定する特定部と、を備えることを特徴とする。   A management apparatus according to the present application uses a reception unit that receives an input of a user's voice, an identification unit that identifies the user using the voice received by the reception unit, and the voice received by the reception unit. And an identifying unit for identifying the contents of the user's order.

実施形態の一態様によれば、容易にユーザを識別して音声による注文を受け付けることができるという効果を奏する。   According to one aspect of the embodiment, it is possible to easily identify the user and receive an order by voice.

図1は、実施形態に係る管理処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of management processing according to the embodiment. 図2は、実施形態に係る管理装置の構成例を示す図である。FIG. 2 is a diagram showing an example of the configuration of a management apparatus according to the embodiment. 図3は、実施形態に係る識別モデルの一例を示す図である。FIG. 3 is a diagram illustrating an example of the identification model according to the embodiment. 図4は、実施形態に係る特定モデルの一例を示す図である。FIG. 4 is a diagram illustrating an example of a specific model according to the embodiment. 図5は、実施形態に係る精算情報の一例を示す図である。FIG. 5 is a diagram showing an example of the settlement information according to the embodiment. 図6は、実施形態に係る管理装置が実行する管理処理手順を示すフローチャートである。FIG. 6 is a flowchart showing a management processing procedure executed by the management device according to the embodiment. 図7は、他の実施形態に係る管理装置が実行する管理処理手順を示すフローチャートである。FIG. 7 is a flowchart showing a management processing procedure executed by a management apparatus according to another embodiment. 図8は、実施形態に係る管理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 8 is a hardware configuration diagram showing an example of a computer that implements the function of the management apparatus according to the embodiment.

以下に、本願に係る管理装置、管理方法および管理プログラムを実施するための形態(以下、「実施形態」と記載する)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る管理装置、管理方法および管理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。   Hereinafter, a management apparatus, a management method, and a mode for implementing a management program according to the present application (hereinafter, referred to as “embodiment”) will be described in detail with reference to the drawings. Note that the management apparatus, management method, and management program according to the present application are not limited by this embodiment. Moreover, the same code | symbol is attached | subjected to the same site | part in the following each embodiment, and the overlapping description is abbreviate | omitted.

(実施形態)
〔1.管理処理〕
まず、図1を用いて、実施形態に係る管理処理の一例について説明する。図1は、実施形態に係る管理処理の一例を示す図である。図1に示すように、実施形態に係る管理装置によって、メニュー名や数量等の注文内容を示すユーザの音声を用いて、ユーザを識別して注文内容を受け付ける管理処理が行われる。
(Embodiment)
[1. Management processing]
First, an example of a management process according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of management processing according to the embodiment. As shown in FIG. 1, the management apparatus according to the embodiment performs management processing for identifying the user and receiving the order content using the voice of the user indicating the order content such as the menu name and the quantity.

図1には、注文内容がメニュー名「カレーライス」である場合が例示されている。図1に示すように、ユーザが、管理装置に備わるマイクを用いてメニュー名「カレーライス」を発声すると(ステップS1)、管理装置は、例えば声紋等を用いてユーザを識別する。   FIG. 1 exemplifies the case where the order content is the menu name “curry rice”. As shown in FIG. 1, when the user utters the menu name "curry rice" using a microphone provided in the management apparatus (step S1), the management apparatus identifies the user using, for example, a voiceprint or the like.

次に、管理装置は、ユーザの発声したメニュー名「カレーライス」を音声認識することにより、メニュー名を特定する。そして、管理装置は、特定されたメニュー名を用いて注文を確定する。このように、管理装置は、ユーザが注文内容を発声するだけで、容易にユーザを識別して注文を受け付ける。   Next, the management device specifies the menu name by speech recognition of the menu name "curry rice" uttered by the user. Then, the management apparatus confirms the order using the specified menu name. Thus, the management apparatus can easily identify the user and accept the order only by the user uttering the contents of the order.

また、管理装置は、受け付けた注文の日時、メニュー名を、ユーザの識別情報であるユーザID(IDentification)と対応付けて精算情報13eを生成し、記憶部に蓄積する。管理装置は、ユーザIDごとに精算情報13eを集計し、ユーザの注文内容に応じた代金を口座引き落としやクレジットカード払い等の所定の精算方法で精算する。このように、管理装置は、音声で受け付けた同一のユーザによる日時の異なる複数回の注文をユーザ毎に集計して後に精算する。   Further, the management apparatus associates the date and time of the received order and the menu name with the user ID (IDentification) which is identification information of the user, generates the adjustment information 13e, and stores the information in the storage unit. The management apparatus counts the settlement information 13e for each user ID, and settles the price according to the contents of the user's order by a predetermined settlement method such as account withdrawal or credit card payment. As described above, the management apparatus adds up a plurality of orders of different dates and times by the same user accepted by voice, and settles them after each user.

なお、管理装置には、予めユーザの声紋等の生体情報の特徴を表す識別モデルが、ユーザIDと対応付けされて記憶部に記憶されている。管理装置は、ユーザ識別結果を音声あるいはGUI(Graphical User Interface)等でユーザに確認し、ユーザの応答結果を用いて識別モデルの学習データ(識別用学習データ)を生成し、記憶部に蓄積する。そして、管理装置は、生成した識別用学習データを用いて、識別モデルを学習する。   In the management apparatus, an identification model representing a feature of biological information such as a voiceprint of a user is stored in the storage unit in association with a user ID. The management apparatus confirms the user identification result to the user by voice or GUI (Graphical User Interface) or the like, generates learning data (identification learning data) of the identification model using the user's response result, and stores it in the storage unit . Then, the management device learns the identification model using the generated identification learning data.

また、管理装置には、予めメニュー名を音声認識により特定するための特定モデルが記憶部に記憶されている。管理装置は、メニュー名の特定結果を音声あるいはGUI等でユーザに確認し、ユーザの応答結果を用いて特定モデルの学習データ(特定用学習データ)を生成し、記憶部に蓄積する。そして、管理装置は、生成した特定用学習データを用いて、特定モデルを学習する。   Further, in the management device, a specific model for specifying a menu name by voice recognition is stored in advance in a storage unit. The management apparatus confirms the identification result of the menu name to the user by voice or GUI, and generates the learning data (the identification data for identification) of the specific model using the response result of the user, and stores it in the storage unit. Then, the management device learns a specific model using the generated specific learning data.

〔2.管理装置の構成〕
次に、図2を用いて、上記の管理装置1について説明する。図2は、実施形態に係る管理装置1の構成例を示す図である。図2に示すように、管理装置1は、入出力部11と、制御部12と、記憶部13とを備える。
[2. Configuration of Management Device]
Next, the management apparatus 1 will be described with reference to FIG. FIG. 2 is a view showing a configuration example of the management device 1 according to the embodiment. As shown in FIG. 2, the management device 1 includes an input / output unit 11, a control unit 12, and a storage unit 13.

(入出力部11について)
入出力部11は、マイク、カメラ、指紋センサ、キーボード、またはマウス等の入力装置、ディスプレイやプリンタ等の出力装置等で実現される。入出力部11には、例えば、ユーザの音声、顔画像、虹彩、あるいは指紋等が入力される。
(About the input / output unit 11)
The input / output unit 11 is realized by an input device such as a microphone, a camera, a fingerprint sensor, a keyboard, or a mouse, and an output device such as a display or a printer. For example, the user's voice, face image, iris, fingerprint or the like is input to the input / output unit 11.

なお、管理装置1は、NIC(Network Interface Card)等によって実現される通信部を備え、マイクやカメラ、ディスプレイ等を備えたユーザが使用する端末装置との間で通信部を介して情報の送受信を行ってもよい。   The management apparatus 1 includes a communication unit realized by an NIC (Network Interface Card) or the like, and transmits / receives information to / from a terminal device used by a user having a microphone, a camera, a display, etc. via the communication unit. You may

(記憶部13について)
記憶部13は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図2に示すように、記憶部13は、識別モデル13aおよび特定モデル13bを記憶する。また、記憶部13は、後述する管理処理により生成される識別用学習データ13c、特定用学習データ13d、および精算情報13eを記憶する。
(About storage unit 13)
The storage unit 13 is realized by, for example, a semiconductor memory device such as a random access memory (RAM) or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 2, the storage unit 13 stores the identification model 13 a and the specific model 13 b. The storage unit 13 also stores identification learning data 13c, identification learning data 13d, and settlement information 13e generated by management processing described later.

(識別モデル13aについて)
識別モデル13aは、ユーザの声紋等の生体情報の特徴を表すモデルであり、予めユーザIDと対応付けて予め記憶部13に記憶されている。後述する管理処理において、ユーザの音声と識別モデル13aとを用いて、ユーザが識別される。なお、ユーザの生体情報は、声紋に限定されず、例えば、顔画像、虹彩あるいは指紋等でもよい。
(About the identification model 13a)
The identification model 13a is a model that represents a feature of biological information such as a voiceprint of the user, and is stored in advance in the storage unit 13 in association with the user ID. In the management process described later, the user is identified using the voice of the user and the identification model 13a. The biometric information of the user is not limited to the voiceprint, and may be, for example, a face image, an iris or a fingerprint.

図3は、識別モデル13aの一例を示す図である。図3には、ユーザの生体情報が声紋である場合が例示されている。この場合の識別モデル13aは、図3に示すように、声紋情報とユーザを識別するユーザIDとが対応付けされたものである。言い換えれば、識別モデル13aは、声紋情報に、教師ラベルとして、ユーザIDのタグが付与されたものである。   FIG. 3 is a diagram showing an example of the identification model 13a. FIG. 3 exemplifies the case where the biometric information of the user is a voiceprint. As shown in FIG. 3, the identification model 13a in this case is one in which voiceprint information is associated with a user ID for identifying a user. In other words, the identification model 13a is the voiceprint information to which the tag of the user ID is added as the teacher label.

(特定モデル13bについて)
特定モデル13bは、注文内容を音声認識により特定するためのモデルであり、予め記憶部13に記憶されている。後述する管理処理において、ユーザの音声と特定モデル13bとを用いて、注文内容が特定される。
(About the specific model 13b)
The specific model 13 b is a model for specifying the order content by voice recognition, and is stored in advance in the storage unit 13. In the management process described later, the order content is specified using the voice of the user and the specific model 13b.

図4は、特定モデル13bの一例を示す図である。図4には、注文内容がメニュー名である場合が例示されている。この場合の特定モデル13bは、図4に示すように、音声データに、教師ラベルとして、「りんご」等のメニュー名のタグが付与されたものである。   FIG. 4 is a diagram showing an example of the specific model 13 b. FIG. 4 exemplifies the case where the order content is a menu name. In the specific model 13b in this case, as shown in FIG. 4, a tag of a menu name such as "apple" is attached to voice data as a teacher label.

(識別用学習データ13cについて)
識別用学習データ13cは、識別モデル13aの生成のための学習データであり、後述する管理処理において、識別部12bによる識別結果に対する正解または不正解を示す、ユーザの識別結果の確認に対するユーザの応答結果を用いて生成される。この識別用学習データ13cを用いて識別モデル13aが生成され、識別モデル13aが更新される。
(About identification learning data 13c)
The identification learning data 13c is learning data for generating the identification model 13a, and the user responds to the confirmation of the user identification result indicating the correct or incorrect answer to the identification result by the identification unit 12b in the management process described later. It is generated using the result. The identification model 13a is generated using the identification learning data 13c, and the identification model 13a is updated.

(特定用学習データ13dについて)
特定用学習データ13dは、特定モデル13bの生成のための学習データであり、後述する管理処理において、特定部12dによる特定結果に対する正解または不正解を示す、注文内容の特定結果の確認に対するユーザの応答結果を用いて生成される。この特定用学習データ13dを用いて特定モデル13bが生成され、特定モデル13bが更新される。
(About the specific learning data 13d)
The identification learning data 13d is learning data for generating the specific model 13b, and in the management process described later, the user's confirmation of the identification result of the order content, which indicates the correct or incorrect answer to the identification result by the identification unit 12d. It is generated using the response result. The specific model 13b is generated using the identification learning data 13d, and the specific model 13b is updated.

(精算情報13eについて)
精算情報13eは、後述する管理処理において、識別されたユーザのユーザIDと特定された注文内容とを対応付けて生成される情報である。図5は、実施形態に係る精算情報13eの一例を示す図である。図5に示すように、精算情報13eは、「ユーザID」、「日時」、「メニュー」等が互いに対応付けられた情報である。図5には、注文内容がメニュー名である場合が例示されている。注文内容には、メニュー名の他に、例えば、「一皿」「大盛」等の数量を表す情報が含まれてもよい。
(About settlement information 13e)
The settlement information 13 e is information generated in association with the identified user content of the identified user and the identified order content in the management process described later. FIG. 5 is a diagram showing an example of the adjustment information 13e according to the embodiment. As shown in FIG. 5, the settlement information 13 e is information in which “user ID”, “date and time”, “menu” and the like are associated with one another. FIG. 5 exemplifies the case where the order content is a menu name. The order content may include, in addition to the menu name, for example, information representing a quantity such as "one plate" or "large size".

「ユーザID」は、氏名や会員番号等のユーザを識別するユーザ識別情報である。「日時」は、精算情報13eが生成された日時を示す。「メニュー名」は、例えば、食堂等におけるメニュー名を示す。図1に示した例においては、図5に示すように、ユーザID「Aさん」、日時「○月×日△時□分」、メニュー名「カレーライス」とした精算情報13eが生成され、記憶部13に蓄積される。   The “user ID” is user identification information that identifies the user, such as the name and membership number. "Date" indicates the date when the settlement information 13e was generated. The “menu name” indicates, for example, a menu name in a cafeteria or the like. In the example shown in FIG. 1, as shown in FIG. 5, the settlement information 13e with the user ID "A", the date and time "o month x day Δ hour square minute", and the menu name "curry rice" is generated. It is stored in the storage unit 13.

(制御部12について)
図2の説明に戻る。制御部12は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、管理装置1内部の記憶装置に記憶されている各種プログラム(管理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部12は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
(About the control unit 12)
It returns to the explanation of FIG. The control unit 12 is a controller, and for example, various programs (an example of a management program stored in a storage device in the management apparatus 1 by a central processing unit (CPU), a micro processing unit (MPU), etc. (Equivalent) is realized by executing the RAM as a work area. Further, the control unit 12 is realized by, for example, an integrated circuit such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).

図2に示すように、制御部12は、受付部12a、識別部12b、識別学習部12c、特定部12d、特定学習部12eおよび精算部12fを有し、以下に説明する管理処理の機能や作用を実現または実行する。   As shown in FIG. 2, the control unit 12 includes a reception unit 12a, an identification unit 12b, an identification learning unit 12c, an identification unit 12d, an identification learning unit 12e and a settlement unit 12f, and functions of management processing described below Realize or carry out the action.

(受付部12aについて)
受付部12aは、ユーザによる音声の入力を受け付ける。具体的には、受付部12aは、マイクから入力されるユーザの音声を、入出力部11を介して受け付ける。また、受付部12aは、カメラで撮影されたユーザの顔画像または虹彩、あるいは指紋センサで取得されたユーザの指紋等の入力を受け付けてもよい。
(About reception part 12a)
The receiving unit 12a receives an input of voice by the user. Specifically, the reception unit 12 a receives the voice of the user input from the microphone via the input / output unit 11. Further, the reception unit 12a may receive an input such as a face image or iris of a user photographed by a camera, or a fingerprint of the user acquired by a fingerprint sensor.

(識別部12bについて)
識別部12bは、受付部12aにより受け付けられた音声を用いてユーザを識別する。具体的には、識別部12bは、受付部12aにより受け付けられた、注文内容を示す音声と、ユーザの声紋等の特徴を表す識別モデル13aとを用いて、ユーザを識別する。
(About the identification unit 12b)
The identification unit 12 b identifies the user using the voice accepted by the acceptance unit 12 a. Specifically, the identification unit 12 b identifies the user using the voice indicating the order content received by the reception unit 12 a and the identification model 13 a indicating a feature such as a voiceprint of the user.

ここで、識別部12bは、任意の言葉を発声する音声から声紋等の特徴を抽出し、抽出した声紋情報を識別モデル13aと対比させて、ユーザIDを特定することにより、ユーザを識別する。   Here, the identification unit 12b extracts a feature such as a voiceprint from speech uttering an arbitrary word, compares the extracted voiceprint information with the identification model 13a, and identifies the user by specifying the user ID.

あるいは、識別部12bは、ユーザによる所定の用語を用いてユーザを識別してもよい。例えば、注文内容以外の「お願いします」等の全ユーザに共通な所定の用語の発声によって、ユーザを識別するようにしてもよい。その場合には、受付部12aが、所定の用語を示す音声の入力を受け付ける。また、この場合の識別モデル13aは、所定の用語の音声データとユーザIDとを対応付けたものである。識別部12bは、受け付けた音声データと識別モデル13aとを対比させて、ユーザIDを特定することにより、ユーザを識別する。   Alternatively, the identification unit 12b may identify the user using a predetermined term by the user. For example, the user may be identified by the utterance of a predetermined term common to all users, such as "Please" other than the order content. In that case, the receiving unit 12a receives an input of voice indicating a predetermined term. In addition, the identification model 13a in this case corresponds to voice data of a predetermined term and a user ID. The identification unit 12 b identifies the user by identifying the user ID by comparing the received voice data with the identification model 13 a.

また、上記したとおり、識別モデル13aが表すユーザの生体情報は、声紋に限定されず、顔画像、虹彩または指紋等でもよい。その場合には、例えば、ユーザが注文内容を発声する際に、カメラで撮影された顔画像または虹彩、あるいは指紋センサで取得された指紋等を、入出力部11を介して受付部12aが受け付けることにより実現される。   Further, as described above, the biometric information of the user represented by the identification model 13a is not limited to the voiceprint, and may be a face image, an iris, a fingerprint, or the like. In that case, for example, when the user utters the order content, the reception unit 12a receives, via the input / output unit 11, the face image or iris photographed by the camera, the fingerprint acquired by the fingerprint sensor, etc. Is realized by

識別部12bは、識別結果をユーザに確認し、応答を受け付ける。例えば、「あなたはAさんですか?」等の識別結果を確認するメッセージを入出力部11に出力し、「はい」「いいえ」のいずれかの応答を、入出力部11を介して受け付ける。例えば、識別部12bは、タッチパネル式のディスプレイに識別結果の確認のメッセージを表示して、「はい」「いいえ」のいずれかを選択するユーザの操作入力を受け付ける。音声により識別結果の確認のメッセージを出力したり、ユーザの「はい」「いいえ」のいずれかの音声による応答の入力を受け付けたりしてもよい。   The identification unit 12b confirms the identification result to the user, and receives a response. For example, a message confirming the identification result such as “Are you A?” Is output to the input / output unit 11, and a response “Yes” or “No” is accepted via the input / output unit 11. For example, the identification unit 12 b displays a message of confirmation of the identification result on the touch panel display, and receives an operation input of a user who selects one of “Yes” and “No”. A message of confirmation of the identification result may be output by voice, or the user may receive an input of a voice response of either “Yes” or “No”.

なお、識別結果が間違っていた場合には、正解になるまで、ユーザを識別する処理が繰り返される。ここで、正解とは、識別結果が正しく、例えば、ユーザから「はい」を示す応答が得られた場合を意味する。これに対し、識別結果が間違っており、例えば、ユーザから「いいえ」を示す応答が得られた場合は不正解である。また、識別結果の確認は、例えば、識別の精度が所定の閾値より低い場合に実行されるようにしてもよい。   If the identification result is incorrect, the process of identifying the user is repeated until the correct answer is obtained. Here, the correct answer means that the identification result is correct, for example, a response indicating “Yes” is obtained from the user. On the other hand, if the identification result is incorrect, for example, a response indicating “No” is obtained from the user, it is incorrect. Further, the confirmation of the identification result may be performed, for example, when the accuracy of the identification is lower than a predetermined threshold.

また、識別部12bは、受付部12aにより受け付けられた音声と、ユーザの応答結果とを用いて、識別用学習データ13cを生成し、記憶部13に蓄積する。識別用学習データ13cは、正解の教師データあるいは不正解の教師データのいずれでもよい。   Further, the identification unit 12 b generates identification learning data 13 c using the voice accepted by the acceptance unit 12 a and the user's response result, and stores the identification learning data 13 c in the storage unit 13. The identification learning data 13c may be either correct teacher data or incorrect teacher data.

また、ユーザの識別については、声紋により行った場合には顔認証等、ユーザ識別に用いた生体情報以外の情報を用いた第2の方式との組み合わせ認証を用いて識別を行うことが望ましい。例えば、声紋による識別の成功率は約80%であるのに対し、組み合わせ認証による識別では、成功率が向上する。あるいは、事後にメールで事実確認を行う等の訂正機構があることが望ましい。   Further, as for identification of the user, it is desirable that identification is performed using combination authentication with a second method using information other than the biometric information used for user identification such as face authentication when voice print is performed. For example, the success rate of identification by voiceprint is about 80%, while the identification by combination authentication improves the success rate. Alternatively, it is desirable that there is a correction mechanism such as confirmation of facts by e-mail afterward.

(識別学習部12cについて)
識別学習部12cは、識別部12bによる識別結果に対する正解または不正解を示す識別用学習データ13cを用いて、受付部12aにより受け付けられた音声を用いてユーザを識別するための識別モデル13aを生成する。具体的には、識別学習部12cは、識別用学習データ13cを用いて学習を行い、記憶部13の識別モデル13aを更新する。その場合に、識別部12bは、受付部12aにより受け付けられた音声と学習により更新された識別モデル13aとを用いて、ユーザを識別する。
(About the identification learning unit 12c)
The identification learning unit 12c generates an identification model 13a for identifying the user using the voice accepted by the accepting unit 12a, using the identification learning data 13c indicating the correct or incorrect answer to the identification result by the identifying unit 12b. Do. Specifically, the identification learning unit 12c performs learning using the identification learning data 13c, and updates the identification model 13a of the storage unit 13. In that case, the identification unit 12b identifies the user using the speech accepted by the acceptance unit 12a and the identification model 13a updated by learning.

(特定部12dについて)
特定部12dは、受付部12aにより受け付けられた音声を用いて注文内容を特定する。具体的には、識別部12bは、受付部12aにより受け付けられた音声と特定モデル13bとを用いて、注文内容を特定する。注文内容は、上記のとおり、例えば、メニュー名である。注文内容には、メニュー名の他に、例えば、「一皿」「大盛」等の数量を表す所定の情報が含まれてもよい。
(About the identification unit 12d)
The identifying unit 12d identifies the order content using the voice accepted by the accepting unit 12a. Specifically, the identification unit 12 b identifies the order content using the voice accepted by the acceptance unit 12 a and the specific model 13 b. The order content is, for example, a menu name as described above. The order content may include, in addition to the menu name, for example, predetermined information representing a quantity such as “one plate” or “large plate”.

特定部12dは、特定結果をユーザに確認し、応答を受け付ける。例えば、「カレーライスですか?」等の特定結果を確認するメッセージを入出力部11に出力し、「はい」「いいえ」のいずれかの応答を、入出力部11を介して受け付ける。例えば、特定部12dは、タッチパネル式のディスプレイに特定結果の確認のメッセージを表示して、「はい」「いいえ」のいずれかを選択するユーザの操作入力を受け付ける。音声により特定結果の確認のメッセージを出力したり、ユーザの「はい」「いいえ」のいずれかの音声による応答の入力を受け付けたりしてもよい。   The identification unit 12 d confirms the identification result to the user, and receives a response. For example, a message confirming the specific result such as "is curry rice?" Is output to the input / output unit 11, and a response of either "Yes" or "No" is accepted via the input / output unit 11. For example, the identifying unit 12 d displays a message of confirmation of the identification result on the touch panel display, and receives an operation input of a user who selects one of “Yes” and “No”. A message of confirmation of the specific result may be output by voice, or the user may receive an input of a voice response of either “Yes” or “No”.

なお、特定結果が間違っていた場合には、正解になるまで、注文内容を特定する処理が繰り返される。ここで、正解とは、特定結果が正しく、例えば、ユーザから「はい」を示す応答が得られた場合を意味する。これに対し、特定結果が間違っており、例えば、ユーザから「いいえ」を示す応答が得られた場合は不正解である。また、特定結果の確認は、例えば、特定の精度が所定の閾値より低い場合に実行されるようにしてもよい。   If the specified result is incorrect, the process of specifying the order content is repeated until the correct result is obtained. Here, the correct answer means that the specific result is correct, for example, a response indicating “Yes” is obtained from the user. On the other hand, if the specific result is incorrect and, for example, a response indicating "No" is obtained from the user, it is incorrect. Further, the confirmation of the identification result may be performed, for example, when the identification accuracy is lower than a predetermined threshold.

また、特定部12dは、受付部12aにより受け付けられた音声と、ユーザの応答結果とを用いて、特定用学習データ13dを生成し、記憶部13に蓄積する。特定用学習データ13dは、正解の教師データあるいは不正解の教師データのいずれでもよい。   Further, the identification unit 12 d generates the identification learning data 13 d using the voice accepted by the acceptance unit 12 a and the response result of the user, and stores the same in the storage unit 13. The identification learning data 13 d may be either correct teacher data or incorrect teacher data.

(特定学習部12eについて)
特定学習部12eは、特定部12dによる特定結果に対する正解または不正解を示す特定用学習データ13dを用いて、受付部12aにより受け付けられた音声を用いて注文内容を特定するための特定モデル13bを生成する。具体的には、特定学習部12eは、特定用学習データ13dを用いて学習を行い、記憶部13の特定モデル13bを更新する。その場合に、特定部12dは、受付部12aにより受け付けられた音声と学習により更新された特定モデル13bとを用いて、注文内容を特定する。
(About the specific learning unit 12e)
The specific learning unit 12e uses the identification learning data 13d indicating the correct or incorrect answer to the identification result by the identification unit 12d, and uses the voice accepted by the accepting unit 12a to identify the specific model 13b for identifying the order content. Generate Specifically, the specific learning unit 12 e performs learning using the specific learning data 13 d and updates the specific model 13 b of the storage unit 13. In that case, the specifying unit 12d specifies the order content using the voice received by the receiving unit 12a and the specific model 13b updated by learning.

(精算部12fについて)
精算部12fは、識別部12bにより識別されたユーザの識別情報と、特定部12dにより特定された注文内容とを対応付けした精算情報13eを用いて、注文内容に応じた代金を精算する。具体的には、精算部12fは、識別部12bにより識別されたユーザのユーザIDと、特定部12dにより特定された注文内容とを対応付けして精算情報13eを生成し、記憶部13に蓄積する。
(Regarding the settlement unit 12f)
The settlement unit 12f uses the settlement information 13e in which the identification information of the user identified by the identification unit 12b is associated with the order content identified by the identification unit 12d, and settles the price according to the order content. Specifically, the settlement unit 12 f associates the user ID of the user identified by the identification unit 12 b with the order content identified by the identification unit 12 d to generate the adjustment information 13 e, and stores the information in the storage unit 13. Do.

また、精算部12fは、ユーザの退店時あるいは月末等の所定のタイミングで、蓄積された精算情報13eをユーザIDごとに集計し、ユーザの注文内容に応じた代金を算出する。そして、精算部12fは、ユーザとの間で予め取り決められた口座引き落としやクレジットカード払い等の所定の精算方法により、算出した各ユーザの代金の精算を行う。これにより、音声で受け付けた同一のユーザによる日時の異なる複数回の注文をユーザ毎に集計して後に精算することが可能となる。   Further, the settlement unit 12f aggregates the accumulated settlement information 13e for each user ID at a predetermined timing such as when the user leaves the store or at the end of the month, and calculates the price according to the contents of the user's order. Then, the settlement unit 12f performs settlement of the calculated charges for each user according to a predetermined settlement method such as account debiting and credit card payment, which are pre-arranged with the user. As a result, it becomes possible to count up a plurality of orders with different dates and times by the same user accepted by voice and to settle them later for each user.

〔3.処理手順〕
次に、図6を用いて、実施形態に係る管理装置1が実行する処理手順について説明する。図6は、実施形態に係る管理装置1が実行する管理処理手順を示すフローチャートである。
[3. Processing procedure]
Next, processing procedures executed by the management device 1 according to the embodiment will be described with reference to FIG. FIG. 6 is a flowchart showing a management processing procedure executed by the management device 1 according to the embodiment.

図6に示すように、管理装置1において、受付部12aは、ユーザが、食堂等に設置されているマイクに向かって注文内容を発声するまで待機する(ステップS1,No)。受付部12aがユーザの音声の入力を受け付けると(ステップS1,Yes)、識別部12bが、受付部12aにより受け付けられた音声の声紋等を用いて、ユーザを識別する(ステップS2)。また、識別部12bは、識別結果を確認するメッセージをユーザに出力し(ステップS3)、応答を受け付ける(ステップS4)。また、識別部12bは、ユーザの応答結果を用いて、識別用学習データ13cを生成し、記憶部13に蓄積する(ステップS5)。   As shown in FIG. 6, in the management device 1, the reception unit 12a stands by until the user speaks the order contents toward the microphone installed in the cafeteria or the like (Step S1, No). When the receiving unit 12a receives an input of the user's voice (Step S1, Yes), the identifying unit 12b identifies the user using the voiceprint of the voice received by the receiving unit 12a (Step S2). Further, the identification unit 12b outputs a message for confirming the identification result to the user (step S3), and receives a response (step S4). Further, the identification unit 12 b generates identification learning data 13 c using the user's response result, and stores the identification learning data 13 c in the storage unit 13 (step S 5).

ユーザの識別結果が正解であった場合に、特定部12dが、ユーザの発声した注文内容を音声認識により特定する(ステップS6)。また、特定部12dは、特定結果を確認するメッセージをユーザに出力し(ステップS7)、応答を受け付ける(ステップS8)。また、特定部12dは、ユーザの応答結果を用いて、特定用学習データ13dを生成し、記憶部13に蓄積する(ステップS9)。   If the identification result of the user is correct, the identification unit 12d identifies the order content uttered by the user by voice recognition (step S6). Further, the identifying unit 12d outputs a message for confirming the identification result to the user (step S7), and receives a response (step S8). Further, the identification unit 12d generates identification learning data 13d using the user's response result, and stores the identification learning data 13d in the storage unit 13 (step S9).

ユーザの識別結果および注文内容の特定結果が正解であった場合に(ステップS10,Yes)、特定部12dは、ステップS11に処理を進める。一方、ユーザの識別結果、注文内容の特定結果のいずれかが不正解で、双方がともに正解ではなかった場合には(ステップS10,No)、特定部12dは、ステップS1に処理を戻す。   If the identification result of the user and the identification result of the order content are correct (step S10, Yes), the identifying unit 12d advances the process to step S11. On the other hand, when either of the user identification result and the specification result of the order content is incorrect and both are not correct (step S10, No), the identifying unit 12d returns the process to step S1.

ステップS11の処理では、精算部12fが、識別部12bにより識別されたユーザのユーザIDと、特定部12dにより特定された注文内容とを対応付けして精算情報13eを生成し、記憶部13に蓄積する(ステップS11)。また、精算部12fは、所定のタイミングで、蓄積された精算情報13eをユーザIDごとに集計し、ユーザの注文内容に応じた代金を算出する。そして、精算部12fは、ユーザとの間で予め取り決められた所定の精算方法により、算出した各ユーザの代金の精算を行う(ステップS12)。これにより、一連の管理処理が終了する。   In the process of step S11, the settlement unit 12f associates the user ID of the user identified by the identification unit 12b with the order content identified by the identification unit 12d to generate the adjustment information 13e, and the storage unit 13 It accumulates (step S11). Further, the settlement unit 12f aggregates the accumulated settlement information 13e for each user ID at a predetermined timing, and calculates a payment according to the content of the user's order. Then, the settlement unit 12f settles the calculated payment for each user according to a predetermined settlement method previously determined with the user (step S12). Thus, the series of management processing ends.

なお、ユーザの識別結果が間違っていた場合には、識別部12bは、正解になるまで、ユーザを識別する処理を繰り返す。また、識別結果の確認は、例えば、識別の精度が所定の閾値より低い場合に実行されるようにしてもよい。   If the identification result of the user is incorrect, the identification unit 12b repeats the process of identifying the user until the correct answer is obtained. Further, the confirmation of the identification result may be performed, for example, when the accuracy of the identification is lower than a predetermined threshold.

また、所定のタイミングで、識別学習部12cが、蓄積された識別用学習データ13cを用いて学習を行い、記憶部13の識別モデル13aを更新する。識別部12bは、それ以降の処理において、更新された識別モデル13aを用いてユーザを識別する。   Further, at a predetermined timing, the identification learning unit 12c performs learning using the stored identification learning data 13c, and updates the identification model 13a of the storage unit 13. The identification unit 12 b identifies the user using the updated identification model 13 a in the subsequent processing.

また、注文内容の特定結果が間違っていた場合には、特定部12dは、正解になるまで、注文内容を特定する処理を繰り返す。特定結果の確認は、例えば、特定の精度が所定の閾値より低い場合に実行されるようにしてもよい。   If the specification result of the order content is incorrect, the specification unit 12d repeats the process of specifying the order content until the correct result is obtained. Confirmation of the specific result may be performed, for example, when the specific accuracy is lower than a predetermined threshold.

また、所定のタイミングで、特定学習部12eが、蓄積された特定用学習データ13dを用いて学習を行い、記憶部13の特定モデル13bを更新する。特定部12dは、それ以降の処理において、更新された特定モデル13bを用いて注文内容を特定する。   Further, at a predetermined timing, the specific learning unit 12 e performs learning using the accumulated specific learning data 13 d and updates the specific model 13 b of the storage unit 13. The specifying unit 12d specifies the order content using the updated specific model 13b in the subsequent processing.

また、ユーザ識別に関する処理(ステップS2〜S5)と、注文内容特定に関する処理(ステップS6〜S9)との処理順は上記に限定されない。例えば、注文内容特定に関する処理の後にユーザ識別に関する処理が行われてもよい。あるいは、図7に示すように、ユーザ識別に関する処理と、注文特定に関する処理とが並列に行われてもよい。   Further, the processing order of the process relating to user identification (steps S2 to S5) and the process relating to order content identification (steps S6 to S9) is not limited to the above. For example, processing related to user identification may be performed after processing related to order content identification. Alternatively, as shown in FIG. 7, the process relating to user identification and the process relating to order identification may be performed in parallel.

図7は、他の実施形態に係る管理装置1が実行する管理処理手順を示すフローチャートである。図7に示す管理処理では、図6とは、ユーザ識別に関する処理(ステップS2〜S5)と、注文特定に関する処理(ステップS6〜S9)とが並列して行われている点が異なる。その他の処理内容については図6と同様であるので、説明を省略する。   FIG. 7 is a flowchart showing a management processing procedure executed by the management device 1 according to another embodiment. The management process shown in FIG. 7 differs from FIG. 6 in that the process relating to user identification (steps S2 to S5) and the process relating to order specification (steps S6 to S9) are performed in parallel. The other processing contents are the same as those in FIG.

〔4.効果〕
上述してきたように、実施形態に係る管理装置1は、受付部12aと、識別部12bと、特定部12dとを備える。受付部12aは、ユーザによる音声の入力を受け付ける。識別部12bは、受付部12aにより受け付けられた音声を用いてユーザを識別する。特定部12dは、受付部12aにより受け付けられた音声を用いて注文内容を特定する。これにより、容易にユーザを識別して音声による注文を受け付けることが可能となる。
[4. effect〕
As described above, the management device 1 according to the embodiment includes the reception unit 12a, the identification unit 12b, and the identification unit 12d. The receiving unit 12a receives an input of voice by the user. The identification unit 12 b identifies the user using the voice accepted by the acceptance unit 12 a. The identifying unit 12d identifies the order content using the voice accepted by the accepting unit 12a. This makes it possible to easily identify the user and receive an order by voice.

また、実施形態に係る管理装置1は、識別学習部12cをさらに備える。識別学習部12cは、識別部12bによる識別結果に対する正解または不正解を示す識別用学習データ13cを用いて、受付部12aにより受け付けられた音声を用いてユーザを識別するための識別モデル13aを生成する。その場合に、識別部12bは、受付部12aにより受け付けられた音声と識別学習部12cにより生成された識別モデル13aとを用いて、ユーザを識別する。これにより、ユーザ識別の精度を向上させることが可能となる。   The management device 1 according to the embodiment further includes the identification learning unit 12c. The identification learning unit 12c generates an identification model 13a for identifying the user using the voice accepted by the accepting unit 12a, using the identification learning data 13c indicating the correct or incorrect answer to the identification result by the identifying unit 12b. Do. In that case, the identification unit 12 b identifies the user using the voice accepted by the acceptance unit 12 a and the identification model 13 a generated by the identification learning unit 12 c. This makes it possible to improve the accuracy of user identification.

また、実施形態に係る管理装置1は、特定学習部12eをさらに備える。特定学習部12eは、特定部12dによる特定結果に対する正解または不正解を示す特定用学習データ13dを用いて、受付部12aにより受け付けられた音声を用いて注文内容を特定するための特定モデル13bを生成する。その場合に、特定部12dは、受付部12aにより受け付けられた音声と特定学習部12eにより生成された特定モデル13bとを用いて、注文内容を特定する。これにより、注文内容を特定する音声認識の精度を向上させることが可能となる。   The management device 1 according to the embodiment further includes a specific learning unit 12e. The specific learning unit 12e uses the identification learning data 13d indicating the correct or incorrect answer to the identification result by the identification unit 12d, and uses the voice accepted by the accepting unit 12a to identify the specific model 13b for identifying the order content. Generate In that case, the identification unit 12d identifies the order content using the voice accepted by the acceptance unit 12a and the identification model 13b generated by the identification learning unit 12e. This makes it possible to improve the accuracy of voice recognition for specifying the order content.

また、実施形態に係る管理装置1は、精算部12fをさらに備える。精算部12fは、識別部12bにより識別されたユーザの識別情報と、特定部12dにより特定された注文内容とを対応付けした精算情報13eを用いて、注文内容に応じた代金を精算する。これにより、声で受け付けた同一のユーザによる日時の異なる複数回の注文をユーザ毎に集計して後に精算することが可能となる。このように、ユーザの利便性をさらに向上させることが可能となる。   The management device 1 according to the embodiment further includes a settlement unit 12 f. The settlement unit 12f uses the settlement information 13e in which the identification information of the user identified by the identification unit 12b is associated with the order content identified by the identification unit 12d, and settles the price according to the order content. As a result, it is possible to count and order later a plurality of orders having different dates and times by the same user accepted by voice. Thus, the convenience of the user can be further improved.

また、実施形態に係る管理装置1において、受付部12aは、ユーザによる所定の用語を示す音声の入力をさらに受け付ける。その場合に、識別部12bは、該所定の用語を用いてユーザを識別する。これにより、ユーザ識別の誤りを減少させることが可能となる。   In addition, in the management device 1 according to the embodiment, the receiving unit 12a further receives an input of voice indicating a predetermined term by the user. In that case, the identification unit 12b identifies the user using the predetermined term. This makes it possible to reduce user identification errors.

また、実施形態に係る管理装置1において、受付部12aは、ユーザの音声以外の生体情報の入力をさらに受け付ける。その場合に、識別部12bは、音声に代えてユーザの生体情報を用いて該ユーザを識別する。これにより、管理装置1の使用状況に応じて適切なユーザ識別の方式を適用することが可能となる。   In addition, in the management device 1 according to the embodiment, the receiving unit 12a further receives an input of biological information other than the voice of the user. In that case, the identification unit 12b identifies the user using the biometric information of the user instead of the voice. Thereby, it becomes possible to apply the system of a suitable user identification according to the use condition of the management apparatus 1. FIG.

〔5.ハードウェア構成〕
また、上述してきた実施形態に係る管理装置1は、例えば図8に示すような構成のコンピュータ1000によって実現される。図8は、実施形態に係る管理装置1の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
[5. Hardware configuration]
Further, the management device 1 according to the embodiment described above is realized by, for example, a computer 1000 configured as shown in FIG. FIG. 8 is a hardware configuration diagram showing an example of a computer 1000 for realizing the function of the management device 1 according to the embodiment. The computer 1000 includes a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface (I / F) 1500, an input / output interface (I / F) 1600, and a media interface (I / F) 1700.

CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。   The CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400 to control each part. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 starts up, a program depending on the hardware of the computer 1000, and the like.

HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、ネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを、ネットワークNを介して他の機器へ送信する。   The HDD 1400 stores a program executed by the CPU 1100, data used by the program, and the like. The communication interface 1500 receives data from another device via the network N and sends it to the CPU 1100, and transmits data generated by the CPU 1100 to the other device via the network N.

CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを、入出力インターフェイス1600を介して出力装置へ出力する。   The CPU 1100 controls an output device such as a display or a printer and an input device such as a keyboard or a mouse via the input / output interface 1600. The CPU 1100 acquires data from an input device via the input / output interface 1600. The CPU 1100 also outputs the generated data to the output device via the input / output interface 1600.

メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。   The media interface 1700 reads a program or data stored in the recording medium 1800 and provides the CPU 1100 with the program via the RAM 1200. The CPU 1100 loads such a program from the recording medium 1800 onto the RAM 1200 via the media interface 1700 and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a digital versatile disc (DVD) or a phase change rewritable disc (PD), a magneto-optical recording medium such as a magneto-optical disk (MO), a tape medium, a magnetic recording medium, or a semiconductor memory. Etc.

例えば、コンピュータ1000が実施形態に係る管理装置1として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部12の機能を実現する。また、HDD1400には、記憶部13内のデータが格納される。コンピュータ1000のCPU1100は、これらのプログラムを、記録媒体1800から読み取って実行するが、他の例として、他の装置から、ネットワークNを介してこれらのプログラムを取得してもよい。   For example, when the computer 1000 functions as the management device 1 according to the embodiment, the CPU 1100 of the computer 1000 realizes the function of the control unit 12 by executing a program loaded on the RAM 1200. Further, data in the storage unit 13 is stored in the HDD 1400. The CPU 1100 of the computer 1000 reads these programs from the recording medium 1800 and executes them, but as another example, these programs may be acquired from another device via the network N.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   Although some of the embodiments of the present application have been described above in detail based on the drawings, these are only examples, and various modifications can be made based on the knowledge of those skilled in the art, including the aspects described in the section of the description of the invention. It is possible to implement the invention in other improved forms.

〔6.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[6. Other]
Further, among the processes described in the above embodiment, all or part of the process described as being automatically performed may be manually performed, or the process described as being manually performed. All or part of them can be performed automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above-mentioned documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the illustrated information.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。   Further, each component of each device illustrated is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of the distribution and integration of each device is not limited to the illustrated one, and all or a part thereof may be functionally or physically dispersed in any unit depending on various loads, usage conditions, etc. It can be integrated and configured.

また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。   In addition, the processes described in the above-described embodiment can be appropriately combined within the range in which the process contents do not contradict each other.

また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、受付部12aは、受付手段や受付回路に読み替えることができる。   Also, the "section (module, unit)" described above can be read as "means" or "circuit". For example, the receiving unit 12a can be read as a receiving unit or a receiving circuit.

1 管理装置
11 入出力部
12 制御部
12a 受付部
12b 識別部
12c 識別学習部
12d 特定部
12e 特定学習部
12f 精算部
13 記憶部
13a 識別モデル
13b 特定モデル
13c 識別用学習データ
13d 特定用学習データ
13e 精算情報
Reference Signs List 1 management apparatus 11 input / output unit 12 control unit 12a reception unit 12b identification unit 12c identification learning unit 12d identification unit 12e identification learning unit 12e settlement unit 13 storage unit 13a identification model 13b identification model 13c learning data for identification 13d identification learning data 13e Settlement information

Claims (6)

ユーザによる音声の入力を受け付ける受付部と、
前記受付部により受け付けられた前記音声と、前記ユーザを識別するための識別モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて前記ユーザを識別する識別部と、
前記受付部により受け付けられた前記音声と、注文内容を特定するための特定モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて注文内容を特定する特定部と、
前記受付部により受け付けられた前記音声と、前記推定結果と、前記ユーザの応答結果とを用いて前記識別モデルを生成する識別学習部と、
前記受付部により受け付けられた所定のユーザによる音声と、該所定のユーザに対応する前記推定結果と、該所定のユーザの応答結果とを用いて注文内容を特定するための特定モデルを生成する特定学習部と、
を備えることを特徴とする管理装置。
A reception unit that receives an input of voice from a user;
Identify the user using the voice accepted by the accepting unit, the estimation result estimated by the identification model for identifying the user, and the response result of the user indicating the correct or incorrect answer to the estimation result The identification unit to
Specify the order content using the voice received by the reception unit, the estimation result estimated by the specific model for specifying the order content, and the user's response result indicating the correct or incorrect answer to the estimation result A specific part to
An identification learning unit that generates the identification model using the voice received by the receiving unit, the estimation result, and a response result of the user;
Specification that generates a specific model for specifying order content using the voice by the predetermined user accepted by the reception unit, the estimation result corresponding to the predetermined user, and the response result of the predetermined user Learning department,
A management apparatus comprising:
前記識別部により識別された前記ユーザの識別情報と、前記特定部により特定された前記注文内容とを対応付けした精算情報を用いて、前記注文内容に応じた代金を精算する精算部
をさらに備えることを特徴とする請求項1に記載の管理装置。
It further comprises a settlement unit which settles the payment according to the order content using the settlement information in which the identification information of the user identified by the identification unit is associated with the order content identified by the identification unit. the apparatus according to claim 1, characterized in that.
前記受付部は、ユーザによる所定の用語を示す音声の入力をさらに受け付けて、
前記識別部は、該所定の用語を用いて前記ユーザを識別することを特徴とする請求項1または2に記載の管理装置。
The receiving unit further receives an input of voice indicating a predetermined term by a user,
The identification unit, the management apparatus according to claim 1 or 2, wherein the identifying the user by using the given language.
前記受付部は、ユーザの音声以外の生体情報の入力をさらに受け付けて、
前記識別部は、前記音声に代えて前記ユーザの生体情報を用いて該ユーザを識別することを特徴とする請求項1または2に記載の管理装置。
The reception unit further receives an input of biological information other than the voice of the user,
The identification unit, the management apparatus according to claim 1 or 2, characterized in that identifying the user using the biometric information of the user instead of the voice.
コンピュータが実行する管理方法であって、
ユーザによる音声の入力を受け付ける受付工程と、
前記受付工程において受け付けられた前記音声と、前記ユーザを識別するための識別モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて前記ユーザを識別する識別工程と、
前記受付工程において受け付けられた前記音声と、注文内容を特定するための特定モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて注文内容を特定する特定工程と、
前記受付工程により受け付けられた前記音声と、前記推定結果と、前記ユーザの応答結果とを用いて前記識別モデルを生成する識別学習工程と、
前記受付工程により受け付けられた所定のユーザによる音声と、該所定のユーザに対応する前記推定結果と、該所定のユーザの応答結果とを用いて注文内容を特定するための特定モデルを生成する特定学習工程と、
を含むことを特徴とする管理方法。
A computer implemented management method, which
A reception process for receiving an input of voice by a user;
Identify the user using the voice accepted in the accepting step, the estimation result estimated by the identification model for identifying the user, and the response result of the user indicating the correct or incorrect answer to the estimation result Identification process,
Specify the order content using the voice received in the reception process, the estimation result estimated by the specific model for specifying the order content, and the user response result indicating the correct or incorrect answer to the estimation result The specific process to
An identification learning step of generating the identification model using the voice accepted by the accepting step, the estimation result, and a response result of the user;
Specification that generates a specific model for specifying order content using voice of a predetermined user accepted by the reception process, the estimation result corresponding to the predetermined user, and the response result of the predetermined user Learning process,
Management method characterized by including.
ユーザによる音声の入力を受け付ける受付手順と、
前記受付手順において受け付けられた前記音声と、前記ユーザを識別するための識別モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて前記ユーザを識別する識別手順と、
前記受付手順において受け付けられた前記音声と、注文内容を特定するための特定モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて注文内容を特定する特定手順と
前記受付手順により受け付けられた前記音声と、前記推定結果と、前記ユーザの応答結果とを用いて前記識別モデルを生成する識別学習手順と、
前記受付手順により受け付けられた所定のユーザによる音声と、該所定のユーザに対応する前記推定結果と、該所定のユーザの応答結果とを用いて注文内容を特定するための特定モデルを生成する特定学習手順と、
をコンピュータに実行させることを特徴とする管理プログラム。
A reception procedure for receiving an input of voice from a user;
Identify the user using the speech accepted in the acceptance procedure, the estimation result estimated by the identification model for identifying the user, and the response result of the user indicating the correct or incorrect answer to the estimation result Identification procedure to
Specify the order content using the voice received in the reception procedure, the estimation result estimated by the specific model for identifying the order content, and the user's response result indicating the correct or incorrect answer to the estimation result Specific procedures to
An identification learning procedure for generating the identification model using the voice accepted by the accepting procedure, the estimation result, and the response result of the user;
Specification that generates a specific model for specifying order content using the voice by a predetermined user accepted by the acceptance procedure, the estimation result corresponding to the predetermined user, and the response result of the predetermined user Learning procedure,
A management program that causes a computer to execute.
JP2018040767A 2018-03-07 2018-03-07 Management device, management method and management program Active JP6494828B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018040767A JP6494828B1 (en) 2018-03-07 2018-03-07 Management device, management method and management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018040767A JP6494828B1 (en) 2018-03-07 2018-03-07 Management device, management method and management program

Publications (2)

Publication Number Publication Date
JP6494828B1 true JP6494828B1 (en) 2019-04-03
JP2019159378A JP2019159378A (en) 2019-09-19

Family

ID=65999223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018040767A Active JP6494828B1 (en) 2018-03-07 2018-03-07 Management device, management method and management program

Country Status (1)

Country Link
JP (1) JP6494828B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097716A (en) * 2019-05-14 2019-08-06 黄耀 Speech-sound intelligent point list service and cash register

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273421A (en) * 2000-03-27 2001-10-05 Nec Corp Authentication acting system and method, and computer readable recording medium
US7110963B2 (en) * 2000-09-07 2006-09-19 Manuel Negreiro Point-of-sale customer order system utilizing an unobtrusive transmitter/receiver and voice recognition software
JP4294853B2 (en) * 2000-12-19 2009-07-15 アルパイン株式会社 Operation instruction device
JP2002279245A (en) * 2001-03-19 2002-09-27 Ntt Docomo Inc Service center and order receiving method
JP2003219038A (en) * 2001-10-22 2003-07-31 Ntt Comware Corp Call center system apparatus and call method in interlocking with customer information
JP5042194B2 (en) * 2008-10-27 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション Apparatus and method for updating speaker template
JP5530729B2 (en) * 2009-01-23 2014-06-25 本田技研工業株式会社 Speech understanding device
JP6129134B2 (en) * 2014-09-29 2017-05-17 シャープ株式会社 Voice dialogue apparatus, voice dialogue system, terminal, voice dialogue method, and program for causing computer to function as voice dialogue apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097716A (en) * 2019-05-14 2019-08-06 黄耀 Speech-sound intelligent point list service and cash register

Also Published As

Publication number Publication date
JP2019159378A (en) 2019-09-19

Similar Documents

Publication Publication Date Title
US11790376B2 (en) Predicting customer support requests
JP6662966B2 (en) Information verification method and device
US20210152550A1 (en) Machine learning for document authentication
US9582484B2 (en) Methods and systems for filling forms
CA3009685C (en) Automatic generation and population of digital interfaces based on adaptively processed image data
US20230259937A1 (en) Authentication Question Topic Exclusion Based on Response Hesitation
JP6875521B2 (en) Methods and equipment for security verification based on biometric features
US20220067500A1 (en) Decoupling memory and computation to enable privacy across multiple knowledge bases of user data
CN111080276A (en) Payment method, device, equipment and storage medium for withholding order
JP6494828B1 (en) Management device, management method and management program
US20120136693A1 (en) System and method for a process overview diagram
US11294784B1 (en) Techniques for providing predictive interface elements
US9786004B2 (en) Obtaining missing documents from user
US20230206187A1 (en) Digital assistant for completion of timecards
CN114511393B (en) Financial data processing method and system
JP6826920B2 (en) Server device, electronically recorded loan search method, and program
CN114782101A (en) Customer transaction probability analysis method, system and equipment based on voice recognition
US11954661B1 (en) Assessing validity of mail item
CN110245985B (en) Information processing method and device
JP2021177323A (en) Settlement processing method, settlement processing apparatus, and program for settlement
KR102543910B1 (en) Method and system for providing customer benefit information using facial recognition
CN110110052A (en) Information processing unit, storage medium and information processing method
US11783334B2 (en) Using an always on listening device skill to relay answers to transaction-based knowledge-based authentications
JP7046888B2 (en) Output system and its control method, and program
AU2019100938A4 (en) An intelligent virtual assistant user interface for automated workflow management.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180815

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180815

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190305

R150 Certificate of patent or registration of utility model

Ref document number: 6494828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350