JP6709132B2 - Voice order reception system - Google Patents

Voice order reception system Download PDF

Info

Publication number
JP6709132B2
JP6709132B2 JP2016172917A JP2016172917A JP6709132B2 JP 6709132 B2 JP6709132 B2 JP 6709132B2 JP 2016172917 A JP2016172917 A JP 2016172917A JP 2016172917 A JP2016172917 A JP 2016172917A JP 6709132 B2 JP6709132 B2 JP 6709132B2
Authority
JP
Japan
Prior art keywords
order
conversation
order information
information
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016172917A
Other languages
Japanese (ja)
Other versions
JP2018041155A (en
Inventor
航 上林
航 上林
泰介 牧口
泰介 牧口
俊 姫野
俊 姫野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nomura Research Institute Ltd
Original Assignee
Nomura Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nomura Research Institute Ltd filed Critical Nomura Research Institute Ltd
Priority to JP2016172917A priority Critical patent/JP6709132B2/en
Publication of JP2018041155A publication Critical patent/JP2018041155A/en
Application granted granted Critical
Publication of JP6709132B2 publication Critical patent/JP6709132B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、注文や予約の受付を支援する技術に関し、特に、音声での注文や予約の受付を支援する音声注文受付システムに適用して有効な技術に関するものである。 The present invention relates to a technology that supports acceptance of orders and reservations, and more particularly, to technology that is effective when applied to a voice order acceptance system that supports acceptance of orders and reservations by voice.

例えば、証券会社が個人の顧客から株式売買の注文を受け付ける際、近年ではWebサイトを介したオンラインでの注文受付が広く普及しているが、高齢者の顧客等を中心に電話での注文受付も行われている。 For example, when a securities company receives an order to buy or sell a stock from an individual customer, online order reception via a website has become widespread in recent years, but order reception by telephone is mainly performed by elderly customers and the like. Has also been done.

証券会社では、顧客から電話での株式売買の注文を受け付けると、注文を受け付ける窓口のオペレータが、自身が使用する端末に表示された注文画面に注文内容通りに入力する。さらに、入力した内容を読み上げて、顧客に対して確認をとる。このような処理を行うにはかなりの時間を要し、全体として顧客に対する応答時間が長時間化する原因の一つとなっている。また、入力を間違えると誤発注につながってしまうため、慎重に処理する必要があり、オペレータに精神的な負担もかかっている。この点、例えば、入力値のチェックを行うことで入力品質を高めることはできるが、それ以上の技術的な支援はできていないのが現状である。 In a securities company, when a customer receives an order to buy or sell a stock by telephone, the operator at the window for accepting the order inputs the order details on an order screen displayed on a terminal used by the operator. Furthermore, the input content is read aloud to confirm with the customer. It takes a considerable amount of time to perform such processing, and this is one of the causes of the long response time for the customer as a whole. In addition, incorrect input leads to erroneous ordering, which requires careful processing, which imposes a mental burden on the operator. Regarding this point, for example, although the input quality can be improved by checking the input value, the current situation is that no further technical support can be provided.

音声での注文に係る技術として、例えば、特開2007−4282号公報(特許文献1)には、飲食店の客席に設けられた音声入出力装置からの受信音声信号から客の発話内容を捉え、注文情報として必要な情報が揃ったか否かを判別することで、客が店員を介することなく直接注文することを可能とする旨が記載されている。 As a technique related to ordering by voice, for example, Japanese Unexamined Patent Application Publication No. 2007-4282 (Patent Document 1) captures a utterance content of a customer from a voice signal received from a voice input/output device provided in a seat of a restaurant. It is described that by determining whether or not the necessary information is available as the order information, the customer can place an order directly without going through the clerk.

一方、会話の音声データから会話の構造を把握する技術として、例えば、特開2011−134291号公報(特許文献2)には、談話データにおける各ステートメントに対して、予め設定されたフロー定義におけるフロー表現にマッチする場合に、対応するフローを設定し、談話セマンティクスとして出力する旨が記載されている。ここではさらに、予め設定された固有表現解析ルールに基づくルールベースでの固有表現の解析を行い、各ステートメント中の固有表現情報についても談話セマンティクスとして出力することができる旨も記載されている。 On the other hand, as a technique for grasping the structure of the conversation from the voice data of the conversation, for example, Japanese Patent Laid-Open No. 2011-134291 (Patent Document 2) discloses a flow in a flow definition set in advance for each statement in the discourse data. It describes that when the expression matches, the corresponding flow is set and output as discourse semantics. Further, it is also described that the proper expression can be analyzed by a rule base based on a preset proper expression analysis rule, and the proper expression information in each statement can be output as the discourse semantics.

特開2007−4282号公報JP, 2007-4282, A 特開2011−134291号公報JP, 2011-134291, A

例えば、特許文献1に記載されたような従来技術を用いることで、顧客から電話等の音声による注文を受け付ける構成を実現することも可能である。しかし、従来技術では、注文の成立に必要な情報が揃った時点で会話の1単位が終了し、これをトリガーとしてサーバにおいて注文が処理されることになる。したがって、必要な情報に不足がある状態では注文を成立させることはできない。また、複数の商品等について注文する場合は、各商品等についてそれぞれ注文の成立に必要な情報を全て発話して、会話の1単位を終了させる必要がある。したがって、複数の商品等に係る複数の注文で、内容が同様もしくは類似するものをそれぞれ成立させるために、顧客は同じ文言を繰り返し発しなければならない場合がある。 For example, by using the conventional technique described in Patent Document 1, it is possible to realize a configuration in which a customer receives an order by voice such as a telephone call. However, in the conventional technique, one unit of the conversation ends when the information necessary to complete the order is gathered, and the order is processed in the server by using this as a trigger. Therefore, the order cannot be fulfilled in the state where the necessary information is insufficient. Further, when ordering a plurality of products or the like, it is necessary to utter all the information necessary to complete an order for each product or the like and complete one unit of the conversation. Therefore, in order to establish a plurality of orders related to a plurality of products or the like with similar or similar contents, the customer may have to repeatedly issue the same wording.

そこで本発明の目的は、顧客からの電話等の音声による注文をオペレータが受け付ける際に、複数商品等に係る複数の注文についても効率的に受け付けることを可能とするとともに、注文の成立に必要な情報が不足する場合にその補充を支援する音声注文受付システムを提供することにある。 Therefore, an object of the present invention is to enable an operator to efficiently receive a plurality of orders relating to a plurality of products and the like when an operator receives an order by voice such as a telephone call from a customer, and is necessary for establishment of an order. An object of the present invention is to provide a voice order reception system that supports supplementation when information is insufficient.

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 The following is a brief description of the outline of the typical inventions among the inventions disclosed in the present application.

本発明の代表的な実施の形態による音声注文受付システムは、顧客からの音声での注文もしくは予約を受け付けるオペレータによる注文システムへの注文情報の入力を支援する音声注文受付システムであって、音声認識処理によって前記顧客と前記オペレータとの前記注文もしくは予約に係る会話の内容がテキスト化された会話データにおける各ステートメントに対して形態素に分割して品詞を判別する形態素解析部を有する。 A voice order reception system according to a representative embodiment of the present invention is a voice order reception system that supports an operator who receives voice orders or reservations from a customer to input order information into the order system. The processing includes a morpheme analysis unit that divides each statement in the conversation data in which the content of the conversation regarding the order or reservation between the customer and the operator into a text into morphemes and determines a part of speech by processing.

さらに、形態素解析がされた前記会話データにおける前記各ステートメント中の固有表現を特定するための正規表現と、前記正規表現にマッチする部分に対応する前記固有表現との対応からなる注文情報辞書と、形態素解析がされた前記会話データにおける前記各ステートメントから、前記注文情報辞書に基づいて、前記注文もしくは予約の成立に必要となる各要素に対応する前記固有表現をそれぞれ抽出して、注文情報として前記オペレータが使用する情報処理端末の第1の画面に表示させる注文情報抽出部と、を有するものである。 Furthermore, a regular expression for identifying a specific expression in each statement in the conversation data that has been subjected to morphological analysis, and an order information dictionary composed of a correspondence between the specific expression corresponding to a part matching the regular expression, From each of the statements in the conversation data subjected to morphological analysis, the specific expressions corresponding to the respective elements necessary for establishing the order or reservation are extracted based on the order information dictionary, respectively, and as the order information, And an order information extraction unit to be displayed on the first screen of the information processing terminal used by the operator.

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 The effects obtained by the typical ones of the inventions disclosed in the present application will be briefly described as follows.

すなわち、本発明の代表的な実施の形態によれば、顧客からの電話等の音声による注文をオペレータが受け付ける際に、複数商品等に係る複数の注文についても効率的に受け付けることが可能となるとともに、注文の成立に必要な情報が不足する場合にその補充を支援することが可能となる。 That is, according to the representative embodiment of the present invention, when the operator receives an order by voice such as a telephone call from a customer, it is possible to efficiently receive a plurality of orders for a plurality of products or the like. At the same time, it becomes possible to support the replenishment when the information required to complete the order is insufficient.

本発明の一実施の形態である音声注文受付システムの構成例について概要を示した図である。It is a figure showing the outline about the example of composition of the voice order acceptance system which is one embodiment of the present invention. 本発明の一実施の形態における会話から注文情報を抽出する例について概要を示した図である。It is the figure which showed the outline about the example which extracts order information from the conversation in one embodiment of this invention. 本発明の一実施の形態における注文情報を注文システムに入力・連携する例について概要を示した図である。It is the figure which showed the outline about the example which inputs and cooperates with order information in one embodiment of this invention. 本発明の一実施の形態における会話から注文情報を抽出して注文を行う処理の流れの例について概要を示したフローチャートである。It is the flowchart which showed the outline about the example of the flow of the process which extracts order information from the conversation in one embodiment of this invention, and places an order. 本発明の一実施の形態における会話から注文情報を抽出する各種パターンの例について概要を示した図である。It is the figure which showed the outline about the example of the various patterns which extract order information from the conversation in one embodiment of this invention. 本発明の一実施の形態における会話から注文情報を抽出する各種パターンの他の例について概要を示した図である。It is the figure which showed the outline about the other example of the various patterns which extract order information from the conversation in one embodiment of this invention. 本発明の一実施の形態における会話から注文情報を抽出する各種パターンの他の例について概要を示した図である。It is the figure which showed the outline about the other example of the various patterns which extract order information from the conversation in one embodiment of this invention. 本発明の一実施の形態における会話から注文情報を抽出する各種パターンの他の例について概要を示した図である。It is the figure which showed the outline about the other example of the various patterns which extract order information from the conversation in one embodiment of this invention. 本発明の一実施の形態における会話から注文情報を抽出する各種パターンの他の例について概要を示した図である。It is the figure which showed the outline about the other example of the various patterns which extract order information from the conversation in one embodiment of this invention.

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In all the drawings for explaining the embodiments, the same parts are denoted by the same reference symbols in principle and the repeated description thereof will be omitted. On the other hand, parts described with reference numerals in a certain drawing may be referred to with the same reference numeral, although not shown again, in the description of other drawings.

<システム構成>
図1は、本発明の一実施の形態である音声注文受付システムの構成例について概要を示した図である。本実施の形態の音声注文受付システム30は、例えば、顧客2からの電話での株式の売買の注文を受け付ける証券会社のコールセンター1において使用される情報処理システムである。
<System configuration>
FIG. 1 is a diagram showing an outline of a configuration example of a voice order receiving system according to an embodiment of the present invention. The voice order receiving system 30 according to the present embodiment is, for example, an information processing system used in the call center 1 of a securities company that receives a telephone order for stock trading from a customer 2.

音声注文受付システム30は、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等からなるサーバシステムにより構成される。サーバシステムに限定されるわけではなく、PC(Personal Computer)等の情報処理端末により構成されてもよい。そして、図示しないCPU(Central Processing Unit)により、図示しないメモリ上に展開されたOS(Operating System)やDBMS(DataBase Management System)等のミドルウェア、およびその上で稼働するソフトウェアを実行することにより、後述する各部の機能を実現する。 The voice order receiving system 30 is composed of, for example, a server system including a server device and a virtual server constructed on a cloud computing service. The information processing terminal is not limited to the server system, and may be configured by an information processing terminal such as a PC (Personal Computer). Then, a CPU (Central Processing Unit) (not shown) executes middleware such as an OS (Operating System) and a DBMS (DataBase Management System) expanded on a memory (not shown), and software that operates on the middleware, which will be described later. To realize the function of each part.

音声注文受付システム30は、例えば、ソフトウェアにより実装された音声認識エンジン31、形態素解析部32、および注文情報抽出部33等の各部を有する。また、データベースやファイルテーブル等により実装された注文情報辞書35のデータストアを有する。 The voice order reception system 30 includes, for example, a voice recognition engine 31, a morpheme analysis unit 32, an order information extraction unit 33, and the like implemented by software. It also has a data store of the order information dictionary 35 implemented by a database, a file table, or the like.

音声認識エンジン31は、顧客2からの電話を受けて処理を行うPBX(Private Branch eXchange)/CTI(Computer Telephony Integration)10を介して、顧客2とオペレータ20との間の株式の注文に係る会話の音声データを取得し、これをリアルタイムでテキストデータに変換して会話データ34として出力する機能を有する。なお、音声認識エンジン31には既存・公知のものを適宜利用することができる。音声認識エンジン31の認識率が高いほうがより精度の高い注文受付処理を行うことが可能であることはいうまでもない。 The voice recognition engine 31 receives a telephone call from the customer 2 and processes the conversation via the PBX (Private Branch eXchange)/CTI (Computer Telephony Integration) 10 for a stock order between the customer 2 and the operator 20. It has a function of acquiring the voice data of, converting it into text data in real time, and outputting it as the conversation data 34. An existing/known one can be appropriately used as the voice recognition engine 31. It goes without saying that the higher the recognition rate of the voice recognition engine 31, the more accurate the order reception process can be performed.

出力される(もしくは出力された)会話データ34に対しては、必要に応じて、上述の特許文献2に記載された談話構造解析システムにおける前処理のようなデータのレイアウト変換等の処理を行ってもよい。例えば、話者毎に連続したステートメントをブロックとしてまとめて、各ブロックおよび各ステートメントに順序を示すシーケンス番号(ID)を割り振ったり、各ブロックの話者のデータを抽出・設定したりなどの処理を行う。当該処理後の会話データ34は、例えば、XML(eXtended Markup Language)などを利用したデータ構造として表される。また、これに加えてさらに、特許文献2に記載された談話構造解析システムにおけるフロー解析処理のような会話構造の解析(各ステートメントの意味内容の解析)を行ってもよい。 The output (or output) conversation data 34 is subjected to processing such as data layout conversion such as preprocessing in the discourse structure analysis system described in Patent Document 2 described above, if necessary. May be. For example, processing is performed by grouping consecutive statements for each speaker as a block, assigning a sequence number (ID) indicating the order to each block and each statement, and extracting/setting the speaker data of each block. To do. The conversation data 34 after the processing is represented as a data structure using, for example, XML (eXtended Markup Language). Further, in addition to this, analysis of the conversation structure (analysis of the semantic content of each statement) such as the flow analysis process in the discourse structure analysis system described in Patent Document 2 may be performed.

形態素解析部32は、特許文献2に記載された談話構造解析システムにおける形態素解析処理と同様に、会話データ34中の各ステートメントに対して、形態素(言語における意味を持つ最小の単位)の列に分割して品詞を判別するいわゆる形態素解析を行い、解析結果を出力する機能を有する。解析結果は、例えば、会話データ34内の各ステートメントのIDとこれに対応する形態素列の情報を保持し、XMLなどを利用したデータ構造として表される。なお、形態素解析部32には既存・公知の形態素解析エンジン(例えば、MeCab(和布蕪)やChaSen(茶筌)などのフリーのものやその他の商用システム)を利用することができる。 The morpheme analysis unit 32, in the same manner as the morpheme analysis process in the discourse structure analysis system described in Patent Document 2, arranges each statement in the conversation data 34 in a column of morphemes (the smallest unit having a meaning in the language). It has a function of performing a so-called morphological analysis that divides and determines a part of speech and outputs the analysis result. The analysis result holds, for example, the ID of each statement in the conversation data 34 and the information of the morpheme string corresponding thereto, and is represented as a data structure using XML or the like. An existing/known morpheme analysis engine (for example, a free one such as MeCab (Wabu Kabu) or ChaSen (Chasen) or another commercial system) can be used as the morpheme analysis unit 32.

注文情報抽出部33は、形態素解析部32により形態素列の情報が付された会話データ34(もしくは形態素列の情報と会話データ34)を入力として、注文情報辞書35も参照しつつ、リアルタイムで株式の売買注文の成立に必要な要素に該当する語を抽出し、注文情報36として出力する機能を有する。 The order information extraction unit 33 receives the conversation data 34 (or the morpheme sequence information and the conversation data 34) to which the morpheme sequence information 32 is attached by the morpheme analysis unit 32 as input, and also refers to the order information dictionary 35 to obtain stock information in real time. It has a function of extracting a word corresponding to an element necessary for the establishment of the sales order and outputting it as the order information 36.

形態素列の情報および会話データ34から注文情報36の各語を抽出するには、例えば、特許文献2に記載された談話構造解析システムにおける固有表現解析処理と同様の処理によることができる。具体的には、例えば、注文情報辞書35に予め登録された固有表現解析ルールに基づいて、会話データ34に対して正規表現を用いたルールベースでの解析を行い、売買注文の成立に必要な要素となる固有表現を抽出して注文情報36とする。ここで、固有表現解析ルールは、会話データ34における各ステートメント中の固有表現を特定するための正規表現と、当該正規表現にマッチする部分に対応する固有表現との対応のリストである。 To extract each word of the order information 36 from the information of the morpheme string and the conversation data 34, for example, the same processing as the proper expression analysis processing in the discourse structure analysis system described in Patent Document 2 can be performed. Specifically, for example, based on a proper expression analysis rule registered in advance in the order information dictionary 35, the conversation data 34 is analyzed by a rule base using a regular expression, and necessary for establishing a trading order. An elemental unique expression is extracted as order information 36. Here, the proper expression analysis rule is a list of correspondences between the regular expressions for specifying the proper expressions in each statement in the conversation data 34 and the proper expressions corresponding to the parts matching the regular expressions.

ここで抽出される固有表現は、固有名詞や数値等からなる文字列である。本実施の形態では、株式の売買注文の成立に必要な要素となり得るものとして、例えば、企業名(略称も含む)や銘柄コード、その他注文の際に用いられる用語(「指値」や「成行」等)等を含むものとする。 The unique expression extracted here is a character string including a proper noun, a numerical value, and the like. In this embodiment, for example, a company name (including an abbreviation), a stock code, and other terms used in ordering (such as “limit price” and “market”) are factors that can be necessary for establishing a stock sales order. Etc.) etc. shall be included.

会話データ34から抽出された注文情報36は、例えば、後述するように、注文情報抽出部33がオペレータ端末21上に画面表示させ、必要に応じてオペレータ20からの指示を受け付けて注文システム3への注文入力の際のパラメータとして設定できるようにしてもよい。また、オペレータ端末21を介してオペレータ20に対して出力することなく、注文情報抽出部33が、そのまま注文システム3に対する注文入力のパラメータとして設定して注文を自動発生させるようにしてもよい。 The order information 36 extracted from the conversation data 34 is displayed on the screen of the operator terminal 21 by the order information extraction unit 33, as will be described later, and receives an instruction from the operator 20 to the order system 3 as necessary. May be set as a parameter when inputting the order. Alternatively, the order information extraction unit 33 may directly set the order as a parameter of the order input to the order system 3 without automatically outputting the order to the operator 20 via the operator terminal 21, and automatically generate the order.

<会話からの注文情報の抽出>
図2は、本実施の形態における会話から注文情報36を抽出する例について概要を示した図である。図2の上段の図は、顧客2とオペレータ20との間の電話での株式の注文に係る会話の例を示している。中段の図は、上段の図の例に示した会話を、音声注文受付システム30の音声認識エンジン31により音声認識した上でテキスト化し、さらに話者毎のステートメントをブロックとしてまとめた上で、会話構造(フロー)の解析を行った結果の例を模式的に示している。
<Extracting order information from conversation>
FIG. 2 is a diagram showing an outline of an example of extracting the order information 36 from the conversation according to the present embodiment. The upper diagram of FIG. 2 shows an example of a conversation between the customer 2 and the operator 20 regarding a stock order by telephone. In the middle diagram, the conversation shown in the example in the upper diagram is voice-recognized by the voice recognition engine 31 of the voice order receiving system 30 and converted into text, and the statements for each speaker are summarized as a block, and then the conversation is performed. The example of the result of having analyzed the structure (flow) is shown typically.

そして、下段の図は、中段の図の例に示した会話構造から、注文情報抽出部33により注文情報36となり得る固有表現を抽出した結果の例を示している。図中の例では、顧客2の発話の中から、株式の売買注文の成立に必要となる「銘柄」「注文種別(買いまたは売り)」「数量」「単価(指値の価格または成行)」の各要素に係る情報(実線枠で囲まれた固有表現)を抽出したことを示している。 Then, the lower diagram shows an example of the result of extracting the unique expressions that can be the order information 36 by the order information extracting unit 33 from the conversation structure shown in the example of the middle diagram. In the example in the figure, from the utterance of the customer 2, the "stock", "order type (buying or selling)", "quantity", "unit price (limit price or market)" required to complete a stock buy/sell order It indicates that the information (proper expression enclosed by a solid line frame) related to each element is extracted.

図3は、本実施の形態における注文情報36を注文システム3に入力・連携する例について概要を示した図である。上段の図は、音声注文受付システム30の注文情報抽出部33がオペレータ端末21上に表示させた、注文情報36の抽出結果を表示する画面例である。ここでは、株式の売買注文の成立に必要となる要素(「売買(注文種別)」「銘柄」「数量」「単価」)毎に、図2の例において抽出された注文情報36の内容が表示されていることを示している。そして、当該画面上において各要素にはそれぞれボタンが対応付けられている。例えば、オペレータ20が「買い注文画面表示」ボタンをクリックやタップの操作により押下すると、当該画面に含まれる対応するスクリプトの実行等により、下段の図の例に示すような、注文システム3が提供する株式の買い注文入力画面を表示させる。 FIG. 3 is a diagram showing an outline of an example of inputting and linking the order information 36 in the order system 3 according to the present embodiment. The upper diagram is an example of a screen displaying the extraction result of the order information 36 displayed on the operator terminal 21 by the order information extracting unit 33 of the voice order receiving system 30. Here, the contents of the order information 36 extracted in the example of FIG. 2 are displayed for each of the elements (“trading (order type)”, “brand”, “quantity”, and “unit price”) necessary for establishing a trading order for stocks. It has been shown that. A button is associated with each element on the screen. For example, when the operator 20 presses the "buy order screen display" button by clicking or tapping, the ordering system 3 as shown in the example in the lower diagram is provided by executing the corresponding script included in the screen. Display the stock purchase order input screen.

その後、オペレータ20は、オペレータ端末21上で上段の図に示す注文情報抽出画面に戻り、必要に応じて他の各要素(「銘柄」「数量」「単価」)に対応する「転送」ボタンを押下する。オペレータ20が「転送」ボタンを押下すると、例えば、対応するスクリプトの実行等により、下段の図に示す注文システム3が提供する買い注文入力画面の対応する入力フィールドに、各要素の値や内容を転入力・コピーする。このとき、必要に応じて、例えば、図示するように銘柄名から銘柄コードへの変換等の処理を自動的に行うようにしてもよい。また、オペレータ20は、必要に応じて抽出された注文情報36の内容を修正した上で「転送」ボタンを押下するようにしてもよい。 After that, the operator 20 returns to the order information extraction screen shown in the upper diagram on the operator terminal 21 and clicks the "transfer" button corresponding to each of the other elements ("brand", "quantity", "unit price") as necessary. Press down. When the operator 20 presses the “transfer” button, the value or content of each element is displayed in the corresponding input field of the buy order input screen provided by the ordering system 3 shown in the lower diagram by, for example, executing the corresponding script. Transfer and copy. At this time, if necessary, for example, processing such as conversion from brand name to brand code may be automatically performed as illustrated. Further, the operator 20 may correct the content of the extracted order information 36 as necessary and then press the “transfer” button.

このように、注文の成立に必要となる各要素の値として抽出された注文情報36について、注文システム3の注文入力画面への転入力をオペレータ20の判断のもとで行えるようにする。これにより、例えば、音声認識のミスや固有表現の抽出ミス、顧客2やオペレータ20の言い間違い等があった場合に、不適切な注文情報36の内容がそのまま注文システム3に対する実際の注文に用いられてしまうのを防止することができる。 In this way, the order information 36 extracted as the value of each element necessary for the establishment of an order can be transferred to the order input screen of the order system 3 under the judgment of the operator 20. As a result, for example, if there is a mistake in voice recognition, a mistake in extracting a proper expression, a mistake in the customer 2 or the operator 20, or the like, the inappropriate content of the order information 36 is directly used for the actual order to the order system 3. It is possible to prevent being caught.

図4は、本実施の形態における会話から注文情報36を抽出して注文を行う処理の流れの例について概要を示したフローチャートである。音声注文受付システム30では、PBX/CTI10から顧客2とオペレータ20との間の注文に係る電話での会話の音声データを取得すると、まず、これを音声認識エンジン31によりリアルタイムで音声認識してテキスト化し、会話データ34として出力する(S01)。このとき、上述したように、必要に応じて、特許文献2に記載された談話構造解析システムにおける前処理のようなデータのレイアウト変換等の処理や、フロー解析処理のような会話構造の解析の処理を行ってもよい。 FIG. 4 is a flowchart showing an outline of an example of a flow of processing for extracting order information 36 from a conversation and placing an order in the present embodiment. In the voice order receiving system 30, when voice data of a telephone conversation relating to an order between the customer 2 and the operator 20 is acquired from the PBX/CTI 10, first, this is voice-recognized by the voice recognition engine 31 in real time and the text is recorded. It is converted and output as conversation data 34 (S01). At this time, as described above, if necessary, processing such as data layout conversion such as preprocessing in the discourse structure analysis system described in Patent Document 2 and analysis of conversation structure such as flow analysis processing are performed. Processing may be performed.

その後、形態素解析部32によりリアルタイムで会話データ34内の各ステートメントを形態素列に分割して品詞を判別する形態素解析を行う(S02)。この処理は、断続的に行ってもよいし、会話データ34中の一文を単位として行うようにしてもよい。その後、注文情報抽出部33により解析後の会話データ34から固有表現を抽出して注文情報36として出力する(S03)。このとき、会話データ34中の各ステートメントの会話構造等から、会話の切れ目に該当するか否かを判定する(S04)。注文情報36として注文の成立に必要となる要素が全て揃った場合も会話の切れ目に該当する。 After that, the morpheme analysis unit 32 divides each statement in the conversation data 34 into a morpheme sequence in real time and performs morpheme analysis to determine the part of speech (S02). This processing may be performed intermittently, or may be performed in units of one sentence in the conversation data 34. After that, the order information extracting unit 33 extracts a proper expression from the analyzed conversation data 34 and outputs it as order information 36 (S03). At this time, it is determined from the conversation structure of each statement in the conversation data 34 whether or not the conversation breaks (S04). A case where the conversation is complete also when all of the elements necessary for the establishment of an order are prepared as the order information 36.

会話の切れ目に該当しない、すなわち、注文に係る会話が継続している場合は(S04:No)、ステップS01に戻って一連の処理の実行を継続する。後述するように、一つの会話(ステートメント)で複数の注文が発生する場合があり、この場合は、各注文についてそれぞれの成立に必要となる要素が全て揃った段階で後続の処理を行う必要があるためである。 If the conversation does not correspond to a break, that is, if the conversation related to the order continues (S04: No), the process returns to step S01 and the series of processes is continued. As will be described later, multiple orders may occur in one conversation (statement). In this case, it is necessary to perform the subsequent processing when all the necessary elements for each order are completed. Because there is.

会話の切れ目に該当する、すなわち、注文に係る会話が終了した場合は(S04:Yes)、注文情報抽出部33は、ステップS03で抽出した注文情報36を表示するための図3の上段の例に示したような注文情報抽出画面を、オペレータ端末21上に表示させる(S05)。オペレータ20は、必要に応じて、図3の上段の例におけるボタンの押下等の操作により、売買注文を成立させるために必要な各要素に対応する注文情報36を、注文システム3の注文入力画面に連携させ(S06)、注文システム3に対する売買注文を行うことができる。 When the conversation corresponds to a break, that is, when the conversation regarding the order ends (S04: Yes), the order information extraction unit 33 displays the order information 36 extracted in step S03 in the upper part of FIG. The order information extraction screen as shown in is displayed on the operator terminal 21 (S05). The operator 20 operates the order input screen of the order system 3 by inputting the order information 36 corresponding to each element necessary to complete the trading order by pressing a button or the like in the example in the upper part of FIG. 3 as necessary. It is possible to make a buy/sell order for the ordering system 3 by linking with the (S06).

<注文情報の抽出例>
図5〜図9は、本実施の形態における会話から注文情報36を抽出する各種パターンの例について概要を示した図である。図5の上段の図では、顧客2とオペレータ20との間の株式の売買注文に係る会話の例を示している。ここでは、売買注文を成立させるために必要な各要素のうち「売買(注文種別)」、「数量」、および「単価」の各項目については、顧客2の発話の中からそれぞれ抽出することができることを示している(図中の実線枠で囲まれた「買いたい」、「200株」、「3000円」および「指値」)。
<Example of order information extraction>
5 to 9 are diagrams showing an outline of examples of various patterns for extracting the order information 36 from the conversation in the present embodiment. The upper diagram of FIG. 5 shows an example of a conversation regarding a stock trading order between the customer 2 and the operator 20. Here, among the elements necessary for fulfilling a sales order, the items “sales (order type)”, “quantity”, and “unit price” can be extracted from the utterance of the customer 2. It shows that it is possible (“I want to buy”, “200 shares”, “3000 yen”, and “limit price” surrounded by a solid line frame in the figure).

これに対し、「銘柄」については、顧客2は「野村」とのみ告げており(図中の破線枠で囲まれた部分)、この情報だけでは特定の銘柄を一意に決定することができない。「野村」とつく銘柄には、例えば、「野村證券」に加えて、「野村総合研究所」、「野村不動産」等の他の会社や、グループ会社、関連会社等が含まれ得る。このように、注文を成立させるために必要な各要素について注文情報36として特定の内容に決定することができない場合(候補が複数ヒットした場合)、本実施の形態では、図5の下段の図に示すように、例えば、「銘柄」の要素について、会話データ34から抽出された固有表現の「野村」の文字列を反転表示やハイライト表示等させて強調する。このとき、対応する「転送」ボタンをDisableにしてもよい。 On the other hand, with respect to the "brand", the customer 2 only reports "Nomura" (the part surrounded by the broken line frame in the figure), and the specific brand cannot be uniquely determined only by this information. For example, in addition to "Nomura Securities", other companies such as "Nomura Research Institute" and "Nomura Real Estate", group companies, affiliated companies, etc. may be included in the stocks labeled "Nomura." In this way, when it is not possible to determine the specific content as the order information 36 for each element required to fulfill the order (when a plurality of candidates hit), in the present embodiment, the lower diagram of FIG. As shown in, for example, with respect to the “brand” element, the character string “Nomura” of the proper expression extracted from the conversation data 34 is highlighted or highlighted so as to be emphasized. At this time, the corresponding "transfer" button may be disabled.

これにより、売買注文を成立させるために必要な各要素について、いくつかの候補が該当し、曖昧で決定できない状態(すなわち、確定した注文情報36が不足している状態)であることをオペレータ20に認識させることができる。これを認識したオペレータ20は、曖昧な要素の内容を一意に決定するために顧客2に対してさらに追加の質問を発することができる。 As a result, the operator 20 confirms that some candidates are relevant to each element necessary to complete the buy/sell order, and are in an ambiguous and undecidable state (that is, a state in which the confirmed order information 36 is insufficient). Can be recognized. Recognizing this, the operator 20 can ask the customer 2 additional questions to uniquely determine the content of the ambiguous element.

図6の上段の図は、図5の上段の図における会話に続いてさらにオペレータ20が追加の質問を発した場合の会話の例を示している。ここでは、顧客2による「銘柄」の内容が曖昧な注文の発話に対して、オペレータ20が追加の質問(確認)を発しており、その中で「銘柄」に係る固有表現(図中では「野村総合研究所」)を含んだ確認質問の発話(「…でしょうか?」)がされていることを示している。また、当該確認質問に対して顧客2が了承した(「はい。」)ことを示している。この場合、例えば、図6の下段の図の「注文1」の部分に示すように、注文情報抽出画面に表示された各要素の注文情報36のうち、「銘柄」の要素に係る内容を、オペレータ20の確認質問の発話から抽出された注文情報36(「野村総合研究所」)によって上書きする。 The upper diagram of FIG. 6 shows an example of the conversation when the operator 20 further issues an additional question following the conversation in the upper diagram of FIG. Here, the operator 20 issues an additional question (confirmation) in response to an utterance of an order in which the content of the “brand” by the customer 2 is ambiguous, and among them, the unique expression relating to the “brand” (in the figure, “ It is shown that the confirmation question including the “Nomura Research Institute” (“...?”) is being uttered. It also indicates that the customer 2 has accepted the confirmation question (“Yes.”). In this case, for example, as shown in the “Order 1” portion of the lower diagram of FIG. 6, the contents related to the “brand” element in the order information 36 of each element displayed on the order information extraction screen are The order information 36 ("Nomura Research Institute") extracted from the utterance of the confirmation question of the operator 20 is overwritten.

また、図6の上段の図では、顧客2がさらに追加の注文に係る発話(「あとついでに…」)を行っていることを示している。この場合、ここで会話の切れ目があると判定せず、追加の注文に係る会話が終了した段階で会話の切れ目があると判定する。そして、図6の下段の図に示すような、2つの注文(「注文1」「注文2」)について抽出された注文情報36をそれぞれ表示する注文情報抽出画面を表示させる。図6の例では、2つの注文を縦方向に並べて表示しているが、表示形式は特に限定されず、複数の注文を横方向に並べて表示してもよいし、タブ画面により表示してオペレータ20が表示する注文を切り替えられるようにしてもよい。 Further, the upper diagram of FIG. 6 shows that the customer 2 is making a utterance (“later...”) regarding an additional order. In this case, it is not determined here that there is a break in the conversation, but it is determined that there is a break in the conversation when the conversation related to the additional order ends. Then, as shown in the lower diagram of FIG. 6, an order information extraction screen displaying the order information 36 extracted for the two orders (“order 1” and “order 2”) is displayed. In the example of FIG. 6, two orders are displayed side by side in the vertical direction, but the display format is not particularly limited, and a plurality of orders may be displayed side by side in the horizontal direction, or a tab screen may be used to display the orders. The order displayed by 20 may be switched.

追加の注文(「注文2」)については、上段の図における顧客2の発話に示されるように、「指値」の「買い」注文であるところ、「銘柄」(「○△□」)および「数量」(「100株」)の指定はされているものの、「指値」における「単価」自体の指定はされていない。この場合、下段の図の「注文2」に示すように、「単価」の金額部分について注文情報36が不足している状態であることをハイライト表示等により強調する。これを認識したオペレータ20は、不足する情報を取得するために顧客2に対してさらに追加の質問を発することができる。 As for the additional order (“Order 2”), as shown in the utterance of Customer 2 in the upper diagram, where it is the “buy” order of the “limit price”, the “stock” (“○△□”) and the “order” Although the "quantity" ("100 shares") is specified, the "unit price" itself in the "limit price" is not specified. In this case, as shown in "Order 2" in the lower diagram, the fact that the order information 36 is insufficient for the "unit price" amount portion is highlighted by highlighting or the like. Recognizing this, the operator 20 can ask further questions to the customer 2 in order to obtain the missing information.

図7は、図6の上段の図における会話に続いてさらにオペレータ20が追加の注文(「注文2」)に対して追加の質問を発した場合の会話の例を示している。ここでは、顧客2による「単価」の金額の指定がない「指値」の注文の発話に対して、オペレータ20が「単価」の金額を確認するための追加の質問(「…おいくらにいたしますか?」)を発していることを示している。そして、顧客2からの時価の問い合わせ(「今、いくらだっけ?」)に対してオペレータ20が時価を回答し(「…2315円です。」)、これを受けて顧客2が「指値」における「単価」を指定し(「…2200円で。」)、オペレータ20がこれを確認する(「…2200円の指値ですね。」)という流れの会話が行われていることを示している。 FIG. 7 shows an example of the conversation when the operator 20 further issues an additional question for an additional order (“Order 2”) following the conversation in the upper part of FIG. Here, in response to the utterance of the "limit price" order in which the customer 2 does not specify the "unit price" amount, an additional question ("... how much is it? ?”) is being emitted. Then, in response to the inquiry about the market price from the customer 2 (“How much is it now?”), the operator 20 answers the market price (“...2315 yen”), and in response to this, the customer 2 receives the “limit price”. This indicates that the conversation is being performed in the manner of designating the "unit price" ("... 2200 yen.") and the operator 20 confirming this ("... 2200 yen limit.").

本実施の形態では、このような会話の構造を、例えば特許文献2に記載された談話構造解析システムにおけるフロー解析等により把握し、適切に注文情報36を抽出する。すなわち、上記の場合、「指値」における「単価」の金額として、オペレータ20が時価として回答した「2315円」ではなく、顧客2が「単価」として指定してオペレータ20が確認した「2200円」を注文情報36として抽出する。図8に示した注文情報抽出画面における「注文2」の部分では、「単価」として注文情報36として抽出した「2200円」が追加・反映されていることを示している。 In the present embodiment, such a conversation structure is grasped by, for example, a flow analysis in the discourse structure analysis system described in Patent Document 2, and the order information 36 is appropriately extracted. That is, in the above case, the amount of the "unit price" in the "limit price" is not "2315 yen" which the operator 20 answered as the market price, but "2200 yen" confirmed by the operator 20 by the customer 2 as the "unit price". Is extracted as order information 36. In the "Order 2" portion of the order information extraction screen shown in FIG. 8, "2200 yen" extracted as the order information 36 is added and reflected as the "unit price".

また、図7に戻ると、さらに、顧客2が1つ前の注文(すなわち「注文1」)の内容の変更に係る発話(「やっぱりひとつ前のやつ…」)を行っていることを示している。この場合も、会話の構造を、例えば特許文献2に記載された談話構造解析システムにおけるフロー解析等により把握し、どの注文に対する発話であるかを適切に特定して注文情報36を抽出する。すなわち、上記の場合、顧客2の「やっぱりひとつ前のやつ」という発話と、現在の会話の対象が「注文2」であるという判定から、「注文1」が対象であると判定する。そして、対象の「注文1」について、顧客2は、「指値」から「成行」に変更する旨の発話を行っている。 Further, returning to FIG. 7, it is further shown that the customer 2 is making an utterance related to the change of the content of the previous order (that is, “order 1”) (“after all the previous one...”). There is. In this case as well, the structure of the conversation is grasped by, for example, the flow analysis in the discourse structure analysis system described in Patent Document 2, which order is appropriately specified and the order information 36 is extracted. That is, in the above case, it is determined that "Order 1" is the target, based on the utterance of "the one before the customer" of the customer 2 and the determination that the current conversation target is "Order 2". Then, with respect to the target "order 1", the customer 2 makes an utterance that the "limit" is changed to the "market".

これに対して、オペレータ20が注文変更の内容を確認するための追加の質問を発しており、その中で「銘柄」に係る固有表現(図中では「野村総合研究所」)と、「単価」に係る固有表現(図中では「成行」)を含んだ確認質問の発話(「…に変更ですね?」)がされていることを示している。また、当該確認質問に対して顧客2が了承した(「はい、そうです。」)ことを示している。この場合、例えば、図8の「注文1」の部分に示すように、注文情報抽出画面に表示された各要素の注文情報36のうち、「単価」の要素に係る内容を、オペレータ20の確認質問の発話から抽出された注文情報36(「成行」)によって上書きする。 On the other hand, the operator 20 has issued an additional question for confirming the content of the order change, in which the proper expression (“Nomura Research Institute” in the figure) relating to “stock” and “unit price” The confirmation question is uttered ("Changed to ...?") that includes the proper expression ("Case" in the figure). It also indicates that the customer 2 has accepted the confirmation question (“Yes, that's right.”). In this case, for example, as shown in the “Order 1” portion of FIG. 8, the operator 20 confirms the content related to the “unit price” element in the order information 36 of each element displayed on the order information extraction screen. The order information 36 (“market”) extracted from the utterance of the question is overwritten.

図9の上段の図では、顧客2が複数の売買注文をまとめて行った場合の会話の例を示している。ここでは、顧客2は、複数の「銘柄」について「成行」での「買い」注文を行っており、注文成立のために必要となる各要素のうち、「銘柄」と「数量」についてはそれぞれの注文に対して個別に指定されている(図中では「野村総合研究所」「200株」と「○△□」「100株」)。一方で、各要素のうち「売買(注文種別)」と「単価」については、「成行」での「買い」注文である旨が1回しか発話されていない。したがって、「成行」での「買い」注文である旨は、それぞれの注文に対して係っていると解釈される。 The upper diagram of FIG. 9 shows an example of a conversation when the customer 2 collectively makes a plurality of sales orders. Here, the customer 2 has made a “buying” order in “market” for a plurality of “brands”, and among the respective elements required for order fulfillment, “brand” and “quantity” are respectively Are individually specified for the orders (“Nomura Research Institute” “200 shares” and “○△□” “100 shares” in the figure). On the other hand, regarding “buying/selling (order type)” and “unit price” among the respective elements, the fact that it is a “buying” order in “market” is uttered only once. Therefore, the fact that the order is a "buy" order on the "market" is interpreted as being related to each order.

そこで本実施の形態では、図9の下段の図に示すように、それぞれの注文(図中では「注文1」「注文2」)について、いずれも「成行」での「買い」注文となるよう、注文情報36の内容を補完・補充する。これにより、株式の売買注文に係るオペレータ20および顧客2の作業負担を大きく軽減することができる。 Therefore, in the present embodiment, as shown in the lower diagram of FIG. 9, for each order (“Order 1” and “Order 2” in the figure), both are “buy” orders in “market”. , Complements/supplements the contents of the order information 36. As a result, it is possible to greatly reduce the work load on the operator 20 and the customer 2 relating to the stock trading order.

なお、図9の例では、「成行」での「買い」注文である旨を「注文1」「注文2」の双方にコピーする形で補完・補充しているが、補完・補充の手法はこのように同じ内容をコピーするものに限られない。それぞれの注文において抽出できている注文情報36の内容や対象の要素の種類等に基づいて、適当な内容を推測して変換した上で補完・補充するものであってもよい。また、適当な内容が推測できない場合は、注文情報36が不足しているものとして、図6の下段の図の例と同様に対象の要素が不足している旨をハイライト表示等により強調してもよい。 In the example of FIG. 9, the fact that it is a “buy” order in “market” is complemented/supplemented by copying it to both “order 1” and “order 2”. It is not limited to copying the same contents in this way. Based on the content of the order information 36 extracted in each order, the type of the target element, and the like, the appropriate content may be estimated and converted, and then supplemented/supplemented. If the appropriate content cannot be guessed, it is assumed that the order information 36 is insufficient, and the fact that the target element is insufficient is highlighted by highlighting or the like as in the example of the lower diagram of FIG. May be.

以上に説明したように、本発明の一実施の形態である音声注文受付システム30によれば、顧客2からの電話での注文に係るオペレータ20との会話の音声データをリアルタイムでテキスト化し、注文成立のために必要となる要素の内容となる固有表現を注文情報36としてリアルタイムで抽出することができる。オペレータ20は、抽出された注文情報36をそのままもしくは適宜修正等して、注文システム3に対する注文の入力の際に使用することができる。 As described above, according to the voice order receiving system 30 according to the embodiment of the present invention, voice data of a conversation with the operator 20 regarding a telephone order from the customer 2 is converted into a text in real time, and the order is placed. It is possible to extract, as real-time order information 36, a proper expression that is the content of an element necessary for establishment. The operator 20 can use the extracted order information 36 as it is or by appropriately modifying it, when inputting an order to the order system 3.

また、複数商品等に係る複数の注文が1つの発話(ステートメント)で行われたような場合に、複数の注文に共通の内容についてまとめて1回だけ発話された場合、これを他の注文についての注文情報36として補充・補完することができる。また、注文成立のために必要となる要素の内容を補完・補充できない場合や、一意に決定することができない場合に、その旨をオペレータ20に認識させるように表示して、オペレータ20が追加の質問等を容易に行えるようにすることができる。これらにより、注文の受付に係るオペレータ20の物理的・心理的負担を大きく低減させることができる。 In addition, when multiple orders for multiple products are made with one utterance (statement), when common utterances for multiple orders are uttered only once, this is referred to as another order. Can be replenished and supplemented as the order information 36. In addition, when the contents of the elements required for order fulfillment cannot be complemented/supplemented or cannot be uniquely determined, the fact is displayed so that the operator 20 can recognize the fact, and the operator 20 adds It is possible to easily ask questions. As a result, the physical and psychological burden on the operator 20 for receiving orders can be greatly reduced.

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Although the invention made by the present inventor has been specifically described based on the embodiments, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Needless to say. For example, the above embodiments have been described in detail for the purpose of explaining the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described. Further, it is possible to add/delete/replace other configurations with respect to a part of the configurations of the above-described embodiments.

例えば、上記の実施の形態では、証券会社等における株式の注文を対象としているが、顧客2からの電話等による音声での注文や予約をオペレータ20が受け付けるという構成を有しているものであれば、株式以外の他の商品やサービスの注文・予約を対象としてもよい。 For example, in the above-described embodiment, the order for stocks in a securities company or the like is targeted, but the operator 20 may accept a voice order or reservation from the customer 2 by telephone or the like. For example, orders/reservations for products and services other than stocks may be targeted.

また、上記の実施の形態では、顧客2からの電話での注文をオペレータ20が受け付けて注文情報36を抽出し、不足等がある場合にはオペレータ20が顧客2に対して追加の質問を電話で行う構成としているが、このような応対手法に限られない。例えば、顧客2の発話内容をリアルタイムで解析し、適切な質問や回答等の応答内容を自動的に選択・生成して発することができる自動対話システム(公知のものであってもよい)と組み合わせることも可能である。これにより、オペレータ20の人手を介さずに自動的に追加質問等を行なって注文情報36を補完・補充しつつ、注文を自動的に発生させることができる。 Further, in the above embodiment, the operator 20 accepts a telephone order from the customer 2 and extracts the order information 36. When there is a shortage, the operator 20 calls the customer 2 with an additional question. However, the method is not limited to such a response method. For example, it is combined with an automatic dialogue system (which may be publicly known) that analyzes the utterance content of the customer 2 in real time and can automatically select and generate the response content such as an appropriate question or answer. It is also possible. As a result, it is possible to automatically generate an order while supplementing and replenishing the order information 36 by automatically asking additional questions without the help of the operator 20.

上記の実施の形態における各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、またはICカード、SDカード、DVD等の記録媒体に置くことができる。 Each of the configurations, functions, processing units, processing means, and the like in the above-described embodiments may be implemented in hardware by designing a part or all of them in an integrated circuit, for example. Further, each of the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file that realizes each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.

また、上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。 Further, in each of the above drawings, the control lines and information lines are shown to be necessary for explanation, and not all the control lines and information lines for mounting are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.

本発明は、音声での注文や予約の受付を支援する音声注文受付システムに利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used for a voice order reception system that supports reception of voice orders and reservations.

1…コールセンター、2…顧客、3…注文システム、
10…PBX/CTI、
20…オペレータ、21…オペレータ端末、
30…音声注文受付システム、31…音声認識エンジン、32…形態素解析部、33…注文情報抽出部、34…会話データ、35…注文情報辞書、36…注文情報
1...Call center, 2...Customers, 3...Order system,
10...PBX/CTI,
20...Operator, 21...Operator terminal,
30... Voice order reception system, 31... Voice recognition engine, 32... Morphological analysis unit, 33... Order information extraction unit, 34... Conversation data, 35... Order information dictionary, 36... Order information

Claims (8)

顧客からの音声での注文もしくは予約を受け付けるオペレータによる注文システムへの注文情報の入力を支援する計算機システムを備える音声注文受付システムであって、
音声認識処理によって前記顧客と前記オペレータとの前記注文もしくは予約に係る会話の内容がテキスト化された会話データにおける各ステートメントに対して形態素に分割して品詞を判別する形態素解析部と、
前記形態素解析部によって形態素解析がされた前記会話データにおける前記各ステートメント中の固有表現を特定するための正規表現と、前記正規表現にマッチする部分に対応する前記固有表現との対応からなる注文情報辞書と、
前記形態素解析部によって形態素解析がされた前記会話データにおける前記各ステートメントから、前記注文情報辞書に基づいて、前記注文もしくは予約の成立に必要となる複数の要素の各要素に対応する前記固有表現をそれぞれ抽出して、注文情報として前記オペレータが使用する情報処理端末の第1の画面に表示させる注文情報抽出部と、を有
前記第1の画面に表示されている前記注文情報の要素のうち前記オペレータから指定された前記注文情報の要素を、前記注文システムが前記情報処理端末に表示させる前記注文もしくは予約の入力のための第2の画面に転送するように入力し、
前記注文情報抽出部は、前記注文情報の抽出の際に、前記会話の時系列上で、前記会話の切れ目を判定し、前記会話の切れ目に応じた会話部分ごとに、前記第1の画面の表示内容である前記注文情報の要素を自動的に決定して前記第1の画面の表示を更新し、前記第1の画面の表示内容は、前記複数の要素のうち不足または不明の要素の表示を含む場合があり、その後の前記会話部分に応じて抽出された情報を用いて前記不足または不明の要素を自動的に上書きまたは補完するように更新する、
音声注文受付システム。
A voice order reception system comprising a computer system that supports the input of order information to an order system by an operator who receives voice orders or reservations from customers,
A morpheme analysis unit that determines a part of speech by dividing each statement into morphemes for each statement in the conversation data in which the content of the order or reservation conversation between the customer and the operator is converted to text by voice recognition processing,
Order information consisting of a correspondence between a regular expression for specifying a specific expression in each statement in the conversation data that has been morphologically analyzed by the morphological analysis unit and the specific expression corresponding to a portion matching the regular expression. Dictionary and
From the statements in the conversation data morphologically analyzed by the morpheme analysis unit , based on the order information dictionary, the unique expression corresponding to each element of a plurality of elements necessary for establishing the order or reservation extracted respectively, have a, and order information extracting unit to be displayed on the first screen of the information processing terminal that the operator uses as order information,
The order system displays the order information element designated by the operator among the order information elements displayed on the first screen for inputting the order or reservation. Enter to transfer to the second screen,
The order information extraction unit, when extracting the order information, determines the break of the conversation on the time series of the conversation, and for each conversation portion corresponding to the break of the conversation, the order information of the first screen is displayed. The elements of the order information, which is the display content, are automatically determined and the display of the first screen is updated, and the display content of the first screen is the display of the missing or unknown elements among the plurality of elements. And may be updated to automatically overwrite or supplement the missing or unknown element with information extracted in response to the subsequent conversation portion.
Voice order reception system.
請求項に記載の音声注文受付システムにおいて、
前記第1の画面に表示されている前記注文情報の要素のうち前記オペレータから指定された前記注文情報の要素を前記注文情報辞書に基づいて前記第2の画面の項目に対応させるように変換した上で前記第2の画面に転送するように入力する、音声注文受付システム。
In the voice order receiving system according to claim 1 ,
Was converted so as to correspond to the items of the screen element said order based on the information dictionary of the second specified the order information from the operator of the elements of the order information displayed on the first screen to enter to transfer to the second screen above, the voice order receiving system.
請求項1に記載の音声注文受付システムにおいて、
前記注文情報抽出部は、抽出した前記注文情報に基づいて、前記会話データに複数の前記注文もしくは予約が含まれる場合、複数の前記注文もしくは予約に共通で1回のみ発話された注文情報の要素を、複数の前記注文もしくは予約の全てに反映させて補完する、音声注文受付システム。
In the voice order receiving system according to claim 1,
The order information extraction unit, on the basis of the extracted order information, the conversation when the data contains the order or reservation multiple number, order information, which is only spoken once common to a plurality of the order or reserved A voice order reception system that complements elements by reflecting them on all of a plurality of orders or reservations.
請求項1に記載の音声注文受付システムにおいて、
前記注文情報抽出部は、抽出した前記注文情報が、前記注文もしくは予約の成立に必要となる複数の要素に対して不足する場合に、前記第1の画面において、前記不足する対象の要素に係る表示を強調するとともに前記対象の要素に係る前記転送を前記ユーザによって指定するための操作項目を操作不可能な状態にし、その後の会話部分からの抽出に基づいて要素を更新した結果、前記不足する状態が解消された場合には、前記操作項目を操作可能な状態に戻す、音声注文受付システム。
In the voice order receiving system according to claim 1,
When the extracted order information is insufficient for a plurality of elements necessary for establishing the order or reservation, the order information extraction unit relates to the insufficient target element on the first screen. with emphasis display, the transfer for the elements of the object to inoperable state operation item for specifying by the user, updated results, lack the elements based on the extracted from subsequent conversation part A voice order receiving system that returns the operation item to an operable state when the state of being canceled is canceled .
請求項1に記載の音声注文受付システムにおいて、
前記注文情報抽出部は、抽出した前記注文情報が、前記注文もしくは予約の成立に必要となる複数の要素のうちの要素を一意に定められない場合に、前記第1の画面において、前記一意に定められない対象の要素に係る表示を強調するとともに前記対象の要素に係る前記転送を前記ユーザによって指定するための操作項目を操作不可能な状態にし、その後の会話部分からの抽出に基づいて要素を更新した結果、前記一意に定められない状態が解消された場合には、前記操作項目を操作可能な状態に戻す、音声注文受付システム。
In the voice order receiving system according to claim 1,
The order information extracting unit, when extracted the order information, not uniquely determined elements of the plurality of elements required for establishment of the order or reserved, in the first screen, the uniquely with highlight display according to the determined not to target element, the transfer for the elements of the object to inoperable state operation item for specifying by the user, based on the extracted from subsequent conversation part A voice order receiving system which returns the operation item to an operable state when the element that is not uniquely determined is resolved as a result of updating the element .
請求項1に記載の音声注文受付システムにおいて、
前記注文情報抽出部は、前記会話の第1会話部分に基づいて抽出した前記注文情報を表示する前記第1の画面に対して、その後の前記オペレータによる追加質問および前記顧客による回答を含む前記会話の第2会話部分に基づいて抽出した前記固有表現によって、前記第1の画面内の対応する前記注文情報の要素を上書きもしくは補完するように自動的に表示内容を更新する、音声注文受付システム。
In the voice order receiving system according to claim 1,
The conversation the order information extraction unit, including with respect to the first screen for displaying the order information extracted based on the first conversation portion of the conversation, the answer with additional questions and the customer due to subsequent said operator The voice order receiving system which automatically updates the display content so as to overwrite or complement the corresponding element of the order information in the first screen by the unique expression extracted based on the second conversation part of .
請求項1に記載の音声注文受付システムにおいて、In the voice order receiving system according to claim 1,
前記注文情報抽出部は、抽出した前記注文情報に基づいて、前記会話データに複数の前記注文もしくは予約が含まれる場合、前記第1の画面内において、それぞれの前記注文もしくは予約ごとに、前記注文もしくは予約に必要な複数の要素の情報を、分けて表示する、音声注文受付システム。When the conversation data includes a plurality of the orders or reservations based on the extracted order information, the order information extraction unit displays the order for each of the orders or reservations in the first screen. Alternatively, a voice order reception system that separately displays information on multiple elements required for reservation.
顧客からの音声での注文もしくは予約を受け付ける自動対話システムによる注文システムへの注文情報の入力を支援する計算機システムを備える音声注文受付システムであって、A voice order reception system including a computer system that supports input of order information to an order system by an automatic dialogue system that receives voice orders or reservations from a customer,
音声認識処理によって前記顧客と前記自動対話システムとの前記注文もしくは予約に係る会話の内容がテキスト化された会話データにおける各ステートメントに対して形態素に分割して品詞を判別する形態素解析部と、A morpheme analysis unit that divides a morpheme into each morpheme for each statement in the conversation data in which the content of the order or reservation conversation between the customer and the automatic dialogue system is converted into text by voice recognition processing, and
前記形態素解析部によって形態素解析がされた前記会話データにおける前記各ステートメント中の固有表現を特定するための正規表現と、前記正規表現にマッチする部分に対応する前記固有表現との対応からなる注文情報辞書と、Order information consisting of a correspondence between a regular expression for identifying a specific expression in each statement in the conversation data that has been morphologically analyzed by the morphological analysis unit, and the specific expression corresponding to a portion matching the regular expression. Dictionary and
前記形態素解析部によって形態素解析がされた前記会話データにおける前記各ステートメントから、前記注文情報辞書に基づいて、前記注文もしくは予約の成立に必要となる複数の要素の各要素に対応する前記固有表現をそれぞれ抽出して、注文情報として第1の情報を構成する注文情報抽出部と、を有し、From each of the statements in the conversation data subjected to morpheme analysis by the morpheme analysis unit, based on the order information dictionary, the unique expression corresponding to each element of the plurality of elements necessary for establishing the order or reservation And an order information extraction unit that extracts each and configures the first information as order information,
前記第1の情報における前記注文情報の要素のうち前記自動対話システムが指定した前記注文情報の要素を、前記注文システムへの前記注文もしくは予約の入力のための第2の情報に転送するように入力し、Transferring the element of the order information designated by the automatic dialogue system among the elements of the order information in the first information to the second information for inputting the order or reservation into the order system. Input,
前記注文情報抽出部は、前記注文情報の抽出の際に、前記会話の時系列上で、前記会話の切れ目を判定し、前記会話の切れ目に応じた会話部分ごとに、前記第1の情報の内容である前記注文情報の要素を自動的に決定して前記第1の情報の内容を更新し、前記第1の情報の内容は、前記複数の要素のうち不足または不明の要素を含む場合があり、その後の前記会話部分に応じて抽出された情報を用いて前記不足または不明の要素を自動的に上書きまたは補完するように更新する、The order information extraction unit, when extracting the order information, determines the break of the conversation on the time series of the conversation, and for each conversation part corresponding to the break of the conversation, the order information is extracted. The element of the order information, which is the content, is automatically determined to update the content of the first information, and the content of the first information may include a missing or unknown element among the plurality of elements. And updating to automatically overwrite or supplement the missing or unknown element with information extracted in response to the subsequent conversation portion,
音声注文受付システム。Voice order reception system.
JP2016172917A 2016-09-05 2016-09-05 Voice order reception system Active JP6709132B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016172917A JP6709132B2 (en) 2016-09-05 2016-09-05 Voice order reception system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016172917A JP6709132B2 (en) 2016-09-05 2016-09-05 Voice order reception system

Publications (2)

Publication Number Publication Date
JP2018041155A JP2018041155A (en) 2018-03-15
JP6709132B2 true JP6709132B2 (en) 2020-06-10

Family

ID=61626166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016172917A Active JP6709132B2 (en) 2016-09-05 2016-09-05 Voice order reception system

Country Status (1)

Country Link
JP (1) JP6709132B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240707B2 (en) * 2018-11-15 2023-03-16 TXP Medical株式会社 Information processing system
CN109933198B (en) * 2019-03-13 2022-04-05 广东小天才科技有限公司 Semantic recognition method and device
JP2020170227A (en) * 2019-04-01 2020-10-15 株式会社コムスクエア Reservation management system, information processing apparatus and calling reservation application program
JP6682089B1 (en) * 2019-10-15 2020-04-15 株式会社ナレッジフロー Order management system and order management program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018028A (en) * 2004-07-01 2006-01-19 Nippon Telegr & Teleph Corp <Ntt> Voice interactive method, voice interactive device, voice interactive device, dialog program, voice interactive program, and recording medium
JP2007004282A (en) * 2005-06-21 2007-01-11 Oki Electric Ind Co Ltd Order processing system
JP2015069103A (en) * 2013-09-30 2015-04-13 Necパーソナルコンピュータ株式会社 Information processing device, control method, and program
JP6191919B2 (en) * 2014-07-15 2017-09-06 パナソニックIpマネジメント株式会社 Order input system and order input method

Also Published As

Publication number Publication date
JP2018041155A (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6709132B2 (en) Voice order reception system
US10579834B2 (en) Method and apparatus for facilitating customer intent prediction
US10455088B2 (en) Dialogue flow optimization and personalization
US7386440B2 (en) Method, system, and apparatus for natural language mixed-initiative dialogue processing
CN107577689A (en) Decision tree generating means, decision tree generation method, non-transitory recording medium and enquirement system
US20120317038A1 (en) System and methods for optimizing customer communications
JP5897389B2 (en) Automatic dialogue scenario creation support device and automatic dialogue scenario creation support program
JP6533048B2 (en) Compliance check system and compliance check program
US20230290344A1 (en) Systems and methods for formatting informal utterances
JP5532781B2 (en) Waiting service server, waiting service system using the server, and expected end time calculation method for waiting service
CN114841128A (en) Business interaction method, device, equipment, medium and product based on artificial intelligence
CN111142834A (en) Service processing method and system
CA3005324C (en) Data-driven dialogue enabled self-help systems
JP2016184211A (en) Terminal device, transaction mediation server, and transaction mediation method
KR20120025322A (en) Ordering system using smart phone
WO2019003395A1 (en) Call center conversational content display system, method, and program
TWM545995U (en) System of taking queue number by voice
US20210049303A1 (en) Information processing apparatus and information processing method, and program
JP6550111B2 (en) Display device, display method and program
JP4749437B2 (en) Phonetic character conversion device, phonetic character conversion method, and phonetic character conversion program
JP7377668B2 (en) Control device, control method and computer program
JP6639431B2 (en) Item judgment device, summary sentence display device, task judgment method, summary sentence display method, and program
JP7159701B2 (en) Information processing device, information processing method and program
JP7163845B2 (en) Information processing device and program
JP2023012565A (en) Optimization support method, optimization support program, and optimization support system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200522

R150 Certificate of patent or registration of utility model

Ref document number: 6709132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250