JP6614589B2 - Compliance check system and compliance check program - Google Patents

Compliance check system and compliance check program Download PDF

Info

Publication number
JP6614589B2
JP6614589B2 JP2018090533A JP2018090533A JP6614589B2 JP 6614589 B2 JP6614589 B2 JP 6614589B2 JP 2018090533 A JP2018090533 A JP 2018090533A JP 2018090533 A JP2018090533 A JP 2018090533A JP 6614589 B2 JP6614589 B2 JP 6614589B2
Authority
JP
Japan
Prior art keywords
text data
text
utterance
compliance check
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018090533A
Other languages
Japanese (ja)
Other versions
JP2018120640A (en
Inventor
航 上林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nomura Research Institute Ltd
Original Assignee
Nomura Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nomura Research Institute Ltd filed Critical Nomura Research Institute Ltd
Priority to JP2018090533A priority Critical patent/JP6614589B2/en
Publication of JP2018120640A publication Critical patent/JP2018120640A/en
Application granted granted Critical
Publication of JP6614589B2 publication Critical patent/JP6614589B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、自然言語解析の技術に関し、特に、顧客との商談において営業担当者が説明すべき事項を説明し、述べてはいけない事項を述べていないことをチェックするコンプライアンスチェックシステムおよびコンプライアンスチェックプログラムに適用して有効な技術に関するものである。   The present invention relates to a natural language analysis technology, and in particular, a compliance check system and a compliance check program for explaining matters that should be explained by a sales person in business negotiations with a customer and checking that matters that should not be stated are not stated. It is related to technology effective when applied to.

例えば、金融機関の営業担当者が、顧客に対して金融商品についての営業活動を行う際には、コンプライアンス上、「説明をしなくてはいけない事項(例えば、当該金融商品のリスクなど。以下では「必要事項」と記載する場合がある)」を説明すること、および「述べてはいけない事項や表現(例えば、「絶対儲かります」など。以下では「禁止表現」と記載する場合がある)」を述べないこと、の2点を遵守する必要がある。しかしながら、これが厳密に守られているか否かを営業担当者の管理者(および営業担当者自身も)が把握できていない場合がほとんどであり、コンプライアンスの遵守に対する要請がますます強くなってきている中で、上記の2点が遵守されているか否かを把握したいというニーズが強い。   For example, when a sales person in charge of a financial institution conducts a sales activity on a financial product for a customer, for compliance reasons, “Matters that must be explained (for example, risk of the financial product. "May be described as" necessary items "), and" items and expressions that should not be stated (for example, "absolutely regrets". In the following, "prohibited expressions" may be described) " It is necessary to observe the following two points: However, in most cases, sales managers (and the sales staff themselves) are not able to grasp whether this is strictly observed, and the demand for compliance is becoming stronger. In particular, there is a strong need to understand whether the above two points are being observed.

これに対し、例えば、商談の内容を録音しておき、後にこれを管理者等が聞き起こすことで、商談や営業活動がコンプライアンスを遵守しているか否かをチェックすることが考えられるが、全件を確認するには莫大な時間を要し、現実的ではない。また、例えば、商談における金融商品の提案等の際に必ず説明しなければいけない事項について、複数回の営業活動を通して商談が成立するような場合には、1回の商談の単位では必要な説明が全てされるとは限らない。従って、過去になされた商談の内容についても併せて確認することが必要となり、これも作業時間増大の要因となっている。   On the other hand, for example, it is conceivable to record the contents of the business negotiations, and later check by managers to check whether the business negotiations and sales activities comply with compliance. It takes an enormous amount of time to confirm the matter, which is not realistic. In addition, for example, in the case where a business negotiation is established through a plurality of sales activities, matters that must be explained when making a proposal for a financial product in a business negotiation, for example, are necessary explanations in units of a single business negotiation. Not all. Therefore, it is necessary to confirm the contents of the business negotiations made in the past, which also increases the working time.

商談等においてコンプライアンスが遵守されているか否かをシステム的に把握するための技術として、例えば、特開2007−80096号公報(特許文献1)には、一以上のキーワードを記憶するためのキーワード記憶手段と、通話内容を録音した音声ファイルを取得する手段と、取得した音声ファイルを基にして、通話内容をテキスト検索可能な形式のデータに変換して、当該テキスト検索可能な形式のデータを含む検索対象ファイルを作成する手段と、作成された検索対象ファイルに対して、キーワード記憶手段に記憶されたキーワード毎に類似度検索を行い、キーワード毎に類似度を算出する手段と、算出した類似度が、予め設定された値より大きいと判定されるキーワードが存在する場合に警告を通知する手段と、を備えることで、電話営業における営業員と顧客の通話内容を即時にチェック可能とする自動監視システムが記載されている。   As a technique for systematically grasping whether compliance is observed in business negotiations or the like, for example, Japanese Patent Laid-Open No. 2007-80096 (Patent Document 1) discloses a keyword storage for storing one or more keywords. Means, means for acquiring a voice file recording the call content, and converting the call content into data in a text searchable format based on the acquired voice file, including data in the text searchable format Means for creating a search target file, means for performing a similarity search for each keyword stored in the keyword storage means for the created search target file, and calculating the similarity for each keyword, and the calculated similarity Means for notifying a warning when there is a keyword determined to be larger than a preset value, Automatic monitoring system that allows check immediately the call contents of the sales representative and the customer are listed in the telephone business.

また、特許第5449090号公報(特許文献2)には、担当者が顧客との商談の際に用いる通信端末においてドキュメントを表示するとともに、担当者による所定事項の説明の音声等を録音して解析し、担当者が所定の手順に従って説明しているか、NGワードを発していないか、を自動的に判別することで、所定の手順に従った営業活動が行われているかを監視する営業活動支援システムが記載されている。   In Japanese Patent No. 5449090 (Patent Document 2), a person in charge displays a document on a communication terminal used for a business talk with a customer, and records and analyzes a sound of explanation of predetermined items by the person in charge. Sales activity support that monitors whether sales activities are conducted according to the prescribed procedure by automatically determining whether the person in charge explains according to the prescribed procedure or whether an NG word is issued. The system is described.

また、特許第5468474号公報(特許文献3)には、営業担当者による営業活動や商談の内容のチェックに係るものではないが、コールセンターの業務におけるオペレータの発話の管理において、簡約された談話データにおける話者毎の一連の発話からなるブロックと、説明すべき事項についての説明文言を定義した各トークスクリプトとの間の類似度を算出し、最も類似するトークスクリプトを類似度情報として出力する処理を含むトークスクリプト利用状況算出システムが記載されている。   Japanese Patent No. 5468474 (Patent Document 3) does not relate to sales activities or business negotiations by sales representatives, but simplified discourse data in the management of operator utterances in call center operations. Processing to calculate the similarity between a block consisting of a series of utterances for each speaker and each talk script that defines an explanation for the item to be explained, and to output the most similar talk script as similarity information Talk script usage situation calculation system including is described.

特開2007−80096号公報JP 2007-80096 A 特許第5449090号公報Japanese Patent No. 5449090 特許第5468474号公報Japanese Patent No. 5468474

特許文献に記載されているような技術を用いることで、営業担当者が商談や営業活動の際に顧客に対して説明したり述べたりした内容がコンプライアンスを遵守しているか否かをシステム的にある程度チェックすることは可能である。   By using technologies such as those described in the patent literature, it is systematically determined whether or not the contents that the sales representative explained or stated to the customer during business negotiations or sales activities comply with compliance. It is possible to check to some extent.

しかしながら、例えば、特許文献1の技術においては、談話内容における「禁止表現」の有無のみをチェックの対象としている一方で、「必要事項」が含まれているかについてはチェック対象としていない。また、「禁止表現」の有無をチェックする際の基礎となるものがキーワードの定義のみであり、柔軟性に欠ける面がある。   However, for example, in the technique of Patent Document 1, only the presence or absence of “prohibited expressions” in the content of the discourse is the target of the check, while whether “necessary items” are included is not the target of the check. In addition, the basis for checking the presence or absence of “prohibited expressions” is only the definition of the keyword, and there is a lack of flexibility.

これに対し、例えば、特許文献2の技術においては、「禁止表現」の有無、および「必要事項」が含まれているか否かのいずれについても行うことができるが、キーワードマッチングとルールによる比較的単純な手法によるチェックしかできない。人と人との会話は、同じ意味や内容を有することを話していても、発話内容に揺らぎが生じることが多い。特に、「禁止表現」の有無については、NGワードの有無など、上記のような比較的単純な手法でもある程度のチェックが可能であるが、「必要事項」が述べられているかについては、過去になされた商談の内容も併せて全体的なチェックをすることや、類似の表現を許容するなどの緩やかな解釈をとらなければ実効性のあるチェックは困難である。   On the other hand, for example, in the technique of Patent Document 2, it is possible to perform both the presence / absence of “prohibited expression” and whether or not “necessary matters” are included. It can only be checked by a simple method. Even if the conversation between people talks about having the same meaning and content, the content of the utterance often fluctuates. In particular, the presence or absence of “prohibited expressions” can be checked to some extent even with the above-described relatively simple methods such as the presence or absence of NG words. Effective checking is difficult unless the contents of the negotiations that have been made are also comprehensively checked and a loose interpretation such as allowing similar expressions is taken.

特許文献3の技術においても同様であり、談話内容において「必要事項」が含まれているかをシステム的にチェックすることができるが、そのままでは実効性のあるチェックを行うことは困難であり、実効性を高めるにはトークスクリプトの整備に多大なコストを要するものと考えられる。   The same applies to the technique of Patent Document 3, and it is possible to systematically check whether “necessary items” are included in the content of the discourse, but it is difficult to perform an effective check as it is. In order to improve the performance, it is considered that a large amount of cost is required for the maintenance of the talk script.

そこで本発明の目的は、商談や営業活動の際の顧客への説明内容等のデータに基づいて、「禁止表現」の有無、および「必要事項」が含まれているか否かのいずれについてもチェック対象とするコンプライアンスチェックシステムおよびコンプライアンスチェックプログラムを提供することにある。   Therefore, the object of the present invention is to check whether there is a “prohibited expression” and whether “necessary items” are included based on data such as explanations to customers during business negotiations and sales activities. To provide a compliance check system and a compliance check program.

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。   The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。   Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.

本発明の代表的な実施の形態によるコンプライアンスチェックシステムは、営業担当者が顧客に対して行った各発話についてコンプライアンスを遵守しているかをチェックするコンプライアンスチェックシステムであって、以下の特徴を有するものである。   A compliance check system according to a typical embodiment of the present invention is a compliance check system that checks whether or not each utterance made by a sales representative to a customer complies with compliance, and has the following characteristics: It is.

すなわち、前記営業担当者の前記各発話の内容を音声認識技術によりテキスト化したテキストデータに対して、形態素解析を含む自然言語解析処理を行って解析済テキストデータとして出力するテキスト解析部と、前記各発話に係る前記解析済テキストデータと、顧客に対して説明するべき必要事項の内容として予め定義された第1のテキストデータとの類似度を算出し、前記類似度が所定の値を超えた場合に、対象の前記発話において対象の前記必要事項が説明されたものと判定する類似度算出部と、前記各発話に係る前記解析済テキストデータについて、顧客に対して述べてはいけない禁止表現の内容として予め定義された第2のテキストデータにマッチするものがある場合に、対象の前記発話において対象の前記禁止表現が述べられたものと判定するキーワードマッチング部と、を有する。   That is, a text analysis unit that performs natural language analysis processing including morphological analysis on text data obtained by converting the content of each utterance of the sales representative into text using speech recognition technology, and outputs the analyzed text data, The similarity between the analyzed text data relating to each utterance and the first text data defined in advance as the content of necessary items to be explained to the customer is calculated, and the similarity exceeds a predetermined value A similarity calculation unit that determines that the necessary items of the target have been explained in the target utterance, and the analyzed text data related to each utterance of a prohibited expression that should not be described to the customer The forbidden expression of the object was stated in the utterance of the object when there was a match with the second text data predefined as content Having a keyword matching unit determines that the.

また、本発明は、コンピュータを上記のようなコンプライアンスチェックシステムとして機能するよう、コンピュータに処理を実行させるプログラムにも適用することができる。   The present invention can also be applied to a program that causes a computer to execute processing so that the computer functions as a compliance check system as described above.

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。   Among the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.

すなわち、本発明の代表的な実施の形態によれば、商談や営業活動の際の顧客への説明内容等のデータに基づいて、「禁止表現」の有無、および「必要事項」が含まれているか否かのいずれについてもチェック対象とすることが可能となる。   In other words, according to a typical embodiment of the present invention, the presence or absence of “prohibited expression” and “necessary matters” are included based on data such as explanation contents to customers during business negotiations and sales activities. It is possible to check whether or not there is any.

本発明の一実施の形態であるコンプライアンスチェックシステムの構成例について概要を示した図である。It is the figure which showed the outline | summary about the structural example of the compliance check system which is one embodiment of this invention. 本発明の一実施の形態における商談等についてのコンプライアンスの遵守状況を確認する画面の例について概要を示した図である。It is the figure which showed the outline | summary about the example of the screen which confirms the compliance status about the negotiation etc. in one embodiment of this invention. 本発明の一実施の形態における商談等についてのコンプライアンスの遵守状況を確認する画面の例について概要を示した図である。It is the figure which showed the outline | summary about the example of the screen which confirms the compliance status about the negotiation etc. in one embodiment of this invention. 本発明の一実施の形態における商談内容の解析処理の流れの例について概要を示したフローチャートである。It is the flowchart which showed the outline | summary about the example of the flow of the analysis process of the negotiation contents in one embodiment of this invention. 本発明の一実施の形態における「必要事項」を説明しているか否かの具体的な判定の例を示した図である。It is the figure which showed the example of the specific determination of whether the "necessary matter" in one embodiment of this invention is demonstrated. 本発明の一実施の形態における「禁止表現」を述べていないかどうかの具体的な判定の例について概要をそれぞれ示した図である。It is the figure which respectively showed the outline | summary about the example of the concrete determination whether the "prohibition expression" in one embodiment of this invention is not described.

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted.

本発明の一実施の形態であるコンプライアンスチェックシステムは、例えば、金融機関等の営業担当者が商談や営業活動の際に顧客へ行った説明等の内容を音声データとして録音し、これをテキスト化したデータに基づいて自然言語解析を行って、「禁止表現」の有無、および「必要事項」が含まれているか否かをチェックし、結果を出力するものである。これにより、営業担当者自身やその管理者等が、営業活動におけるコンプライアンスの遵守状況を確認することが可能となる。   The compliance check system according to one embodiment of the present invention, for example, records contents such as explanations given to customers during sales negotiations or sales activities by sales representatives such as financial institutions as voice data, and converts this into text A natural language analysis is performed based on the obtained data to check whether or not “prohibited expressions” exist and whether or not “necessary items” are included, and the result is output. As a result, the sales staff themselves and their managers can check the status of compliance in sales activities.

本実施の形態では、テキスト化された商談のデータを所定の単位で複数の発話毎にブロック化するとともに、営業担当者が顧客との会話の中で説明することから生じる表現の揺らぎを吸収して精度を向上させるため、テキスト化された商談のデータに対して同義語展開処理を施して表現を正規化する。また、「禁止表現」の有無については、キーワードマッチングをベースに柔軟に判定可能とするとともに、「必要事項」が含まれているか否かについては、「必要事項」として定義されたテキストとの間での類似度を算出することにより効率的かつ効果的に判定する。   In the present embodiment, the business negotiation data that has been converted into text is blocked for each of a plurality of utterances in a predetermined unit, and the fluctuation of the expression caused by the sales person explaining in the conversation with the customer is absorbed. In order to improve accuracy, synonym expansion processing is performed on the text data of the negotiations to normalize the expression. The presence or absence of “prohibited expressions” can be determined flexibly based on keyword matching, and whether or not “necessary items” are included can be determined with the text defined as “necessary items”. It is determined efficiently and effectively by calculating the degree of similarity at.

<システム構成>
図1は、本発明の一実施の形態であるコンプライアンスチェックシステムの構成例について概要を示した図である。コンプライアンスチェックシステム1は、インターネット等のネットワーク300に接続された音声認識サーバ100および商談解析サーバ200と、これらのサーバに対してネットワーク300を介してアクセス可能な情報処理端末からなる1つ以上の営業端末411および管理者端末421を有する。
<System configuration>
FIG. 1 is a diagram showing an outline of a configuration example of a compliance check system according to an embodiment of the present invention. The compliance check system 1 includes a speech recognition server 100 and a business negotiation analysis server 200 connected to a network 300 such as the Internet, and one or more business operations including information processing terminals that can access these servers via the network 300. A terminal 411 and an administrator terminal 421 are included.

音声認識サーバ100は、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバなどにより実装されるサーバシステムであり、音声データを解析してテキストデータ化する機能を有する。なお、音声データをテキスト化する技術については特に限定されず、公知のシステムやソフトウェア、ライブラリなどを適宜用いることができる。本実施の形態では、後述する営業端末411等から商談や営業活動に係る音声データをネットワーク300を介して取得し、これを解析してテキスト化するとともに、音声データとテキスト化されたデータを商談解析サーバ200に出力する。   The speech recognition server 100 is a server system that is implemented by, for example, a server device or a virtual server built on a cloud computing service, and has a function of analyzing speech data and converting it into text data. Note that the technology for converting voice data into text is not particularly limited, and known systems, software, libraries, and the like can be used as appropriate. In the present embodiment, voice data related to business negotiations and business activities is acquired from a sales terminal 411, which will be described later, via the network 300, and this is analyzed and converted into text, and the voice data and the text-converted data are also negotiated. Output to the analysis server 200.

商談解析サーバ200も同様に、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバなどにより実装されるサーバシステムであり、テキスト化された商談のデータについて、キーワードマッチングによる「禁止表現」の有無のチェックと、類似度の算出による「必要事項」を含むか否かのチェックを行う機能を有する。また、管理者等が保有する管理者端末421からのネットワーク300を介した要求に対してチェック結果と併せて商談の情報を出力するユーザインタフェースの機能を有する。   Similarly, the negotiation analysis server 200 is a server system implemented by, for example, a virtual server constructed on a server device or a cloud computing service, and the “prohibited expression” by keyword matching is performed on the textualized negotiation data. And whether to include “necessary items” by calculating similarity. Further, it has a function of a user interface that outputs information on negotiations together with a check result in response to a request from the administrator terminal 421 held by the administrator via the network 300.

商談解析サーバ200は、例えば、図示しないOS(Operating System)やDBMS(DataBase Management System)、Webサーバプログラムなどのミドルウェア上で稼働するソフトウェアとして実装されるテキスト解析部210、類似度算出部220、キーワードマッチング部230、およびユーザインタフェース部240などの各部を有する。また、データベースやファイルなどにより実装される商談音声情報201、商談テキスト情報202、解析済テキスト情報203、カテゴリ付与情報204、同義語定義情報211、必要事項情報221、固有表現ルール231、および禁止表現情報232などの各データストアを有する。   The negotiation analysis server 200 includes, for example, an OS (Operating System) not shown, a DBMS (DataBase Management System), a text analysis unit 210 implemented as software running on middleware such as a Web server program, a similarity calculation unit 220, a keyword Each unit includes a matching unit 230 and a user interface unit 240. Also, the negotiation voice information 201, the negotiation text information 202, the analyzed text information 203, the category assignment information 204, the synonym definition information 211, the necessary information 221, the specific expression rule 231, and the prohibited expression implemented by a database or a file Each data store has information 232 and the like.

ここで、商談音声情報201は、ネットワーク300を介して音声認識サーバ100から取得した音声データを記録したものであり、商談テキスト情報202は、音声認識サーバ100によって当該音声データがテキスト化されたテキストデータを記録したものである。これらのデータは、後に特定して抽出できるように、例えば、商談毎に営業担当者410や顧客500を特定するID等の情報と関連付けて記録する。   Here, the negotiation voice information 201 is recorded voice data acquired from the voice recognition server 100 via the network 300, and the negotiation text information 202 is a text in which the voice data is converted into text by the voice recognition server 100. Data is recorded. These data are recorded in association with information such as an ID for identifying the sales representative 410 and the customer 500 for each business negotiation so that they can be identified and extracted later.

テキスト解析部210は、商談テキスト情報202に記録された商談のテキストデータに基づいて自然言語解析を行い、商談の構造を解析して、結果を解析済テキスト情報203として出力する機能を有する。   The text analysis unit 210 has a function of performing natural language analysis based on the text data of the negotiation recorded in the negotiation text information 202, analyzing the structure of the negotiation, and outputting the result as analyzed text information 203.

自然言語解析としては、後述するように、例えば、テキストデータ中の各発話(後述するように、営業担当者410のもののみが含まれ、顧客500のものは含まれない)に対して形態素解析を行って品詞等により分解し、発話構造を把握する。形態素解析の処理は、例えば、公知のプログラムやライブラリなどを適宜利用して行うことができる。さらに、形態素解析の結果に基づいて、例えば、ルールベースでの判断などにより、商談の意味内容を把握するための商談の構造に係る情報を取得するようにしてもよい。例えば、対象の発話が質問であるのか説明であるのか、挨拶や相槌等の不要表現であるのか、などを把握することができる。   As the natural language analysis, as will be described later, for example, morphological analysis is performed on each utterance in the text data (as described later, only those of the salesperson 410 are included, and those of the customer 500 are not included). To understand the utterance structure. The morphological analysis process can be performed using, for example, a known program or library as appropriate. Further, based on the result of the morphological analysis, for example, information related to the structure of the negotiation for grasping the meaning content of the negotiation may be acquired by determination based on a rule. For example, it is possible to grasp whether the target utterance is a question or an explanation or whether it is an unnecessary expression such as a greeting or a companion.

本実施の形態では、さらに、商談中の各発話における表現の揺らぎを排除してチェックの精度を向上させるために、後述するように、予め定義された同義語定義情報211の内容に基づいて、テキストデータ中の同義語を標準表現に展開して表現を正規化する。   In the present embodiment, in order to improve the accuracy of the check by eliminating the fluctuation of the expression in each utterance during the negotiation, as described later, based on the contents of the predefined synonym definition information 211, Normalizes expressions by expanding synonyms in text data into standard expressions.

類似度算出部220は、解析済テキスト情報203内の各発話について、所定の基準に従って連続する1つ以上の発話からなるブロックにまとめた上で、各ブロックにおいて「必要事項」が説明されているか否かを判定する機能を有する。ここでは、後述するように、各ブロックにおける発話のテキストデータについて、必要事項情報221に予め定義された、商談案件のカテゴリ毎の「必要事項」の説明内容のテキストデータとの類似度を算出する。そして、類似度が所定の閾値以上である場合に、対象ブロックにおいて対象の「必要事項」を説明した(発話内容に「必要事項」が含まれている)ものとして、当該ブロックに対して当該「必要事項」のカテゴリを付与し、カテゴリ付与情報204に記録する。 キーワードマッチング部230は、解析済テキスト情報203内の各発話について、禁止表現情報232に予め定義された「禁止表現」を述べているか否かをキーワードマッチングにより判定する機能を有する。「禁止表現」に該当する表現には、例えば、「○○○は必ず値上がりします」における“○○○”の部分など、人名や企業名、商品名、電話番号や住所など、実際の個々の商談において具体化される固有名詞や数量などの情報(以下では「固有表現」と記載する場合がある)が含まれる場合がある。従って、本実施の形態では、「禁止表現」について、固有表現の部分をパラメータ化したテキストとして禁止表現情報232に定義する。   Whether the similarity calculation unit 220 summarizes each utterance in the analyzed text information 203 into a block made up of one or more continuous utterances according to a predetermined criterion, and whether “necessary items” are described in each block. It has a function to determine whether or not. Here, as will be described later, the degree of similarity between the text data of the utterances in each block and the text data of the explanation content of “necessary items” for each category of the negotiation item, which is defined in advance in the necessary item information 221 is calculated. . When the similarity is equal to or higher than a predetermined threshold, the “necessary items” of the target in the target block are described (the “necessary items” are included in the utterance content), and the “ The category “necessary items” is assigned and recorded in the category assignment information 204. The keyword matching unit 230 has a function of determining, by keyword matching, whether or not “prohibited expression” defined in advance in the prohibited expression information 232 is described for each utterance in the analyzed text information 203. Examples of expressions that fall under “prohibited expressions” include actual names such as names, company names, product names, telephone numbers, and addresses, such as “XXX” in “XX will always increase”. In some cases, information such as proper nouns and quantities embodied in the business negotiations (hereinafter referred to as “specific expressions”) may be included. Therefore, in the present embodiment, “prohibited expression” is defined in the prohibited expression information 232 as a parameterized text of the specific expression part.

そして、本実施の形態では、上記のパラメータ化された固有表現を含む「禁止表現」とキーワードマッチングができるようにするため、解析済テキスト情報203内のテキストデータについて、具体的な固有名詞や数量等の中から固有表現に該当するものを事前に抽出しておく。ここでは、発話のテキストデータに対する形態素解析の結果に基づいて分解された各語が固有表現か否かを判定するためのルールを、例えば、正規表現を用いた表現パターンとして固有表現ルール231に定義しておく。   In this embodiment, in order to perform keyword matching with the “prohibited expression” including the above-described parameterized specific expression, specific proper nouns and quantities are determined for the text data in the analyzed text information 203. From the above, those corresponding to the specific expression are extracted in advance. Here, a rule for determining whether or not each word decomposed based on the result of the morphological analysis on the text data of the utterance is a specific expression is defined in the specific expression rule 231 as an expression pattern using a regular expression, for example. Keep it.

キーワードマッチング部230は、固有表現ルール231に定義されたルールに基づいて解析済テキスト情報203内のテキストデータから固有表現を抽出した上で、禁止表現情報232に定義された「禁止表現」のテキストデータをキーワードとして、固有表現を考慮した上でのキーワードマッチングを行う。ここでのキーワードマッチングを行うために、禁止表現情報232に定義する「禁止表現」についても正規表現を用いた表現パターンとして定義するようにしてもよい。「禁止表現」にマッチした表現がある場合に、対象の発話において「禁止表現」を述べたものとして、当該発話に対して当該「禁止表現」のカテゴリを付与し、カテゴリ付与情報204に記録する。   The keyword matching unit 230 extracts the specific expression from the text data in the analyzed text information 203 based on the rule defined in the specific expression rule 231, and then the text of “prohibited expression” defined in the prohibited expression information 232. Keyword matching is performed using data as a keyword and taking into account specific expressions. In order to perform keyword matching here, the “prohibited expression” defined in the prohibited expression information 232 may also be defined as an expression pattern using a regular expression. If there is an expression that matches the “prohibited expression”, the category of the “prohibited expression” is assigned to the utterance and recorded in the category assignment information 204 as if the “prohibited expression” was described in the target utterance. .

ユーザインタフェース部240は、例えば、営業端末411や管理者端末421からのネットワーク300を介した要求に対して、商談の一覧や内容、および各商談についてのコンプライアンスの遵守状況を、営業端末411や管理者端末421上の図示しないWebブラウザ等に表示させる機能を有する。ここでは、後述するように、例えば、商談テキスト情報202等から取得した各商談における発話の情報と、カテゴリ付与情報204に記録された「必要事項」および「禁止表現」に該当するとされた発話の情報をとりまとめて、各商談についての一覧表示や、個別の商談の詳細表示により画面上に表示させる。   For example, in response to a request from the sales terminal 411 or the administrator terminal 421 via the network 300, the user interface unit 240 displays a list of business negotiations and their contents, and the compliance status of each business negotiation. A function to display on a web browser or the like (not shown) on the user terminal 421. Here, as will be described later, for example, the utterance information in each negotiation acquired from the negotiation text information 202 and the utterances determined to correspond to “necessary items” and “prohibited expressions” recorded in the category assignment information 204. The information is collected and displayed on the screen by displaying a list of each negotiation or displaying details of each negotiation.

なお、図1の構成例では、音声認識サーバ100と商談解析サーバ200とを別個のサーバシステムとして構成しているが、これに限らず、これらが統合された1つのサーバシステムとして構成されていてもよい。   In the configuration example of FIG. 1, the voice recognition server 100 and the negotiation analysis server 200 are configured as separate server systems. However, the configuration is not limited thereto, and is configured as a single server system in which these are integrated. Also good.

営業担当者410は、顧客500との商談に際して、自身の発話のみを録音するため、例えば、指向性のピンマイク412などを装着して商談を行い、音声データを営業端末411上に記録する。ICレコーダなどを用いて直接録音してもよい。音声データは、例えば、図示しないCRM(Customer Relationship Management)システムや営業管理システムなどに対する営業日報の報告などの際に併せて音声認識サーバ100にアップロードする。なお、顧客500の発話も併せて録音するようにしてもよいが、顧客500の心理的抵抗が大きく、また、音声認識サーバ100、および商談解析サーバ200のテキスト解析部210において、営業担当者410の発話と顧客500の発話とを分別して処理する必要が生じることから、基本的には行わないものとする。   The sales representative 410 records only his / her utterance at the time of the business talk with the customer 500, so that the business staff 410 wears a directional pin microphone 412 or the like, for example, and records voice data on the sales terminal 411. Direct recording may be performed using an IC recorder or the like. The voice data is uploaded to the voice recognition server 100 at the time of reporting a daily business report to a CRM (Customer Relationship Management) system or a sales management system (not shown), for example. The utterance of the customer 500 may be recorded together, but the psychological resistance of the customer 500 is great, and the sales person 410 in the text analysis unit 210 of the speech recognition server 100 and the negotiation analysis server 200. Since it is necessary to separately process the utterance of the customer and the utterance of the customer 500, it is basically not performed.

<画面例>
図2、図3は、営業端末411や管理者端末421に表示される、商談等についてのコンプライアンスの遵守状況を確認する画面の例について概要を示した図である。上述したように、当該画面は、商談解析サーバ200のユーザインタフェース部240により、HTML(HyperText Markup Language)等によって営業端末411や管理者端末421上の図示しないWebブラウザなどに表示される。
<Screen example>
2 and 3 are diagrams showing an outline of an example of a screen that is displayed on the sales terminal 411 and the manager terminal 421 and that confirms the compliance status of business negotiations and the like. As described above, the screen is displayed by the user interface unit 240 of the business negotiation analysis server 200 on a business browser 411 or a web browser (not shown) on the administrator terminal 421 by HTML (HyperText Markup Language) or the like.

図2は、商談を一覧表示した画面であり、図3は、個別の商談についての詳細内容を表示した画面である。図2の例では、4つの商談案件が一覧表示されており、各商談について、営業担当者410の情報や商談日時の情報、商談における発話のテキストデータの情報などが表示されている。また、「必要事項」を説明しているか否か、および「禁止表現」を述べていないかどうかについての判定結果の情報も表示しており、例えば、2行目の商談(ID:BBB002)では、「禁止表現」が述べられている旨が「NGワード:あり」という記載とともに強調表示されている。   FIG. 2 is a screen that displays a list of business negotiations, and FIG. 3 is a screen that displays detailed contents of individual business negotiations. In the example of FIG. 2, four negotiation cases are displayed in a list, and for each negotiation, information on the sales representative 410, information on the date and time of the negotiation, information on text data of utterances in the negotiation, and the like are displayed. In addition, information on a determination result as to whether or not “necessary items” are described and whether or not “prohibited expressions” are described is also displayed. For example, in the business negotiation (ID: BBB002) on the second line. The fact that “prohibited expression” is stated is highlighted together with the description “NG word: yes”.

また、例えば、4行目の商談(ID:DDD004)では、「案件カテゴリ」として「商品解約手続」が割り当てられ、当該カテゴリの商談において説明すべき「必要事項」のうちの一部が説明されている旨が「説明:4/7」という記載(7つの説明事項のうち4つが説明されている)によって表示されている。この例では、当該商談は説明すべき「必要事項」の全てを充足していないことから、当該商談のデータが強調表示されている。   Further, for example, in the business negotiation (ID: DDD004) on the fourth line, “product cancellation procedure” is assigned as the “item category”, and a part of “necessary matters” to be explained in the business negotiation of the category is explained. Is displayed by the description “Description: 4/7” (4 out of 7 explanation items are explained). In this example, since the negotiation does not satisfy all the “necessary items” to be explained, the data of the negotiation is highlighted.

なお、「案件カテゴリ」の情報は、後述の図3に示した詳細画面において管理者420等が設定することで割り当てられる。従って、図2の例では、新規案件(例えば、図中の1〜3行目の商談)においては「案件カテゴリ」がブランク(もしくはNULL)であり、管理者420等により「案件カテゴリ」がまだ割り当てられていないことを示している。   Note that the “item category” information is assigned by setting by the administrator 420 or the like on the detailed screen shown in FIG. Therefore, in the example of FIG. 2, in the new case (for example, the business negotiations in the first to third lines in the figure), the “case category” is blank (or NULL), and the “case category” is still set by the administrator 420 or the like. Indicates that it has not been assigned.

図3の例では、図2の例において4行目の商談(ID:DDD004)が選択された際の当該商談の詳細な内容が表示されており、例えば、左欄には「商談内容」として営業担当者410の各発話のテキストデータが表示されている。各発話は、例えば、欄右側のスピーカのマークからなる再生ボタンを押下することで、商談音声情報201に記録されている実際の発話内容の音声データを再生して確認することができる。   In the example of FIG. 3, detailed contents of the negotiation when the negotiation (ID: DDD004) on the fourth line in the example of FIG. 2 is selected are displayed. Text data of each utterance of the sales representative 410 is displayed. Each utterance can be confirmed by reproducing the audio data of the actual utterance content recorded in the negotiation audio information 201 by, for example, pressing a playback button consisting of a speaker mark on the right side of the column.

また、右上欄では、管理者420等が当該商談に対して「案件カテゴリ」を予め定められたパターンの中から選択もしくは入力することで割り当てることができることを示している。「案件カテゴリ」が選択されると(図3の例では「商品解約手続」が選択されたことを示している)、当該カテゴリの商談において説明すべき「必要事項」として予め定義されている内容を必要事項情報221から抽出し、さらに、各「必要事項」が説明されているか否かの情報をカテゴリ付与情報204から取得して、図示するように動的に一覧表示する。   Further, the upper right column indicates that the manager 420 and the like can be assigned to the negotiation by selecting or inputting a “case category” from predetermined patterns. When “Item category” is selected (in the example of FIG. 3, “Product cancellation procedure” is selected), the contents defined in advance as “necessary items” to be explained in the negotiation of the category Is extracted from the necessary information 221, and information indicating whether or not each “necessary item” is described is acquired from the category assignment information 204, and dynamically displayed in a list as illustrated.

ここでは、各「必要事項」の定義内容に最も類似する発話のテキストデータと、当該発話について類似度算出部220において算出された類似度(図中では「スコア」で表示)を表示している。そして、類似度(「スコア」)が所定の閾値以上である場合には、当該「必要事項」について説明がされたものとして「説明」欄に“○”を表示し、所定の閾値未満である場合には、説明がされていないものとして“×”を表示している。   Here, the text data of the utterance most similar to the definition content of each “necessary item” and the similarity calculated for the utterance by the similarity calculation unit 220 (displayed as “score” in the figure) are displayed. . If the degree of similarity (“score”) is equal to or greater than a predetermined threshold, “○” is displayed in the “Description” column as if the “necessary items” have been described, and is less than the predetermined threshold. In this case, “x” is displayed as a description that is not explained.

また、右下欄には、「NG発話」として、当該商談における営業担当者410の各発話が、予め定義されている「禁止表現」(図中では「NG項目」で表示)に該当する場合に、当該「禁止表現」を述べたものとして、当該発話のテキストデータと、当該「禁止表現」に該当する程度(図中では「スコア」で表示)を一覧表示している。   Also, in the lower right column, when “NG utterance”, each utterance of the sales representative 410 in the negotiation corresponds to a predefined “prohibited expression” (indicated as “NG item” in the figure). In addition, as a description of the “prohibited expression”, the text data of the utterance and the degree corresponding to the “prohibited expression” (indicated by “score” in the figure) are displayed as a list.

上述の図2、図3の例に示したような画面により、営業担当者410や管理者420は、商談等についてのコンプライアンスの遵守状況を容易に確認することができる。   The sales representatives 410 and the manager 420 can easily confirm the compliance status of the negotiations and the like through the screens shown in the examples of FIGS. 2 and 3 described above.

<処理内容>
図4は、商談解析サーバ200における商談内容の解析処理の流れの例について概要を示したフローチャートである。また、図5は、類似度算出部220による「必要事項」を説明しているか否かの具体的な判定の例を示した図であり、図6は、キーワードマッチング部230による「禁止表現」を述べていないかどうかの具体的な判定の例について概要をそれぞれ示した図である。
<Processing content>
FIG. 4 is a flowchart showing an outline of an example of the flow of analysis processing of negotiation contents in the negotiation analysis server 200. FIG. 5 is a diagram showing a specific example of whether or not “necessary items” are explained by the similarity calculation unit 220, and FIG. 6 is a “prohibited expression” by the keyword matching unit 230. It is the figure which each showed the outline | summary about the example of the concrete determination whether it is not described.

処理の前提として、例えば、営業担当者410が顧客500との商談の内容を録音した音声データは、商談の当日に営業担当者410により音声認識サーバ100にアップロードされ、さらに、音声認識サーバ100での夜間バッチ処理によりテキスト化されており、その結果として、商談解析サーバ200の商談音声情報201および商談テキスト情報202はすでに作成もしくは更新されているものとする。   As a premise of the processing, for example, voice data in which the sales person 410 records the contents of the negotiation with the customer 500 is uploaded to the voice recognition server 100 by the sales person 410 on the day of the negotiation. As a result, it is assumed that the negotiation voice information 201 and the negotiation text information 202 of the negotiation analysis server 200 have already been created or updated.

商談解析サーバ200では、夜間バッチとして処理を開始すると、まず、テキスト解析部210が商談テキスト情報202から処理対象のテキストデータを取得する(S01)。図5および図6では、ステップS01で取得する具体的なテキストデータの例を示している。ここでは、例えば、商談テキスト情報202のデータベースを直接検索したり、予め作成されたAPI(Application Programming Interface)呼び出したりして取得することができる。   In the negotiation analysis server 200, when processing is started as a night batch, first, the text analysis unit 210 acquires text data to be processed from the negotiation text information 202 (S01). 5 and 6 show examples of specific text data acquired in step S01. Here, for example, it can be obtained by directly searching the database of the negotiation text information 202 or calling an API (Application Programming Interface) created in advance.

処理対象となるテキストデータは、例えば、商談毎の一連の発話のテキストデータである。よって、商談テキスト情報202に複数の商談に係るデータが記録されている場合は、商談毎に以下の処理を繰り返すものとする。なお、上述したように、「必要事項」が複数回の商談を通して説明される場合もあるため、営業担当者410や顧客500の情報をキーとして、過去の所定の範囲の商談のデータについても併せて取得するようにする。   The text data to be processed is, for example, text data of a series of utterances for each business negotiation. Therefore, when data related to a plurality of negotiations is recorded in the negotiation text information 202, the following processing is repeated for each negotiation. As described above, since “necessary matters” may be explained through a plurality of business negotiations, information on sales negotiations 410 and customers 500 in the past is also used as a key. To get.

次に、テキスト解析部210は、取得したテキストデータに対して形態素解析を行う(S02)。ここでは、上述したように、公知の手法やライブラリ等を用いて形態素解析を行い、テキストデータの品詞等を解析して語に分解する(S02)。   Next, the text analysis unit 210 performs morphological analysis on the acquired text data (S02). Here, as described above, morphological analysis is performed using a known method, library, etc., and the part of speech of the text data is analyzed and decomposed into words (S02).

その後、表現の揺らぎを排除するために、同義語定義情報211の定義内容(同義語と標準表現との対応関係のリスト)に基づいて、テキストデータ中の同義語を標準表現に展開して表現を正規化し(S03)、処理結果の情報を解析済テキスト情報203として出力する。図5の例では、ステップS01で取得したテキストデータに対して、ステップS03において、「国内投信」という語が「国内投資信託」という標準表現に、「引かれた」という語が「減額された」という標準表現にそれぞれ展開されていることを示している。同様に、図6の例では、ステップS01で取得したテキストデータに対して、ステップS03において、「投信」という語が「投資信託」という標準表現に、「儲かる」という語が「利益の出る」という標準表現にそれぞれ展開されていることを示している。   After that, in order to eliminate fluctuations in the expression, the synonym in the text data is expanded and expressed in the standard expression based on the definition contents of the synonym definition information 211 (list of correspondence relation between the synonym and the standard expression). Is normalized (S03), and processing result information is output as analyzed text information 203. In the example of FIG. 5, for the text data acquired in step S01, in step S03, the word “domestic investment trust” is changed to the standard expression “domestic investment trust” and the word “drawn” is “reduced”. ”In the standard expression. Similarly, in the example of FIG. 6, with respect to the text data acquired in step S01, in step S03, the word “investment trust” is changed to the standard expression “investment trust”, and the word “profit” is “profitable”. It shows that it is expanded to each standard expression.

その後は、類似度算出部220による「必要事項」を説明しているか否かの判定(ステップS04〜S06)、およびキーワードマッチング部230による「禁止表現」を述べていないかどうかの判定(ステップS07〜S09)がそれぞれ行われる。図4の例では、これらの処理を並列的に行うように示されているが、必ずしも並列的に行う必要はなく、いずれか一方の処理が完了した後に他方の処理を行うように逐次的な処理としてもよい。   Thereafter, it is determined whether or not “necessary items” are explained by the similarity calculation unit 220 (steps S04 to S06), and whether or not “prohibited expressions” are stated by the keyword matching unit 230 (step S07). To S09). In the example of FIG. 4, these processes are shown to be performed in parallel. However, it is not always necessary to perform these processes in parallel, and after one of the processes is completed, the other process is performed sequentially. It is good also as processing.

類似度算出部220による「必要事項」を説明しているか否かの判定処理では、まず、商談のテキストデータに含まれる複数の発話について、所定の基準に従って連続する1つ以上の発話をブロックとしてまとめる(S04)。図5の例では、当初の2つの発話をステップS04で1つのブロックとしてまとめた状態を示している。ブロックにまとめる基準は、例えば、営業担当者410の説明が切れる部分や切り替わる部分などを対象とすることができ、連続する発話間の時間間隔が所定の長さよりも長いものや、接続詞、相槌などの所定の語が文頭にある発話でブロックを区切るなどによりまとめることができる。   In the determination process of whether or not “necessary items” are described by the similarity calculation unit 220, first, for a plurality of utterances included in the text data of the negotiation, one or more utterances continuous according to a predetermined criterion are used as a block. To summarize (S04). The example of FIG. 5 shows a state in which the initial two utterances are combined as one block in step S04. Criteria to be grouped into blocks can be, for example, a part where the explanation of the sales person 410 is cut or a part that is switched, and a time interval between consecutive utterances is longer than a predetermined length, a conjunction, a consonant, etc. Can be grouped by dividing a block with an utterance in which a predetermined word is at the beginning of the sentence.

次に、類似度算出部220は、ステップS04で取得したブロック毎に、必要事項情報221に定義された各「必要事項」のテキストデータとの間で類似度を算出し、類似度が所定の閾値を超える「必要事項」があるか否かを判定する(S05)。類似度の算出手法については特に限定されないが、例えば、図5の例のステップS05において示すように、対象のブロックのテキストデータと、「必要事項」として定義されたテキストデータにおいて、それぞれ、出現する所定の品詞の単語(名詞、動詞、形容動詞等)の一致の程度に基づいて算出することができる(例えば、全体の単語の数に対する一致する単語の数の比率など)。   Next, the similarity calculation unit 220 calculates the similarity with the text data of each “necessary item” defined in the necessary item information 221 for each block acquired in step S04, and the similarity is predetermined. It is determined whether there is a “necessary item” exceeding the threshold (S05). The similarity calculation method is not particularly limited. For example, as shown in step S05 in the example of FIG. 5, the similarity appears in the text data of the target block and the text data defined as “necessary items”, respectively. It can be calculated based on the degree of matching of words of a predetermined part of speech (nouns, verbs, adjective verbs, etc.) (for example, the ratio of the number of matching words to the total number of words).

このとき、単語の一致・不一致については、発話における全体の説明内容(コンテキスト)や、その際の通常の言い回しなどを考慮して、複数の単語の並び順や隣接関係の一致・不一致まで考慮するようにしてもよい。例えば、図5の例では、対象のブロックのテキストデータにおいて、「解約代金」→「扱い次第」という隣接関係となっている部分につき、「必要事項」として定義されたテキストデータでは、「解約代金」→「入金日」という隣接関係となっている。この場合、「解約代金」という単語は両者に一致して出現しているが、隣接関係が異なることから不一致として判断するようにしてもよい。   At this time, regarding word match / mismatch, considering the entire explanation (context) of the utterance and the usual wording at that time, consider the order of multiple words and the match / mismatch of adjacencies You may do it. For example, in the example of FIG. 5, in the text data of the target block, the text data defined as “necessary items” for the adjacent relationship of “cancellation fee” → “as soon as it is handled” ”→“ Payment date ”. In this case, the word “cancellation fee” appears to match both, but it may be determined as a mismatch because the adjacent relationship is different.

また、他の一般的に文書間の類似度を判定する際に用いられる手法として、例えば、対象のブロックのテキストデータと、「必要事項」として定義されたテキストデータのそれぞれについて、含まれる各単語の重要度を算出して、当該重要度を要素とする単語ベクトルを生成し、ベクトル空間における単語ベクトル間の代数的な距離(もしくは単語ベクトルのなす角)によって類似の程度を判断する手法を利用してもよい。ここでの単語の重要度は、例えば、一般的に用いられている指標である、文章における対象の単語の出現頻度であるTF(Term Frequency)値と、全ての文章の中で対象の単語が出現する文章の数の逆数であるIDF(Inverse Document Frequency)値との積であるTF−IDF値を用いることができる。   In addition, as another method generally used for determining the similarity between documents, for example, each word included in the text data of the target block and the text data defined as “necessary items”. Uses a method to calculate the importance of a word, generate a word vector with the importance as an element, and determine the degree of similarity based on the algebraic distance (or the angle formed by the word vector) between the word vectors in the vector space May be. The importance of the word here is, for example, a TF (Term Frequency) value that is an appearance frequency of a target word in a sentence, which is a commonly used index, and the target word in all sentences. A TF-IDF value that is a product of an IDF (Inverse Document Frequency) value that is the reciprocal of the number of appearing sentences can be used.

その後、類似度算出部220は、ステップS05で算出した類似度が所定の閾値を超える「必要事項」がある場合に、対象のブロックにおいて当該「必要事項」が説明されたものとして、対象のブロックに対して、当該「必要事項」に係るカテゴリ等の「必要事項」を特定する情報を割り当てて、カテゴリ付与情報204に記録する(S06)。所定の閾値を超える「必要事項」が複数ある場合には、類似度が最も高いものを1つだけ割り当てるようにしてもよいし、各「必要事項」がそれぞれ説明されたものとして、これらを全て割り当てるようにしてもよい。図5の例では、対象のブロック(図5の例では「ブロックID:15」)のテキストデータと、「カテゴリ:商品解約手続→入金日についての説明」において定義されたテキストデータとの類似度が71.6%であり、閾値を超えるため、当該カテゴリが割り当てられたことを示している。   Thereafter, when there is a “necessary item” in which the similarity calculated in step S05 exceeds a predetermined threshold, the similarity calculation unit 220 assumes that the “necessary item” has been described in the target block, and the target block For this, information specifying “necessary items” such as a category related to the “necessary items” is allocated and recorded in the category assignment information 204 (S06). If there are multiple “necessary items” that exceed a predetermined threshold, only one with the highest degree of similarity may be assigned. You may make it allocate. In the example of FIG. 5, the similarity between the text data of the target block (“Block ID: 15” in the example of FIG. 5) and the text data defined in “Category: Product Cancellation Procedure → Payment Date Explanation”. Is 71.6%, which exceeds the threshold, indicating that the category is assigned.

一方、ステップS07〜S09のキーワードマッチング部230による「禁止表現」を述べていないかどうかの判定処理では、まず、商談内の各発話のテキストデータについて、固有表現ルール231に定義された内容にマッチする固有表現を抽出する(S07)。図6の例では、ステップS03で得られたテキストデータに対して、ステップS07で、「新興国投信」という語を商品分類を示す固有表現として抽出して、“<e:商品分類>”というパラメータによって置換した状態を示している。   On the other hand, in the determination processing of whether or not “prohibited expression” is described by the keyword matching unit 230 in steps S07 to S09, first, the text data of each utterance in the negotiation matches the content defined in the unique expression rule 231. The specific expression to be extracted is extracted (S07). In the example of FIG. 6, for the text data obtained in step S03, in step S07, the word “emerging country investment trust” is extracted as a specific expression indicating the product classification, and “<e: product classification>” is extracted. The state replaced by the parameter is shown.

なお、本実施の形態における固有表現は、上述したように、人名や企業名、商品名、電話番号や住所など、実際の個々の商談において具体化される固有名詞や数量などの情報、すなわち、マッチングの際にパラメータ化される情報であるが、1つの単語のみで直接「禁止表現」にあたるような語(NGワードなど)を定義しておいてもよい。   In addition, as described above, the proper expression in the present embodiment is information such as a proper noun and a quantity embodied in an actual individual negotiation such as a person name, a company name, a product name, a telephone number, and an address, that is, Although it is information that is parameterized at the time of matching, a word (such as an NG word) that directly corresponds to a “prohibited expression” may be defined by only one word.

次に、キーワードマッチング部230は、ステップS07で固有表現を抽出して置換した状態のテキストデータについて、禁止表現情報232に定義された各「禁止表現」のデータとの間でキーワードマッチングを行い、「禁止表現」を含む発話があるか否かを判定する(S08)。禁止表現情報232には、例えば、正規表現等を用いて、任意の文字列や、固有表現の連続/組み合わせなどにより設定されたルールが「禁止表現」のカテゴリ毎に定義される。固有表現ルール231および禁止表現情報232を用いることにより、柔軟な「禁止表現」の定義が可能である。   Next, the keyword matching unit 230 performs keyword matching with the data of each “prohibited expression” defined in the prohibited expression information 232 for the text data in which the unique expression is extracted and replaced in step S07, It is determined whether there is an utterance including “prohibited expression” (S08). In the prohibited expression information 232, for example, a rule set by an arbitrary character string or a continuous / combination of specific expressions using a regular expression or the like is defined for each category of “prohibited expressions”. By using the specific expression rule 231 and the prohibited expression information 232, a flexible “prohibited expression” can be defined.

図6の例では、ステップS08において、商談のテキストデータにおける2つの発話のうち、2つ目の発話が、禁止表現情報232に「カテゴリ:利益保証」として定義されたルールにマッチすることから、「禁止表現」として判定されたことを示している。このとき、マッチする程度(単語や並び順などの一致の程度)に基づいてスコアを算出するようにしてもよい。   In the example of FIG. 6, in step S08, the second utterance out of the two utterances in the negotiation text data matches the rule defined as “category: profit guarantee” in the prohibited expression information 232. This indicates that it is determined as “prohibited expression”. At this time, the score may be calculated based on the degree of matching (the degree of matching such as words and arrangement order).

その後、キーワードマッチング部230は、ステップS08で「禁止表現」のルールにマッチすると判定された商談の発話に対して、当該「禁止表現」に係るカテゴリの情報を割り当てて、カテゴリ付与情報204に記録する(S09)。対象の発話に対してルールがマッチした「禁止表現」が複数ある場合には、マッチしたスコアが最も高いものを1つだけ割り当てるようにしてもよいし、各「禁止事項」がそれぞれ述べられたものとして、これらを全て割り当てるようにしてもよい。図6の例では、対象の発話(図6の例では「発話ID:24」)のテキストデータが、「カテゴリ:利益保証」において定義されたルールに対してスコア82.9%でマッチしたため、当該カテゴリが割り当てられたことを示している。   Thereafter, the keyword matching unit 230 assigns the category information related to the “prohibited expression” to the utterance of the negotiation determined to match the “prohibited expression” rule in step S08, and records it in the category assignment information 204. (S09). If there are multiple “prohibited expressions” with matching rules for the target utterance, only one with the highest matching score may be assigned, or each “prohibited item” is described. All of these may be assigned. In the example of FIG. 6, since the text data of the target utterance (“utterance ID: 24” in the example of FIG. 6) matches the rule defined in “category: profit guarantee” with a score of 82.9%, It shows that the category is assigned.

図4に戻り、以上の一連の処理は、上述したように、商談解析サーバ200における夜間バッチ処理にて処理される。その後、例えば、翌日の業務において営業担当者410や管理者420が商談解析サーバ200にアクセスした際には、ユーザインタフェース部240のリアルタイム処理により、要求に応じて商談の一覧や個別の商談の詳細内容を出力して表示する(S10)。ここでは、上述したように、例えば、商談テキスト情報202に基づいて、図2の例に示すような商談の一覧情報や、図3に示すような個別の商談の詳細内容の情報を画面表示するとともに、カテゴリ付与情報204に基づいて、商談における「必要事項」の説明状況や、「禁止表現」を述べたか否かなどのコンプライアンスの遵守状況を示す情報を併せて表示する。   Returning to FIG. 4, the above-described series of processing is performed by nighttime batch processing in the negotiation analysis server 200 as described above. After that, for example, when the sales representative 410 or the manager 420 accesses the business negotiation analysis server 200 in the next day's business, a real-time process of the user interface unit 240 provides a list of business negotiations or details of individual business negotiations as requested. The contents are output and displayed (S10). Here, as described above, for example, based on the negotiation text information 202, the list information of the negotiations as shown in the example of FIG. 2 and the detailed contents information of the individual negotiations as shown in FIG. 3 are displayed on the screen. At the same time, based on the category assignment information 204, information indicating the compliance status such as the explanation status of “necessary items” in the negotiation and whether or not “prohibited expression” has been displayed is also displayed.

以上に説明したように、本発明の一実施の形態であるコンプライアンスチェックシステム1によれば、金融機関等の営業担当者410が商談や営業活動の際に顧客500へ行った説明等の内容を音声データとして録音し、これをテキスト化したデータに基づいて自然言語解析を行って、「禁止表現」の有無、および「必要事項」が含まれているか否かをチェックし、結果を出力することができる。これにより、営業担当者410自身やその管理者420等が、営業活動におけるコンプライアンスの遵守状況を容易に確認することが可能である。   As described above, according to the compliance check system 1 according to an embodiment of the present invention, the contents of the explanation etc. that the sales person 410 such as a financial institution made to the customer 500 at the time of business negotiations or sales activities. Record as audio data, perform natural language analysis based on the text data, check whether there are "prohibited expressions" and whether "necessary items" are included, and output the results Can do. As a result, the sales representative 410 itself or the manager 420 thereof can easily check the compliance status in the sales activity.

このとき、テキスト化された商談のデータを所定の単位で複数の発話毎にブロック化するとともに、営業担当者410が顧客500との会話の中で説明することから生じる表現の揺らぎを吸収して精度を向上させるため、テキスト化された商談のデータに対して同義語展開処理を施して表現を正規化する。また、「禁止表現」の有無については、キーワードマッチングをベースに柔軟に判定可能とするとともに、「必要事項」が含まれているか否かについては、「必要事項」として定義されたテキストとの間での類似度を算出する。これらにより、判定の精度を向上させ、効率的かつ効果的に判定を行うことが可能である。   At this time, the business negotiation data that has been made into text is blocked for each of a plurality of utterances in a predetermined unit, and the fluctuation of the expression caused by the sales representative 410 explaining in the conversation with the customer 500 is absorbed. In order to improve accuracy, synonym expansion processing is performed on the text of the business negotiations converted into text, and the expression is normalized. The presence or absence of “prohibited expressions” can be determined flexibly based on keyword matching, and whether or not “necessary items” are included can be determined with the text defined as “necessary items”. Calculate the similarity at. As a result, the accuracy of determination can be improved, and determination can be performed efficiently and effectively.

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。   As mentioned above, the invention made by the present inventor has been specifically described based on the embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention. Needless to say. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described. In addition, it is possible to add, delete, and replace other configurations for a part of the configuration of the above-described embodiment.

例えば、上記の実施の形態では、図4の例に示すように、類似度算出部220による「必要事項」を説明しているか否かの判定処理においてのみ、商談内の複数の発話についてブロック化をしており(S04)、一方でキーワードマッチング部230による「禁止表現」を述べていないかどうかの判定処理においてのみ、商談内の各発話のテキストデータにおける固有表現を抽出して置換している(S07)。しかしながら、これらのステップは、対象の判定処理においてのみ実施可能なものではなく、双方の判定処理において共通的に実施するようにしてもよい。   For example, in the above embodiment, as shown in the example of FIG. 4, a plurality of utterances in the negotiation are blocked only in the determination process of whether or not “necessary items” are explained by the similarity calculation unit 220. On the other hand, the unique expression in the text data of each utterance in the negotiation is extracted and replaced only in the process of determining whether or not the “prohibited expression” is stated by the keyword matching unit 230. (S07). However, these steps are not executable only in the target determination process, and may be performed in common in both determination processes.

本発明は、顧客との商談において営業担当者が説明すべき事項を説明し、述べてはいけない事項を述べていないことをチェックするコンプライアンスチェックシステムおよびコンプライアンスチェックプログラムに利用可能である。   The present invention can be used for a compliance check system and a compliance check program for explaining matters to be explained by a sales person in a business talk with a customer and checking that matters that should not be stated are not stated.

1…コンプライアンスチェックシステム、
100…音声認識サーバ、
200…商談解析サーバ、201…商談音声情報、202…商談テキスト情報、203…解析済テキスト情報、204…カテゴリ付与情報、210…テキスト解析部、211…同義語定義情報、220…類似度算出部、221…必要事項情報、230…キーワードマッチング部、231…固有表現ルール、232…禁止表現情報、240…ユーザインタフェース部、
300…ネットワーク、
410…営業担当者、411…営業端末、412…ピンマイク、420…管理者、421…管理者端末、
500…顧客
1 ... Compliance check system,
100 ... voice recognition server,
DESCRIPTION OF SYMBOLS 200 ... Negotiation analysis server, 201 ... Negotiation voice information, 202 ... Negotiation text information, 203 ... Analyzed text information, 204 ... Category assignment information, 210 ... Text analysis section, 211 ... Synonym definition information, 220 ... Similarity calculation section 221 ... Necessary information, 230 ... Keyword matching part, 231 ... Specific expression rule, 232 ... Prohibited expression information, 240 ... User interface part,
300 ... Network,
410 ... Sales representative, 411 ... Sales terminal, 412 ... Pin microphone, 420 ... Manager, 421 ... Manager terminal,
500 ... customer

Claims (8)

営業担当者が顧客に対して行った各発話についてコンプライアンスを遵守しているかをチェックするコンプライアンスチェックシステムであって、
前記営業担当者の前記各発話の内容を音声認識技術によりテキスト化したテキストデータに対して、形態素解析を含む自然言語解析処理を行って解析済テキストデータとして出力するテキスト解析部と、
前記各発話に係る前記解析済テキストデータ内の各発話について、所定の基準に従って連続する1つ以上の発話からなるブロックにまとめ、前記各ブロックにおいて、顧客に対して説明するべき必要事項として予め定義された第1のテキストデータの内容が説明されているか否かを判定する判定部と、
前記営業担当者が前記顧客に対して行った前記各発話のデータに前記営業担当者および/または前記顧客を特定する管理情報と関連付けて記録するデータ記録部と、
前記営業担当者の前記各発話の内容を音声認識技術によりテキスト化したテキストデータを含む画面を、ネットワークを介して端末に表示させるユーザインタフェース部と、
を有し、
前記テキスト解析部は、前記営業担当者が前記顧客に対して行った前記各発話のデータに、前記管理情報に基づいて抽出される前記営業担当者が前記顧客に対して行った過去の発話についても含め、
前記判定部は、前記ブロックにおいて、前記第1のテキストデータの内容が説明されていると判定した場合に、前記ブロックに対して前記必要事項のカテゴリを付与して記録し、
前記ユーザインタフェース部は、前記営業担当者の前記各発話の内容を音声認識技術によりテキスト化したテキストデータを表示する領域と、必要事項のリストを表示する領域とを有する画面を、ネットワークを介して端末に表示させ、
前記必要事項のリストを表示する領域では、前記判定部により記録されたブロックと必要事項とが対応付けられた情報を含む、コンプライアンスチェックシステム。
A compliance check system that checks whether the sales representatives are compliant with each utterance made to the customer,
A text analysis unit that performs natural language analysis processing including morphological analysis and outputs as analyzed text data to text data obtained by converting the content of each utterance of the sales representative into text by speech recognition technology;
The utterances in the analyzed text data related to the utterances are grouped into one or more continuous utterances according to a predetermined standard, and are defined in advance as necessary items to be explained to the customer in each block. A determination unit for determining whether or not the content of the first text data is described;
A data recording unit that records the data of each utterance made by the sales representative to the customer in association with management information that identifies the sales representative and / or the customer;
A user interface unit that displays a screen including text data obtained by converting the content of each utterance of the salesperson into text using a speech recognition technology on a terminal via a network;
Have
The text analysis unit is configured to store the utterances made to the customer by the sales person extracted based on the management information in the data of the utterances made to the customer by the sales person. Including
When the determination unit determines that the content of the first text data is explained in the block, the determination unit assigns and records the category of the necessary items to the block,
The user interface unit includes, via a network, a screen including an area for displaying text data obtained by converting the content of each utterance of the salesperson into text using speech recognition technology and an area for displaying a list of necessary items. Display it on your device,
The compliance check system, wherein the area for displaying the list of necessary items includes information in which the blocks recorded by the determination unit are associated with the necessary items.
請求項1に記載のコンプライアンスチェックシステムにおいて、
前記テキスト解析部は、同義語とこれに対する標準表現との対応関係を予め定義した同義語定義情報に定義された前記同義語が、前記解析済テキストデータに含まれている場合に、前記解析済テキストデータにおける前記同義語を対応する前記標準表現に置換する、コンプライアンスチェックシステム。
The compliance check system according to claim 1,
The text analysis unit, when the synonym defined in the synonym definition information that predefines the correspondence between the synonym and the standard expression for the synonym is included in the analyzed text data, A compliance check system that replaces the synonyms in text data with the corresponding standard expression.
請求項1または2に記載のコンプライアンスチェックシステムにおいて、
前記判定部は、前記解析済テキストデータに基づいて、予め設定した所定の発話種別判定ルールにより、前記営業担当者の前記各発話の種別を判定する、コンプライアンスチェックシステム。
The compliance check system according to claim 1 or 2,
The determination unit is a compliance check system that determines a type of each utterance of the sales representative based on a predetermined utterance type determination rule set in advance based on the analyzed text data.
請求項1に記載のコンプライアンスチェックシステムにおいて、
前記所定の評価基準は、前記各ブロックのテキストデータと前記第1のテキストデータにおいてそれぞれ出現する所定の品詞の単語の一致の程度、前記単語の並び順または前記単語の隣接関係に基づく、コンプライアンスチェックシステム。
The compliance check system according to claim 1,
The predetermined evaluation criteria is a compliance check based on the degree of matching of words of predetermined parts of speech that appear in the text data of each block and the first text data, the order of the words, or the adjacency relationship of the words, respectively. system.
請求項1に記載のコンプライアンスチェックシステムにおいて、
前記各発話に係る前記解析済テキストデータについて、顧客に対して述べてはいけない禁止表現の内容として予め定義された第2のテキストデータにマッチするものがある場合に、対象の前記発話において対象の前記禁止表現が述べられたものと判定するキーワードマッチング部をさらに備える、コンプライアンスチェックシステム。
The compliance check system according to claim 1,
The analyzed text data related to each utterance is subject to the target text in the target utterance when there is a match with the second text data defined in advance as the content of the prohibited expression that should not be described to the customer. A compliance check system further comprising a keyword matching unit that determines that the prohibited expression is described.
請求項5に記載のコンプライアンスチェックシステムにおいて、The compliance check system according to claim 5,
前記第2のテキストデータは、発話時に具体的な内容となる表現、もしくは述べてはいけない語からなる固有表現についてパラメータとして定義されており、The second text data is defined as a parameter for an expression that is concrete contents at the time of utterance or a specific expression that is a word that should not be described,
前記キーワードマッチング部は、前記解析済テキストデータに含まれる固有表現を抽出してパラメータ化した上で前記第2のテキストデータとのマッチングを行う、コンプライアンスチェックシステム。The keyword matching unit is a compliance check system in which a unique expression included in the analyzed text data is extracted and parameterized, and then matched with the second text data.
請求項6に記載のコンプライアンスチェックシステムにおいて、The compliance check system according to claim 6,
前記第2のテキストデータは、任意の文字列および/または前記固有表現をパラメータ化したものの連続もしくは組み合わせにより定義されている、コンプライアンスチェックシステム。The compliance check system, wherein the second text data is defined by a sequence or combination of an arbitrary character string and / or a parameterized version of the specific expression.
営業担当者が顧客に対して行った各発話についてコンプライアンスを遵守しているかをチェックするコンプライアンスチェックシステムとして機能するよう、コンピュータに処理を実行させるコンプライアンスチェックプログラムであって、
前記営業担当者の前記各発話の内容を音声認識技術によりテキスト化したテキストデータに対して、形態素解析を含む自然言語解析処理を行って解析済テキストデータとして出力するテキスト解析処理と、
前記各発話に係る前記解析済テキストデータ内の各発話について、所定の基準に従って連続する1つ以上の発話からなるブロックにまとめ、前記各ブロックにおいて、顧客に対して説明するべき必要事項として予め定義された第1のテキストデータの内容が説明されているか否かを判定する判定処理と、
前記営業担当者が前記顧客に対して行った前記各発話のデータに前記営業担当者および/または前記顧客を特定する管理情報と関連付けて記録するデータ記録処理と、
前記営業担当者の前記各発話の内容を音声認識技術によりテキスト化したテキストデータを含む画面を、ネットワークを介して端末に表示させるユーザインタフェース処理と、
を実行させ、
前記テキスト解析処理で、前記営業担当者が前記顧客に対して行った前記各発話のデータに、前記管理情報に基づいて抽出される前記営業担当者が前記顧客に対して行った過去の発話についても含め、
前記判定処理で、前記ブロックにおいて、前記第1のテキストデータの内容が説明されていると判定した場合に、前記ブロックに対して前記必要事項のカテゴリを付与して記録し、
前記ユーザインタフェース処理で、前記営業担当者の前記各発話の内容を音声認識技術によりテキスト化したテキストデータを表示する領域と、必要事項のリストを表示する領域とを有する画面を、ネットワークを介して端末に表示させ、
前記必要事項のリストを表示する領域では、前記判定処理で記録したブロックと必要事項とが対応付けられた情報を含む、コンプライアンスチェックプログラム。
A compliance check program that causes a computer to execute a process so that it functions as a compliance check system that checks whether each utterance made by a sales representative to a customer complies with compliance.
Text analysis processing that outputs natural text analysis processing including morphological analysis and outputs as analyzed text data to text data obtained by converting the content of each utterance of the sales representative into text by speech recognition technology;
The utterances in the analyzed text data related to the utterances are grouped into one or more continuous utterances according to a predetermined standard, and are defined in advance as necessary items to be explained to the customer in each block. A determination process for determining whether or not the content of the first text data is described;
A data recording process for recording in association with management information identifying the sales representative and / or the customer in the data of each utterance made by the sales representative to the customer;
A user interface process for displaying a screen including text data obtained by converting the content of each utterance of the salesperson into text using a speech recognition technology on a terminal via a network;
And execute
About the past utterances made to the customer by the sales person extracted based on the management information in the data of the utterances made to the customer by the sales person in the text analysis process Including
In the determination process, when it is determined that the content of the first text data is explained in the block, the category of the necessary items is assigned to the block and recorded,
In the user interface processing, a screen having an area for displaying text data obtained by converting the content of each utterance of the sales representative into a text by a speech recognition technology and an area for displaying a list of necessary items is provided via a network. Display it on your device,
A compliance check program, wherein the area for displaying the list of necessary items includes information in which the blocks recorded in the determination process are associated with the necessary items.
JP2018090533A 2018-05-09 2018-05-09 Compliance check system and compliance check program Active JP6614589B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018090533A JP6614589B2 (en) 2018-05-09 2018-05-09 Compliance check system and compliance check program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018090533A JP6614589B2 (en) 2018-05-09 2018-05-09 Compliance check system and compliance check program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014219826A Division JP6533048B2 (en) 2014-10-29 2014-10-29 Compliance check system and compliance check program

Publications (2)

Publication Number Publication Date
JP2018120640A JP2018120640A (en) 2018-08-02
JP6614589B2 true JP6614589B2 (en) 2019-12-04

Family

ID=63043947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018090533A Active JP6614589B2 (en) 2018-05-09 2018-05-09 Compliance check system and compliance check program

Country Status (1)

Country Link
JP (1) JP6614589B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110364183A (en) * 2019-07-09 2019-10-22 深圳壹账通智能科技有限公司 Method, apparatus, computer equipment and the storage medium of voice quality inspection
CN112911180A (en) * 2021-01-28 2021-06-04 中国建设银行股份有限公司 Video recording method and device, electronic equipment and readable storage medium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001261150A1 (en) * 2000-05-04 2001-11-12 General Electric Capital Corporation Methods and systems for compliance program assessment
JP2007304793A (en) * 2006-05-10 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> Document retrieval device
JP2008040847A (en) * 2006-08-08 2008-02-21 Hitachi Ltd Rule evaluation system
JP4690999B2 (en) * 2006-11-15 2011-06-01 三菱電機インフォメーションシステムズ株式会社 Operator work support system
US8874500B2 (en) * 2008-12-19 2014-10-28 Barclays Capital Inc. Rule based processing system and method for identifying events
JP5457284B2 (en) * 2010-06-21 2014-04-02 株式会社野村総合研究所 Discourse breakdown calculation system and discourse breakdown calculation program
JP5811642B2 (en) * 2011-07-05 2015-11-11 ヤマハ株式会社 Audio recording server apparatus and audio recording system
JP5966910B2 (en) * 2012-12-20 2016-08-10 富士通株式会社 Document output device, document output method, and document output program
JP5882388B2 (en) * 2014-04-17 2016-03-09 みずほ情報総研株式会社 Explanation support system and explanation support method

Also Published As

Publication number Publication date
JP2018120640A (en) 2018-08-02

Similar Documents

Publication Publication Date Title
JP6533048B2 (en) Compliance check system and compliance check program
US20160012818A1 (en) System and method for semantically exploring concepts
JP6865653B2 (en) Dialogue analysis system and dialogue analysis program
JP5683037B2 (en) Business relationship map generation system and program
KR101644817B1 (en) Generating search results
US20160019885A1 (en) Word cloud display
US20210084145A1 (en) Method for conversion and classification of data based on context
JP7042693B2 (en) Interactive business support system
US20170103439A1 (en) Searching Evidence to Recommend Organizations
WO2006085661A1 (en) Question answering data edition device, question answering data edition method, and question answering data edition program
US20200250212A1 (en) Methods and Systems for Searching, Reviewing and Organizing Data Using Hierarchical Agglomerative Clustering
WO2019200287A1 (en) Intelligent call center agent assistant
US11120199B1 (en) Systems for transcribing, anonymizing and scoring audio content
JP6614589B2 (en) Compliance check system and compliance check program
KR20200125526A (en) Quality assurance method for consultation service using artifical neural network, and computer program performing the method
JP2018142190A (en) Decision assisting system and decision assisting method
US9734259B2 (en) Alert driven interactive interface to a website mining system
KR20160039273A (en) System and method for discovering and exploring concepts
CN111737607A (en) Data processing method, data processing device, electronic equipment and storage medium
JP7126865B2 (en) Interactive business support system
JP2007080096A (en) Automatic monitoring system, automatic monitoring method, and program
JP4892896B2 (en) Communication analysis apparatus and method
JP2006293616A (en) Document aggregating method, and device and program
JP7171352B2 (en) Workshop support system and workshop support method
JP7169031B1 (en) Program, information processing device, information processing system, information processing method, information processing terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191029

R150 Certificate of patent or registration of utility model

Ref document number: 6614589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250